сколько памяти потреблял — не успел посмотреть, думал дольше будет

290221 кусков получилось

Если у тебя есть ссылка на кусок бинари, то вся бинарь не будет освобождена. Может по этому?

вот попробуй, тут числа тупо разделлённые \n

у меня обрабатывает 8 секунд

на других языках та же операция жрёт меньше двух

на том же ruby

у меня обрабатывает 8 секунд

рашка же

А чего не хочешь лениво читать построено?

zk, ты чего хочешь доказать?

лениво лучше отрабатывает

но binary:split не должен хуже регекспа работать, разве нет?

причём сильно хуже

там внутри функция на несколько экранов

которая работает рекурсивно как я понял и жрёт память

чёт уже больше 8 секунд висит

память ща всю сожрёт :)))

в /erts/emulator/beam/erl_bif_binary.c

do_binary_find

всё очень плохо, короче

так и не раздуплилась

на самом деле там всё мне понятно кроме bfs->type

зачем несколько раз продублирован код

очень неэффективный с виду

кидай эту сишку сюда

дай ссылку на гх

https://github.com/erlang/otp/blob/master/erts/emulator/beam/erl_bif_binary.c

я специально профилировал beam, в варианте с регэкспом и бинарным сплитом

бинарный сплит почти всё время тратит на сборку мусора

теми же node.js и ruby я такую же задачу профилировал, там хоть сплит большую часть времени занимал

пхп вообще за 400 мс делает (((

питон за 600 (очень меня удивил)

А C так вообще не успеешь замерить.

gprof

ещё как успеешь =)

ааа, про скорость обработки?

на Си я слабо пишу у меня получилось 800мс

на голанг 400, с компиляцией через gccgo

но 8+ секунд и сожранная вся память от небольшого файлика за пределами добра и зла

причём на си реализация у эрланга

Это конечно баг, да.

пиши в рассылку

ого, а там уже есть предложение по оптимизации производительности https://bugs.erlang.org/browse/ERL-374?jql=project%20%3D%20ERL

два дня назад добавил какой-то чувак

только про память он не сказал

забыл

Да, я сейчас тоже попробовал в эрланге и оно тогос, сдохло.

и я не дождался результата

питон за 600 (очень меня удивил)

а какая версия 2 или 3 ?

3.5, вторая чуть быстрее (на 50мс)

на ноде, для сравнения 1.2 секунды эта же операция =)

пили пулл реквест в OTP! ) будешь внукам рассказывать

я бы с удовольствием, но я выше писал что в Сях я слаб, я в юности на C++ лабал, но не смог написать вариант быстрее чем на питоне

я попытаюсь конечно, но всё же надеюсь на помощь данного чатика

ну там скорее не C надо знать, а разбираться в виртуальной машине ерланга хорошо

немного разные вещи

В пятнадцатом году проблема уже обсуждалась http://erlang.org/pipermail/erlang-questions/2015-May/084670.html

я бы с удовольствием, но я выше писал что в Сях я слаб, я в юности на C++ лабал, но не смог написать вариант быстрее чем на питоне

напиши на Nim и посмотри какую он сишную версию выдаст

не, до 15го года вообще реализация на эрланге была

и там предложили переписать на bif

потом пару раз оптимизировали, но косметически

напиши на Nim и посмотри какую он сишную версию выдаст

на выхах попробую, но самое забавное что пока всех php победил =)

на выхах попробую, но самое забавное что пока всех php победил =)

7 ?

да

7.1

а 5 я думаю обосрался бы

ERROR: S client not available

интересно сравнение варианта на Java :)

согласен

джаву не умею готовить

с прогретой JVM

напиши на Nim и посмотри какую он сишную версию выдаст

Ним скомпилированный в си плохо читается

ну хотя бы общую концепцию углядеть, при условии что она быстрее конечно )

чего там надо написать и на каких данных запустить? а то вы тут 300+ выдали, не все прочитал :)

Я просто попытался в iex этот файлик считать в бинарь и у меня машина в своп ушла

https://www.youtube.com/watch?v=XPlXNUXmcgE&feature=youtu.be&list=PLWbHc_FXPo2gaE8KWPbj0FMoT9DZL4Yuq

вообще по красоте

а, бинарь:сплит ...

объясняет супер изи

https://yadi.sk/d/jw7K_JE93FrCGZ запускаешь erl {_, Cont} = file:read_file("/tmp/1.txt"). Res = binary:split(Cont, <<"\n">>, [global]).

и у тебя сожрёт всю память

и проц прогреет от души

re:split(Cont, <<"\n">>). а вот такой вполниться в разы быстрее (но тоже прилично памяти сожрёт)

хм. дак вроде писали же ранее, что если читать файл эрлангом то он в памяти раскрывается в 3 раза больше размер

файл 79 мегабайт, а жрёт 16 гигабайт

издержки )

=)

причём разбирается на сях, а не на эрланге

нафиг такие издержки

попробуй в эликсир через пайп

Через стримы?

в видео выше жосе вроде про ээто и рассказывает

файл 79 мегабайт, а жрёт 16 гигабайт

мммм

на линуксе сжирает всё =)

выше 500 еще не прыгало.. все по дефолту. R18

А какой эрланг?