это, в плане, файл такого размера и надо его внутри отсортировать?

юзкейс неясен. а в целом, бенчи одинаковые будут, думаю, для всех достаточно низкоуровневых языков. узким местом станет, скорее, сама файловая система.

Всем привет. Где можно увидеть бенчмарки по работе с файлами в nodejs? Вообще, стоит задача сортировки очень большого количества данных и стоит ли пользоваться нодой?

Я делал

https://github.com/zerobias/filewrite-perfomance

Спасибо

если хочется прям мегаоптимизации именно сортировки - сишник или Lua. да и js вполне. но IO вполне себе угробит любые оптимизации на хреновом железе/OS

> @aleksxor Lua што?

А сейчас более подробно опишу ситуацию. Есть множество файлов со строками. Таких файлов может быть несколько миллионов, а общее колличество строк стремится в нескольким десяткам миллиардов. БД на таких размерах и вообще стандартные методы сортировки просто не справляются. Сейчас есть алгоритм сортировки слиянием этих файлов, но хотелось бы написать что-то подобное на ноже и проверить проихводительность

> @aleksxor Lua што?

не в курсе что это или просветишь почему не подходит как довольно шустрый язык?

Рекомендация для чего либо "сишник или Lua" выглядит абсурдно

субъективно. для реализации алгоритма сортировки подходят оба. сишник если прямые руки. луа как, думаю, штука которая лучше всего остального умеет оптимизировать код

Всем привет. Где можно увидеть бенчмарки по работе с файлами в nodejs? Вообще, стоит задача сортировки очень большого количества данных и стоит ли пользоваться нодой?

ты тут не в ноду упрешься, в жесткий диск, ссд в помощь

ты тут не в ноду упрешься, в жесткий диск, ссд в помощь

ссд уже есть.

> @aleksxor луа как, думаю, штука которая лучше всего остального умеет оптимизировать код вот это абсолютный бред

А что можете сказать касаемо алгоритма сортировки? Что еще кроме обычного слияния можно придумть?

А что можете сказать касаемо алгоритма сортировки? Что еще кроме обычного слияния можно придумть?

т.е. в каждом файле какое-то количество произвольных строк, а тебе нужно эти строки выдавать в упорядоченном виде или как?

> @aleksxor луа как, думаю, штука которая лучше всего остального умеет оптимизировать код вот это абсолютный бред

ну да, не lua а luajit

т.е. в каждом файле какое-то количество произвольных строк, а тебе нужно эти строки выдавать в упорядоченном виде или как?

Да, эти отсортированные строки будут уже использоваться в дальнейшем для обработки данных.

я так понимаю у тебя не просто набор этих файлов, а постоянно новые подливаются?

и есть бенчмарки, которые подверждают что luajit быстрее чем все остальное вообще?

а строки какой длины?

А сейчас более подробно опишу ситуацию. Есть множество файлов со строками. Таких файлов может быть несколько миллионов, а общее колличество строк стремится в нескольким десяткам миллиардов. БД на таких размерах и вообще стандартные методы сортировки просто не справляются. Сейчас есть алгоритм сортировки слиянием этих файлов, но хотелось бы написать что-то подобное на ноже и проверить проихводительность

А БД уже проверялось или это догадки? Залить в PG, добавить индексы, выделить побольше памяти для сортировки.

Да. Подливаются сразу как только закончится обработка прошлой пачки данных, и чем быстрее это произойдет, тем лучше. Строки вида 123123:323123. Вотрировать нужно по первому числу

а пачка это сколько?

А БД уже проверялось или это догадки? Залить в PG, добавить индексы, выделить побольше памяти для сортировки.

В БД уже пробовали. Сейчас очень ограниченны ресурсы и только потому делаем это не в дазе, а на файлах. Сортировка в базе на порядок больше ресурсов требовала и на текущем сервере просто не укладывалась в сроки

а пачка это сколько?

Еще столько же

т.е. у тебя есть некий набор данных, в файлах, строками, ты их отсортировал одноразово и все? потом следюущий набор внутри себя и так каждый раз?

т.е. у тебя есть некий набор данных, в файлах, строками, ты их отсортировал одноразово и все? потом следюущий набор внутри себя и так каждый раз?

Да, все так.

первое число насколько большим может быть?

и есть бенчмарки, которые подверждают что luajit быстрее чем все остальное вообще?

про все остальное речь не шла. js вполне себе запинывает на алгоритмах

В БД уже пробовали. Сейчас очень ограниченны ресурсы и только потому делаем это не в дазе, а на файлах. Сортировка в базе на порядок больше ресурсов требовала и на текущем сервере просто не укладывалась в сроки

На порядок - это прям в 10 раз? Странно. Но в любом случае, это более оптимальный и удобный способ, если задача не разовая, а постоянная при поступлении новых данных. Я бы игрался с памятью и прочими оптимизация в PG. Вот такое 123123:323123 можно разбить на два поля, например, и следать int вместо текста.

а все это добро разом в оперативку влазит?

про все остальное речь не шла. js вполне себе запинывает на алгоритмах

v8 запинывает

пруф?

первое число насколько большим может быть?

До 100000000 я думаю

а все это добро разом в оперативку влазит?

Не хватит оперативки

ну модули ядра на ноде на сях написаны, я не думаю что ты тупо на сях напишешь сильно оптимальнее, будет конечно оверхед некоторый, но не в разы я считаю

Не хватит оперативки

а сколько сейчас оперативки и сколько это все добро занимает в сумме места?

обычный комп позволяет до 32 гигов спокойно поставить, и деньги не столь велики для подобных задач

а сколько сейчас оперативки и сколько это все добро занимает в сумме места?

Сейчас 32, а все добро занмает около 300-400 гб

а не тогда не вариант

но, если объём поделить, допустим, на 20, то он уже будет влезать в оперативку

т.е. за 20 итераций можно отсортировать 20 порций

На порядок - это прям в 10 раз? Странно. Но в любом случае, это более оптимальный и удобный способ, если задача не разовая, а постоянная при поступлении новых данных. Я бы игрался с памятью и прочими оптимизация в PG. Вот такое 123123:323123 можно разбить на два поля, например, и следать int вместо текста.

Ну, не в 10, но в сроки не кладывается ни при каких оптимизациях. Конечно, можно докупить мощностей, но пока приходится обходиться тем, что есть

если их грамотно разложить по 20 файлам

Ну, а потом только построчно, если так

да

в оперативе полюбому быстрее будет сортировка

а ключи дублируются?

Да, первая часть будет повторяться и не раз

в таком случае как сортируешь при дублирующемся ключе?

Вторая тоже, но их комбинация уникальна

или отбрасываешь?

значит там где первые совпали, надо по второму сортировать?

Нет, только по первому

По крайней мере пока

я бы так сделал

Ну, не в 10, но в сроки не кладывается ни при каких оптимизациях. Конечно, можно докупить мощностей, но пока приходится обходиться тем, что есть

Ну, надо играться, за глаза не скажу) А результат сортировки весь нужен или только top xxx?

берешь максимальное значение первого ключа

делишь его на 30

Ну, надо играться, за глаза не скажу) А результат сортировки весь нужен или только top xxx?

Весь

пруф?

https://gist.github.com/spion/3049314 как эталон. там в комментах привели и крутую С версию, но кода и знаний чтобы ее написать, надо явно поболе чем для тупого алгоритма на луа

проходишь все файлы и раскладываешь строки по 30 файлам согласно диапазона ключей

дальше сортируешь отдельно каждый файл, благо он в память по идее должен взалить, если нет, тогда не 30 а 40 50 или 60

получаешь дцать файлов с отсортированным контентом внутри

по ходу отслеживаешь, если где-то файл начинает выходить за рамки лимита оперативки, бьешь на части дополнительно в любом случае у тебя ключи разложатся в пределах диапазонов по файлам

https://gist.github.com/spion/3049314 как эталон. там в комментах привели и крутую С версию, но кода и знаний чтобы ее написать, надо явно поболе чем для тупого алгоритма на луа

увы, это плохой бенчмарк

ERROR: S client not available

по ходу отслеживаешь, если где-то файл начинает выходить за рамки лимита оперативки, бьешь на части дополнительно в любом случае у тебя ключи разложатся в пределах диапазонов по файлам

Так и попробую сделать, спасибо

Весь

Печально. Читать исходники через stream и сравнивать с топом - было бы несложно. А так, весь result слишком жирный, в память не влезет. Надо пытаться имплементировать максимально быстрый механизм external merge sort. Они уже описаны и есть готовые алгоритмы.

увы, это плохой бенчмарк

удобная позиция ) по мне так, вообще, эталонный. четко показывает что писать шустрые пргоги на луа гораздо проще чем на сях

Ну и последний вопрос, уточняющий: c++, luajit или нода?

Я не знаю, как там полчилось у lua быстрее чем c и с++

И да, всем спасибо за помощь

Ну и последний вопрос, уточняющий: c++, luajit или нода?

в сях задолбаешься за памятью следить

про луа не знаю

Но в случае с луа и нодой как минимум во время включено время инициализации

легко. luajit очень хорошо умеет в оптимизацию. гораздо лучше среднего человека

как нода такие объёмы будет хавать тоже вопрос

легко. luajit очень хорошо умеет в оптимизацию. гораздо лучше среднего человека

и лучше компилятора?

в любом случае пиши в файлы не построчно, а пачками, иначе на иопсах будешь большой оверхед иметь

нода - не равно v8

компилятор сам по себе в оптимизацию обычно не умеет

компилятор сам по себе в оптимизацию обычно не умеет

лол

-03 знаешь что такое?

вот именно. а есть еще -01 и другое. к компилятору напрямую не относится

можно компилять без оптимизации, вообще

можно, но так никто не делает

оптимизация и компиляция разные процессы. luajit пишет Mike Pall. на мой вкус, самый способный. дотаточно глянуть на список оптимизаций которые luajit умеет

Я не знаю, как там полчилось у lua быстрее чем c и с++

Да также как у pypy (никак)

оптимизация и компиляция разные процессы. luajit пишет Mike Pall. на мой вкус, самый способный. дотаточно глянуть на список оптимизаций которые luajit умеет

а v8 пишут ребята из гугла

и в него вложены десятки миллионов долларов

так себе агрумент

Конечно, один мужик в подвале может тоже самое сделать

удобно чучело пинать?

Но не суть - допустим lua быстрее C++

Осталось ответить на вопрос - почему

Без этого ответа наиболее вероятно, что это некорректный бенчмарк

опять чучело пинаешь. я не говорил что луа быстре сей. код на луа через luajit быстрее того что напишет средний сишный кодер. это наиболее близко к моей точке зрения.

Луа быстрее в этом бенчмарке