Artem
https://github.com/taskrabbit/elasticsearch-dump
Denis
медленное оно.
Artem
сколько у тебя их?
Artem
и у тебя не стоит вопрос медленно или быстро, а потерять, или все таки найти способ перенести
Denis
документов ?
Artem
да
Denis
не, у меня как раз вопрос перенсти чтобы быстро
Artem
тогда можеть перенести каждую ноду старого кластера на машину с ssd
Artem
и потом сделать бекап
Denis
не понимаю.
Artem
можешь себе позволить maintenance time?
Denis
да
Artem
ты же сам сказал, что старый кластер на hdd
Artem
перенеси старый кластер на сервера с ssd
Artem
а потом делай дамп
Denis
новый сервер 1 старых 3
Artem
дамп будет быстрее, если реплик будет равно кол-во нод в кластере - 1
Denis
не влезет )
Pavel
Откуда это взялось?
Это же из курсов CS универа еще. Машины сейчас как ни крути обладают состоянием, хранят переменные, а бинарный код выполняется последовательно. Функциональные языки всего этого лишены, и приходится эмулировать их иммутабельность, рекурсию и все остальное.
Alexander 🐕
“Эмулировать рекурсию”?
Alexander 🐕
Это как?
Alexander 🐕
Что эмулировать в рекурсии?
Alexander 🐕
tail call? Так это не эмуляция никакая
Alexander 🐕
Ну и бинарный код уже давно выполняется не особо последовательно
Pavel
По природе своей он последовательный. То что там извращаются с предиктивным выполнением и прочим - не значит что оно более нативное
Pavel
А в ФП все по другому, выполнение идет из глубины, все это очень трудно компилятору.
Dmitrii
/me достал попкорн
Nikolay
👌
Alexander 🐕
По природе своей он последовательный. То что там извращаются с предиктивным выполнением и прочим - не значит что оно более нативное
Конечно - когда в коробке 8 ядер
Alexander 🐕
Он тогда еще какой последовательный
Denis
https://github.com/taskrabbit/elasticsearch-dump
и кстати он медленный, https://github.com/skratchdot/elasticsearch-tools вот это быстрее.
Alexander 🐕
Особенно, когда надо TLB соседнего процессора сбросить
Pavel
В коробке 8 ядер, а код на них распараллельить до сих пор не могут нормально. Только независимые участки.
Artem
@ptchol к чему спешка?
Alexander 🐕
Так вот и угадай теперь, какой код проще распараллелить
Alexander 🐕
Декларативный или императивный
Artem
запись байтов на 4x скорости более качественная
Artem
чем на 16x
Nikolay
иксперты под пятничное пивко собрались
Pavel
Сколько бы там ядер ни было - а каждое ядро исполняет код от начала до конца, принципиально ничего не поменялось.
Artem
@ptchol какой размер то?
Artem
и кол-во доков
Denis
~4.5млрд ~1тб на каждой ноде.
Dmitrii
Можно поинтересоваться какого рода данные?
Denis
какая нафиг разница )
Artem
это НЕ много данных
Dmitrii
Ну я так, безотносительно вопроса ) Просто интересно.
Artem
оно должно максимум за сутки среплицироваться
Denis
прекрасно, но теми утилитами что ты показал они собираются их копировать по 3 месяца. меня такой срок не устраивает
Denis
реплицироваться не может мы уже выяснили
Artem
напиши свою
Artem
на go
Artem
там 30 строчек
Artem
но я бы попробовал поднять прежде реплики, чтобы на каждой ноде был полный набор
Denis
оно все равно в диск упирается
Artem
потом взял бы одну ноду и поднял бы там новый es 2.3 без кластера
Dmitrii
@ptchol Как тебе такая идея... rsync'ом скопировать все индексы на новый сервак, а потом там поднять 3 инстанса и завести их в кластер
Dmitrii
А потом уже начать ужимать индекс
Denis
не умещаются.
Artem
если данные будут видны, то тогда можно будет делать апгрейд и запускать репликацию
Artem
ааа
Artem
понятно
Dmitrii
Так прости а как ты решил все это на одном сервере тогда разместить?
Denis
у меня нлды с SSD меньше 1тб. там полезный volume 830гб.
Denis
во втором есть сжатие ))
Dmitrii
LVM
Denis
мы тестили на этих данных, коэффициент сжатия 2.7 у нас.
Alexander 🐕
Denis
поэтому влезть должно )
Alexander 🐕
Как это мешает функциональному языку?
Pavel
Потому что у любого хаскеля под капотом в итоге ассемблерный код
Alexander 🐕
Конечно
Pavel
Императивный
Denis
Так а не проще пару дисков туда вставить временно?
в новую ноду ? мы писали хостеру они говорят что больше нельзя.
Dmitrii
Вот пидоры )