и потом сделать бекап

не понимаю.

можешь себе позволить maintenance time?

да

ты же сам сказал, что старый кластер на hdd

перенеси старый кластер на сервера с ssd

а потом делай дамп

новый сервер 1 старых 3

дамп будет быстрее, если реплик будет равно кол-во нод в кластере - 1

не влезет )

Откуда это взялось?

Это же из курсов CS универа еще. Машины сейчас как ни крути обладают состоянием, хранят переменные, а бинарный код выполняется последовательно. Функциональные языки всего этого лишены, и приходится эмулировать их иммутабельность, рекурсию и все остальное.

Это же из курсов CS универа еще. Машины сейчас как ни крути обладают состоянием, хранят переменные, а бинарный код выполняется последовательно. Функциональные языки всего этого лишены, и приходится эмулировать их иммутабельность, рекурсию и все остальное.

Еще раз: щта?

“Эмулировать рекурсию”?

Это как?

Что эмулировать в рекурсии?

tail call? Так это не эмуляция никакая

Ну и бинарный код уже давно выполняется не особо последовательно

По природе своей он последовательный. То что там извращаются с предиктивным выполнением и прочим - не значит что оно более нативное

А в ФП все по другому, выполнение идет из глубины, все это очень трудно компилятору.

/me достал попкорн

?

По природе своей он последовательный. То что там извращаются с предиктивным выполнением и прочим - не значит что оно более нативное

Конечно - когда в коробке 8 ядер

Он тогда еще какой последовательный

https://github.com/taskrabbit/elasticsearch-dump

и кстати он медленный, https://github.com/skratchdot/elasticsearch-tools вот это быстрее.

Особенно, когда надо TLB соседнего процессора сбросить

В коробке 8 ядер, а код на них распараллельить до сих пор не могут нормально. Только независимые участки.

@ptchol к чему спешка?

Так вот и угадай теперь, какой код проще распараллелить

Декларативный или императивный

запись байтов на 4x скорости более качественная

чем на 16x

@ptchol к чему спешка?

всмысле ? там получается оно примерно 3 месяца копировать будет

иксперты под пятничное пивко собрались

Сколько бы там ядер ни было - а каждое ядро исполняет код от начала до конца, принципиально ничего не поменялось.

@ptchol какой размер то?

и кол-во доков

~4.5млрд ~1тб на каждой ноде.

Можно поинтересоваться какого рода данные?

какая нафиг разница )

это НЕ много данных

Ну я так, безотносительно вопроса ) Просто интересно.

оно должно максимум за сутки среплицироваться

прекрасно, но теми утилитами что ты показал они собираются их копировать по 3 месяца. меня такой срок не устраивает

реплицироваться не может мы уже выяснили

напиши свою

на go

там 30 строчек

но я бы попробовал поднять прежде реплики, чтобы на каждой ноде был полный набор

оно все равно в диск упирается

потом взял бы одну ноду и поднял бы там новый es 2.3 без кластера

@ptchol Как тебе такая идея... rsync'ом скопировать все индексы на новый сервак, а потом там поднять 3 инстанса и завести их в кластер

А потом уже начать ужимать индекс

не умещаются.

если данные будут видны, то тогда можно будет делать апгрейд и запускать репликацию

ааа

понятно

Так прости а как ты решил все это на одном сервере тогда разместить?

у меня нлды с SSD меньше 1тб. там полезный volume 830гб.

во втором есть сжатие ))

LVM

мы тестили на этих данных, коэффициент сжатия 2.7 у нас.

Сколько бы там ядер ни было - а каждое ядро исполняет код от начала до конца, принципиально ничего не поменялось.

И що?

поэтому влезть должно )

Как это мешает функциональному языку?

поэтому влезть должно )

Так а не проще пару дисков туда вставить временно?

Как это мешает функциональному языку?

Это не помогает как минимум

ERROR: S client not available

Потому что у любого хаскеля под капотом в итоге ассемблерный код

Конечно

Императивный

Так а не проще пару дисков туда вставить временно?

в новую ноду ? мы писали хостеру они говорят что больше нельзя.

Вот пидоры )

Подключите том по сети...

я могу от системной ссд еще отожрать гигов 200

в лвм засунуть но это как бы не поможет все равно

Так а сетевой том?

смаунтить с 3х нод на новую ноду, и запустить 3 инстанса и делать дамп ? а в чем отличие ?

Не дамп, разве нельзя эластику сказать чтобы он свой индекс "сжал" до одной реплики?

Я таким не занимался ни разу, просто как идея.

Просто если можно, тогда бы на сетевом томе, где места дохера - можно бы было это сделать. Ну а дальше когда у тебя был бы один целостный индекс, просто бы его скопировал.

можно, но именно реплик.

кол-во шардов в индексе поменять нельзя, и они могут быть размазаны по нодам.

@mpenzin

я сейчас вот компонент перепиливаю с тестами, можешь в чувака этим кинуть https://github.com/Zibx/component

а ещё лучше пусть раздупляет бэм

там в принципе есть всё что только может понадобиться

кое-чего из уже публичных обновок

к слову

@ptchol Наверное вопрос будет тупой, смотрел ли ты это: https://www.elastic.co/guide/en/elasticsearch/guide/current/retiring-data.html#migrate-indices ?

Еще как вариант можно запустить синхронизацию всех данных "с конца" списка и пожить так пару месяцев. Но это конечно еси данные только добавляются.

@ptchol Наверное вопрос будет тупой, смотрел ли ты это: https://www.elastic.co/guide/en/elasticsearch/guide/current/retiring-data.html#migrate-indices ?

чот не понимаю как поможет в принципе с учетом того что все уже так или иначе аллоцированно.

Еще как вариант можно запустить синхронизацию всех данных "с конца" списка и пожить так пару месяцев. Но это конечно еси данные только добавляются.

мне не вариант, мне нужно провести тесты, и если все ок и не обнаружим проблем, переехать на новый кластер с новыми данными.

А чем не вариант?

Пока не вижу противоречий в этом подходе

долго же )

А там горит?

ну как бы да

хотелось бы за сутки там двое, все сделать првоерить

а есть тут JIRAманьяки? хочу замутить активитистрим, чтобы показывало все обновления в ишьюсах в которых я вотчер(или ещё кто-то), а также все упоминания меня в комментариях.