чтобы что?

если у вас пара лямов документов и 3 ноды с ССД , то как бы наверно да работает

и 2 с половиной индекса

не

тут не количество индексов важно, а количество документов

как фильтр и классифкатор (фасеты там всякие) оно ок. но вот реально работа с индесами и поиск - ну не айс же.

как раз на паре лямов обновление встает колом

и надо открывать новый индекс

а еще принципиальное отсутсвие шедулинга в кааком либо виде внутри

нет возможности даже бегущие квери убить

раз впилили update on request - значит и шедулинг появился

но - это же все про другое

я про то что доступно пользователю конечному

а еще их позиция "филдсет ин мемори чтобы хоть как то работало" это вобще для каких людей ?

для богатых

не

я довольно агрессивно выступил

на самом деле - я хорошо знаю, что ES говно

я знаю одних людей у которых ЕС хорошо пашет. но у них ноды со 128гб и фьюжн ио в дисках.

и то сука течет и память в ОЛДе засирается в результате ГЦ постоянно коллектит мусор и рестратить приходится.

но кейс “поисковик на ноде и es” - это не про ноду

пробллема-то не в этом всем

это все норм

текущую память можно фиксить

у него родовая травма есть

серьезно ?) а мы не знаааааали )

он, сцуко, все время компактит свои листья

и нагрузку на диски минимум удваивает

а в нормальной ситуации - утраивает

и вот это уже не победить

если вам не нужно тут же уметь искать данные после получения, можно просто реже флашить на диск их

я к тому что компенсировать можно.

просто есть мнение что ЕС удобен для аналитки

мой обычный кейс - это ELK. ELK - это я хочу искать сразу по получении. но могу делать мелкие индексы.

и вот это как то очень сомнительно )

а активных доков сколько ?

вы же наверно закрываете индексы ?

да

конечно

но это мы деньги экономим

точнее так. по какому количеству доков ищете обычно ?

обычно ищем по текущим суткам

примерно 1К строк в секунду

поискать раньше - это надо индексы пооткрывать

85м в сутки.

+\-

ага

меньше

ночью все же есть спад

был

это было моим кошмаром весь 2014

одна нода или сколько ?

и диски какие рейд 10 какой нибудь из обычных ? или ссд ?

5 нод

replication factor 3

так что никакого 10

и, в общем, все работало

только индекс раз в час новый появлялся

а шардов ?

256, кажется

не помню

оно у меня слегка с кассандрой в голове перепуталось

а документы по проекту уж на внешний винт уехали

вот вы этим мереньем мне сейчас всю малину обломали

а?

85м в сутки.

это же 1000 записей в секунду

ERROR: S client not available

да

и это мало. и для этого нужны много нод ?

да

вернее - нет

много нод нужно для надежности

для логов надо много нод ? или для чего то более ценного ?

у нас логи были ценным

а ок.

мы ес под аналитику мучаем... и тяжело.

под аналитику он никак, по-моему

тяжело потому что индексы нельзя как бы закрывать, и в постоянном скане несколько млрд объектов...

и в память это не вмещается никак. и постоянные скана дисков...

ну я больше 500М пока ни в какую базу не складывал ничего

500М в активе, конечно же

в закрытых индексах сколько угодно может лежать

кстате. вы же делали обзор ФС распредленной на одном из хайлоадов ?

*распределенных

да

что то изучали с тех времен ? )

может эксплуатировали.

та фс переехала на кассандру

и касссандру я теперь зову сосандрой

прям данные хроните там блобами ?

чанками по 64К

тоска. это она сама так ? как риак ?

как раз риака я не пробовал

почему-то

она mmap files использует

это, как выяснилось, означает 100% утилизации диска на чтение

риак бьет бинарные данные на куски по 4кб и распихивает.

даже при небольшом количестве запросов

а были тесты ceph/swift ?