Ilia
Denis
Daniel
Поисковик на node на бэкенде. О времена, о нравы.
вы читать не умеете? нода там - прокси к эластику. этио пофиг на чем делать
Anonymous
Тут прям анекдот о русских программистах :)
Denis
вы читать не умеете? нода там - прокси к эластику. этио пофиг на чем делать
а вы насколько плотно с эластиком работали чтобы его пиосквоиком называть ? )))
Daniel
Daniel
на построение обратных индексов
Denis
довольно плотно
расскажите, датасет в кол-ве нод\документов\ параметры репликации \ шардинга, версию ЕС. Юзкейс.
м ?
Daniel
Ilia
вы читать не умеете? нода там - прокси к эластику. этио пофиг на чем делать
Чо? Так тут эластик поисковиком называют?
Denis
ну просто сравнить ваш опыт хочу со своим и понять что я делаю не так, и возможнос спросить у вас )
Daniel
ну просто сравнить ваш опыт хочу со своим и понять что я делаю не так, и возможнос спросить у вас )
а что не так-то? обратные индексы строит? токенизаторы кастомные принимает? нагрузку по нодам раскидывает? что еще-то надо?
Denis
это на основании документации или с учетом всех НО, которые всплывают во время эксплуатации ?
Fedor
Не обращайте внимания
Fedor
#views Devops
Daniel
с учетом
Denis
ну тогда скажите, то что я попросил.
Daniel
чтобы что?
Denis
если у вас пара лямов документов и 3 ноды с ССД , то как бы наверно да работает
Denis
и 2 с половиной индекса
Daniel
не
Daniel
тут не количество индексов важно, а количество документов
Denis
как фильтр и классифкатор (фасеты там всякие) оно ок. но вот реально работа с индесами и поиск - ну не айс же.
Daniel
как раз на паре лямов обновление встает колом
Daniel
и надо открывать новый индекс
Denis
а еще принципиальное отсутсвие шедулинга в кааком либо виде внутри
Denis
нет возможности даже бегущие квери убить
Daniel
раз впилили update on request - значит и шедулинг появился
Daniel
но - это же все про другое
Denis
я про то что доступно пользователю конечному
Denis
а еще их позиция "филдсет ин мемори чтобы хоть как то работало" это вобще для каких людей ?
Daniel
для богатых
Daniel
не
Daniel
я довольно агрессивно выступил
Daniel
на самом деле - я хорошо знаю, что ES говно
Denis
я знаю одних людей у которых ЕС хорошо пашет. но у них ноды со 128гб и фьюжн ио в дисках.
Denis
и то сука течет и память в ОЛДе засирается в результате ГЦ постоянно коллектит мусор и рестратить приходится.
Daniel
но кейс “поисковик на ноде и es” - это не про ноду
Daniel
пробллема-то не в этом всем
Daniel
это все норм
Daniel
текущую память можно фиксить
Daniel
у него родовая травма есть
Denis
серьезно ?) а мы не знаааааали )
Daniel
он, сцуко, все время компактит свои листья
Daniel
и нагрузку на диски минимум удваивает
Daniel
а в нормальной ситуации - утраивает
Daniel
и вот это уже не победить
Denis
если вам не нужно тут же уметь искать данные после получения, можно просто реже флашить на диск их
Denis
я к тому что компенсировать можно.
Denis
просто есть мнение что ЕС удобен для аналитки
Daniel
мой обычный кейс - это ELK. ELK - это я хочу искать сразу по получении. но могу делать мелкие индексы.
Denis
и вот это как то очень сомнительно )
Denis
а активных доков сколько ?
Denis
вы же наверно закрываете индексы ?
Daniel
да
Daniel
конечно
Daniel
но это мы деньги экономим
Denis
точнее так. по какому количеству доков ищете обычно ?
Daniel
обычно ищем по текущим суткам
Daniel
примерно 1К строк в секунду
Daniel
поискать раньше - это надо индексы пооткрывать
Denis
85м в сутки.
Denis
+\-
Daniel
ага
Daniel
меньше
Daniel
ночью все же есть спад
Daniel
был
Daniel
это было моим кошмаром весь 2014
Denis
одна нода или сколько ?
Denis
и диски какие рейд 10 какой нибудь из обычных ? или ссд ?
Daniel
5 нод
Daniel
replication factor 3
Daniel
так что никакого 10
Daniel
и, в общем, все работало
Daniel
только индекс раз в час новый появлялся
Denis
а шардов ?