потому что он хорошо для хранения unstructured data

только метрики это structured

одно другому не мешает, можешь в нем и structured данные хранить

вопрос только в том, какого размера будет индекс

А clickhouse уже упоминали?)

в плане чтения он будет хорош

А clickhouse уже упоминали?)

это от яндекса который?

это от яндекса который?

да

это от яндекса который?

Он. У нас по тестам дергает постгрю примерно в 100 раз.

в плане чтения он будет хорош

ок, покажи графики и измерения

Он. У нас по тестам дергает постгрю примерно в 100 раз.

на каком кеисе

тогда поговорим )

а что за тесты? продукты то разные

на каком кеисе

Аналитика. Взять большой кусок данных, обработать, выдать.

Аналитика. Взять большой кусок данных, обработать, выдать.

какого рода аналитика?

какого рода аналитика?

А какого бывает?)))

А какого бывает?)))

посчитать количество запятых)

А какого бывает?)))

в аналитике можно юзать full text search и какие-нибудь стремные функции

посчитать количество запятых)

Нене, вычисления

постгрес может еще лочить row, не стоит забывать об этом

постгрес может еще лочить row, не стоит забывать об этом

Их не совсем справедливо сравнивать. Но мы сравнили применительно к нашему кейсу.

Я просто че его вспомнил. Он доя мониторинговых данных более чем ок

Такое, быстрое кладбище данных

судя по всему даже некоторые юзают

https://www.elastic.co/blog/elasticsearch-as-a-time-series-data-store

судя по всему даже некоторые юзают

некоторые и на джаваскрипте нейросетки пишут

некоторые и на джаваскрипте нейросетки пишут

я понял уже твое мнение

я понял уже твое мнение

ага, “инструмент берем под задачу” :)

я не вижу проблем в использовании elasticsearch для хранения метрик

молодец

вон у типа в статье он быстрее InfluxDB работал

influxdb - кусок говна, который на рынке занял нишу только потому, что безрыбье

быть быстрее него - это, прямо скажем, так себе достижение

тем не менее, использовать можно

как будет свободный сервер даже проверим

можно, да, многие используют

но на prometheus тоже стоит посмотреть в целом

я не топлю за него, но по первому взгляду он мне понравился

первый взгляд? ты его не использовал?

а у нас он в проде

я его использовал, но не на проде

так, играл с ним на тестовых проектах

но под довольно большой нагрузкой

но под довольно большой нагрузкой

На сколько большой?

На сколько большой?

около 40к записей в секунду

а нагрузка при выборке?

выборку не мерял, я просто хотел его к графане подцепить и посмотреть, получится ли реалтаймовый график строить с обновлением раз в секунду

получилось

Проблемы то начинаются когда 30 человек по графане шарахаются, и выбирают всякого разного

около 40к записей в секунду

А что генерит столько ?

А что генерит столько ?

у нас логи от кастомеров

Эм. Логи?

бинарный дамп трафика с пакетами в реалтайме

одна запись - один пакет

Мне кажется или бд не лучшее место для этого?)))

Может он художник - он так видит

если хранить ограниченную по времени историю метрик - вполне себе место

например, несколько часов

А что вы с этими пакетами делаете?

аналитику строим по ним, они из кафки приходят

А какого рода аналитику? Что на выходе?

йо, в 2к17 slony не используют же?)

А какого рода аналитику? Что на выходе?

если совсем конкретно - это примерно 30% мирового DNS-трафика, который к нам стримится с инсталляций нашего DNS-сервера у магистральных интернет-провайдеров

то есть, аналитика - это секьюрити и это детектирование аномалий

Ааааа, понял.

а аномалии чем ищете?

ERROR: S client not available

дата саентисты пишут разные модельки, метрики считают

кластеризация там используется, например

А что ща контора? Не Qrator ли?

нет, Nominum

А на чем пишут? На чем гоняете?

C++, Python, Scala, Java

все подряд, много разных проектов

Spark и еже с ним?)

пока что нет, но хотим попробовать spark streaming, да

а может даже и flink

А инфлакс гоняли под такими данными?

чем не устроил?

инфлакс не масштабируется от слова вообще, это просто писалка, которая толком ничего не умеет

инфлакс не масштабируется от слова вообще, это просто писалка, которая толком ничего не умеет

Там кластер за бабло

ну не знаю, я не увидел там ничего такого, что могло бы заставить нас его купить

ну, а чего ей уметь с верх того что она может?

И чего умеет prometheus

выборки делать нормально, данные чинить руками при необходимости

я знаю, что influxdb умеет в урезанный SQL, но там все равно с этим проблемы были какие-то у аналитиков

вон у типа в статье он быстрее InfluxDB работал

Во первых статья 2015 года, с тех пор даже инфлюкс стал лучше. Во вторых это пример хорошей PR статьи в общем и целом

Там кластер за бабло

У чуваков проблемы с базовым функционалом (посмотри на жалобы на время рестарта сервера, например), им нет причин доверять бабло за кластер

плюс как бы кучи проблем в прошлом говорят что пусть поварится еще годика два, может станет лучше

@krasina15 я правда его тыкал последний раз во времена 0.13, но не в моих принципах слишком быстро перетестировать что-то (учитывая жалобы на то же время запуска, например), может к концу лета опять руки дойдут. Но для меня в нем плохо отсутствие кластеризации и то что те версии что я тыкал (0.7, 0.8, 0.13) работали просто отвратительно. Начиная от потерь данных, заканчивая скоростью записи и чтения.

Есть у кого гугл пикскель? Какой там мечсенжер по умолчанию?

hangout небось

hangout небось

Они его решили выпилить

Пидоры

Я не понимаю что можно юзать вместо него

так и нафиг он нужен

Одно говно

так и нафиг он нужен

А какие альтернативы?

телеграм и смски