да, 22-96 b/p

22 с оптимизацией. в Whisper 12, так что не так плохо имх

https://www.elastic.co/blog/elasticsearch-as-a-time-series-data-store

Я когда-то давно открестился от идеи ES как TS, но сейчас пересматриваю...

22 с оптимизацией. в Whisper 12, так что не так плохо имх

После того как compaction пройдет

Как я понимаю

Да, для хранения. То есть живые данные будут в 90х. Вроде так

Ну типа 1-2 дня данных. Хз, как по мне, не так страшно звучит) Может я чего не понимаю.

Зато кластеринг прекрасный, да и стабильный софт.

Но я больше для ценных данных рассматриваю, не для мониторинга

У Владимира очень много точек, поэтому для него важно. Да и в целом мониторинг подразумевает в основном большое количество точек. Разница даже в два раза может сыграть.

У Владимира очень много точек, поэтому для него важно. Да и в целом мониторинг подразумевает в основном большое количество точек. Разница даже в два раза может сыграть.

Разница в два раза сделает инфру в два раза

Но тут вопрос уже что важнее, риск потерять данные либо место на диске (и чутка RAM)

Еще Write latency меня интересует, но я думаю вплне нормально можно оптимизировать шардинг на ssd (а то и raid1/10 ssd)

Короче пока меня Elastic заинтересовал для небольшого POC

(Influx прошел POC, но другую часть истории вы и так все сами знаете))

а в заббиксе можно сказать, что группа ушла в maintenance? простым методом?

а в заббиксе можно сказать, что группа ушла в maintenance? простым методом?

Есть отдельные каналы про заббикс

Есть отдельные каналы про заббикс

?

@Civiloid что скажешь по поводу эластика для важных ts?

@Civiloid что скажешь по поводу эластика для важных ts?

ничего )

у меня не было никогда важных TS :)

у меня не было никогда важных TS :)

мой внутренний дух разрушения говорит, что в TS можно хранить клиентские деньги

этакий блокчейн для бедных

этакий блокчейн для бедных

а в чем именно chain?)

а в чем именно chain?)

баланс вычитаем по цепочки движений средств :) в TS пишем только изменения баланса

баланс вычитаем по цепочки движений средств :) в TS пишем только изменения баланса

ну все равно потеря ТС не будет явной

просто резултьтат станет дургим

Какой у тебя дух клёвый

Какой у тебя дух клёвый

да. Я подкармливаю душами пхп-шников и индусских программистов

мой внутренний дух разрушения говорит, что в TS можно хранить клиентские деньги

так смотря какую)

@Civiloid что скажешь по поводу эластика для важных ts?

Эластик не предназначен для хранения данных. Это индекс. При падении индекса или ошибке при кго создания нужны сырые данные для переиндексации

Эластик не предназначен для хранения данных. Это индекс. При падении индекса или ошибке при кго создания нужны сырые данные для переиндексации

А При падении базы данных нужны сами данные)

Не убедили

Не убедили

У меня небыло задачи вас в чем то убеждать.

Не понимаю почему никто не хвалит sqlite на серию

Еластик хвалят а скулайт нет

Несправедливо

@freeseacher я предлагаю писать сразу в json на диск в тексте

отдавать же в json?

Ты про монгу?

У меня небыло задачи вас в чем то убеждать.

Ну тогда в чем смысл высказывания, да еще и ответом?

Ты про монгу?

можно и кауч

можно и кауч

кауч нинада

Эластик масштабируется горизонтально хорошо, мне это нравится

Прямо "почти без гемора". И индексы хорошо по времени раскладывать.

кауч нинада

зря. Он классный. и не падает

и масштабируется тоже легко

Эластик масштабируется горизонтально хорошо, мне это нравится

Поток какой? В секунду

и масштабируется тоже легко

Это да.

Эластик не предназначен для хранения данных. Это индекс. При падении индекса или ошибке при кго создания нужны сырые данные для переиндексации

почему? Мы используем эластик для хранения данных и нам вполне нравится

у эластика тяжеловатая запись, это факт. И он очень в своем мире живет, это тоже факт. Но в целом вполне хорошая штука. Уж точно лучше монго

почему? Мы используем эластик для хранения данных и нам вполне нравится

есть минус - там здоровая задержка, в момент которой данные на кластере не консистентны

если будешь читать около времени записи - получишь шлам

(потому кауч и локи)

из эластика сырые данные вообще лучше не читать. Он треснет. А вот делать всякие статистические выборки - сказка

Поток какой? В секунду

Сейчас теориетический, но вообще... ищу решение для высоких объемов. А, юзаю для ELK, но там другя тма

зря. Он классный. и не падает

я занимался проверкой внутренних инструкций одной конторы (не РФ), которые кауч в продакшн всунули. да так всунули, что высунуть не могут. там в инструкции каждый чих описан, и то - они пришли потому, что данные заметное время были недоступны.

я занимался проверкой внутренних инструкций одной конторы (не РФ), которые кауч в продакшн всунули. да так всунули, что высунуть не могут. там в инструкции каждый чих описан, и то - они пришли потому, что данные заметное время были недоступны.

он у меня в проде

под недурной такой нагрузкой

у эластика тяжеловатая запись, это факт. И он очень в своем мире живет, это тоже факт. Но в целом вполне хорошая штука. Уж точно лучше монго

Тяжелая запись эластика решается (так же как и монга). Благо шардить можно гибко, чего не скажешь о монге.

под недурной такой нагрузкой

"малявата будет!" там потолще. один из..... как бы сказать.... в общем, один из бизнесов с миллионным числом клиентов.

ERROR: S client not available

"малявата будет!" там потолще. один из..... как бы сказать.... в общем, один из бизнесов с миллионным числом клиентов.

милион в онлайне единовременно?

и сколько там было tps на кластер?

хуже

там без цифр конкретных - нам их не дали, типа коммерческая тайна ?)))) там просто плак-плак-плак. а хранится начисления, списания, вот это вот всё.

там без цифр конкретных - нам их не дали, типа коммерческая тайна ?)))) там просто плак-плак-плак. а хранится начисления, списания, вот это вот всё.

Ктож транзанкции в NoSQL хранит?

Ктож транзанкции в NoSQL хранит?

а почему нет?

Ктож транзанкции в NoSQL хранит?

ну вот они и хранили, потому и плакали

ну вот храню и не плачу

(вечер начиает быть интересным)

ну вот храню и не плачу

Ну значит так они нужны)

+- пару лямов там...

?

+- пару лямов там...

а если техническими терминами ??

а если техническими терминами ??

Ну, в смысле из-за не ACID-compliant природы можно реально потерять в небытие те самые транзакции. А если их много и общий объем оборота исчисляется в миллиардах, то вполне объем потерянных транзакций (начислений, списаний итд) может выйти на миллион (чего-то)

Ну, в смысле из-за не ACID-compliant природы можно реально потерять в небытие те самые транзакции. А если их много и общий объем оборота исчисляется в миллиардах, то вполне объем потерянных транзакций (начислений, списаний итд) может выйти на миллион (чего-то)

это если жить в 2002-м году, где еще и половина бизнес логики живет в БД

А если софт нормально написан - то и базу он пишет без потерь

хоть sql хоть в файлики

это если жить в 2002-м году, где еще и половина бизнес логики живет в БД

Да при чем тут это? Просто запись "недолетела".

это если жить в 2002-м году, где еще и половина бизнес логики живет в БД

в 2017 достаточно много логики может жить в БД

в 2017 достаточно много логики может жить в БД

это я видел только у старых орклистов.

из эластика сырые данные вообще лучше не читать. Он треснет. А вот делать всякие статистические выборки - сказка

При условии, что при индексации типы полей были указаны правильно

А если софт нормально написан - то и базу он пишет без потерь

бгг

это если жить в 2002-м году, где еще и половина бизнес логики живет в БД

в 2017 ведь еще те же самые железки. Память битая, кабель мыши погрызли итд

в 2017 ведь еще те же самые железки. Память битая, кабель мыши погрызли итд

так и чем тебя спасет от битой памяти транзакицонный sql?

мемчек перед записью сделает?)

в 2017 ведь еще те же самые железки. Память битая, кабель мыши погрызли итд

он думает что в облаке что-то другое. и в серверлесс тоже ;)

Облако то тут причем?

а битая память и сиквел?

К сообщению оратора выше)

так и чем тебя спасет от битой памяти транзакицонный sql?

Ну как минимум поможет откатить на более корректную транзакцию

Ну как минимум поможет откатить на более корректную транзакцию

Вот ждал