может я не умею чего ?

может потюнить надо как?

@freeseacher в целом CH/TSDB из очень близкой истории

сугубо для меня - это разные tier.

первый - поштучная вставка и хранение слайса в памяти за последние Х секунд

после этого - некий persistency на разумное время - неделя

неделя ?

а после этого могильник, на постоянку, на века

а

трабла в том, что для этого сейчас надо ровно десяток инструментов

потом могильник ну ок

а в качестве могильника что?

https://github.com/akumuli/Akumuli <--- если здесь не писали про это

https://github.com/akumuli/Akumuli <--- если здесь не писали про это

было тут. да

@pavel_odintsov продолжая разговор. Да, я догадываюсь что встроенный в influxdb графитный инпут плох, проблема в том что чтобы сделать качественный нужно время.

которое не всегда есть

@pavel_odintsov у многих баз еще большие проблемы с чтением данных - оно очень медленное (у многих поверх кассандры например)

хорошо протестировать тоже довольно сложно

@pavel_odintsov кстати я если что веду список того что в принципе может быть использовано под хранение time-series данных - https://gist.github.com/Civil/6c43a1476cb44937afd56320578749e9

@Civiloid а напомни плиз ту презу где постоянно повторяли try to scale

@Civiloid а напомни плиз ту презу где постоянно повторяли try to scale

ээээ, не понимаю о чем речь )

ну там где графит скейлили

ну там где графит скейлили

а, на мою что ли?

и получили с 40к метрик 1мульт

а твоя да ?

могу напомнить где говорили developers developers developers developers developers

и получили с 40к метрик 1мульт

в смысле с 40к метрик 1 мульт?

ну проскейлили :)

может и не моя тогда

https://fosdem.org/2017/schedule/event/graphite_at_scale/ моя вот

нее. она постарше. года два наверное

https://fosdem.org/2017/schedule/event/graphite_at_scale/ моя вот

эту посмотрю да

тогда я не знаю о чем речь )

а вот нашел

https://www.slideshare.net/VsevolodPolyakov/rootconf-2016

try to tune

@Civiloid хороший список, спасибо :)

А чем бы вы мониториши домашние сервачки и прочее железо? Роутеры там?

А чем бы вы мониториши домашние сервачки и прочее железо? Роутеры там?

Я данные на свой демо-заббикс сливаю http://play.grafana-zabbix.org/dashboard/db/mikrotik-router

Но он просто уже поднят и настроен, так что не заморачивался особо

Заббикс меня расстраивает необходимостью отдельной субд (но хто фиг с ним, можно поднять сразу галера-кластер и сделать красиво) и особенно пхпшной веб-мордой

Не охота целый апач ещё содержать

У меня на nginx

А чем бы вы мониториши домашние сервачки и прочее железо? Роутеры там?

noc

СУБД на таких объемах в дефолтной конфигурации

Зато шаблоны готовые есть

а домашний сервачок таки prometheus

всё в коробке осталось добавить графану по вкусу

Т.е. прометнус годнота и стоит времени на изучение?

годнота да.

стоит ли времени хз.

Я пока на, кажется, сенсу замахнулся

сенса не про метрики.

она про ошибки же

была же буквально на днях статейка про графит в кубернетесе

ай не. туплю. sensu != sentry

вот там скейл так скейл

Мне кажется, для домашних серваков скейл не так актуален :)

Вру, я шинкен смотрел. Путаю их каждый раз

А чем бы вы мониториши домашние сервачки и прочее железо? Роутеры там?

я на NAS поставит netdata, очень доволен

https://www.slideshare.net/VsevolodPolyakov/rootconf-2016

я слайды видел, но жаль видео нету

Он только снимает метрики? Отображение/оповещение как?

Он только снимает метрики? Отображение/оповещение как?

он снимает и отображает и оповещать вроде умеет

сенсу может снимать данные если надо, может делать чеки на хостах или на какой-то бд, куда вы данные снимаете

Он только снимает метрики? Отображение/оповещение как?

netdata это такое "все в одном", очень простое но при этом для дома больше кажется и не надо

ERROR: S client not available

https://github.com/firehol/netdata

и при этом имеет пачку плагинов

Хмм, если графики и дашбоард кастомятся, то пожалуй попробую

Спасибо

Я его видел, но отпугнуло много лишнего

Хмм, если графики и дашбоард кастомятся, то пожалуй попробую

оно ограниченно кастомятся, но мне понравилось что там из коробки все что нужно дома (рейд, память, диск, цпу)

@Civiloid хороший список, спасибо :)

В принципе если есть желание, можно замутить нормальный список TSDB в гуглошитах, дополняя разными данными, но лучше чем у чуваков поддерживающих далматинер

https://fosdem.org/2017/schedule/event/graphite_at_scale/ моя вот

позырил. очень много железа.

просто ад сколько железа. 4 же датацентра да ?

130 теров это с учетом того что данные задублированны ?

просто ад сколько железа. 4 же датацентра да ?

2 датацентра, по 2 копии в каждом

ага. ну тоесть 4 пачки.

130 теров это с учетом того что данные задублированны ?

это деленое на 4

у нас 198 машин с 3.2ТБ в каждой

тваюмать.

занято конечно не 100%

особенно учитывая что это виспер (

198*3,2

эта многа данных.

реально объем полезных данных оценить сложно, алоцировано порядка 100-130ТБ сейчас (мы недавно хорошо так почистили всякий шлак)

эта многа данных.

там еще веселые цифры были, что это 3 млн Write IOPS (сумарно), что-то в духе 1ГБ в секунду на чтение в часы пик и еще много других бесполезных цифр

кардиналити 2,5мульта ?

не считал

у нас свои тэги на костылях еще есть

ну это понятно

я про варианты метрик

я на самом деле не считал и вообще довольно плохо представляю зачем большая часть данных

:)

да я понимаю

@pavel_odintsov кстати я если что веду список того что в принципе может быть использовано под хранение time-series данных - https://gist.github.com/Civil/6c43a1476cb44937afd56320578749e9

tgres

спасибо, дописал

А фб гориллу выложили же или мне приснилось?