Мм.. Всмысле время сброса на диск и т.д.?

Ага, оно как раз влияет на ио

Ага, оно как раз влияет на ио

Понял, спасибо, пойду копать.

Мне кажется что пром это больше оперативный мониторинг все таки

Хотя посмотрим на новый сторадж

Понял, спасибо, пойду копать.

У графита I/O это баланс между cache size'ом и max updates per second

и стратегией тоже

У графита I/O это баланс между cache size'ом и max updates per second

Я их не менял, как стояло так и стоит..

Я их не менял, как стояло так и стоит..

А тут от демона зависит уже )

@xolseg iops'ы ограничены max writes per second'ом

но если ты сильно их порежешь, то тебе нужно cache подкручивать чтобы данные туда влезали

и, возможно, играться со стратегиями записи

Мне кажется что пром это больше оперативный мониторинг все таки

это да, но у него же есть remote_write, я так понимаю, для лонг терм хранения

я слышал в том числе истории о том как народ графит на SAN'ах запускал, выставляя кэш в 30-60ГБ и зарезая max writes per second до 1000 или около того

минус в том что в таком режиме оно примерно 20-30 минут данных в памяти держало

Но писало с малым ио

Интересное решение

но графит очень любит ссд

это факт

На ссд крутится как раз

MAX_CREATES_PER_MINUTE = inf - нашёл куда io убегает

MAX_CREATES_PER_MINUTE = inf - нашёл куда io убегает

Переходи сразу на го карбон

Да мне тут писали о нём уже, только смысл какой, я не понял.

накидал простого бота для прометеуса, чтобы в телегу слал алерты

https://github.com/count0ru/tg-alertbot

Да мне тут писали о нём уже, только смысл какой, я не понял.

Цпу не жрет

Можно фронт на го воткнуть

Цпу не жрет

Оно и так не особо кушает..

Ну у меня не будет 1-2кк метрик, так что, пока не страдаю этим.

я слышал в том числе истории о том как народ графит на SAN'ах запускал, выставляя кэш в 30-60ГБ и зарезая max writes per second до 1000 или около того

ваш стек не настолько жадный, если память не изменяет

человек, который писал оригинальный whisper - это страх и ужас

ваш стек не настолько жадный, если память не изменяет

Так можно в carbon-cache/go-carbon кэш подкрутить и хранить данные долго

тут именно о tradeoff'е - кэшировать на полчаса данные, но потом сбрасывать очень даже sequential

>я слышал в том числе истории о том как народ графит на SAN'ах запускал, выставляя кэш в 30-60ГБ и зарезая max writes per second до 1000 или около того У нас так и работает

ваш стек не настолько жадный, если память не изменяет

Нет никакой разницы

го-карбон можно в такой же режим настроить. У меня просто в питоновском карбоне была ручка что избирательно метрики флашить

а в го-карбоне пока нет

все забываю прикрутить

человек, который писал оригинальный whisper - это страх и ужас

Это еще почему?

но графит очень любит ссд

А SSD очень не любит графит, т.к. он очень много невыровненых данных пишет на диск.

А SSD очень не любит графит, т.к. он очень много невыровненых данных пишет на диск.

Да виспер очень так себе формат

Народ, графит/карбон это в основном легаси или стоит рассмотрения для новых проектов?

зависит от ресурсов и количества метрик

для одного сервера мониторинга и десятков тысяч в секунду это по прежнему лучший вариант

Ну должны быть какие то преимущества, что бы держать в рассмотрении. Простота?

да

и интеграция с графаной по-прежнему лучшая

для одного сервера мониторинга и десятков тысяч в секунду это по прежнему лучший вариант

да вот хохма в том, что для миллионов в секунду он тоже лучший

графит не легаси :)

а вот где-то между есть куча хороших альтернатив )

по крайнме мере в отличие от инфлакса он предсказуем и прост как пробка.

а недавно появился адаптер графита в кликхаус

графит не легаси :)

Извини, наброс получился. Не хотел, правда :)

где оно собирает мегабатчи и пушит их последовательно на диск)

а недавно появился адаптер графита в кликхаус

lomik таковой сделал уже полгода как )

красота же)

красота же)

я бы начал переводить текущие графитные сервера на КХ, если бы было решение позволяющее удалять куски данных

иначе кажется оно будет жить параллельно )

я тут в CH багу отрыл, я теперь в режиме "курю пока починят", но смотрится очень обещающе захерачить ваще все данные в CH :)

унификация, все дела :)

я тут в CH багу отрыл, я теперь в режиме "курю пока починят", но смотрится очень обещающе захерачить ваще все данные в CH :)

Про буферную таблицу? Уже в гит мастере починили )

кстати народ, а никто не знает есть ли или будет ли полезен бот телеграмный, который оповещения о новых релизах отправляет?

гитхабных проектов

про буферную, угу

Будет

кстати народ, а никто не знает есть ли или будет ли полезен бот телеграмный, который оповещения о новых релизах отправляет?

У Кирилла -гофера такой бот в его чате стоял. Он слал все подряд правда.

У Кирилла -гофера такой бот в его чате стоял. Он слал все подряд правда.

ну я для саморазвития дома пишу такой бот, чтобы его пригласил, подписался на репо + фильтр и он каждые полчаса слал бы апдейты, если есть

Так и было у них

ERROR: S client not available

Для народа был бы полезнее бот алертинга из мониторинга, я так думаю. Больше аудитория и меньше программистов.

Для народа был бы полезнее бот алертинга из мониторинга, я так думаю. Больше аудитория и меньше программистов.

мне такой не нужен :(

я не могу свой мониторинг завернуть в телеграм

точнее пока не нужен, как найду время на side project'ы - понадобится

У Кирилла -гофера такой бот в его чате стоял. Он слал все подряд правда.

Кирилла который пилит гудланг?

Кстати о легаси.

https://graphite.readthedocs.io/en/latest/releases/1_0_0.html

Запилил таки вчера 1.0.0 :)

А есть анонс? )

Я б его на русский перевел и в DevOpsNews запостил б

Кирилла который пилит гудланг?

Да, в их чатике этот бот и спамил :)

И я и я

Запилил таки вчера 1.0.0 :)

в анонсе на 0.9.15 дата в формате dd/mm/yyyy, в 1.0 - mm/dd/yyyy

Нед

https://graphite.readthedocs.io/en/latest/releases/0_9_15.html

11/27/2015

А 1.0: 04/12/2017

а тьфу

да, ступил, сорри

Нет анонса пока. Джейсон спит. Я могу пока в твиттер запилить. iksaif запилил тред на HN, но с рекламой своего biggraphite

https://news.ycombinator.com/item?id=14095347

Сегодня был выложен Graphite 1.0.0. С момента последнего minor релиза прошло более полутора лет разработки. Главное в релизе: 1. Добавлено 30 новых математических функций 2. Новые форматы отображения данных (pdf, dygraph, rickshaw) 3. Новые параметры (pieLablels, hideXAxis, и т.п.) 4. Огромное количество исправленных ошибок 5. Переписан механизм кластеризации - теперь он использует пул воркеров и соединений 6. graphite-web поддерживает плагины для других хранилищ 7. carbon теперь поддерживает плагины для протоколов и хэширования. Полный список нововведений и исправлений можно прочитать в документации: https://graphite.readthedocs.io/en/latest/releases/1_0_0.html

норм?

Более чем

carbonlink больше не шатали? всмысле в go-carbon ничего под 1.0.0 подпиливать не нужно?

Вроде нет. iksaif что впилил под себя, но вроде ничего не ломал

Я планирую проверить в самое ближайшее время - мож сегодня

повторю вопрос в прайм тайм. А кто как из прома метрики в лонгтерм сторейдж складывает? какой сторейдж, плюсы минусы

*Минутка саморекламы* Сегодня вечером я буду рассказывать про то как мы готовим Graphite в Booking.com на посиделках hangops_ru. Посиделки состоятся в 9 вечера по московскому времени, участие бесплатное, все происходит в zoom конференции через интернет. Каверзные вопросы приветствуются! Ссылка на событие в facebook: https://www.facebook.com/events/411422042554414/?ti=cl #graphite

Ребят а это кто?

А ёпт, всё, вопрос снят.

Эт я