там с трио около 70G на слот

ок, спасибо

там с трио около 70G на слот

что-то маловато

если не ошибаюсь MPC 16x10GE без переподписки работает

с чего бы это

там еще фабрики разные были

никогда не думал что буду использовать tor что бы заходить на сайты с которыми у моего провайдера беда. ан нет. работает :)

и опять я с глупыми вопросами... а в микросервисах как дубажить скрипты? ./noc debug-script выдает Unknown command: 'debug-script' Type 'manage.py help' for usage.

./noc script —debug ....

спасибо

@freeseacher привет, как в телеграфе очистить ненужные данные из бд? Я переименовал некоторые ноды и они в метриках все равно видны, мешает

это лучше в доку.

ок

зная что influx append only db в которую не так давно впилили возможность удалять и зная стабильность influx я предпочту немного (3 месяца) понаблюдать старые даныне.. :)

Принято, спасибо :)

впрочем 3 месяца это мой локальный тюнинг

у тя скорее всего retention policy не ограничена

кстати, а на clickHouse применительно к хранению тех же метрик - не смотрели?

надо что бы кто то сделал пилот :)

надо что бы кто то сделал пилот :)

что ты имеешь в виду?

я про клик хаус

я пробовал туда NEL-овские логи совать. мне понравилось

поделись опытом ?

что такое NEL ?

841G nfcap-файлов, дали базу в 81G

NEL - Nat Event Log

nel - netflow ?

netflow но со слегка другим содержимым

кстати, а на clickHouse применительно к хранению тех же метрик - не смотрели?

пока графана не научится доставать их от туда есть ди смысл смотреть :) ?

у яндекса есть модуль для графита, но вроде пока не опубликован

почасовую статистику числа стартов-стопов сессий оно считает вот как-то так: 24 rows in set. Elapsed: 50.203 sec. Processed 7.79 billion rows, 38.93 GB (155.11 million rows/s., 775.53 MB/s.)

сколько хостов ?

каких именно хостов?

https://habrahabr.ru/company/yandex/blog/303282/#comment_9659682 вот собстно про графит

которые обработкой занимаеются базы

один

775.53 MB/s

ох

это локально

ssd ?

шпиндили ?

виртуалка)

без ссд

памяти сколько ?

2 гига вроде

и одно ядро пойди :) ?

она игрушечная - чиста на потестить поставили

угу

при этом база 81 гиг

и скорость обработки 775.53 MB/s

при этом 7.79 миллиарда записей

при том исходных nfcap было 841гиг

а сколько времени оно вливалось ?

11 часов 18 минут. Суточный срез

немножка фантастически звучит все это

нас внутри ClickHouse используется в качестве бэкенда к Graphite. Для интеграции требуется отдельный код (патч для Graphite для чтения данных из ClickHouse; сервер для записи данных в ClickHouse пачками; для поиска имён метрик по шаблонам), который не выложен. Когда и как его выкладывать, будут решать авторы кода и их руководители, поэтому я пока ничего сказать не могу. В самом ClickHouse есть domain-specific функциональность для поддержки Graphite — это GraphiteMergeTree. Посмотреть, что она делает, можно в исходниках. Наверное, пока не выложена вся остальная «обвязка» над Graphite, самому пользоваться этим не стоит.

нас внутри ClickHouse используется в качестве бэкенда к Graphite. Для интеграции требуется отдельный код (патч для Graphite для чтения данных из ClickHouse; сервер для записи данных в ClickHouse пачками; для поиска имён метрик по шаблонам), который не выложен. Когда и как его выкладывать, будут решать авторы кода и их руководители, поэтому я пока ничего сказать не могу. В самом ClickHouse есть domain-specific функциональность для поддержки Graphite — это GraphiteMergeTree. Посмотреть, что она делает, можно в исходниках. Наверное, пока не выложена вся остальная «обвязка» над Graphite, самому пользоваться этим не стоит.

Эй пес мы узнали что ты любишь смотреть метрики

ы ?

ну как-то могли бы и что-то более нативное придумать, чем писать еще обвязку к графиту

а как надо ?

мне теги инфлюкса и прометея нравятся больше

а как надо ?

Сразу в кликхаус, не?

а доставать-то оттуда как

Виктор ты вот сейчас о чем ?

а доставать-то оттуда как

Там нет API для доставания? Я просто не совсем в теме

это цитата с хабра.

Там http-шный интерфейс к базе. Штатно

и в самом яндексе сделали укладку в графит

ну вот я взял графану, зацепил за базу и делаю, что хочу

я все понял.жпг

собственно, что меня интересует в TSDB

1. Интеграция с графаной

2. Плотность укладки в базу

3. IOPS

4. RAM

5. CPU

инфлюкс напрягает 2 последними

RAM на вставке там O(1). У меня примерно 150М кушало

писать, скажем, хочу 20M метрик в минуту

influx сейчас напрягает тем, что когда делает merge log'а - умудряется выжрать просто неприличное количество ядер надолго

вот собственно лог заливки - 09:57:41 File: 6,3G Records processed: 58431363 10:02:31 File: 5,8G Records processed: 53583174 10:06:55 File: 5,3G Records processed: 48750024 10:10:56 File: 4,9G Records processed: 45169326 10:14:40 File: 4,5G Records processed: 42070542 10:18:07 File: 4,3G Records processed: 39500217 10:21:24 File: 4,0G Records processed: 36905289 10:24:24 File: 3,7G Records processed: 34483833 10:27:17 File: 3,4G Records processed: 31502244 10:29:52 File: 3,2G Records processed: 29734662 10:32:19 File: 1,5G Records processed: 13892970

а при перезапуске при накате WAL хавает невменяемые объемы памяти просто

заливалось 10 столбцов TabSeparated

ну и на закуску пп. 6 -- хочу кластеризацию

кластеризация и мастер-мастер репликация там в коробке

а так -- чем хорош NOC

делаешь свой аналог pmwriter, цепляешь за NSQ и все

пишешь и в influx, и к себе

Самое сложное там - выбрать правильные engine для таблицы :)

а вот это очень плохо

engine должен быть один

собственно это то, что мне нравится в influx

Это не плохо и не хорошо, это эффективно

ребята пометались и сделали таки нормальный движок

его бы в либу отдельную

выкинуть нафиг этот influxql

и прилепить что-то вроде монговских json'ов

для запросов

у ch для запросов - SQL. очень своеобразный конечно, но SQL

вот нафиг он не нужен SQL