В инфлюксе что плохо, они вроде так и не запилили top n series с группировкой по тегам. Так была бы убер штука для хранения netflow

top n они в kapacitor сделали

не охота зоопарк с панельками разводить, я почти к графане принаровился

угу

она неплоха как морда

сейчас посмотрим что они там сделали с алармами

против clickhouse я ничего не умею, я его не видел

я видел они запили еще один адовый dsl

не возжелай DSL ближнего своего

У Яндекса есть милая привычка

через пол-года, после того, как я устраиваюсь на работу, звонят их HR и начинают зазывать

на 3-й раз они удивились, почему я заржал, после того, как они представились

и тоже подивились такой закономерности

ты нащупал баг в их алгоритме поиска)

я далек от их поиска :)

гугл зазывает ежеквартально :)

не возжелай DSL ближнего своего

я про grafana

а

а нужны ли они там?

мне на инфрастурктуре нужны. нам на инсталяции нет.

https://github.com/grafana/grafana/issues/2209

эпический тред

f

а

ну да

К вопросу о хранении netflow SELECT IPv4NumToString(dstaddr), count() AS c FROM natdata_2016_06 WHERE (evt = 1) AND (dstport = 53) AND (proto = 17) GROUP BY dstaddr ORDER BY c DESC LIMIT 3 ┌─IPv4NumToString(dstaddr)─┬────────c─┐ │ 8.8.8.8 │ 10656892 │ │ 8.8.4.4 │ 1904493 │ │ 77.88.8.88 │ 1849206 │ └──────────────────────────┴──────────┘ 3 rows in set. Elapsed: 346.824 sec. Processed 3.89 billion rows, 31.13 GB (11.22 million rows/s., 89.77 MB/s.)

топ3 внешних DNS

@dvolodin вот кстати на счет netflow тоже можно подумать

а вот из лога - 2016.06.20 15:12:45.382 [ 3 ] <Information> executeQuery: Read 3891759666 rows, 29.00 GiB in 346.706 sec., 11224966 rows/sec., 85.64 MiB/sec. 2016.06.20 15:12:45.428 [ 3 ] <Debug> MemoryTracker: Peak memory usage (for query): 37.58 MiB. 2016.06.20 15:12:45.428 [ 3 ] <Debug> MemoryTracker: Peak memory usage (for user): 37.58 MiB. 2016.06.20 15:12:45.428 [ 3 ] <Debug> MemoryTracker: Peak memory usage (total): 37.58 MiB. 2016.06.20 15:12:45.428 [ 3 ] <Information> TCPHandler: Processed in 346.762 sec.

К вопросу о хранении netflow SELECT IPv4NumToString(dstaddr), count() AS c FROM natdata_2016_06 WHERE (evt = 1) AND (dstport = 53) AND (proto = 17) GROUP BY dstaddr ORDER BY c DESC LIMIT 3 ┌─IPv4NumToString(dstaddr)─┬────────c─┐ │ 8.8.8.8 │ 10656892 │ │ 8.8.4.4 │ 1904493 │ │ 77.88.8.88 │ 1849206 │ └──────────────────────────┴──────────┘ 3 rows in set. Elapsed: 346.824 sec. Processed 3.89 billion rows, 31.13 GB (11.22 million rows/s., 89.77 MB/s.)

ага.

а добваь где нить sort

там есть сорт

в запросе нету :)

ORDER BY c DESC

нее

это фигня :)

надо что бы sort был по сырым

:)

ну предложи свой запрос структура базы там простая как палка: evtDate Date, evt UInt8, time DateTime, srcaddr UInt32, nataddr UInt32, dstaddr UInt32, srcport UInt16, natport UInt16, dstport UInt16, proto UInt8

evt - тип события 1 start 2stop. остальное все очевидно

эээ

погодите

откуда в TSDB структура данных возникла?

это не tsdb

Дим почитай статью

Это ClickHouse - там вполне себе есть структуры

ты будешь неприятно удивлен. дважды.

мне нужен бензобак на 60 литров. А вы мне проституток с массажами предлагаете

где логика?

а на эти 60 литров нужно уехать на 1000 километров

Тебе шашечки или ехать?

мне ехать, расстояние известно

как мне в этом процессе поможет караоке, схемы базы и прочее?

и какие у меня шансы доехать со всеми этими барышнями туда, куда нужно

а не до ближайшего КВД

надо бы позвать езомби

А хз. На netflow оно едет гораздо дальше и быстрее чем оригинальный nfcap который под это заточен

так я не спорю

я про свое

Дим, пока рано. откроют код для поддержки graphite посмотрим .

Угу

хотя я всерьез думаю - не попробовать ли складывать туда syslog

К вопросу о хранении netflow SELECT IPv4NumToString(dstaddr), count() AS c FROM natdata_2016_06 WHERE (evt = 1) AND (dstport = 53) AND (proto = 17) GROUP BY dstaddr ORDER BY c DESC LIMIT 3 ┌─IPv4NumToString(dstaddr)─┬────────c─┐ │ 8.8.8.8 │ 10656892 │ │ 8.8.4.4 │ 1904493 │ │ 77.88.8.88 │ 1849206 │ └──────────────────────────┴──────────┘ 3 rows in set. Elapsed: 346.824 sec. Processed 3.89 billion rows, 31.13 GB (11.22 million rows/s., 89.77 MB/s.)

Мускуль?

clickHouse

мускуль на таких объемах - чур меня!

@dvolodin нам нужна тушенка

Либо мерджите реквесты

https://github.com/grafana/grafana/issues/2209

в графане строю запрос, мониторю нагивосом

clickHouse

хммм, нужно будет тестануть

я тестил. см выше. 10кратная экономия места по сравнению с nfcap

возможности аналитики - просто несравнимы

31 гиг нетфлова это за какое время? и вроде получается 8 байт на строку? Что в нее входит?

841гиг нетфлова а не 31 :)

>Processed 3.89 billion rows, 31.13 GB (11.22 million rows/s., 89.77 MB/s.) ввело в заблуждение

исходная выборка - за одни сутки. нарезка 10-минутными интервалами

Фак ми

@freeseacher разнес я ноды более гранулярно по сервисам, нагрузка даже меньше стала

Првиет Всем! Поставил башню и ноду по инструкции, все вроде удачно, делаю деплой на ноду и .... TASK [node : Pull NOC] ********************************************************* 2016-06-20 20:05:31,371 [tower.api.deploy] PROGRESS: fatal: [noc-node1]: FAILED! => {"changed": false, "failed": true, "msg": "abort: HTTP Error 404: Not Found\n"} 2016-06-20 20:05:31,373 [tower.api.deploy] PROGRESS:

а ну да settings->save ))

:)

Только не говорите что это норм

Каждая ошибка которую видит юзер это косяк

и заметь ни кто с тобой не спорит.

Господа а какого цвета события ?

алармы понятное дело красные

а события ?

видимо белые.

ну почему же

синие ?

восторженно-розовые, например

Ну ка

синие ?

Смотря какие, если в целом положительные или нейтральные то неплохо подошел бы светло-зеленый. Получился бы такой кривоватый светофор.

Добрый вечер. Прошу помощи зала. Вожусь с миграцией с девелоп на микросервисы. Через CVS залилась VC. Теперь пытаюсь мигрировать ip.prefixaccess. Но записи в этой таблице привязаны к VC ID, а после заливки VC, ID уже поменялся. И не понимаю как теперь связать новые VC ID и старые ip.prefixaccess. или вобще это не так надо было делать?

и заметь ни кто с тобой не спорит.

Я хочу заметить что так же это никто и не исправляет

Вот поэтому надо мигрировать базу

Да не вопрос. Но как? Я понимаю как это через CVS делать. А все базой как - я не понимаю. Положить копии файлов старой базы и при описании ноды показать каталоги где старая база лежит? А потом что? На какой этапе и как объяснить при деплое или апдейте что это старая база и ее надо перешерстить?

Да не вопрос. Но как? Я понимаю как это через CVS делать. А все базой как - я не понимаю. Положить копии файлов старой базы и при описании ноды показать каталоги где старая база лежит? А потом что? На какой этапе и как объяснить при деплое или апдейте что это старая база и ее надо перешерстить?

В поиске есть ответ на вопрос