
Ivan
14.12.2017
13:24:23
в nsq

Wingman
14.12.2017
13:25:42
это разве бд?

Ivan
14.12.2017
13:26:01
это типа такой трубы
одни туда заливают, а другие забирают

Google

Wingman
14.12.2017
13:27:02
блин, попутно ещё чето
==> /var/log/noc/ping-default-01.log <==
2017-12-14 16:02:49,967 [noc.core.dcs.base] All slots a busy, waiting
2017-12-14 16:02:49,967 [noc.core.dcs.base] Attempting to get slot
это слоты чего забились?)

Ivan
14.12.2017
13:28:44
я не знаю зачем, но в поиске по чату ты найдёшь как

Gitlab
14.12.2017
13:30:55

Ivan
14.12.2017
13:34:19
а почему в логе login я вижу:
[auth] Adding user st009217 to group support_template
[auth] Removing user st009217 from group support_template
[auth] Authenticated as st009217. Groups: support_template, support_chem
В итоге группы на юзере фактически и нет!

Dmitry
14.12.2017
13:35:33
попробуй дебаг там добавить вокруг adding/removing

Ivan
14.12.2017
13:35:53
в каком файлике?
опять типа race_cond?

Gitlab
14.12.2017
13:39:58
savichev opened merge request at / collections:
Master
savichev opened merge request at / collections:
Master

Google

Wingman
14.12.2017
13:49:24
да, похоже таки не успевают разгребать класиферы
пока накидали эвентов в бд до 16:02 )
а скажите: ищут MO по эвентам тоже класиферы, или syslog/trap-коллекторы (или ещё что) до них?

E_zombie
14.12.2017
13:50:55
Есть админская морда к nsq
Там очередь видно

Wingman
14.12.2017
13:51:11
да я уже почти догадался :)))
крч, ноде нока дал ип старого мониторинга

E_zombie
14.12.2017
13:51:25
Красавчег

Wingman
14.12.2017
13:51:29
ноооооо, на него натравлены трапы со всех свитчей
(которых ещё нет в ноке, но тем не менее)
будем подбирать число класиферов под такй поток)

Ivan
14.12.2017
13:54:57

Wingman
14.12.2017
13:55:08
ну хотя
не ы

Ivan
14.12.2017
13:55:18

E_zombie
14.12.2017
13:55:21
Просто проигнорит

Wingman
14.12.2017
13:55:23
а все равно медленно разгребают
events.default ] depth: 0 be-depth: 0 msgs: 245

E_zombie
14.12.2017
13:55:52
Терпение друг

Wingman
14.12.2017
13:55:52
гребут по 1.5-2 эвента в сек

Google

Wingman
14.12.2017
13:55:55
как-то грустно
Терпение друг
да сейчас-то я потерплю, но не получится ли, что при каком-нибудь треше в сети я узнаю о происходящем через часок, когда очереди разгребутся? :)
покажите плз логи класиферов, сколько они ev/sec у вас гребут?)

Ivan
14.12.2017
13:58:21
у меня их 8, в среднем 2 в сек.
но у меня нет АСА

Wingman
14.12.2017
13:58:31
аса?

Ivan
14.12.2017
13:58:33
придёт @somovis , расскажет

Ilya
14.12.2017
13:58:53
ЭТО БОЛЬ
Сколько железа?
@wingz

Wingman
14.12.2017
13:59:09
ну трапы тыщ с 5 летят

Ilya
14.12.2017
13:59:10
Сколько евентов в сек валит на нок?
Ну епт

Wingman
14.12.2017
13:59:19
~1.5

Ilya
14.12.2017
13:59:21
делай для начала 100 классификаторов
инстансов

Wingman
14.12.2017
13:59:42
сто
ебать)
для начала
ыы

Google

Wingman
14.12.2017
14:00:05
у меня пока одна "тяжелая" нода, это ничего? :))

Ilya
14.12.2017
14:00:17
На

Ivan
14.12.2017
14:00:32
у него нет инфлюкса

Ilya
14.12.2017
14:00:35

Wingman
14.12.2017
14:00:41
ну цп есть

Ilya
14.12.2017
14:00:54
Смотри метрики, тестируй

Алексей
14.12.2017
14:00:56
100 делать не надо.

Ilya
14.12.2017
14:00:59
после деплоя надо примерно 10-15 минут

Алексей
14.12.2017
14:01:22
на переключение контекста нода просто затрахается

Wingman
14.12.2017
14:01:23
#grafana #influx #мониторинг
а сколько надо?

Ilya
14.12.2017
14:01:33
Ну ладно

Wingman
14.12.2017
14:01:33
:)

Ilya
14.12.2017
14:01:35
32 давай

Wingman
14.12.2017
14:01:48
и инфлюкс для самомониторинга, да?
:)

Ivan
14.12.2017
14:01:50
прометеус попрежнему не очень

Ilya
14.12.2017
14:01:55
У меня 500-1500 евентов в 10 сек

Алексей
14.12.2017
14:01:56
я бы начал с 4 и увеличивал по показаниям. по 2

Google

Wingman
14.12.2017
14:02:08

Ilya
14.12.2017
14:02:08
у меня всего 500-1500

Wingman
14.12.2017
14:02:24
они щас в спокойном состоянии на час отстают, 300 в очереди

Алексей
14.12.2017
14:02:27
я глазами видел как каждый тащил 700.
но в старой ветке

Ilya
14.12.2017
14:02:36
Тогда я открываю issue, да?

Алексей
14.12.2017
14:02:49
почему сейчас тащит 2 это просто абзац как медленно

Ilya
14.12.2017
14:02:54
ну вот
ЦП трахает лишний раз

Wingman
14.12.2017
14:03:02

Ilya
14.12.2017
14:03:40
у меня 32 справляются, 16 не хватало

Wingman
14.12.2017
14:04:45
неожиданный нагрузочный тест, мда

Ilya
14.12.2017
14:04:51
Короче подбирай, тестируй

Wingman
14.12.2017
14:04:58
я понял, угу
спасибо :)

Ilya
14.12.2017
14:05:02
Минут через 10 после деплоя покажут что как

Wingman
14.12.2017
14:05:20
это я ещё сислог со всех этих свитчей не натравил)
Кстати, а коллекторов сколько оптимально?

Алексей
14.12.2017
14:06:15
1