тут

тут

Тогда хоть скажи, на какие графики смотреть попристальнее в контексте очередей nsq и эвентов)

ну и парочку для завтравки выложил на https://grafana.com/orgs/shirokih

А нет шаблонов дашбордов графаны для прома?

А ты поставил?

ну да

чо там ставить

Тогда хоть скажи, на какие графики смотреть попристальнее в контексте очередей nsq и эвентов)

nsq_channel_depth{channel="fmwriter"}

по результатам он переложит в nsq_channel_depth{channel="dispose"}

первый очередь класификтаора. второй корелятора

чо там ставить

:/

у тебя всё равно один пул!

:/

а у тебя не взлетает, чтоли?

ну да

а у тебя не взлетает, чтоли?

работает, но врёт

nsq_channel_depth{channel="fmwriter"}

с каких значений начинать волноваться?)

работает, но врёт

а, ну так мож и у меня врёт, откуда я знаю :D

с каких значений начинать волноваться?)

с тех которые ты посчитаешь не очень

смотри на динамику. думай.

угу

но один хрен какая-то магия

получится какая то мысль оформи ее как alarm

навалило несколько тыщ, процы в полку, передеплоил, разгребло

=\

https://prometheus.io/docs/alerting/configuration/

вот как оформить ее в аларм

да, я чуток почитал уже

пром крайне линейная штука

да один бинарник и один конфиг (ну, в базе)

прям аж непривычно

не один конфиг

и не один бинарник

но остальные сюрпризы я тебе оставлю на потом

:D

кривая обучения у него такая же как у нока.

хотя нет. у нока злее.

это та, на которой вешаться можно?

ага.

nsq_channel_depth{channel="fmwriter"} ^ а это что, число эвентов в очереди?

да

нихрена оно не разгребло :D

блин

ты данные то для диагностики собрал уже ?

отдай собранное

и таки тоже подвирает

интрересно же

А нет шаблонов дашбордов графаны для прома?

тут (c)

:D

https://ip-home.net/files/prof_funcs.txt

работает, но врёт

у меня тоже врёт

а не

чем отличаются msgs от be-depth?

https://ip-home.net/files/prof_funcs.txt

эт ты сколько собирал ?

30-40c

нда.

всё очень плохо? я опять что-то сделал не так?)

ну и пока так и есть 1ev/sec на 400к в очереди :)

а у тя какая ось ?

деб 8.9

Ну и да, последний раз, когда деплойнул 8 или 12, они просто стали грести по 0.2-0.5 / сек

Как будто им что-то не отдает данные, а не они сами не успевают

надо дебажить.

пока путь только один. issuue

Ок

Завтрв уже

ls лишний да

и ведь на всех нодах надо удалять, да?)

конечно

это снизит нагрузку на прометей

так он не будет собирать одни и теже данные 2 раза

вдруг, поможет с пропавшими метриками

Надежда умирает последней

А зря

Я верую!

Что наступит день и воздастся нам за терпение наше!

Lasciate ogni speranza, voi ch'entrate

Ну тут не ад же)

Хотя...

хуй там был, в общем. дискавери он снимает, а пинги-шминги не хочет

хотя саксессы вроде показывает

Башня валится на этом шаге TASK [node : Relink site-packages] 03:55changed: [noc01] => { "changed": true, "cmd": [ "/opt/noc/scripts/deploy/link-site-packages" ], "delta": "0:00:00.031696", "end": "2017-12-14 23:06:27.071893", "failed": false, "rc": 0, "start": "2017-12-14 23:06:27.040197" } STDOUT: CHANGED TASK [node : Install node python packages(should take a while for a first time)] *** в логах: [node : Install node python packages(should take a while for a first time)] ***\n\nConnection terminated\n', True, 0, 0, 0, 0, 58]) Таймауты в SSH выкрутил на максимум

трогать таймауты никакие не стоило

если инсталяция пошла по такому пути значит что то фатально идет не по задуманному.

есть какие то внезапности

И опять такая же беда [migrate : Synchronize collections] ***************************************\n\nConnection terminated\n', True, 0, 0, 0, 0, 59])

это они в пределах одного хоста так себя ведут ?:

Две VM 1. Tower 2. noc

общаются через br0

что такое br0 ? bro ?

linux bridge

Я к тому, что они считай что кабелем соеденены

никаких таймаутов быть не может

CentOS7

so you have to fix it