ну и на воркере nsq

вот это похоже на причину

вот это похоже на причину

но события опять залипли

они как будто реально теряются

22:30 последнее

может у нас конечно в цоде херь какая-то, вм на разных нодах, но незамечено на остальных системах

на standalone проблем подобных не было

nsqlookupd у тебя нормальный?

nsqlookupd у тебя нормальный?

в смысле?))

и nsqd за него цепляются

?

проверь топологию nsq

ох тыж йожик

о чем в логе будет много рас сазано

пока всё чисто. Ничего не закончилось. Монга кушает 203 коннекта, но она вроде не ограничена в башне. Постгрес 204/300. Discovery tasks Running 222, late 420. Добавляю ещё 1 процесс дискавери? активаторов сейчас 5 по 30

на каждую ноду п lookupd ?

оверкил

http://nsq.io/overview/design.html

да, как-то много

хех

оверкил

это может быть связано с моей ситуацией?

не думаю

нет просто еще один лишнй ресурс

который кстати на халяву жрет ресурсы

спс за это

но куда копать?)

Что если когда-то ntp был сбит и к тому же мигрировали вм на другой хост+авария была в цоде.. Как восстонавливать всю эту херь?

пиздить админа и EMC

за уехавшее время

и IBM тогда уж за дохлый брокейд

нет

пиздить поздно

время сделай что бы было нормальным

а IBM не пиздить, а выпиздить

потом смотри очереди. в них недолжно быть старых данных

время сделай что бы было нормальным

на всех нодах время синк

потом читай лог классифкатора и коррелятора

потом смотри очереди. в них недолжно быть старых данных

очереди я почистил

в nsq

они долвольно внятно пишут что с ним не так

они долвольно внятно пишут что с ним не так

чего не сказать про нок

уехавшее время часто встречается

kb.nocproject.org закончился

что-бы такого сделать с ним

Механику я усвоил давно

а можешь сделать зарисовку ?

там же в конфлюенсе через макрос gliffy

чего не сказать про нок

ты точно хейтор)

потом смотри очереди. в них недолжно быть старых данных

шедулер?

kb.nocproject.org закончился

ы ?

noc.schedules.scheduler

не открывается

что тут лежит?

не открывается

у меня ок

+1

теперь да

хм

а кто говорил, что телеграф плодит процессы и там надо что-то в конфиге поправить?

а кто говорил, что телеграф плодит процессы и там надо что-то в конфиге поправить?

Я и @freeseacher

а можешь сделать зарисовку ?

Да, если расскажешь, как дискавери-тредов, раннинг тасков может быть больше, чем активаторо-тасков

кто то даже в фак это записал

да вот я и пытался в факе найти )

кто то даже в фак это записал

Нет, не помню

да вот я и пытался в факе найти )

ну видимо не найдешь.

да вот я и пытался в факе найти )

Обнови телеграф до версии 1+

потому что это был иван :)

Я про ьелегоаф не писал!

а ансибл не обновляет?

Я на него на тот момент обиделся

а ансибл не обновляет?

?

кстати, я чувствую, что мне тоже графики придется пилить по состоянию нока, и смотреть за шедулером я же тогда галку "Управляем " снял с МО, и по этому МО еще примерно сутки логи принимались, а потом начали дропаться

https://github.com/influxdata/telegraf/blob/master/scripts/telegraf.service

в /etc/systemd/system/telegraf.service

systemctl daemin-reload

потом рестарт

N вот

ага, спс

@freeseacher Lookupd Conns. горели зеленым, а теперь нет

это как-то отражает статус?

сделал 1 nsqllookup, сразу нагрузка на event node возрасла

https://github.com/influxdata/telegraf/blob/master/scripts/telegraf.service

О, а я скрипт не менял :)

2016-10-07 23:32:22,013 [classifier] [57f806564847302e33fba501|kr01-vpn-gw01-1|10.100.3.25] Failed to process event: database error: Can't canonicalize query: BadValue: unknown string alias for $type: SSL

Я от рута дописывал, точно

@dvolodin вот коррелятор у меня весь в трейсах, я тебе прислал лог сегодня

понятия не имею, что это

SSL выключи

Я вот тоже без понятия

Я что-то не пойму

я ставлю в башне 6 активаторов, в файл пишутся 5

в инвентори

ставлю 5, пишутся 4

что за приколы

а теперь вообще, 5 не меняется

там как-то надо хитро тыкать?

Буду f5-чить

Да, в поле инстансов лучше после f5 проверять

Добрый вечер. Не скажете, в скрипте ./scripts/upgrade можно ли как нибудь пропустить обновление PIPа

@dvolodin у вас если отрыть вкладку events события последние с текущим временем или с какой-то задержкой будут?

Добрый вечер. Не скажете, в скрипте ./scripts/upgrade можно ли как нибудь пропустить обновление PIPа

на девелоп ветку положен болт, рекомендую рассмотреть возможность переноса МО и прочего