Dmitry Luhtionov pushed to noc/feature/microservices Add initial support for ECI.SANI profile

что то у меня дермицо происходит с этим амбреллой.

вся сеть покрывается амбреллоой.

дискавери занимается непонятно чем. сае выползло в топ. и закрывать аварии не собирается.

хотя оборудование доступное всё.

зомби !

дёргаем процессы дискавери. начинает падать лейт. растёт в два раза руннинг и всё

сам такой.

прихуячь центри

да ебать её лолом это сентри. у меня нет в ошибках ничего

у тебя мега инсталл завалить крашами володина

нету блять.

пиздишь

ты пацану на слово не веришь ?

никому. ни на кокое наслово

ага

crashinfo list

ага. то, что надо

охуевшая нагрузка

[root@nochost4 noc]# ./noc crashinfo list N UUID Time Service Exception * 489cb11b-cf09-5629-bfc1-27b7039878b2 2017-07-05T17:54:39 discovery exceptions.ValueError: invalid literal for int() with base 10: '1-512' * facf7043-f83b-54d1-92c2-7630ca5b4a2d 2017-07-05T17:43:47 sae exceptions.AttributeError: 'NoneType' object has no attribute 'getconn' * 10c7ca1a-7f2e-51ee-86be-290d1d9d9bde 2017-07-05T14:58:02 discovery consul.base.ConsulException: 598 Connection reset * 6a6fd3e3-7989-5aea-85d4-54fddd61821a 2017-07-05T14:58:01 correlator consul.base.ConsulException: 598 Connection reset * 8f88b767-2bd0-5fa8-8c54-252ce3344f5b 2017-07-05T14:58:01 scheduler consul.base.ConsulException: 598 Connection reset fe89a458-a549-5a1c-92d8-2ab2f2c445bf 2017-07-05T10:18:13 discovery noc.core.dcs.base.ResolutionError: 85132900-de31-591b-9edc-a37ed74d63a3 2017-07-04T20:47:41 correlator exceptions.NameError: name 'NOC_ACTIVATORS' is not defined e3ce6daf-2497-5719-b50c-b2810a9623fc 2017-07-04T08:41:38 discovery exceptions.ValueError: invalid literal for int() with base 10: 'tech-nat' c0607cdb-73b0-514e-bd3a-e7c15b650524 2017-07-03T10:07:26 discovery noc.core.dcs.base.ResolutionError: a2369dd7-1d56-5993-97a4-784a0e97c252 2017-07-03T10:07:19 discovery noc.core.dcs.base.ResolutionError: 73544303-cb4f-5e1b-b708-06f1ed30777c 2017-06-30T19:22:59 discovery exceptions.ValueError: Invalid MAC: '10.110.77.132' 91d032f9-a577-54b4-9a9f-75f6c0d90d86 2017-06-30T13:19:12 discovery exceptions.ValueError: Invalid interface 'gi1/0/24 bcc3a48b-c88b-59ca-b0c0-d51a074cde62 2017-06-30T12:51:59 correlator exceptions.TypeError: can't concat unicode to bytearray bc8b0d5b-1dd8-5fbe-9767-774975e5916e 2017-06-30T12:51:57 discovery exceptions.TypeError: can't concat unicode to bytearray 996410c8-cbea-57ee-b41f-3eb533f38a8c 2017-06-30T12:51:56 scheduler exceptions.TypeError: can't concat unicode to bytearray 8d880b5d-1b96-530a-99fa-b879fdfd6565 2017-06-30T12:18:57 discovery consul.base.BadRequest: 400 Request decode failed: EOF b9b770f1-ec2c-5eb0-b65b-477635abd512 2017-06-30T12:09:39 correlator exceptions.TypeError: can't concat unicode to bytearray 29843c0e-320a-59f2-9728-1e4c7b3bc372 2017-06-30T12:09:38 mrt consul.base.BadRequest: 400 Request decode failed: EOF 53919f36-55d1-5972-854c-fe2d94ca1408 2017-06-30T12:09:38 sae consul.base.BadRequest: 400 Request decode failed: EOF 1d7845a3-6c8e-5ef1-8d46-596686452c1d 2017-06-30T12:09:37 pmwriter consul.base.BadRequest: 400 Request decode failed: EOF 21a738c4-ae24-50ea-b643-635520b33fb6 2017-06-30T12:09:37 scheduler exceptions.TypeError: can't concat unicode to bytearray be04172e-0669-533f-88a5-97f3610ae4cb 2017-06-30T12:09:37 omap consul.base.BadRequest: 400 Request decode failed: EOF 33c3aef6-9094-5ab1-ab95-08526f5b4266 2017-06-30T11:00:01 correlator exceptions.AttributeError: 'tuple' object has no attribute 'code' a24a0395-e18b-5010-8b88-8928389ddf0a 2017-06-30T10:59:58 discovery exceptions.AttributeError: 'tuple' object has no attribute 'code' 8a9d3dd0-fa54-58f5-9b15-ee6eb368265f 2017-06-30T10:59:58 omap exceptions.AttributeError: 'tuple' object has no attribute 'code' a74b561c-b765-51ea-aedf-2f2948e7cca0 2017-06-30T10:59:58 scheduler exceptions.AttributeError: 'tuple' object has no attribute 'code'

72cdc165-515c-5773-a7bf-1eba492e413f 2017-06-30T10:59:58 pmwriter exceptions.AttributeError: 'tuple' object has no attribute 'code' efe17450-fe17-5b2e-9f62-557c9ae79a86 2017-06-30T10:59:57 sae exceptions.AttributeError: 'tuple' object has no attribute 'code' fcad1964-d722-5ed7-8a6b-1b0c6964938b 2017-06-30T10:59:57 mrt exceptions.AttributeError: 'tuple' object has no attribute 'code' 246af58e-3430-5789-af87-d4f4ad91c7ae 2017-06-30T10:32:47 correlator exceptions.TypeError: cb() takes exactly 1 argument (3 given) 5bbea1ef-e996-5bda-87fe-392afe7f9307 2017-06-30T10:32:45 discovery exceptions.TypeError: cb() takes exactly 1 argument (3 given)

вот всё это в центри бы

говночитабельно тут

https://pastebin.com/T6RbSKue

на тебе говнопасты

https://pp.userapi.com/c841523/v841523151/475f/xwE2Gpt36uo.jpg

говночитабельно тут

ап

норм крашей. надо придумать как володину их..

вообще ниочём .

давай центри бомбить. прив. данные помогу вырезать

там половина багов профилей.

там говно под ЛА

я не могу поймать пока, но вижу..

там говно под ЛА

ну как ты и говорил. но я теперь верю =)

счас поглядим может это бага как на фряхе

consul.base.ConsulException: 598 Connection reset

давай вот эти поподробнее

откуда оно вообще, эти коды таймаутом считаются

это может я его ребутал.

на мастере .

сейчас ин е вспомню

трейс покажи

смотри личку

Dmitry Volodin pushed to noc/feature/microservices #430: Consul DCS: Handle connection reset as temporary error

Dmitry Volodin pushed to noc/feature/microservices Consul DCS: Ignore resolved service items with missed service address

Dmitry Volodin pushed to noc/feature/microservices Consul DCS: Use node address when service address is empty

Dmitry Volodin pushed to noc/feature/config Dmitry Volodin: Merged with feature/microservices Dmitry Volodin: Consul DCS: Use node address when service address is empty Dmitry Volodin: Consul DCS: Ignore resolved service items with missed service address Dmitry Volodin: #430: Consul DCS: Handle connection reset as temporary error Dmitry Luhtionov: Add initial support for ECI.SANI profile ... See all

Вот щас мне очень нравится как закрываются issue :)

Dmitry Luhtionov pushed to noc/feature/microservices Initial support for NSCComm.LPOS profile

Dmitry Volodin pushed to noc/feature/config Fix config loading and dumping

:-(

сейчас накачу посмотрим что получится.

Maksim pushed to noc/feature/microservices Fix ECI.SAM

видимых изменений не заметил пока

Maksim pushed to noc/feature/microservices Fix ECI.SAM

Как бы задебажить, от чего не ходят мне уведомления? алярм триггер вроде настроил, группу нотификации тоже и даже проверил

чяднт

поможите, люди добрые! не дайте помереть в неведении...

майлсендер ?

ескалатор ?

Maksim pushed to noc/feature/microservices Fix ECI.SAM

майлсендер ?

телега, пашед тестовый засыл

ескалатор ?

Эскалацию тоже настраивал и 0 эмоций. Щас ещё раз проверю.

покажи настройки

эскалации

ERROR: S client not available

и телеги

а то у меня тут случился перекос. я на новую ноду прибавил дискавери с активатором. а скрипты правленные не перенёс и случился у меня пиздец

и телеги

Да работает телега! Тестовые сообщения уходят. Щас эскалацию ещё раз настрою.

ключ в башне подставлял в настройках?

ну тестовые уходят

покажи настройки эскалации

Шаблоны не заданы

Open Template и Clear

нечему приходить в телегу

блять\

а я это настраивал в алярм триггер

в этом моя ошибочка

а где посмотреть все возможное переменные {{}}

Да пошли сообщения, спасибо. Так кде посмотреть переменные, которые в шаблон можно сунуть? Нет нигде их описания?

в алярм классах, понял.

а чё алярмы не закрываются, хотя евент прилетел нужный? и вручную не могу его закрыть?

наверное потому, что раз 30 на этой железке дёрнул интерфейс туда-сюда...

Другие алярмы закрываются наура

чёт походу вообще FM поломался нахер

Aleksey Shirokih pushed to noc/feature/config look from mongo in consul services

Dmitry Volodin pushed to noc/feature/microservices #431: Prometeus metrics endpoint

вот вы спите. а нок не спит.

он сука работает

https://pp.userapi.com/c841523/v841523151/5ef4/oFVXU8M9lQw.jpg

хеётает!

я не могу понять, с хуя у меня алармы поломались

2017-07-05 23:33:35,191 [nsq.reader] [noc-node3:4150:events:fmwriter] idle connection, giving up RDY count 2017-07-05 23:33:35,191 [nsq.reader] [noc-node2:4150:events:fmwriter] redistributing RDY 2017-07-05 23:33:35,203 [nsq.client] [noc-node2:4150:events:fmwriter] received heartbeat

как бы вылечиться?

он сука работает

Или не работает

У каждого свое)