я думаю, костыль надо сделать в скрипте

Какой?

If string == "Device is busy" then beer

нет

лол

у нас там намечается типа расширение функционала pattern_operation_error

Maksim pushed to noc/feature/microservices Fix NAG.SNR _init_ and add get_interfaces

парни, что за херня последнее время?

делаю деплой, все работает

через несколько дней ошибка 502 Bad Gateway nginx/1.12.1

делаю деплой опять работает

несколько дней

я понимаю что при деплое сервис рестартится и все начниает работаеть

но какого хера оно потом падает

через несколько дней ошибка 502 Bad Gateway nginx/1.12.1

у тебя что-то падает

скорее всего, монго

TASK [node : add clickhouse data to legacy config] 01:23 fatal: [mgts-noc01]: FAILED! => { "failed": true } MSG: the field 'args' has an invalid value, which appears to include a variable that is undefined. The error was: {{noc_config['config'].get('clickhouse-global-%s' % groups['svc-clickhouse'][0]).get('db', 'noc')}}: list object has no element 0 The error appears to have been in '/opt/tower/var/tower/playbooks/MGTS/ansible/roles/node/tasks/config.yml': line 1, column 3, but may be elsewhere in the file depending on the exact syntax problem. The offending line appears to be: - name: add clickhouse data to legacy config ^ here to retry, use: —limit @/opt/tower/var/tower/playbooks/MGTS/ansible/site.retry

TASK [node : add clickhouse data to legacy config] 01:23 fatal: [mgts-noc01]: FAILED! => { "failed": true } MSG: the field 'args' has an invalid value, which appears to include a variable that is undefined. The error was: {{noc_config['config'].get('clickhouse-global-%s' % groups['svc-clickhouse'][0]).get('db', 'noc')}}: list object has no element 0 The error appears to have been in '/opt/tower/var/tower/playbooks/MGTS/ansible/roles/node/tasks/config.yml': line 1, column 3, but may be elsewhere in the file depending on the exact syntax problem. The offending line appears to be: - name: add clickhouse data to legacy config ^ here to retry, use: —limit @/opt/tower/var/tower/playbooks/MGTS/ansible/site.retry

кликхаус не выбран ?

выбрал

сейчас пробую еще раз

через несколько дней ошибка 502 Bad Gateway nginx/1.12.1

думаю дело в том что сервисы некоторое время не отвечают и консул их дерегает

такое бывает

однозначно воспроизвести для фикса пока не можем

TASK [mongod : Initial replica set configuration]02:33 fatal: [mgts-noc01]: FAILED! => { "changed": true, "cmd": "/usr/bin/mongo /etc/mongod/rsinit.js", "delta": "0:00:00.066723", "end": "2017-08-30 17:08:28.208338", "failed": true, "rc": 1, "start": "2017-08-30 17:08:28.141615" } STDOUT: MongoDB shell version: 3.2.13 connecting to: test 2017-08-30T17:08:28.202+0300 W NETWORK [thread1] Failed to connect to 127.0.0.1:27017, in(checking socket for error after poll), reason: errno:111 Connection refused 2017-08-30T17:08:28.203+0300 E QUERY [thread1] Error: couldn't connect to server 127.0.0.1:27017, connection attempt failed : connect@src/mongo/shell/mongo.js:229:14 @(connect):1:6 STDERR: exception: connect failed to retry, use: —limit @/opt/tower/var/tower/playbooks/MGTS/ansible/site.retry

что сейчас нужно сделать?

что с монгой ?

а хз

сделай что бы ей было хорошо

ps -ax | grep mong 3067 pts/0 S+ 0:00 grep mong 27672 ? Ssl 0:15 /usr/bin/mongod —quiet —config /etc/mongod.conf

ей вроде неплохо

со второго раза деплой прошел

тоже в последнее время часто происходит

Какая ОС на твоём корыте?

Виндовс нт палюбас

[syslogcollector] Failed to start syslog server at 0.0.0.0:514: [Errno 13] Permission denied - что-то опять перемудрили

[trapcollector] Failed to start SNMP Trap server at 0.0.0.0:162: [Errno 13] Permission denied

Прям расхотелось обновляться

и правильно

пятница завтра

пятница завтра

молодец, ячто напомнил, завтра будет =)

?

нихера у меня ни разу не пришло аварии, что конфиг неправильный

у кого-то работает?

раньше работало, а щас не знаю

?

нихера у меня ни разу не пришло аварии, что конфиг неправильный

Что не работает?

Уведомления о несоответствии конфига

Что не работает?

Всё!

А, ну это нормально

?

У меня вот нет времени обновлять НОК, так он и не падает)))

Такая же фигня

вот вот, не теребите его

Ты мануал сделал?

как я сделаю мануал, если не работает?

мануал по валидации есть уже: https://kb.nocproject.org/pages/viewpage.action?pageId=22970543

по валидации - хочу переделать проверки с clips на python

один хрен - они простые

Дима, почему может не быть уведомлений?

уведомлений о чем?

Дима, почему может не быть уведомлений?

эскалаций, ты хотел сказать

я вчера же писал

по конфигам алармы не проходят коррелятор

поэтому, эскалации не создаются

я вчера же писал

я понял, чтьо из консоли может не быть, а вот от бокса?

без разницы

ох

зонтики-то?

да, мы их не эскалируем

зонтики-то?

не зонтики, а валидаторы конфигов

там одинаковый механизм

Аварии создаются напрямую

без коррелятора

Хорошо, тогда как получить уведомления, что такой-то хост имеет ненадлежащий конфиг?

там логика немного другая

нет смысла выжидать какое-то время

вообще, у меня давнее желание сделать отчёт по валидации

не всегда имеет смысл генерить аларм

лучше отчёт раз в сутки

там будут изменения конфигов и аварии валидации

чтобы можно было оценить масштаб бедствий

лучше отчёт раз в сутки

хорошо, согласен.

толку)

это нереализуемо сейчас

заебись!

тоже дело

что у нас с netflow?

у меня жопа пока со временем свободным, я помнб

из-за нерабочей макдб пришлось писать свой поиск

"писать" Ваня ?

ты что программист ?

ты тоже

приходится, когда @dvolodin поломал MacDb и чинить не хочет

не поломал, а переделал

я же сказал - macdb будет, когда будет moversion

Ты не предупреждал, что всё поломается.

Это — некрасиво, как минимум