почему упало

2017-05-31 11:44:58,149 [noc.core.dcs.base] Session renewed 2017-05-31 11:45:09,681 [noc.core.dcs.base] Cannot refresh session due to ignorable error: 2017-05-31 11:45:09,685 [noc.core.dcs.base] Acquiring lock: noc/locks/scheduler 2017-05-31 11:45:10,039 [noc.core.dcs.base] Failed to acquire lock 2017-05-31 11:45:19,432 [noc.core.dcs.base] Cannot refresh session due to ignorable error: 2017-05-31 11:45:22,028 [noc.core.dcs.base] Session lost. Forcing quit 2017-05-31 11:45:22,029 [noc.core.dcs.base] Cannot refresh session, stopping 2017-05-31 11:45:22,029 [noc.core.dcs.base] Shooting self with SIGTERM 2017-05-31 11:45:22,318 [scheduler] SIGTERM caught, Stopping 2017-05-31 11:45:22,318 [scheduler] Stopping 2017-05-31 11:45:22,577 [scheduler] Deactivating 2017-05-31 11:45:22,577 [scheduler] Shopping API 2017-05-31 11:45:22,578 [scheduler] Deregistration 2017-05-31 11:45:22,578 [noc.core.dcs.base] Destroying session 6b8b5ac8-77c3-4f15-81b7-556c9bbcc530 2017-05-31 11:45:22,764 [noc.core.dcs.base] Cannot destroy session: 500 rpc error: Unknown session "6b8b5ac8-77c3-4f15-81b7-556c9bbcc530" 2017-05-31 11:45:22,764 [scheduler] Stopping IOLoop 2017-05-31 11:45:22,764 [scheduler] Post-mortem metrics: {'dcs.consul.overlapped_keepalives': 3, 'dcs.consul.keepalive_retries': 2, 'dcs.consul.keepalives': 1120, 'mon_requests': 562} 2017-05-31 11:45:22,859 [scheduler] Service scheduler has been terminated

Failed to acquire lock

отвалилось потому что не смогла зарегаться в Консуле

и тогда какого оно не поднялось обратно ?

ну, экономит электричество

консула нету, чего я буду тут делать

но это нормальное поведение, я так понял.

не смогли зарегаться - убиваемся

нет консула где? на этой ноде или главного ?

на этой ноде, полагаю

consul monitor --log-level debug

попробуй

на этой ноде

он должен подключиться и показать что-нибудь

2017-05-31 12:25:40,828 [tornado.application] Future exception was never retrieved: Traceback (most recent call last): File "/opt/noc/local/lib/python2.7/site-packages/tornado/gen.py", line 307, in wrapper yielded = next(result) File "/opt/noc/core/scheduler/job.py", line 159, in run self.schedule_next(status) File "/opt/noc/services/discovery/jobs/base.py", line 67, in schedule_next }, upsert=True) File "/opt/noc/local/lib/python2.7/site-packages/pymongo/collection.py", line 551, in update docs, check_keys, self.uuid_subtype, client) InvalidDocument: documents must have only string keys, key was 5123 Запустил run discovery с веб главной ноды, железка в пуле ноды_2, там и активаторы трудились.

2017-05-31 12:25:40,828 [tornado.application] Future exception was never retrieved: Traceback (most recent call last): File "/opt/noc/local/lib/python2.7/site-packages/tornado/gen.py", line 307, in wrapper yielded = next(result) File "/opt/noc/core/scheduler/job.py", line 159, in run self.schedule_next(status) File "/opt/noc/services/discovery/jobs/base.py", line 67, in schedule_next }, upsert=True) File "/opt/noc/local/lib/python2.7/site-packages/pymongo/collection.py", line 551, in update docs, check_keys, self.uuid_subtype, client) InvalidDocument: documents must have only string keys, key was 5123 Запустил run discovery с веб главной ноды, железка в пуле ноды_2, там и активаторы трудились.

кидай трейс в Issue или @dvolodin

что-то дискавери озадачился

там идёт движуха. ругается только на /healts и по таймауту.

:19003/health/: net/http: request canceled (Client.Timeout exceeded while awaiting headers)

и тогда какого оно не поднялось обратно ?

потому что мы вышли. и супервизор считает что корректно

а это не так

:19003/health/: net/http: request canceled (Client.Timeout exceeded while awaiting headers)

ожидаемо да

и что ему не нравится ?

и лидер и мембер есть все на месте

кидай трейс в Issue или @dvolodin

https://code.getnoc.com/noc/noc/issues/402 @dvolodin

на этом порту висит зависший активатор.

сбор метрик поломан полностью

ы ?

на основании чего такой вывод ?

2017-05-31 13:08:14,734 [scheduler.discovery] [12540] [discovery|periodic|SRTV-PSE525-AR1|metrics] [Interface\ |\ Load\ |\ Out,interface=Gi\ 2/48,object=SRTV-PSE525-AR1] Measured value: 0.0. Scale: 8.0. Resuling value: 0.0 2017-05-31 13:08:14,734 [scheduler.discovery] [12540] [discovery|periodic|SRTV-PSE525-AR1|metrics] Spooling 180 metrics 2017-05-31 13:08:15,088 [scheduler.discovery] [12540] [discovery|periodic|SRTV-PSE525-AR1|metrics] UNHANDLED EXCEPTION (2017-05-31 13:08:14.735204) BRANCH: feature/microservices TIP: f07011238414 PROCESS: ./commands/discovery.py ERROR FINGERPRINT: 2feb7e15-6140-5eac-8e95-49e6ef665790 WORKING DIRECTORY: /opt/noc EXCEPTION: <type 'exceptions.AttributeError'> 'ServiceStub' object has no attribute 'register_metrics' START OF TRACEBACK —---------------------------------------------------------------------- File: services/discovery/jobs/periodic/metrics.py (Line: 268) Function: handler 261 m["abs_value"], 262 m["ts"] // 1000000000 263 ) 264 ] 265 # Send metrics 266 if batch: 267 self.logger.info("Spooling %d metrics", len(batch)) 268 ==> self.service.register_metrics(batch) 269 else: 270 self.logger.info("No metrics to spool") 271 return 272 # Calculate max triggered threshold level 273 oot = [] 274 oot_level = self.S_OK Variables: i_thresholds = defaultdict(<type 'dict'>, {u'Interface | Load | In': {u'Gi 2/33': [None, None, 858993459.0, None], u'Gi 2/32': [None, None, 858993459.0, None], u'Gi 2/31': [None, None, 858993459.0, None], u'Gi 2/30': [None, None, 858993459.0

./noc discovery —debug run periodic SRTV-PSE525-AR1

это поломан дебаг.

а не сбор

Вот что мне не нравится в ноке, как и в большинстве софта: делают новую фичу, внедряют, пару багов фиксят, на остольное забивают и пишут новую фичу, внедряют ит.д.

Вот что мне не нравится в ноке, как и в большинстве софта: делают новую фичу, внедряют, пару багов фиксят, на остольное забивают и пишут новую фичу, внедряют ит.д.

ты хейтер

Вот что мне не нравится в ноке, как и в большинстве софта: делают новую фичу, внедряют, пару багов фиксят, на остольное забивают и пишут новую фичу, внедряют ит.д.

увы да. называется достаточность.

я опечален этим фактом не меньше тебя

увы да. называется достаточность.

Обычно тот кто первый - тот и молодец, получает деньги

А тот кто вылизывает - плетется в хвосте

Хотя часто продукт последнего лучше, но первый его покупает, т.к. уже имеет клиентов и деньги

врятли это имеет отношение к ноку

к ноку да

врядли

@aversant сейчас сбор маков сломан?

дебаг сломан как говорят. но похоту у меня и в дискавери такое же творится.

дебаг сломан как говорят. но похоту у меня и в дискавери такое же творится.

про дебаг знаю, да.

@dvolodin Ты здесь? Скажи, какой последний коммит рабочий для сбора маков и работы debug discovery

ВОПРОС: что прописывать в SLA чтобы был аналог "ping vrf mir_sud 192.168.104.14 rep 1000"

а вкладка административный домен работает у всех ?

https://pastebin.com/R4xHHMMi

причём в остальных местах всё ок

ip sla 501 icmp-echo 10.4.118.69 source-interface Vlan501 vrf public-vpn threshold 350 timeout 500 frequency 3 ip sla schedule 501 life forever start-time now

@E_zombie

0_0

это куда пихать

в циску

это пример тебе

а в нок что пихать ?

а нок сам опросит

ээээ

тоесть это надо циске сказать в конфиге а потом просто дёргать 501 тест ?

дергать sla

но да

а покажи скрипн как это выглядеть в ноке должно

ERROR: S client not available

а пот теперь понял

@somovis оно у тебя раз в минуту запускается?

@somovis оно у тебя раз в минуту запускается?

по умолчанию оно в пакетном опросе

кстати странно, почему не в переодике? @dvolodin

по умолчанию оно в пакетном опросе

не, я за циску, 3 пустило, ждет минуту, потом опять 3 пинга?

Track 501 IP SLA 501 reachability Reachability is Up 2 changes, last change 6w1d Delay up 3 secs, down 3 secs Latest operation return code: OK Latest RTT (millisecs) 3 Tracked by: STATIC-IP-ROUTING 0

мне бы как-то джиттер промониторить, но нужно постоянно мерять, без перерывов, и так что бы у железки цпу не уложить

интересно как определяется доступ к сегментам. у меня вот видно пару штук и всё в логине у которого нет суперпользователя.

@EKbfh спасибо за -Po

пригодилось

@EKbfh спасибо за -Po

прости?

| grep -Po '(?<=dev\s)[^\s]*'

вот

решулярка, чтоль

а на каком кейсе?

твоё же норм было

вообще другое

кусок перла выбросить

Aleksey Shirokih pushed to noc/feature/microservices use proper interval for grouping. add ping attempts graph

коллеги, список VLANов где-то можно в ноке найти? вланов найденных на девайсах

в интерфейсаъ

from noc.sa.models import * from noc.inv.models.interface import Interface from noc.inv.models.subinterface import SubInterface from noc.sa.models.managedobject import ManagedObject mo = ManagedObject.objects.filter() #mo = ManagedObject.objects.filter(name='fsw-1-1ogorodntup-18-96-sar') print (mo) for m in mo: print m for i in Interface.objects.filter(managed_object=m): #print i if i: for y in SubInterface.objects.filter(managed_object=m, interface = i): print m, i, y.untagged_vlan, y.tagged_vlans

не, сообще на всех девайсах, или на всех девайсах сегмента. а в интерфейсах надо выбрать один девайс

mo = ManagedObject.objects.filter()

и выбирай какие тебе нужны

@aversant сейчас сбор маков сломан?

откудова информация?

кури django

откудова информация?

из дискавери +(

из дискавери +(

покажи

mac] Terminated due RPC error: RPC call failed: Failed: DictParameter: {'mac': '00:00:00:00:0A:5A', 'type': 'D', 'interfaces': ['430'], 'vlan_id': 1008}. Invalid value for 'interfaces': Invalid interface '430'

mac] Terminated due RPC error: RPC call failed: Failed: DictParameter: {'mac': '00:00:00:00:0A:5A', 'type': 'D', 'interfaces': ['430'], 'vlan_id': 1008}. Invalid value for 'interfaces': Invalid interface '430'

ммм.. interfaces 430 ,