похорду это самое простое будет.

в теории надо снифать трафик для активаторов на нодах и там будет видно кто валится.

@E_zombie у тебя есть asa в мультиконтексте или xos в стаке?

нет

close_wait -- таки закрытое соединение

дооооо ?

http://www.tcpipguide.com/free/diagrams/tcpclose.png

на сервере стоим и ждём ацк от клиента который кирдыкнулся.

плюс изза повисших активаторов ломается телеграмм и данные не собираются.

У меня такая же проблема

Тоже tcp cw

c ssh как-нибудь связано?

У меня почти все железо по ssh

нет

у меня только серваки.

[root@nochost3 noc]# netstat -npo | grep CLO | wc -l 251

tcp 1 0 ххххххх:19004 ннннннннн:22999 CLOSE_WAIT 7138/noc-activator- off (0.00/0/0) висит уже даааавно.

вчера вот этот процесс висел пол часа пока я его не пристрелил . и именно на нём крашились процессы дискавери на всех хостах которые пытались закинуть туда задание.

[root@nochost2 noc]# netstat -npo | grep CLO tcp 1 0 10.64.255.213:40455 10.64.255.210:11211 CLOSE_WAIT 11868/noc-escalator off (0.00/0/0) You have new mail in /var/spool/mail/root [root@nochost2 noc]# netstat -npo | grep CLO tcp 1 0 10.64.255.213:40455 10.64.255.210:11211 CLOSE_WAIT 11868/noc-escalator off (0.00/0/0)

[root@nochost3 noc]# netstat -npo | grep CLO tcp 1 0 10.64.255.214:48283 10.64.255.210:11211 CLOSE_WAIT 7127/noc-scheduler off (0.00/0/0) tcp 1 0 10.64.255.214:21420 10.64.255.210:11211 CLOSE_WAIT 7126/noc-escalator off (0.00/0/0) tcp 1 0 10.64.255.214:48341 10.64.255.210:11211 CLOSE_WAIT 7127/noc-scheduler off (0.00/0/0) tcp 1 0 10.64.255.214:48275 10.64.255.210:11211 CLOSE_WAIT 7127/noc-scheduler off (0.00/0/0) tcp 1 0 10.64.255.214:48271 10.64.255.210:11211 CLOSE_WAIT 7127/noc-scheduler off (0.00/0/0) tcp 1 0 10.64.255.214:48303 10.64.255.210:11211 CLOSE_WAIT 7127/noc-scheduler off (0.00/0/0) tcp 1 0 10.64.255.214:48337 10.64.255.210:11211 CLOSE_WAIT 7127/noc-scheduler off (0.00/0/0) tcp 1 0 10.64.255.214:48343 10.64.255.210:11211 CLOSE_WAIT 7127/noc-scheduler off (0.00/0/0) tcp 1 0 10.64.255.214:48289 10.64.255.210:11211 CLOSE_WAIT 7127/noc-scheduler off (0.00/0/0)

а что последнее в логах у повисшего активатора?

у него там движуха продолжается.

?

он что то отрабатывает.

у меня сейчас дебаг не включен на них и нет такой ситуации.

зомби. сделай плохую вещь.

выпить яду?

запусти задачу из нока на железке и внаглую, пока активтор капается внутри, ребутни её

вылезет CLOSE_WAIT ?

кхм. дёрнуть по питанию....... да ты шалун.

да. "идею" ты понял верно =)

у кого лаба есть, попробуйте

слове ваит выходит в связке discovery == activator а не активатор - железо

у кого лаба есть, попробуйте

как раз на лабе ниразу такого не видел

слове ваит выходит в связке discovery == activator а не активатор - железо

по мне так: дискавери ждёт активатор, а он не может разобраться с железкой и сводит с ума дискавери

я замечал эту проблему там, где есть плохой линк (рвущийся впн) от нока до железа

ну трабла на активаторе - это уже ясно.

когда у тебя к "зависшему" активатору подключается телеграмм он отваливается сразу.

а посмотри tcpdump'ом, что там

как вариант - libcurl может дурака валять

у меня есть нездоровое желание посмотреть в сторону gRPC

]# rpm -qa | grep libcurl libcurl-devel-7.29.0-35.el7.centos.x86_64 libcurl-7.29.0-35.el7.centos.x86_64

Зомби, а ты сессии мутил?

какие сессии? есть чё ?

Ну когда много сессий на железо не открывается

А можно время смерти активатора выяснить?

дёргай по крону тест конфигателеграфа и будет тебе счастие

Можно было бы примерно плнять после какого железа

Не, я тебе предлагаю

уууууу чёт меня ломает такое творить у себя.

уууууу чёт меня ломает такое творить у себя.

да хули ты, не будь тряпкой, ебнул кольцо и смотришь логи активтора

данунахуй. я за то ещё не отсидел (с)

Илья, у тебя же тоже центос?

deb/rhel

Херово

Теормя не прокатила

+бубунта с той же проблемой

такс. у меня появился зависший активатор.

ну что пьяницы, тунеядцы, алкоголики - кто хочет сегодня поработать? (с)

зависший - в плане - не отвечающий на вызовы API?

ага и крешит задачу посылаемую дискавери

]# rpm -qa | grep libcurl libcurl-devel-7.29.0-35.el7.centos.x86_64 libcurl-7.29.0-35.el7.centos.x86_64

ii libcurl3:amd64 7.47.0-1ubuntu2.2 ii libcurl3-gnutls:amd64 7.47.0-1ubuntu2.2 ii libcurl4-openssl-dev:amd64 7.47.0-1ubuntu2.2 но хз на какой версии было. на этой не смотрел пока (работает, но не проверял CW)

04:26:29.838660 IP (tos 0x0, ttl 64, id 2769, offset 0, flags [DF], proto TCP (6), length 847) nochost1.27770 > nochost5.19001: Flags [P.], cksum 0xeea2 (correct), seq 0:795, ack 1, win 29200, options [nop,nop,TS val 786545250 ecr 522326732], length 795 04:26:29.844574 IP (tos 0x0, ttl 64, id 2381, offset 0, flags [DF], proto TCP (6), length 56) nochost1.28826 > nochost5.19001: Flags [S], cksum 0xe929 (correct), seq 2304294706, win 29200, options [mss 1460,sackOK,TS val 786545256 ecr 0], length 0 04:26:29.852683 IP (tos 0x0, ttl 64, id 46191, offset 0, flags [DF], proto TCP (6), length 849) nochost1.28556 > nochost5.19001: Flags [P.], cksum 0x9742 (correct), seq 0:797, ack 1, win 29200, options [nop,nop,TS val 786545264 ecr 522324340], length 797 04:26:29.860597 IP (tos 0x0, ttl 64, id 46557, offset 0, flags [DF], proto TCP (6), length 56) nochost1.28828 > nochost5.19001: Flags [S], cksum 0x2a4c (correct), seq 67502929, win 29200, options [mss 1460,sackOK,TS val 786545272 ecr 0], length 0 04:26:29.894597 IP (tos 0x0, ttl 64, id 52097, offset 0, flags [DF], proto TCP (6), length 56) nochost1.28834 > nochost5.19001: Flags [S], cksum 0x78a4 (correct), seq 1000766768, win 29200, options [mss 1460,sackOK,TS val 786545306 ecr 0], length 0

херачит во всю обмен трафиком. а креш в логах дискавери появляется редко.

что то у меня нет идей как это дебажить.

@E_zombie запили это. есть шанс уменьшить эту херню

ERROR: S client not available

Зомби, а ты сессии мутил?

нет

у меня нет стенда. и я не могу такое устраивать.

есть конечно одна железка но это говно ёжик и я не представляю как его во время дискавери вальнуть.

нет дэвид блейн, нет

Не надо вольнуть надо фаер

Зомби, а ты сессии мутил?

на сессиях многое ломается

пока очень сыро

на сессиях многое ломается

многое ломается это что?

где примеры?

есть конечно одна железка но это говно ёжик и я не представляю как его во время дискавери вальнуть.

аверсант писал как-то, что когда загоняешь в сесси CW не уходит. посмотрел у себя- после них полегче стало

поэтому она не закрывается, а висит в CLOSE_WAIT

там

где примеры?

мы с тобой разбирали примеры и ты записал себе

во что загоняешь ?

может правда всё убрать из очередей

мы с тобой разбирали примеры и ты записал себе

да да. покажите

мы с тобой разбирали примеры и ты записал себе

на форум вынеси, или ты Issue заводил?

там пару фиксили

from noc.sa.models.managedobject import ManagedObject mo = ManagedObject.objects.get(id="291") cd = mo.get_caps() cd["Management | Allow Sessions"] = True mo.update_caps(cd, "source")

@E_zombie

там

ну да, вот же @aversant

что есть CW?

CLOSE_WAIT

это к сессиями не относится

и без сессий оно было

стоп

да, вечно всё путаете

С сессиями решилась проблема с CW

стопэ

стоп

смотрите

она не решилась, а сократилась в каком-то смысле.

Ну да