Полузакрытые советы будут видны в netstat

root@noc:/usr/local/noc/etc # netstat -m 301/1754/2055 mbufs in use (current/cache/total) 277/1305/1582/25600 mbuf clusters in use (current/cache/total/max) 277/747 mbuf+clusters out of packet secondary zone in use (current/cache) 0/913/913/12800 4k (page size) jumbo clusters in use (current/cache/total/max) 0/0/0/6400 9k jumbo clusters in use (current/cache/total/max) 0/0/0/3200 16k jumbo clusters in use (current/cache/total/max) 629K/6700K/7329K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0/0/0 sfbufs in use (current/peak/max) 0 requests for sfbufs denied 0 requests for sfbufs delayed 3858 requests for I/O initiated by sendfile 0 calls to protocol drain routines

Как ESTABLISHED

[root@noc etc]# netstat -m netstat: invalid option -- 'm'

обычно они видны как TIME_WAIT

или FIN_WAIT

для микротика в профиль добавь command_exit="quit"

тогда он корректно будет закрывать сессию

и в остальные железки тоже подобавляй команды для корректного завершения сессии

TIME_WAIT тоже нет

Я бы увидел сотни строк в netstat

Ничего необычного.

у меня нету идей. у меня самого develop ветка крутится на отдельной машинке без проблем. правда там FreeBSD стоит

CentoOS 7 Selinux On

Пробовал выключить не помогло

Да и работает же он как то 20-30 минут

/dev/mapper/DB-NOCDB 50G 9.5G 38G 21% /opt/DB

KiB Mem : 3882828 total, 858112 free, 904992 used, 2119724 buff/cache

Вот опять застыл

@Zhdanovich таки попробуй с manhole

в ключи в коинфге через морду.

main / setup /config

там скажи noc-activator

убедись что manhole включен.

перезапусти актоватор.

дождись ситуации с проблемой

зайди в manhole через socat

2016-07-08 09:03:31,781 [noc.sa.activator.activator] [Generic.get_uptime(WAP-P58-UBQ-1.WTG-WRL-TXR, 10.60.20.2)] Running. Timeout 120 [7/500 threads] 2016-07-08 09:03:32,634 [noc.sa.activator.activator] Cancelling stale script Generic.get_interface_status_ex(172.16.130.14) 2016-07-08 09:03:32,634 [script] Cancelled 2016-07-08 09:03:32,635 [noc.sa.activator.activator] [Generic.get_interface_status_ex(RTR-END-CSO-1.QKL-QGM-OFF, 172.16.119.51)] Stopping. Cancelled [6/500 threads] (12)

вывод того получилось положи на пасту.

и дай линк сюда

И тишина

это лог активатора ?

по ходу таких сообщений не могу найти в активаторе какая-то древняя инсталляция

эх.

да пофиг

А вот какая-то фигня происходит. У меня переодик на Джунипер подвис в состоянии Run. Рядом в окне лог - выполнился полностью. А состояние Run и новые переодики не запускаются, разумеется. Перегрузил НОК - пофигу, состояние Run. Чего-бы еще перегрузить?

А вот какая-то фигня происходит. У меня переодик на Джунипер подвис в состоянии Run. Рядом в окне лог - выполнился полностью. А состояние Run и новые переодики не запускаются, разумеется. Перегрузил НОК - пофигу, состояние Run. Чего-бы еще перегрузить?

дискавери.

дискавери при рестарте сбрасывает состояние запущенности тасков

А как его одного перегрузить?

если не помогло, а такое было пару тройку раз то активаторы

./noc ctl

restart discovery

Спасибо

не уверен в последней команде но что то типа

noc@URANNOC/DC1/urannocnode1> restart discovery-default:discovery-default-00 discovery-default:discovery-default-00: stopped discovery-default:discovery-default-00: started

Ну вот как-то так.

ага да

Не помогло. Рестарт дисковери и активаторов . Состояние - Run

Последний вопрос, из командной строки можно как-то запустить периодик на конкретную железку чтобы посмотреть где затыкается и как?

Помогло только снять налочку Мэнеджет и потом поставить обратно. Но периодик опять ушел в Ран и не возвращается.

Сорри. Упало другое пришлось бросить нок.

Dmitry Luhtionov: это просто ветка не микросервисная

Как сказали выше в в микросервисной не работают сниппеты

Засада

Старый виснет новый не работает. :)

0.8 стоял работал не вис. Обновил до 15.1 :).

сниппеты чинить-то собирается кто-нибудь? ;)

Переходи на новый в надежде на фиксы)

@somovis рекомендую под /opt/noc/var/db/nsq сделать отдельный диск. или разел.

@somovis рекомендую под /opt/noc/var/db/nsq сделать отдельный диск. или разел.

Почему?

что бы можно было контролировать его конечность

при аварии на influx например nsqd будет туда скалдировать метрики.

Руки и ноги.

как показала практика influxdb может подниматься очень долго.

и желательно что бы nsqd не убил сервер переполенением диска

ERROR: S client not available

Переходи на новый в надежде на фиксы)

не, ну а как без них конфиги править-то

не, ну а как без них конфиги править-то

через shell

и нахрена тогда нок нужен? )

как показала практика influxdb может подниматься очень долго.

Сейчас посмотрю

и нахрена тогда нок нужен? )

я думаю Илья имеет ввиду ./noc shell

я думаю Илья имеет ввиду ./noc shell

Да, не дописал )

@somovis рекомендую под /opt/noc/var/db/nsq сделать отдельный диск. или разел.

А где точка монтирования? Точнее настройка

у тя тут вот /opt/noc/var/etc/nsq

есть файлик

nsqd.conf

там написано такое вот data_path = "/opt/noc/var/db/nsq"

вижу

Понял

В tower может опцию добавить?

@somovis рекомендую под /opt/noc/var/db/nsq сделать отдельный диск. или разел.

Какой объем рекомендуешь?

от колва метрик зависит

надо изучать эксперементально

8 гигов хватает на полтора миллиона примерно

У меня не много, всего 300 железок и со всех интерфейсы дергает (почти все железки - стаки из 4х 48 портовых +/- )

В tower может опцию добавить?

нет смысла. реально настройка под аварии

а как шелл питона поможет записать пицот конфигов?

У меня не много, всего 300 железок и со всех интерфейсы дергает (почти все железки - стаки из 4х 48 портовых +/- )

не морочься тогда. если ты мониторишь состояние influx то чисто технически на паре тройке гигов должен долго продержаться.

не морочься тогда. если ты мониторишь состояние influx то чисто технически на паре тройке гигов должен долго продержаться.

Хорошо, спасибо

ну и во время такой аварии nsq будет сначала писать в память.

как раз этот параметр задается в морде

а потом уже складывать на диск.

если потерять чего боишься - меньше в память больше в диск. ну или наоборот.

Завтра потыкаю, уже спать хочу. Доброй ночи!

@freeseacher, никого не хочу обидеть, но noc без инструмента управления конфигурациями - это не нок )

@freeseacher, никого не хочу обидеть, но noc без инструмента управления конфигурациями - это не нок )

плюсую

сниппеты нужны