Алексей Широких pushed to tower/master add gittornado as a dep remove custom hack mention LICENSE in separate file docker better caching add pip to deps. remove gittornado. move to tower to git prepare docker-compose file for dev make lint happy remove playbook_path during 29 migration add lint stage flake8 settings make various lints happy update FAQ update Readme.md make lint happy ignore local config.db add CHANGELOG bump version fix lint Merge branch 'git_support' into 'master' Git support See merge request noc/tower!8

Хуй ©

На выполнении пачкой ./noc run cli -c @'gr1' при опросе 500 коробок, сыплется...

было у кого?

Одиночная команда, нормально выполняется

EXCEPTION: <class 'tornado.iostream.StreamClosedError'> Stream is close

крутяк. проблемы с дискавери скорее всего.

как его прокачивать?

может renice ?

надо смотреть что у тебя там . ты давно обновлялся?

месяц назад

и ваще покажи коману

ну вроде что то чинили эдакое.

но это не точно.

покажи команду как запускаешь. может что то не то.

и ваще покажи коману

./noc run cli -c 'disp web statistics packet' @'gr1'

./noc run cli -c 'disp web statistics packet' @gr1

gr1 селектор

не думаю, что '' роляют

не то

ну значит обновись :)

Что в логах Дискавери?

Два активатора, получают задания и затихают

Что в логах Дискавери?

2017-12-27 08:50:52,694 [noc.core.dcs.base] [activator-default] Set active services to: 192a3eb5-d216-4af7-9336-a9e0c3b2ff66: 192.168.122.21:24876, 5ba590ee-7a36-4206-a12e-36a18c2b0e41: 192.168.122.20:37852, c785cebb-dadc-42c8-905d-f8d2dbb0aa64: 192.168.122.30:33952, 6d4d5b91-8aa4-4bcd-b021-29078dfa8a8b: 192.168.122.22:23076

типа готовы трудится

Может потокам futures больше времени дать? Ибо валятся стандартно на тяжёлых железках, у которых конфиг большой

И вообще такое ощущение, что всего один поток работает у активатора

Один таск застревает, и все корутины повисли э

Сколько у тебя активаторов и Дискавери? Графики покажи в графане

4 активтора и 1 дисковери

графиков не делал пока, инфлакс убил, а пром пока не настроил

4 активтора и 1 дисковери

На 500 железок этого маловато

А сколько нужно?

Одновременно

Сколько тяжёлый опрос длится?

до минуты

Вот хороший пример: 2017-12-27 09:06:34,786 [activator] POST /api/activator/ (192.168.122.1) 15310.45ms 2017-12-27 09:09:24,717 [noc.core.debug] UNHANDLED EXCEPTION (2017-12-27 09:09:24.687554)

3 минуты

очень похоже на таймаут, хотя exception вываливает данные с консоли

3 минуты

Оно так и естт

4 активтора и 1 дисковери

А тредов?

У тебя 4 активатора не могут попросить железо 500 раз за 3 минуты, если у тебя один опрос до минуты

Доподлинно неизвестно, как надо, но тебе рекомендую увеличить. Вслепую, потому что графиков у тебя нет. Поставь 4 актив по 50 тредов и 2 Дискавери по 100

А тредов?

50

3 минуты между заданиями

Получил задание: 2017-12-27 09:06:34,786 [activator] POST /api/activator/ (192.168.122.1) 15310.45ms Выпал в эксепшн 2017-12-27 09:09:24,717 [noc.core.debug] UNHANDLED EXCEPTION (2017-12-27 09:09:24.687554)

50

Ты как моя жена, не можешь ответить на весь вопрос

бггг )

активаторы 4 х 50 дискавери 1 х 10

Получил задание: 2017-12-27 09:06:34,786 [activator] POST /api/activator/ (192.168.122.1) 15310.45ms Выпал в эксепшн 2017-12-27 09:09:24,717 [noc.core.debug] UNHANDLED EXCEPTION (2017-12-27 09:09:24.687554)

По тайм-аут выпал, не сходил даже на хост

как не сходил?

Сходил

Даже что-то забрал

Тогда смотри, что за эксепшен

Даже что-то забрал

Проверь дебагом noc script

./noc crashinfo list

Проверь дебагом noc script

Это команда, run cli по одиночке - работают

Есть твои? Потом view id

Это команда, run cli по одиночке - работают

Интересно

активаторы 4 х 50 дискавери 1 х 10

Увеличь. Имхо у тебя чего-то не хватает

У меня тоже забавный кейс, Дискавери интерфейсы, которые в up - метит как down, потом как up

не зватает количества сае и количества потоков на них

чтобы посчитать слоты

не зватает количества сае и количества потоков на них

1 SAE x 4

попробуй увеличить у дискавери потоков до 80.

этого точно мало.

не зватает количества сае и количества потоков на них

Ты не первый раз говоришь про сае. В чем смысл сервиса? Прокладка между Дискавери и бд?

А какая формула по расчёту Sae->discovery->activator ?

Со слотами в консуле не связано?

А какая формула по расчёту Sae->discovery->activator ?

Никакой

Service type: Internal Short description: Service activation engine Long description: Acts as proxy between discovery and databases. Scale Recommendations: At least two per system. docs: "To be done" Placement constraint: On node with discovery

дискавери ждёт ответ от активаторов

получается количество потоков должно быть равно количеству всех активаторов?

получается количество потоков должно быть равно количеству всех активаторов?

Активаторо-тредов

количество потоков дискавери == sum потоков активаторов

не?

А как ты кол-во процессов учел?

один запросе дискавери это один rcp а активатору

Ты увеличил, не?

деплоится

хотя, можно было в конфиге поправить ...

Я те честно скажу, понятия не имею, какая формула и кто кем занят.

Тут крутая схема была по взаимодействию всех компонентов

а треды дисковери это форки или future ?

не могу процессы посчитать через ps

Не, ебатень какая с run cli

Service type: Internal Short description: Service activation engine Long description: Acts as proxy between discovery and databases. Scale Recommendations: At least two per system. docs: "To be done" Placement constraint: On node with discovery

И ты упирался в него когда-то?

в слоты - да .

в слоты - да .

Это же консуловая хрень?