При этом кликхаус явно работает root@noc:/var/log/noc# systemctl status clickhouse-server ● clickhouse-server.service - LSB: Yandex clickhouse-server daemon Loaded: loaded (/etc/init.d/clickhouse-server; bad; vendor preset: enabled) Active: active (exited) since Чт 2017-07-20 13:32:38 +11; 7h ago

# getent hosts clickhouse 10.36.129.73 clickhouse

У него даже файл лога не создан.

для этого в /etc/hosts запись

Да черт с ним. Меня больше сислог волнует. В него теперь ничего и не приходит.

В первую очередь syslog-collector должен получать сообщение, правильно?

О, а теперь пошло. Через 10 минут после записи в логах что Service is active

При этом кликхаус явно работает root@noc:/var/log/noc# systemctl status clickhouse-server ● clickhouse-server.service - LSB: Yandex clickhouse-server daemon Loaded: loaded (/etc/init.d/clickhouse-server; bad; vendor preset: enabled) Active: active (exited) since Чт 2017-07-20 13:32:38 +11; 7h ago

/etc/init.d/cli... status

Вот оно что. root@noc:/var/log/noc# /etc/init.d/clickhouse-server status clickhouse-server: process unexpectedly terminated

Чё там? Чёта поправили? Обновляться пора?

Карточки не работают

У него даже файл лога не создан.

grep errorlog /etc/clickhouse-server/config.xml

2017-07-20 21:53:51,289 [card] GET /api/card/view/managedobject/5/ (172.16.30.161) 270.37ms 2017-07-20 21:54:40,511 [noc.core.debug] UNHANDLED EXCEPTION (2017-07-20 21:54:40.425301) BRANCH: feature/microservices TIP: bc4ed9a504da PROCESS: ./services/card/service.py ERROR FINGERPRINT: 772209ba-396b-57ba-ad87-8a5aac1e76fb WORKING DIRECTORY: /opt/noc EXCEPTION: <class 'jinja2.exceptions.UndefinedError'> '_' is undefined START OF TRACEBACK

root@noc:/var/log/noc# grep errorlog /etc/clickhouse-server/config.xml <errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog> root@noc:/var/log/clickhouse-server# ls root@noc:/var/log/clickhouse-server#

Ещё по поводу карточек START OF TRACEBACK —---------------------------------------------------------------------- File: local/lib/python2.7/site-packages/jinja2/environment.py (Line: 780) Function: handle_exception 773 from jinja2.debug import make_traceback as _make_traceback 774 traceback = _make_traceback(exc_info, source_hint) 775 if rendered and self.exception_formatter is not None: 776 return self.exception_formatter(traceback) 777 if self.exception_handler is not None: 778 self.exception_handler(traceback) 779 exc_type, exc_value, tb = traceback.standard_exc_info 780 ==> reraise(exc_type, exc_value, tb) 781

Fx?f ты на микротики грешил?

Это из-за чего может быть?

t=2017-07-20T22:19:20+1100 lvl=eror msg="Failed to update dashboard json index lstat /opt/noc/var/db/grafana_dashboards: no such file or directory"

Его там действительно нет.

Fx?f ты на микротики грешил?

В каком таком смысле?

t=2017-07-20T22:19:20+1100 lvl=eror msg="Failed to update dashboard json index lstat /opt/noc/var/db/grafana_dashboards: no such file or directory"

Посмотрю вечером

А может у меня метрики никуда не записываются из-за того, сто кликхаус не работает?

В каком таком смысле?

grep -E 'Cannot close channel clearly:' /var/log/noc/activator-default-0*

grep -E 'Cannot close channel clearly:' /var/log/noc/activator-default-0*

пусто

угу

а, была проблема с шедуллером, где я предположил, что забивается шедуллер из-за очень долгого опроса древних мекротов. После чего пошел и выпилил нахер ipv6 из капсов

шляпито странное. на микротах и только на get_version

какое ещё странное ?

Поподробне

[MikroTik.RouterOS.get_version|10.2.34.1] [ssh] Cannot close channel clearly: Unable to close the channel.

Dmitry Volodin pushed to noc/feature/chmetrics chwriter: Fix incorrect merge

я понял, кого она мне напоминает

Кажется это проблема 2017-07-20 22:57:23,788 [pmwriter] Failed to spool 2500 metrics due to unknown error: type object 'pmwriter' has no attribute 'influx_db' 2017-07-20 22:57:23,788 [pmwriter] InfluxDB is getting ill. Giving chance to recover. Waiting for 1000.00ms Графана ничего не рисует, карточки не работают.

раз! и уплыло 6-ть гигов памяти куда-то. вот куда бля? на соседней ноде всего 2

там нет веба и графаны. всё остальное-то есть...

монга сожрала

она ваще на другой ноде

на монге 4-ре гига в буфере , всё ок

У тя есть графики потребления памяти каждым процессом

В инфлбксе procstat таблица

тадаааааам

3670.707031 Mb noc-discovery-4-def

кандидат на перезапуск

gcore сделай

Может @aversant посмотрит

а где как?

@freeseacher обновляться можно?*

@freeseacher обновляться можно?*

Будь готов решать грабли. Ну и меня до вечера не будет

а где как?

google (gcore)

тогда подожду :)

google (gcore)

окай

Алексей, подскажи по pmwriter

Ладно, жду до утра.

google (gcore)

Далее куда его ? оно же 4-ре гига весит?

могу положить на свой FTP и ссыль заслать

Это грабля

Убедись что в /var/spool/nsq достаточно места

Сейчас туда пишутся метрики

Но не читаются походу

а я CH для чего ставил вот ?

места достаточно

Далее куда его ? оно же 4-ре гига весит?

Пожми

Получив добро от @aversant что посмотрит

В телеге ограничение на файл 2 гига

Будь готов что там пароли и вот это вот всё

ERROR: S client not available

Ладно, жду до утра.

Про место это тебе

Будь готов что там пароли и вот это вот всё

пароли от чего? от внутренностей нока?

От чего угодно

Это дамп процесса

процесса дискавера

какими ещё паролями он может оперировать-то?

А блять

от железа же

тогда нафиг пока что))))

после gcore место само расчистилось как бы

а, ну его ребутнуло. Всё честно discovery-default:discovery-default-04 RUNNING pid 23905, uptime 0:10:07

Gcore ничего не чинит

Только делает срез

я и не говорил про починку. память освободилась после рестарта процесса

Убедись что в /var/spool/nsq достаточно места

Там ещё 600Г ?

рестартани инфлюкс. почини кликхаус, сделай ./noc migrate-ch =)

Не поможет это.

Лишь пройдя путь наполненного страданий и боли, лишь тогда ты сможешь ощутить настроящую, неполживую радость от использования НОКа в продакшене.

Но это не точно...

@freeseacher у меня остались парочка файлов, имеющих в своём названии упоминание о pmwriter, датируемых 12-м чистом сего месяца. Я так понимаю, что их можно сносить?

где-то тогда же я ставил КХ

https://translate.google.ru/m/translate#en/ru/%5B4%5D%20mount%20-t%20tmpfs%20mdev%20%2Fdev%0A%5B5%5D%20mkdir%20%2Fdev%2Fpts%0A%5B6%5D%20mount%20-t%20devpts%20devpts%20%2Fdev%2Fpts

кто-то помог улучшить перевод :)

Aleksey Shirokih pushed to noc/feature/microservices move noc installation forward. just after everyting else

Aleksey Shirokih pushed to noc/feature/microservices better tasks ordering

Aleksey Shirokih pushed to noc/feature/microservices temporary disable auth for ch

Aleksey Shirokih pushed to noc/feature/microservices expose clickhouse service to consul

Aleksey Shirokih pushed to noc/feature/microservices post_install hacks

Aleksey Shirokih pushed to noc/feature/microservices fix handling incorrect hostname

Aleksey Shirokih pushed to noc/feature/microservices fix handling incorrect hostname 2

Не поможет это.

А что поможет?