Спрашиваю, может кто уже изврашался

всем привет! а чем бы вы мониторили логи node.js приложения? у меня уже имеется kubernetes для оркестрации, буду поднимать prometheus для анализа метрик, но нужно еще где-то удобно смотреть логи и желательно бесплатно, недолгий гугл дал подсказку, что стоит смотреть в сторону ELK(elastic+logstash+kibana) кто-то использовал ELK, дорого обходится? а если свой развернуть, то большие нагрузки? стоит ли заморачиваться или есть решения попроще?

Нагрузка зависит от того, сколько туда слать

Если там одно приложение - вполне можно использовать. Однако стоит учесть, что там java, которая память ой как любит

Решения попроще - syslog с сохранением в текстовые файлы :)

всем привет! а чем бы вы мониторили логи node.js приложения? у меня уже имеется kubernetes для оркестрации, буду поднимать prometheus для анализа метрик, но нужно еще где-то удобно смотреть логи и желательно бесплатно, недолгий гугл дал подсказку, что стоит смотреть в сторону ELK(elastic+logstash+kibana) кто-то использовал ELK, дорого обходится? а если свой развернуть, то большие нагрузки? стоит ли заморачиваться или есть решения попроще?

у нас одно приложение пишет в rsyslog через unix-socket ) а мой личный проект запущен в pm2 c плагином для ротации

а где и как вы логи смотрите? а если логов станет много?

для рсислога делался самопис подменяющий console.log и consolw.warn )

а где и как вы логи смотрите? а если логов станет много?

tail -F /var/log/xxx.log

или pm2 log

Хипстеры не оценят

Слишком много консоли

да. я старый пердун. я патчил кде2 на фряхе

а у вас много сервисов так мониторится?

Хипстеры не оценят

ну как. у меня есть в приложении сервисные логи. они смотрятся в самом же приложении. раскладываются по партициям хранимками(примерно по 25000000 секунд на партицию). смотрятся из приложения....

У меня клиенты смотрят логи через веборду модуля pm2-web))

а у вас много сервисов так мониторится?

у нас скада писаная на ноде. 1 сервис.

когда начинали pm2 не был так развит

наче не делали бы эти извращения

"Since it's no longer possible to monitor pm2 running on multiple machines I'm not really working on pm2-web any more."

хз. для логов тебе надо искать инструмент именно для логов. нам пока не было нужды

хмхм, спасибо, думаю попробовать elk таки, но ощущение, что это из пушки по воробьям ?

ну и нам проще. мы можем одной скадой мониторить остальные в принципе )

если припрет

хмхм, спасибо, думаю попробовать elk таки, но ощущение, что это из пушки по воробьям ?

graylog посмотри

graylog посмотри

там еще больше джавы+монга

и тот же эластик

жрёт он не меньше, но для сбора именно логов поинтереснее в том плане что из коробки он более готов, в елк придется крутить логстешь и кибану очень долго

А splunk потерял нишу? Не слышно его

он денег стоит

он очень клёвый и очень дорогой

если есть возможность купить или пиратить то splunk топ

он очень клёвый и очень дорогой

Ну есть же "триал"

если есть возможность купить или пиратить то splunk топ

Да, но что-то много лет его уже не слышно

ну зависит от проекта, я сейчас смотрю елк и грейлог потому что у меня логов десятки гб в сутки. А там триал вооще маленький

Да, но что-то много лет его уже не слышно

в плане не слышно? постоянно обзоры на хабре и всякое такое

Угу, 500мб в сутки на фри

причем возможно что он не дороже елк выходит, когда вопрос встанет например 80 серверов под эластик выделять или в 3 раза меньше под спланк

в плане не слышно? постоянно обзоры на хабре и всякое такое

Вообще не попадает, кроме как рассылки на почту. Странно

всё время вижу статьи https://habrahabr.ru/company/tssolution/blog/324136/ https://habrahabr.ru/company/tssolution/blog/327943/

по тестам могу точно сказать, на одинаковом железе splunk раза в 2-3 минимум по проихводительности лучше чем елк

ну и опять же если говорить елк вс грейлог, в елк алерты либо за деньги либо не очень прямой сторонний плагин, в грейлоге из коробки, в спланке тоже

в спланке сразу интеграция с кучей вещей через маркет, ну грейлог опять же к этому ближе

но при этом в елк за счёт кибаны можно всякие хитрые графики рисовать если вы по мтерикам мониторите - инфлюкс+графана вам таких возможностей в ближайшее время не дадут

я что-то с influx+grafana вообще не пойму, оно у меня как-то сожрало 80GB RAM при просмотре))

точнее бд сожрало память

смотреть надо что именно жрало, может быть так например что если сторадж медленный то начинается кеширование

запрос большой+период, но всё же, меру то знать надо))

ну было бы в сервере меньше рам, пришел бы оом и убавил всем аппетит

это потому что ктото пишет в 1 таблицу

это потому что ктото пишет в 1 таблицу

кто-кто - телеграф же

а я то парился... хранимки писал. триггеры на инсерт - тчобы по истечении периода новую партицию создавтаь. хранимку которая бегает по таблицам ровно то что надо собирает и ТУТ ЖЕ на клиента отдает чтобы память не грузить. ха

а народ не заморачивается

ахаха

а народ не заморачивается

почему же, просто не занимался им вообще) развернул as is

я вообще то про наши логи внутри нашего продукта

у нас тут для этого пытались коллеги форсить influx )

Логи модно хранить в кликхаусе, инфа 100%

Логи модно хранить в кликхаусе, инфа 100%

иногда есть задача не размазывать софт по 100500 технологиям.

иногда есть задача не размазывать софт по 100500 технологиям.

Пишите прямо патчи в ядро

иногда есть задача не размазывать софт по 100500 технологиям.

рсислог фтв

Elastic можно заменить разве что на clickhouse, но это сложно. Kibana + elasticsearch вроде норм, а вот logstash ИМХО надо заменять на что-то более удобоваримое по ресурсам.

Народ, как сказать TravisCI что бы он не выполнял часть скриптов для dev ветки? В мастере должны прогоняется тесты + автопаблиш в NPM, а для dev ветки публикация в NPM, конечно же, не должна происходить. Что же, писать bash'евский IF TRAVIS_BRANCH...?

С CircleCI можно как-то тестить вебхуки от 3rd party сервисов? Не нагуглю что-то ничего про статик ип или днс рекорд

я что-то с influx+grafana вообще не пойму, оно у меня как-то сожрало 80GB RAM при просмотре))

Увы у них такое поведение с момента первой самой версии.

Увы у них такое поведение с момента первой самой версии.

угу, я помню, и каждый релиз жду чего-то вкусного на эту тему, а нет(

угу, я помню, и каждый релиз жду чего-то вкусного на эту тему, а нет(

Я б уже на твоём месте перестал бы ждать :)

Народ, как сказать TravisCI что бы он не выполнял часть скриптов для dev ветки? В мастере должны прогоняется тесты + автопаблиш в NPM, а для dev ветки публикация в NPM, конечно же, не должна происходить. Что же, писать bash'евский IF TRAVIS_BRANCH...?

test: ... on: branch: dev deploy: ... on: branch: production

Я б уже на твоём месте перестал бы ждать :)

не верно выразился, не жду, а наблюдаю)

не верно выразился, не жду, а наблюдаю)

Врядли что то принципиально изменится. У меня ощущение что авторы не понимают что нужно людям

И никогда не понимали

Может что то изменится через эн лет, но с платной кластеризацией оно нафиг не сдалось

ну т.е. оно реально много ест или надо правильно готовить? Я так понимаю, что это у меня так поднято

Может что то изменится через эн лет, но с платной кластеризацией оно нафиг не сдалось

та-да, этот момент я тоже не понял

ну т.е. оно реально много ест или надо правильно готовить? Я так понимаю, что это у меня так поднято

Оно по жизни такое

похоже придется всё потыкать попробовать и решить для себя уже

спасибо за советы!

коллеги, если необходимо собрать четыре докер имаджа, которые отличаются только версией дополнительного питоновского пакета (i.e. pip install mypkg==0.1(2,3)), то обязательно клепать четыре докер файла?

коллеги, если необходимо собрать четыре докер имаджа, которые отличаются только версией дополнительного питоновского пакета (i.e. pip install mypkg==0.1(2,3)), то обязательно клепать четыре докер файла?

Попробуй rocker

Или multi stage build

Или multi stage build

спасибо, покопаю в эту сторону

ебучий яндекс танк

какого хрена он не пишет мониторные логи

кто-нибудь сталкивался с такой проблемой?

А в какой бд лучше хранить что-то вроде переписки юзеров чтобы не хранить все в одной таблице? Может где-то есть поддержка каналов или очередей в самой бд?

А в какой бд лучше хранить что-то вроде переписки юзеров чтобы не хранить все в одной таблице? Может где-то есть поддержка каналов или очередей в самой бд?

В любой, которая умеет партиционирование

И в чем проблема хранить в одной таблице?

Тогда доставать их надо и сортировать.

Проще найти хранилище с очередями/списками и туда загонять

Проще найти хранилище с очередями/списками и туда загонять

Очереди и списки это не про хранение, а про доставку до хранилища.

я про хранение

я про хранение

а что с таблицей-то не так? любой табличный сторадж с партиционированием будет ок

Я в nosql пихаю json

Я в nosql пихаю json

могу только порадоваться за тебя