Логстешу / хеке

вот только всякие логстеши во все дыры пихать самое оно

да, норм вариант, для nginx под нагрузкой лучший,

Логстешей можно парочку на окружение

лучший для чего? что вы с этими логами делать потом собрались?

1001 способ похоронить никому не нужные логи наиболее сложным и ресурсоемким способом

ну поэтому я так и не делаю, я пишу в syslog и там уже выбираю нужные логи

которых сильно меньше чем ненужных

Для теста через gelf адаптер гонял, nginx->stdout->gelf->logstash->es. Тогда на хосты меньше, но udp ожидаемо логи теряет.

но ненужные тоже нужны иногда поэтому они в файлах как есть

*на хосты меньше ставить

Зачем нужны логи - философский вопрос видимо

но ненужные тоже нужны иногда поэтому они в файлах как есть

да в 99% случаев так оно и есть. пока они лежат "иногда пригодятся" вот этот весь огород с жабой и логстешем - разве что для "хочу быть причастным к терибл мистейк"

вобщем, вариантов много, не как по мне, не надо волумы использовать для этого. не храните ничего не надо. нода должна свободно убиться/создасться в случае чего

огород с жабой и логстешем для нужных логов, и для логов которых не сто метров в минуту

вобщем, вариантов много, не как по мне, не надо волумы использовать для этого. не храните ничего не надо. нода должна свободно убиться/создасться в случае чего

ну а что ей мешает-то

огород с жабой и логстешем для нужных логов, и для логов которых не сто метров в минуту

тип того

да в 99% случаев так оно и есть. пока они лежат "иногда пригодятся" вот этот весь огород с жабой и логстешем - разве что для "хочу быть причастным к терибл мистейк"

Как только достаточное количество людей обучается кибане логи их ненужных превращаются в бизнес-критикал

ну а что ей мешает-то

я неправильно еще наверное выразился, хранить логи на ноде, т.е. еще включать мониториг свободного пространства на диске? ну на всякий случай -) да нафиг, все должно быть стейтлесс, воздушно и необременительно -)))

Как только достаточное количество людей обучается кибане логи их ненужных превращаются в бизнес-критикал

Ага. Логи нужны, чтобы люди учили кибану. Ok

Чтоб они могли анализировать текущее и прошедшее состояние системы

я неправильно еще наверное выразился, хранить логи на ноде, т.е. еще включать мониториг свободного пространства на диске? ну на всякий случай -) да нафиг, все должно быть стейтлесс, воздушно и необременительно -)))

Где-то его всё равно придется включить :) Хотя конкретно это вопрос конечно философский

для метрик которых очень много и они нужны , там все подругому " хранить логи на ноде" , ну тех логово которых фиксированно количество можно и на диск складывать и ротировать, прям совсем стейтлесс под нагрузкой с логами не выйдет

я тоже раньше хотел все логи по сети гонять , но одумался, "а нахер"

Чтоб они могли анализировать текущее и прошедшее состояние системы

И часто люди это анализируют? И часто помогает? Т.е. реально есть массовые методики бизнес-критикал анализа логов nginx, требующего логстеш и там эластик? Чушь всё это и хотелки.

ну почему сразу nginx? че других логов не бывает?

ну почему сразу nginx? че других логов не бывает?

тут про nginx был вопрос. но честно вокруг nginx я чего-то тоже не вижу логов, к которым было бы неприменимо то, что я сказал. я даже сам могу быстро придумать ситуацию, где анализ нужен и будет критичным. но это точно не общие случаи с логами nginx/apache/messages

а да, согласен, это все в файлы и ротировать,, для анализов - специаьно составленные логи приложения

И часто люди это анализируют? И часто помогает? Т.е. реально есть массовые методики бизнес-критикал анализа логов nginx, требующего логстеш и там эластик? Чушь всё это и хотелки.

Каждый день анализируют и помогает. Правда не в каждой компании такое работает. Возможно логи nginx кажутся бесполезными на первый взгляд, но даже просто добавив реферрер в логи - кибана уже превращается в seo инструмент

Каждый день анализируют и помогает. Правда не в каждой компании такое работает. Возможно логи nginx кажутся бесполезными на первый взгляд, но даже просто добавив реферрер в логи - кибана уже превращается в seo инструмент

Ну вот началось - SEO... Да. Так да. И это правильно. Но это крайне специфичный случай

Ну вот началось - SEO... Да. Так да. И это правильно. Но это крайне специфичный случай

Это просто самый понятный случай, у нас их сильно больше. Но вообще - если можно хранить логи с удобным доступом - зачем этого не делать?

Это просто самый понятный случай, у нас их сильно больше. Но вообще - если можно хранить логи с удобным доступом - зачем этого не делать?

потому что жаба, кибана и логстеш. и сервисы

потому что жаба, кибана и логстеш. и сервисы

и что? жаба, кибана и логстеш - это трудно или дофига стоит?

да, я тоже хотел хранить все логи удобным способом, но в моем случае все логи ложить в жабу это удвоение количества серверов для их обработки, поэтому все хранить там неимеет смысла.. вот и от вет, если у вас нет такой нагрузки то можно все хранить там вообще без проблем

да, я тоже хотел хранить все логи удобным способом, но в моем случае все логи ложить в жабу это удвоение количества серверов для их обработки, поэтому все хранить там неимеет смысла.. вот и от вет, если у вас нет такой нагрузки то можно все хранить там вообще без проблем

100Гб логов в день, нормально раскладываются в кластер

ну да, но когда на это нужно ресурсов больше чем тратит само приложение начинаешь задумываться

и что? жаба, кибана и логстеш - это трудно или дофига стоит?

не 0. это три штуки которые надо как-то поставить и настроить

ну да, но когда на это нужно ресурсов больше чем тратит само приложение начинаешь задумываться

тип того

ну да, но когда на это нужно ресурсов больше чем тратит само приложение начинаешь задумываться

Это проблемы вербосити логов приложения? На личном опыте - гораздо больше времени экономится, когда у тебя есть хорошая аналитика по логам, чем это стоит.

не 0. это три штуки которые надо как-то поставить и настроить

https://elk-docker.readthedocs.io/

да я ничуть не против, мне очень нравятся эти инструменты и я их использую и всем советую)) но нужно знать меру )

Это проблемы вербосити логов приложения? На личном опыте - гораздо больше времени экономится, когда у тебя есть хорошая аналитика по логам, чем это стоит.

Что такое "хорошая аналитика по логам"?

лично у меня для аналитико под нагрузкой используется тройной слой аггрегации в высокопроизводительном golang + tarantool + golang перед пападением этого всего в elk , и когда все логи выглядят в нужном виде тогда все огонь

я прошу прощения, коллеги, кто-нибудь Umi Cms, будь она неладна, запускал на докере? мне очень больно смотреть на то, как многие функции уже давно выпилены из php, но должны же быть какие-то костыли? )

Причём тут докер и функции пхп?

Ставь в докер то с чем оно рабоатет

Если хочешь официальный контейнер то нужно доставлять руками ext всякие

а мне же никто не запрещает компилить в докере? я же вот возьму сейчас, и сам соберу ту срань, которая нужна для запуска этого старого юми.. божественная идея

так и надо

более того php официальныq билдится

посмотри их Dockerfile

и они рекомендуют от него наследоваться кстати. что бы не паристя вовсе

мне мягко говоря нужна 5.3 )

причём подозреваю что без сухосина еще, что особенно доставляет в практически начале мая 2016 года

собери свой php, создай с ним базовый образ

да я так уже и делаю. я просто очень много времени потратил на то. чтобы научить php 5.6 тому, что из него уже давно выпилиено ?

не обязательно внутри докера собирать

оказалось проще собрать старое

нененене, я не хочу пачкать сервер этим

в докер всё

можешь в чруте на сервере собрать или в сборочной среде

главное, чтоб у тебя в образ компилятор не попал :)

не

собирай в докере

да, так и делаю. у меня EDD... Exception Driven Development.

запускаю php, nginx, всё отлично. только связи между php и mysql нет в упор. видимо я уже устал. документация говорит что в docker-compose.yml нужно написать links -db и это связывает контейнеры. но Could not connect: No such file or directory

2002 еггог сикуля

при этом к базе есть доступ. докер запускаю с mysql - могу зайти на неё навикатом или dbeaver'ом

но есть и хорошие новости

если не брать в расчёт php 5.3 очень кастомной сборки с дичайшими полусамописными плагинами неизвестных слепых авторов-наркоманов, то в докере работает практически всё, особенно самое актуальное и последнее.

5.3 тоже рабоатет

я собирал

ща кликну ребят со страрой работы если нужен Dockerfile

да php вроде собрал, почему-то с mysql теперь его не подружить ))))

ах тыж докер....

пацаны, я сегодня многое понял (с)

Кто тут докер под мак хотел? https://medium.com/@nzoschke/docker-for-mac-beta-review-b91692289eb5#.yocvo9vx6

Коллеги, а кто как занимается бэкапом баз данных в контейнерах (с волюмами или в образах?) а также настроек и докерфайлов?

Коллеги, а кто как занимается бэкапом баз данных в контейнерах (с волюмами или в образах?) а также настроек и докерфайлов?

flush tables with read lock; zfs snapshot

flush tables with read lock; zfs snapshot

не пользовался ранее zfs. я правильно понимаю что для этого достаточно на хосте установить zfs, сделать virtual device, и подмонтировать туда volume папку db?

занятно )

Коллеги, а кто собирает deb-ку с jvm в докере, можете поделиться скриптами? Я написал скрипты для сборки через fpm, но может что-то упустил

меня это только ожидает впереди, в ближайшем обозримом будущем. а сейчас я собираю контейнер для компиляции очень кастомного php

мой имидж с сорцами, умеет собирать deb jre и jdk из тарбола https://hub.docker.com/r/sample/java-builder/

прошу прощения за нубство. а это нормально что ADD в докерфайле при добавлении tar.bz мне его сразу же распаковал в ту папку, куда я его добавил? я иногда удивляюсь магии, которой нет в документации

не пользовался ранее zfs. я правильно понимаю что для этого достаточно на хосте установить zfs, сделать virtual device, и подмонтировать туда volume папку db?

угу. правда для этого придется поставить поддерживающий zfs хост,

угу. правда для этого придется поставить поддерживающий zfs хост,

вроде 14.04 поддерживает. я просто не знаю тчно какой лучше ставить. моя задача - один говнопроект утащить в докер, чтобы он работал максимально безотказно на поддерживающей его системе. сейчас это хаотичный набор php файлов, несколько db в mysql где и myisam и innodb, и ад этот весь катается исключительно на старой php без сухосина с кучей очень кастомных плагинов, кривых костылей и т.п. главное - вовремя весь этот ад бэкапить, и в случае полного краха быстро разворачивать обратно.

смешно, но дешевле было бы уже всё это переписать, но клиенты предпочитают платить (и переплачивая) за бэкапы и поддержку этого барахла, чем переписать учитывая хотя бы советы Стива МакКоннела для начала

вроде 14.04 поддерживает. я просто не знаю тчно какой лучше ставить. моя задача - один говнопроект утащить в докер, чтобы он работал максимально безотказно на поддерживающей его системе. сейчас это хаотичный набор php файлов, несколько db в mysql где и myisam и innodb, и ад этот весь катается исключительно на старой php без сухосина с кучей очень кастомных плагинов, кривых костылей и т.п. главное - вовремя весь этот ад бэкапить, и в случае полного краха быстро разворачивать обратно.

smartos или freebsd. про ZoL пока ничегохорошего не говорят

ну или расскажешь нам потом тру стори на ubuntu 16.04 - там есть

:)))

хм.

что-то мне идея со смартос больше по душе

там zfs из коробки?

что-то мне идея со смартос больше по душе

да, там kvm. да - там вообще родной zfs. это же форк солярки