Вроде кафку для этого юзают обычно

Поднимать еще и кластер zookeeper только ради кафки не хотелось. Overhead слишком большой по ресурсам получается

Зато тянет сотни нефти

Зато тянет сотни нефти

Мы 2 года сидели на зукипере. Переплевались ?

Вы через него трафик пускали что ли

Вы через него трафик пускали что ли

Использовали как KV хранилище для конфигов. Теперь у нас это слово - матерное ?

Первый раз слышу отрицательный отзыв о зк

У вас конфиги в сотни мегабайт?

скорее всего – что-то рядом с ним поставили

а зука такого не любит

А то знаю я этих разработчиков, особенно русских

Нет, не в сотни, но много версий одновременно и много сервисов обращаются.

скорее всего – что-то рядом с ним поставили

3 выделенных хоста ? и больше ничего

А что у вас сейчас под это, если не секрет?

В тот же етцд тоже гигабайты лучше не писать

А что у вас сейчас под это, если не секрет?

Написали свой конфиг сервер. ?

Ну и вообще фраза "кафка плохо потому что там зк" - это что-то довольно оригинальное

Исходные конфиги лежат в git репозиториях. Там же версионный контроль + безопасность навернута. на каждую среду несколько конфиг-агентов, которые держат кэш конфигов.

А, у вас ридонли что ли?

Ну и вообще фраза "кафка плохо потому что там зк" - это что-то довольно оригинальное

Я не говорил, что кафка плохо.

А, у вас ридонли что ли?

Да

При чём тут тогда зк?

Кафка без ЗК не поднимается

У вас же нет подписок на обновления и локов

Значит сравнение некорректно

Кафка без ЗК не поднимается

Во-первых это не совсем правда, есть (либо была) возможность включить другой кв Во-вторых никто не запрещает поднять крошечный зк на тех же хостах где кафка исключительно для кафки

Во-первых это не совсем правда, есть (либо была) возможность включить другой кв Во-вторых никто не запрещает поднять крошечный зк на тех же хостах где кафка исключительно для кафки

Мы подняли rabbitmq вместо кафки. В качестве транспорта и буфера для логов и метрик

кролик лопнуть может :)

кролик лопнуть может :)

с lazy на очередях - не лопнет. в авральном случае включается кэширование на диск.

с lazy на очередях - не лопнет. в авральном случае включается кэширование на диск.

автоматом?)

да

Мы подняли rabbitmq вместо кафки. В качестве транспорта и буфера для логов и метрик

мы подняли rsyslog+zeroMQ(модуль) на хостах для отправки логов в КХ

мы подняли rsyslog+zeroMQ(модуль) на хостах для отправки логов в КХ

Это реально круто!

Прикольно что вместо умного кв вы сделали тупой ридонли, а вместо тупой очереди для логов вы хотите умный amqp

мы подняли rsyslog+zeroMQ(модуль) на хостах для отправки логов в КХ

relp не торт?

Прикольно что вместо умного кв вы сделали тупой ридонли, а вместо тупой очереди для логов вы хотите умный amqp

такие задачи были :-). сейчас думае о написании своей реализации AMQP брокера и выносе rabbitMQ для хостовых логов и метрик

Ох вау

У вас явно очень много свободных рук

+1 )

У вас явно очень много свободных рук

3 человека всего ?

Значит мало задач

А вот задач до фига

Просто очень много автоматизировано уже. Раньше тратили почти все время на поддержку, сейчас около часа в день

relp не торт?

это же просто протокол, он помоему не реализует очередь - и если принимающая сторона отлетит то логи поедут в /dev/null, что касается родного буфера rsyslog то он не надежный.

это же просто протокол, он помоему не реализует очередь - и если принимающая сторона отлетит то логи поедут в /dev/null, что касается родного буфера rsyslog то он не надежный.

Ты тоже считаешь что надо доставлять 100% логов?

И ни байта не должно пропасть

Ты тоже считаешь что надо доставлять 100% логов?

нужно хотябы идти в эту сторону

Очень Важные Логи

Ты тоже считаешь что надо доставлять 100% логов?

Да!! :-)) А вот сколько их хранить потом - это вопрос дискового пространства

Да!! :-)) А вот сколько их хранить потом - это вопрос дискового пространства

и возможностей сжатия базы, в которой они хранятся

И диски 100% надёжны и сеть 100% надёжна

Окай

Эластик сложно сжать.

И диски 100% надёжны и сеть 100% надёжна

Мы вообще в 2 ЦОДа пишем

И диски 100% надёжны и сеть 100% надёжна

репликация, и очередь прямо на хостах должна нас немного спасти =)

Error в 2 ЦОД, info и warining только в тот ЦОД где они появились

репликация, и очередь прямо на хостах должна нас немного спасти =)

Так и сделано ?

мы же сейчас про логи nginx говорим? или про все возможные логи?

ERROR: S client not available

мы же сейчас про логи nginx говорим? или про все возможные логи?

Все возможные логи. ? Хостовые, докер-контейнеров, сетевых сервисов

репликация, и очередь прямо на хостах должна нас немного спасти =)

Спасти от чего? От потери какого-то количества Очень Важных Логов?

КХ меньше пожирает ресурсов чем elasticsearch ? под логи

Спасти от чего? От потери какого-то количества Очень Важных Логов?

спасти запись данных (в данном случае логов) от проблем с сетью, дисками, доступностью базы и т.д.

КХ меньше пожирает ресурсов чем elasticsearch ? под логи

Так lz4 и строгая типизация колонок. но только для Nginx

Спасти от чего? От потери какого-то количества Очень Важных Логов?

Важность логов определяется задачей. Верно?

ну хз. логи это уже свершившееся дейтсиве

Так lz4 и строгая типизация колонок. но только для Nginx

а оно быстрое?

спасти запись данных (в данном случае логов) от проблем с сетью, дисками, доступностью базы и т.д.

Данных или логов?

КХ меньше пожирает ресурсов чем elasticsearch ? под логи

Не подскажу. Используем КХ для эвентов от приложений. Дальше оттуда в BI улетает

Для логов кстати есть отдельный чят

а оно быстрое?

зависит с чем сравнивать, без сжатия быстрее, а бенчмарки вот тут неплохие(ИМХО): https://github.com/inikep/lizard#benchmarks

зависит с чем сравнивать, без сжатия быстрее, а бенчмарки вот тут неплохие(ИМХО): https://github.com/inikep/lizard#benchmarks

благодарю!

ZSTD уделает их.

ZSTD уделает их.

по степени сжатия? по скорости? по всем параметрам? для КХ в целом lz4 вполне достаточно, по крайней мере нам - жмет хорошо, работает быстро и CPU жрет при этом совсем немного

по степени сжатия, да... жду в ZFS его

так вроде уже, там недавно какою то приблуду от интела вроде рекламили, которае ещё круче и железку может юзать вроде

ZSTD уделает их.

в КХ можно включить zstd

Огонь

в КХ можно включить zstd

Ты тестил его? Он же вроде много медленнее lz4 ?

в КХ не тестил, но вообще использовал. в целом у zstd очень хорошое соотношение качества сжатия к скорости

Тоже логи в КХ пишем. Из рсислога в логхаус-совместимый писатель. И читаем логхаус-фронтендом (ужасным).

в КХ не тестил, но вообще использовал. в целом у zstd очень хорошое соотношение качества сжатия к скорости

ну я сам бенчмаркал (не КХ), ZSTD вышка)

ну я сам бенчмаркал (не КХ), ZSTD вышка)

мы потестим на КХ - результаты потом скину

спасибо, было бы гуд

@artempastukhov будет жить. Поприветствуем!

@evg_krsk будет жить. Поприветствуем!

@SalemGolem будет жить. Поприветствуем!