типа 95% времени это сжатие на сторадже не нужно, по причине того что всё буде работать ок.

есть мнение что любой буферизирующий брокер, это костыль. это типа тазик подставили, когда полилось через края из раковины.

типа у тебя одна сторона не умеет в нормальный "неготиэйшн" с другой стороной, а тупо хреначет на все что можно. отсюда и проблемы. а как дешевое решение, тазик.

Збс 👍

а чем тя кафки не устраивают ?

а чем тя кафки не устраивают ?

Непонел

ну в качестве брокера

filebeat какой нить нативно умеет туда пульнуть

или упаси боже syslog-ng

Потому что нам нужны честные оереди и раутинг без перспектив писать кучу роутеров руками как middleware

Или ты имел ввиду кафку рядом поставить?

что значит "честные очереди" ?

запилил 10 топиков вот те и раутинг)

А переливать между ними кто будет?

между кем ?

И топик это не честная очередь, и в топике данные не сохраняются покаподписчиков нет

Ты вообще щас вопрос задал в ключе как "зачем вам ваще ребит" или нет?))

Если кафка для логов то у меня только один вопрос — не тяжеловато ли еще и кафку под это держать?

И топик это не честная очередь, и в топике данные не сохраняются покаподписчиков нет

врёшь врёшь

смотри

Еще в топике сортировка рендомная, а в очереди такая как данные поступили туда

А так да. Смотрю

рассказываю про свой мир. В моём мире логи лются из кучи разных мест, от кучи разных приложений. Иногда нужно логи от аппа сложить в одну кучу. Иногда апп пишет кучу разных логов и их нужно сгрупировать по видам. И всегда этих аппов вагон и тележка. Мы имеем по сути несколько "продюссеров", которые могу доставлять лог в 1,2,3,5 топиков. Консьюмеров у этих данных может быть 100500 и каждый их по своему обрабатывает. Так ?

Против стриминга _логов_ без честных очередей я ничего не имею против

Еще в топике сортировка рендомная, а в очереди такая как данные поступили туда

всмысле сортировка рандомная ? они в том порядке, в котором подъехали.

Я выше имел ввиду что у нас ребит для приложения выбран т.к. там нам нужны четные очереди и там именно месседжи на сервисную шину

всмысле сортировка рандомная ? они в том порядке, в котором подъехали.

Вот именно что подъезали а не в том в котором их туда положили

а. так я не про приложения, я про брокер для логов

Дада, все теперь когда мы говорим об одном и том же — го

И так, если мы о кафке как брокер для логов, не великовато ли будет держать еще и кафку?

ну вобще "последовательность" в дистрибьютед без атомных часов или дистрибьютед локов, как бы это сказать.... хуюшки.

И так, если мы о кафке как брокер для логов, не великовато ли будет держать еще и кафку?

она мааааасенькая

Джавка же

+ она позволяет тебе 100500 раз прочитать одни и теже данные не копируя их

можно в эластк лить и сразу в хадупчик на случай ядерной войны

или в сеф какой нить, что у тя там

Да пока нихуя нет )

Есть убогий клауд вотч, который всех заебал

ну ты ж в эластике всё равно тока оперативные данных хранить будешь да ?

Поэтому щас есть шанс сделать нормуль сразу

типа за недельку там

В смысле только логи?

Вообще я пока даже не представляю сколько оно места там будет занимать в индексе

тесты не делал

многа

зуб даю.

Но меня стопудов попросят сделать дашборд в кибане чтобы отвечало на вопрос "А как часто к нам бот гугла ходит в день?"

аха, у нас тоже так начиналось

И легко может оказаться что за месяц такой график захотят посмотреть

а потом аналитику через эластик делали а потом обосрались и теперь слазим полгода как.

Ой правда?)

Т.е. у меня есть охуенный шанс как не выстрелить себе в ногу?)

тотали

Эни эдвайз?

Ибо сами логи приложения это так, сбоку. Основная идея там это чтобы челы могли собирать данные для SEO

если тебя будут про всякие мелочи с разрезами просить, лучше продавай сразу какую нить бодягу типа hbase/hive/clickhouse

Так а морду какую?

База то базой

у кх есть морда красивенькая какая то для запросиков не вспомню название + плагины ко всем борда аля редаш \ графана уже появляются

+ нему вроде jdbc драйвер есть

если говорить про hbase/hive там всё плохо, это апач там все морды из 98го

У меня компания бизнесовая

Им главное чтобы морда выглядела заебись и все понятно было

Кибана вот зашла

ну ты попробуй чо сказать

может и эластик пойдёт

Редаш кто-то тоже хотел для BI внедрять но до дела не дошло

https://tabix.io/doc/

для кликхауса

точно !

Спасибо, гляну

Так а чо, а логи в кликхауз же тоже можно сложить в теории? Вроде оно как для этого и было сделано

не

оно для кликстрима типа

Мне б ченить универсальное чтобы было

Блин, две херни уже не айс конечно (

Мне б ченить универсальное чтобы было

замучаешься с универсальным)

слышал афоризм про рыбку ? )

Ага

Ну епта, малоли есть, а я буду ебаться с двумя — тоже же не айс :)

опыт показывает, что когда береш выделенное решение и используешь _только_ для того для чего он нужен, он вобще не просит есть