Если кафка для логов то у меня только один вопрос — не тяжеловато ли еще и кафку под это держать?

И топик это не честная очередь, и в топике данные не сохраняются покаподписчиков нет

врёшь врёшь

смотри

Еще в топике сортировка рендомная, а в очереди такая как данные поступили туда

А так да. Смотрю

рассказываю про свой мир. В моём мире логи лются из кучи разных мест, от кучи разных приложений. Иногда нужно логи от аппа сложить в одну кучу. Иногда апп пишет кучу разных логов и их нужно сгрупировать по видам. И всегда этих аппов вагон и тележка. Мы имеем по сути несколько "продюссеров", которые могу доставлять лог в 1,2,3,5 топиков. Консьюмеров у этих данных может быть 100500 и каждый их по своему обрабатывает. Так ?

Против стриминга _логов_ без честных очередей я ничего не имею против

Еще в топике сортировка рендомная, а в очереди такая как данные поступили туда

всмысле сортировка рандомная ? они в том порядке, в котором подъехали.

Я выше имел ввиду что у нас ребит для приложения выбран т.к. там нам нужны четные очереди и там именно месседжи на сервисную шину

всмысле сортировка рандомная ? они в том порядке, в котором подъехали.

Вот именно что подъезали а не в том в котором их туда положили

а. так я не про приложения, я про брокер для логов

Дада, все теперь когда мы говорим об одном и том же — го

И так, если мы о кафке как брокер для логов, не великовато ли будет держать еще и кафку?

ну вобще "последовательность" в дистрибьютед без атомных часов или дистрибьютед локов, как бы это сказать.... хуюшки.

И так, если мы о кафке как брокер для логов, не великовато ли будет держать еще и кафку?

она мааааасенькая

Джавка же

+ она позволяет тебе 100500 раз прочитать одни и теже данные не копируя их

можно в эластк лить и сразу в хадупчик на случай ядерной войны

или в сеф какой нить, что у тя там

Да пока нихуя нет )

Есть убогий клауд вотч, который всех заебал

ну ты ж в эластике всё равно тока оперативные данных хранить будешь да ?

Поэтому щас есть шанс сделать нормуль сразу

типа за недельку там

В смысле только логи?

Вообще я пока даже не представляю сколько оно места там будет занимать в индексе

тесты не делал

многа

зуб даю.

Но меня стопудов попросят сделать дашборд в кибане чтобы отвечало на вопрос "А как часто к нам бот гугла ходит в день?"

аха, у нас тоже так начиналось

И легко может оказаться что за месяц такой график захотят посмотреть

а потом аналитику через эластик делали а потом обосрались и теперь слазим полгода как.

Ой правда?)

Т.е. у меня есть охуенный шанс как не выстрелить себе в ногу?)

тотали

Эни эдвайз?

Ибо сами логи приложения это так, сбоку. Основная идея там это чтобы челы могли собирать данные для SEO

если тебя будут про всякие мелочи с разрезами просить, лучше продавай сразу какую нить бодягу типа hbase/hive/clickhouse

Так а морду какую?

База то базой

у кх есть морда красивенькая какая то для запросиков не вспомню название + плагины ко всем борда аля редаш \ графана уже появляются

+ нему вроде jdbc драйвер есть

если говорить про hbase/hive там всё плохо, это апач там все морды из 98го

У меня компания бизнесовая

Им главное чтобы морда выглядела заебись и все понятно было

Кибана вот зашла

ну ты попробуй чо сказать

может и эластик пойдёт

Редаш кто-то тоже хотел для BI внедрять но до дела не дошло

https://tabix.io/doc/

для кликхауса

точно !

Спасибо, гляну

Так а чо, а логи в кликхауз же тоже можно сложить в теории? Вроде оно как для этого и было сделано

не

оно для кликстрима типа

Мне б ченить универсальное чтобы было

Блин, две херни уже не айс конечно (

Мне б ченить универсальное чтобы было

замучаешься с универсальным)

слышал афоризм про рыбку ? )

Ага

Ну епта, малоли есть, а я буду ебаться с двумя — тоже же не айс :)

опыт показывает, что когда береш выделенное решение и используешь _только_ для того для чего он нужен, он вобще не просит есть

Как думаешь, пока ELK все же на начальном этапе хватит?

ERROR: S client not available

думаю да.

Чет реально пока нет желания объяснять почему нам надо в два раза больше разных хреновин

Плюс у меня тут немцы. А они такие инертные ты бы знал

очень часто заказчик не может сформировать требования до конца до тех пор пока не потрогает прототип

очень часто заказчик не может сформировать требования до конца до тех пор пока не потрогает прототип

часто заказчик может сформулировать свои требования только после того как наступит третий релиз

часто заказчик может сформулировать свои требования только после того как наступит третий релиз

ты прав конечно. Я к тому что нет смысла долбать мозг им и себе и угадывать. Главное не переинженерить с самого начала.

Ладне. Спасибо за советы!

Блин, в продуктовый ребит писать логи приложения как то не правильно. Не?

У нас как раз ES кластер упал и logstash не мог из редиса вынимать и класть в ES. Редис упал минут за 5-15. Не надо.

Чёт припоздал

Подскажите куда смотреть? После установки RabbitMQ: Sep 02 10:48:07 broker rabbitmqctl[7467]: attempted to contact: [rabbit@broker] Sep 02 10:48:07 broker rabbitmqctl[7467]: rabbit@broker: Sep 02 10:48:07 broker rabbitmqctl[7467]: * unable to connect to epmd (port 4369) on broker: timeout (timed out) Sep 02 10:48:07 broker rabbitmqctl[7467]: current node details: Sep 02 10:48:07 broker rabbitmqctl[7467]: - node name: 'rabbitmq-cli-37@broker' Sep 02 10:48:07 broker rabbitmqctl[7467]: - home dir: /var/lib/rabbitmq Sep 02 10:48:07 broker rabbitmqctl[7467]: - cookie hash: CFQMu1sUUyq5U7uW9QTTBQ== Sep 02 10:48:07 broker systemd[1]: Failed to start RabbitMQ broker. Sep 02 10:48:07 broker systemd[1]: rabbitmq-server.service: Unit entered failed state. Sep 02 10:48:07 broker systemd[1]: rabbitmq-server.service: Failed with result 'exit-code'. dpkg: error processing package rabbitmq-server (--install): subprocess installed post-installation script returned error exit status 1 Processing triggers for systemd (229-4ubuntu19) ... Processing triggers for ureadahead (0.100.0-19) ... Errors were encountered while processing: rabbitmq-server

Подскажите куда смотреть? После установки RabbitMQ: Sep 02 10:48:07 broker rabbitmqctl[7467]: attempted to contact: [rabbit@broker] Sep 02 10:48:07 broker rabbitmqctl[7467]: rabbit@broker: Sep 02 10:48:07 broker rabbitmqctl[7467]: * unable to connect to epmd (port 4369) on broker: timeout (timed out) Sep 02 10:48:07 broker rabbitmqctl[7467]: current node details: Sep 02 10:48:07 broker rabbitmqctl[7467]: - node name: 'rabbitmq-cli-37@broker' Sep 02 10:48:07 broker rabbitmqctl[7467]: - home dir: /var/lib/rabbitmq Sep 02 10:48:07 broker rabbitmqctl[7467]: - cookie hash: CFQMu1sUUyq5U7uW9QTTBQ== Sep 02 10:48:07 broker systemd[1]: Failed to start RabbitMQ broker. Sep 02 10:48:07 broker systemd[1]: rabbitmq-server.service: Unit entered failed state. Sep 02 10:48:07 broker systemd[1]: rabbitmq-server.service: Failed with result 'exit-code'. dpkg: error processing package rabbitmq-server (--install): subprocess installed post-installation script returned error exit status 1 Processing triggers for systemd (229-4ubuntu19) ... Processing triggers for ureadahead (0.100.0-19) ... Errors were encountered while processing: rabbitmq-server

а брокер резолвится?

пинги проходят

эт не твоя бида?: https://stackoverflow.com/questions/45425286/rabbitmq-server-dont-start-unable-to-connect-to-epmd-ubuntu-16-04

эт не твоя бида?: https://stackoverflow.com/questions/45425286/rabbitmq-server-dont-start-unable-to-connect-to-epmd-ubuntu-16-04

Возможно, проверим

скорее всего дело в /etc/hosts, cразу не заметил, что там какой то левый ip для имени этой vm. Чуть позже проверю

VM в кластере VPU, видимо оттуда подтянулся ip, не ожидал подвоха. Поставил реальный внешний, работает

скорее всего дело в /etc/hosts, cразу не заметил, что там какой то левый ip для имени этой vm. Чуть позже проверю

У тебя хостнейм каждой ноды должен резолвиться в ее IP

Плюс кука на каждой ноде должна быть одинаковая, чтобы они в один кластер зашли

Т.е. вот rabbit@broker означает что ping broker должно отдавать IP

Если не резолвится то нихуя работать не будет

У тебя хостнейм каждой ноды должен резолвиться в ее IP

Ну вот, это я и описал там чуть выше. Айпи не ее при выкатке образа

Т.е. вот rabbit@broker означает что ping broker должно отдавать IP

Ага, спасибо, это признак. Просто я был уверен, что там правильный айпи в хостах

Так. Стандартная проблема, не могу понять как обойти. На машине внешний и внутьренний интерфейсы. Стоит NAT. С внутреннего интерфейса обращаюсь через внешний адрес на порт на внешнем интерфейсе - и хрен

Linux :)

рп фильтр ?

Так. Стандартная проблема, не могу понять как обойти. На машине внешний и внутьренний интерфейсы. Стоит NAT. С внутреннего интерфейса обращаюсь через внешний адрес на порт на внешнем интерфейсе - и хрен

Как снат настроен покажи правило айпитраблс

Так. Стандартная проблема, не могу понять как обойти. На машине внешний и внутьренний интерфейсы. Стоит NAT. С внутреннего интерфейса обращаюсь через внешний адрес на порт на внешнем интерфейсе - и хрен

Оба варианта это не форвард

А значит снат на них не должен действовать при правильной настройке

Нашёл. Там SNAT надо отдельно делать. Внимание вопрос... А сделать, чтобы внешний адрес шлюза подставлялся нереально да?

Нашёл. Там SNAT надо отдельно делать. Внимание вопрос... А сделать, чтобы внешний адрес шлюза подставлялся нереально да?

Что куда подставлялось?

Что куда подставлялось?

Я из внутренней сети хочу ходить к себе наивнешний ip, откуда dnat обратно во внутреннюю сеть и видеть в обратке именно внешний ip