Alexandr
Век живи век учись получается
Vagif
Ilya
Igor
Roman
Vladislav
Ilya
любители кафки! вопрос, хорошая ли идея связывать микросервисы напрямую через кафку? работает ли schema registry в ней? Или всё таки лучше связывать сервисы через http и уже за этим http фасадом использовать кафку?
Ilya
@omgszer @Lanayx ?
Ayrat
а чо не так со связыванием через кафку?
Ilya
+ трейсы нужно чтобы плыли хоть как то
Ayrat
https://docs.confluent.io/platform/current/schema-registry/index.html
Ayrat
Ilya
ну это авро
но вообще это может нормально работать? чтобы КАЖДЫЙ сервис коннектился к кафке?
Ayrat
Ayrat
когда всё стрим только так и можно
Ilya
@Lanayx говорил, что плодить множество топиков - не выход
Ayrat
так что - выход
Ilya
Ayrat
что значит всё стрим?
ну когда у тебя все сервисы принимают топики и отдают топики и вообще нет рест апи
Ayrat
то есть ты данные можешь только локально агрегировать чтобы стейт получить
Ayrat
я вот работал как раз в такой компании!
Ilya
Ayrat
и его не ибёт если кто-то пропустил
Ilya
Ilya
тоже через кафку?
Ilya
то есть у тебя есть сервис который суммирует данные, ему на вход приходит 1, 2, 3 через кафку (это ок), но как он должен отдать 6? тоже через кафку?
Ayrat
два варианта. Рест апи над своей БД, но это дроч, ща расскажу почему
Или два топика. Один для легковесных изменений, второй для полновесных стейтов.
На каждое изменение стейта кидаешь диф в первый топик и полный стейт во второй (можно делать это редко, но тебя это заботит?)
Почему рест апи дроч. Как только люди пронюхают что можно взять стейт, твоему сервису пизда, ты будешь спать над SLA этого апи, на него завяжется пол компании и ты будешь SRE до конца жизни чтобы поддерживать 2мс отклик
В то же время когда ты стейт по кафке отдаёшь, там всё просто. Подписался и словил - молодец. Все проблемы на админах кафки, от тебя 1 запрос на produce в топик
Ayrat
админы кафки просто поднимут больше партиций если увидят увеличение кол-ва подписчиков. Кафка изи скалируется
Ayrat
в волмарте был такой топик - назывался Uber.
туда аггрегировалась ВСЯ инфа по товару. Каждый месадж весил от 200кб до 10мб
Трафик по этому топику был где-то 30ТБ/сек
Ayrat
т.к. парсить такое говно та ещё дичь (схемы не было, т.к. это бесполезно), этим топиком пользовались только когда надо было стейт наверстать
Ayrat
в этот топик пихало несколько десятков команд, поэтому поддерживать схему актуальную шансов около нуля
Ilya
Ayrat
Vladimir
Vladimir
в пульсаре бесплатно)
Vladimir
а вообще микросервисы через кафку (или другого брокера) связывать это хорошая идея, главное знать нюансы (чтобы не пропускать сообщения или не получать их по нескольку раз)
Ayrat
Ilya
пачиму же
смотри какая тема у меня.
У нас есть 2 системы работающие совршенно независимо друг от друга. У этих систем есть пересекающие сущности и их надо сложить в какое то одно место, чтобы другие сервисы могли получить их всех.
Сейчас предлагают сложить данные из одной системы и из другой в 1 топик кафки и потребители будут читать топик с начала, валидировать и производить какие то опарации над этими данными.
что предлагаю я - сделать промежуточный сервис который будет данные валидировать и использовать кафку только для ВЗАИМОДЕЙСТВИЯ между сервисами
Ilya
и даже прикрыть кафку каким то рест апи (потому что её пока не развернули)
Ilya
Ayrat
Ilya
Ilya
который на запрос текущего стейта, будет складывать его куда то
Ilya
либо просто отдавать
Ilya
собственно меня беспокоит то, что ВСЕ сервисы будут напрямую коннектиться к кафке, когда можно отделаться просто http запросом
Ilya
у меня сейчас есть простой рантайм типа дарпа, который роутит запросы через персистентную очередь с опцией получения результат запросы (скрывает чтение из топика - ответа). Типа делаешь пост - тебе возвращается Ок когда данные дошли до брокера. Если добавишь X-Blocking хеадер со значением таймута - рантайм будет ждать сообщение - ответ
Ilya
Roman
Ilya
Ilya
через http?
Roman
нет, он кладет пуш в сервисбас (ну, тоже месседж брокер). Все, кто подписан, получают айдишку и по ней лезут в блоб
Roman
поскольку мы в ажуре, раньше мы юзали просто BlobTrigger для функций, но он работает очень медленно
Ilya
Roman
что типа s3? BlobStorage?
Ilya
Roman
ну наверное, да. Но BlobTrigger это не сторадж, это триггер на функцию. Короч, хуйня, которая поллинг за тебя делает
Roman
а для тебя это выглядит как пуш
Ilya
Ilya
тут описано когда у тебя броадкаст идёт
Roman
Ну нам не нужно, у нас пуш-бейзд модель, мы сливаем это в блоб, из блоба оно в том числе попадает в эластик
Ilya
а когда нужно получить данные по запросу (начальный стейт)?
Roman
А все, кому нужно че-то искать, идут в эластик
Roman
Ilya
что в этом случае нужно сделать?
Roman
например, ты можешь сделать отдельного подписчика, который будет строить отчет. Он будет по пушу просыпаться, забирать новый блоб, и трансформировать данные в удобную для отчета форму
Ilya
Roman
ну так он изначально у тебя все слушает. Ну, если он слушал все не с самого начала, надо сделать инит-миграцию
Ilya
Roman
ну достанешь ты айдишники всех продуктов, что у тебя есть, а потом ночью запустишь залупу, которая по всему этому списку пройдет и вычитает ваш блоб продуктов целиком
Roman
Я че-то не понимаю, тут какой-то подвох или чо?