Alexandr
Век живи век учись получается
Ilya
Roman
Коллеги, добрый день! Вопрос по архитектуре: оркестрация или хореография?
в дюрабл функциях вроде бы оркастрация, хотя уместней было бы хореографию, пушто плясок там пиздец просто
Anatoly
Коллеги, добрый день! Вопрос по архитектуре: оркестрация или хореография?
Сложный вопрос. Правильный ответ зависит от количества детей у архитектора
Roman
оркастрация интересное слово
оркастрация и хероография
Vladislav
Ilya
любители кафки! вопрос, хорошая ли идея связывать микросервисы напрямую через кафку? работает ли schema registry в ней? Или всё таки лучше связывать сервисы через http и уже за этим http фасадом использовать кафку?
Ilya
@omgszer @Lanayx ?
Ayrat
а чо не так со связыванием через кафку?
Ilya
а чо не так со связыванием через кафку?
ну вот ты ёбнул невалидные данные в кафку и дальше что?
Ilya
+ трейсы нужно чтобы плыли хоть как то
Ayrat
ну вот ты ёбнул невалидные данные в кафку и дальше что?
это бывает, пойзониниг. Поменял офсет, поехал дальше. Но можно сделать схемы, да
Ayrat
https://docs.confluent.io/platform/current/schema-registry/index.html
Ilya
https://docs.confluent.io/platform/current/schema-registry/index.html
да я вот видел, но это врядли поможет, если ты хочешь проавлидировать что то посложнее чем просто типы данных
Ilya
ну это авро
но вообще это может нормально работать? чтобы КАЖДЫЙ сервис коннектился к кафке?
Ayrat
когда всё стрим только так и можно
Ilya
@Lanayx говорил, что плодить множество топиков - не выход
Ayrat
@Lanayx говорил, что плодить множество топиков - не выход
это говорят те, кто не знает что можно поднять второй кластер
Ayrat
так что - выход
Ayrat
что значит всё стрим?
ну когда у тебя все сервисы принимают топики и отдают топики и вообще нет рест апи
Ayrat
то есть ты данные можешь только локально агрегировать чтобы стейт получить
Ayrat
я вот работал как раз в такой компании!
Ilya
то есть ты данные можешь только локально агрегировать чтобы стейт получить
ты уверен, что натягивать такую структуру на вообще всё (в том числе и хранить данные в кафке) это норм?
Ayrat
ты уверен, что натягивать такую структуру на вообще всё (в том числе и хранить данные в кафке) это норм?
не, данные в кафке не хранят. Условно есть некий сервис. У него своя БД, свой стейт, который он может агрегировать из приходящих топиков в т.ч. На каждый тригер извне он обновляет стейт в своей БД и отдаёт в аутпут топики новую инфу
Ayrat
и его не ибёт если кто-то пропустил
Ilya
тоже через кафку?
Ilya
то есть у тебя есть сервис который суммирует данные, ему на вход приходит 1, 2, 3 через кафку (это ок), но как он должен отдать 6? тоже через кафку?
Ayrat
два варианта. Рест апи над своей БД, но это дроч, ща расскажу почему Или два топика. Один для легковесных изменений, второй для полновесных стейтов. На каждое изменение стейта кидаешь диф в первый топик и полный стейт во второй (можно делать это редко, но тебя это заботит?) Почему рест апи дроч. Как только люди пронюхают что можно взять стейт, твоему сервису пизда, ты будешь спать над SLA этого апи, на него завяжется пол компании и ты будешь SRE до конца жизни чтобы поддерживать 2мс отклик В то же время когда ты стейт по кафке отдаёшь, там всё просто. Подписался и словил - молодец. Все проблемы на админах кафки, от тебя 1 запрос на produce в топик
Ayrat
админы кафки просто поднимут больше партиций если увидят увеличение кол-ва подписчиков. Кафка изи скалируется
Ayrat
в волмарте был такой топик - назывался Uber. туда аггрегировалась ВСЯ инфа по товару. Каждый месадж весил от 200кб до 10мб Трафик по этому топику был где-то 30ТБ/сек
Ayrat
т.к. парсить такое говно та ещё дичь (схемы не было, т.к. это бесполезно), этим топиком пользовались только когда надо было стейт наверстать
Ayrat
в этот топик пихало несколько десятков команд, поэтому поддерживать схему актуальную шансов около нуля
Vladimir
https://docs.confluent.io/platform/current/schema-registry/index.html
ну вот эта штука это уже не опенсорс а за денюжку от конфлюэнта
Vladimir
в пульсаре бесплатно)
Vladimir
а вообще микросервисы через кафку (или другого брокера) связывать это хорошая идея, главное знать нюансы (чтобы не пропускать сообщения или не получать их по нескольку раз)
Ilya
пачиму же
смотри какая тема у меня. У нас есть 2 системы работающие совршенно независимо друг от друга. У этих систем есть пересекающие сущности и их надо сложить в какое то одно место, чтобы другие сервисы могли получить их всех. Сейчас предлагают сложить данные из одной системы и из другой в 1 топик кафки и потребители будут читать топик с начала, валидировать и производить какие то опарации над этими данными. что предлагаю я - сделать промежуточный сервис который будет данные валидировать и использовать кафку только для ВЗАИМОДЕЙСТВИЯ между сервисами
Ilya
и даже прикрыть кафку каким то рест апи (потому что её пока не развернули)
Ilya
ну я бы тоже нахуевертил сервис агрегатор, он там пишется за 10 минут в целом из темплита
ну вот да - нужен какой то промежуточный сервис иначе успех неминуем
Ilya
который на запрос текущего стейта, будет складывать его куда то
Ilya
либо просто отдавать
Ilya
собственно меня беспокоит то, что ВСЕ сервисы будут напрямую коннектиться к кафке, когда можно отделаться просто http запросом
Ilya
у меня сейчас есть простой рантайм типа дарпа, который роутит запросы через персистентную очередь с опцией получения результат запросы (скрывает чтение из топика - ответа). Типа делаешь пост - тебе возвращается Ок когда данные дошли до брокера. Если добавишь X-Blocking хеадер со значением таймута - рантайм будет ждать сообщение - ответ
Roman
Ilya
через http?
Roman
нет, он кладет пуш в сервисбас (ну, тоже месседж брокер). Все, кто подписан, получают айдишку и по ней лезут в блоб
Roman
поскольку мы в ажуре, раньше мы юзали просто BlobTrigger для функций, но он работает очень медленно
Roman
что типа s3? BlobStorage?
Roman
ну наверное, да. Но BlobTrigger это не сторадж, это триггер на функцию. Короч, хуйня, которая поллинг за тебя делает
Roman
а для тебя это выглядит как пуш
Ilya
тут описано когда у тебя броадкаст идёт
Roman
Ну нам не нужно, у нас пуш-бейзд модель, мы сливаем это в блоб, из блоба оно в том числе попадает в эластик
Ilya
а когда нужно получить данные по запросу (начальный стейт)?
Roman
А все, кому нужно че-то искать, идут в эластик
Ilya
начальный стейт чего?
тебе нужны все продукты, чтобы отчёт какой нить построить
Ilya
что в этом случае нужно сделать?
Roman
например, ты можешь сделать отдельного подписчика, который будет строить отчет. Он будет по пушу просыпаться, забирать новый блоб, и трансформировать данные в удобную для отчета форму
Roman
ну так он изначально у тебя все слушает. Ну, если он слушал все не с самого начала, надо сделать инит-миграцию
Roman
ну достанешь ты айдишники всех продуктов, что у тебя есть, а потом ночью запустишь залупу, которая по всему этому списку пройдет и вычитает ваш блоб продуктов целиком
Roman
Я че-то не понимаю, тут какой-то подвох или чо?
Ayrat
Я че-то не понимаю, тут какой-то подвох или чо?
Илья открывает для себя мир стримов и совершенно откровенно не понимает как это