Ilya
Ну вот. А китайцам с теми же операторами сложно договориться. Все риски понимают.
Vasiliy
Народ, знаю что у rabbitMQ есть виртуальные хосты, а есть что то похожее у кафки или у кафки можно как то играться с именами топиков?
Vladimir
если ты хочешь сделать топик per domain entity то это плохая идея во всех них (включая пульсар)
Vasiliy
Per domain entity — это топик на каждую сущность?
Vasiliy
Не, просили узнать можно ли также в кафе делать: есть кролик на тесте, а там есть виртуальные хосты, и можно разделять одни и те же очереди типо /devtest /test
Ayrat
нихуя не понятно. Это какой-то костыльный способ разделить среды?
Ayrat
Ну чего ты сразу костыльный
ну я не понял просто!
Vasiliy
Но да, это способ группировки очередей, каналов, биндингов на одном и том же хосте — так лучше сказать
Mikhαil
нихуя не понятно. Это какой-то костыльный способ разделить среды?
Может быть полезно. Мы для тестов вхост рэббита юзаем. Поднимаем один рэббит на коллекцию тестов и по вхосту на тест отдаём
Vladimir
в пульсаре это встроено - там можно поделить один кластер на тенанты и неймспейсы, т.е. не только на несколько сред делить, но и на несколько например микросервисов
Mikhαil
в пульсаре это встроено - там можно поделить один кластер на тенанты и неймспейсы, т.е. не только на несколько сред делить, но и на несколько например микросервисов
Боюсь что Васе это не сильно поможет - всё-таки переезд на другой месседж брокер это редко решение которое можно в соло принять
Mikhαil
Ну это я так, для общего развития)
Тебе уже пульсар должен доплачивать за рекламу
Kirill
что за пульсар
Vasiliy
apache pulsar
Kirill
чаще слышно что все на кафку едут, а про это впервые услышал
Kirill
мы кстати тоже едем на кафку
Anatoly
Надо ехать на пульсар
Vladimir
а, да, многие когда дизайнят систему хотят такое сделать
Vladimir
например топик per customer
Ayrat
владимир, так ты о чем тут говорил про *per domain entity*?
влад != владимир, к слову это же владислав
Ayrat
имя-наци
Vladislav
Ilya
например топик per customer
и потом что происходит?
Vasiliy
например топик per customer
Хммм, не в примерах и обучалках видел, что юзер by partition аля
Vladimir
и потом что происходит?
ну типа кастомных акторов, только входящие очереди настоящие
Ilya
но потом кафка их нагибает?
Vladimir
да, даже пульсар нагибает)
Vladimir
и даже рэббит, хоть раньше я думал что он для таких задач круче
Ilya
Писать клиент на фшарпе для кафки.
Vladimir
И что делать?!
не делать так
Ilya
не делать так
А как делать?
Vladimir
topic per entity type
Ilya
Лить все в 1 топик?
Vladimir
ага
Ilya
ага
Это же сгенерирует много лишней нагрузки на консумеров
Ilya
В коннекторе лямбды к кафке есть фильтр по контенту сообщения?🤔
Ilya
не понял, почему лишней?
Потому что подписчику не нужна информация о изменениях по всем сущностям
Vladimir
ну это такое) кто-то же должен фильтровать их?
Vladimir
т.е. кто-то должен прочитать все сообщения после из записи? вот это и есть консьюмер)
Vladimir
Кафка?
Программа?
Vladimir
есть такой анекдот про сломавшуюся машину)
Ilya
Программа?
Ну вот смотри, у тебя есть юзер и продукты, твой сервис - лямбда, которая шлёт уведомления по почте о создании юзеров. Чо ты будешь делать?
Vladimir
я не готов настолько издали начинать) если вернемся к вопросу кто должен фильтровать записи, то тут ответ один - консьюмер всех записей, он может дальше отправлять нужным получателям их сообщения (например вызывать какую-то лямбду)
Vladimir
в случае с пульсаром ты можешь консьюмера прямо внутрь кластера посадить (он это поддерживает)
Vladimir
консьюмер слушает все месседжи и вызывает лямбду для каких-то определенных, это и есть через брокера)
Ilya
консьюмер слушает все месседжи и вызывает лямбду для каких-то определенных, это и есть через брокера)
То есть между брокером и полезным кодом надо ещё один сервис делать?
Ilya
Выглядит подозрительно
Vladimir
ну в идеале этот сервис может предоставлять брокер, но это чисто для удобства, разницы по перфу не будет никакой)
Ilya
Как тогда использовать балансировку Кафки? Или я что то не догоняю?
Vladimir
не понял, причем тут балансировка(
Ilya
https://github.com/jet/kafunk
This repository has been archived by the owner. It is now read-only. 1053471 on 19 Nov 2020
Ayrat
форкни и допили нужное
Ilya
не понял, причем тут балансировка(
Ну вот смотри, у тебя произошел сбой при отправке, как тебе это отхендлить дополнительно, а так просто подтверждение в брокер не придёт
Vladimir
https://github.com/jet/kafunk
я кстати читал что он загнулся потому что кафка постоянно меняла формат передачи. Надо отдать должное Пульсару, он всегда backward compatible
Ilya
и чо?
А там чота мутное с форками.
Ilya
For security reasons, Walmart does not transfer the ownership of our primary repos on Github or other platforms to other individuals/organizations. Further, we do not transfer ownership of packages for public package management systems. If you would like to fork this package and continue development, you should choose a new name for the project and create your own packages, build automation, etc. Please review the licensing terms of this project, which continue to be in effect even after decommission.
Vladimir
ты про какие-то ортгональные вещи говоришь
Ilya
ты про какие-то ортгональные вещи говоришь
Понял тебя короче! Какой психологический барьер топиков?
Ilya
ну в идеале этот сервис может предоставлять брокер, но это чисто для удобства, разницы по перфу не будет никакой)
Кстати, это сервис тогда должен хранить информацию о том, кому какие сообщения интересны
Mark
Топ за свои деньги, вообще-то.
да у меня у самого телефон сяоми, работает почти что идеально
Mark
ну и робот-пылесос ещё, тоже вопросов не вызывает