Ilya
я максимум делал 256 партиций, но это был ебанистичский топик, чот типа 50к мсж в секунду
вот и я думаю, что мне надо просто всё валить в одно место, и потом уже разбирать
Ayrat
вот вообще флинк тебе поможет!
Ayrat
он как раз для этого
Ilya
дадада, это хорошая идея
и код разбора - в отдельном хосте, а воркеры - просто http эндпоинты
Ayrat
разбираешь на keyed stream, рассылаешь воркерам, воркеры поднимаются флинком в кластере
Ilya
Vladimir
вот вообще флинк тебе поможет!
если только фильтрация, то можно и без него обойтись, бенефита перед парой консьбмера продьюсера не будет
Ayrat
даже скорее заменит всю ебалу самописную
Ayrat
вот всю картинку выше можно в 1 флинк поместить
Ayrat
с получением кучи бонусов
Vladimir
ну если надо делать groupBy с виндовингом и обработкой - поможет
так я и говорю что Илье не нужен виндоуинг
Ayrat
так я и говорю что Илье не нужен виндоуинг
это он щас так думает, а виндовинг помогает обрабатывать 50к мсж/сек и не обосраться
Ayrat
не даром у него там 1000 топиков!
Vladimir
если каждое отдельно надо обрабатывать, то не поможет)
Ilya
не даром у него там 1000 топиков!
да вот именно, что у меня тут несколько топиков!
Ilya
если написать отдельный мультиплексор
Ilya
короче, спасибо, усё ясно)
Ayrat
что за флинк?
https://flink.apache.org/
Vasiliy
спс
Vladislav
время летит
Ayrat
улетело уже
Vladislav
это да
Pavel S
если только фильтрация, то можно и без него обойтись, бенефита перед парой консьбмера продьюсера не будет
Я сварщик не настоящий, а нельзя чтоб консумер подписываясь к топику передал некое условие какие мессаджи его интересуют?
Alexandr
да кто такие эти ваши сварщики
Pavel S
Те кто кафку варят
Pavel S
а насколько это норм решение? логику перекладывать на инфраструктурную штуку
Нормально. Не сильно отличается от когда формируем where для SQL
Pavel S
Я бы сказал не логику перекладываем, а делегирует выполнение нами сформулированной задачи
Pavel S
в кафке и пульсаре нельзя, можно в рэбите
Мм, а рэбит неплох, а то в основном не очень о нём отзывы слышу
Vasiliy
Мм, а рэбит неплох, а то в основном не очень о нём отзывы слышу
Хм Рэббит очень даже хорош. Если правильно его готовить
Vladimir
Мм, а рэбит неплох, а то в основном не очень о нём отзывы слышу
он медленней и скейлится хуже, там такие же ограничения по количеству топиков, а еще говорят он развалиться может при разрыве сети в кластере
Vagif
он медленней и скейлится хуже, там такие же ограничения по количеству топиков, а еще говорят он развалиться может при разрыве сети в кластере
Ну не то чтобы совсем развалиться, но как у классического кластера, если случается split brain, то в зависимости от конфигурации можно или потерять сообщения, или умножить их.
Vladimir
в пульсаре с кафкой сплит брейна скорее всего быть не может
Vladimir
т.к. они завязаны на букипера, а там какие-то умные протоколы не дадут случиться ему)
Vladimir
ой
Vladimir
на зукипера имел ввиду
Vladimir
а пульсар еще и на букипера
Ilya
в пульсаре с кафкой сплит брейна скорее всего быть не может
Ты скажи лучше, Кафка от авс это большой гемморой с настройкой и поддержкой?
Anatoly
Наши вон потыкали и сделали
Ilya
Наши вон потыкали и сделали
это девопсы тыкали или девелоперы?
Anatoly
это девопсы тыкали или девелоперы?
Девелоперы терраформом
Vasiliy
на зукипера имел ввиду
но там же с ним свои заморочки. бац отвалился зукипер ну и где ваша кафка или пульсар?
Vasiliy
https://github.com/dotnetcore/CAP пользовался кто либой?
Pavel S
Парни, а как у кого динамический тест монитора? (Надо в раздел Дин тесты и до теста где девка на качелях качается).. смотрю но новом ноуте с 160гц gf rtx 3050 и всё равно кадры рывками.. чо бля ещё надо... https://monteon.ru/
Ayrat
на зукипера имел ввиду
https://www.confluent.io/blog/removing-zookeeper-dependency-in-kafka/
Ayrat
год назад отвязали кафку от зукипера
AlexB
Vladimir
но там же с ним свои заморочки. бац отвалился зукипер ну и где ваша кафка или пульсар?
ага, но это ведь просто кусок функционала отвечающий за распреледенную синхронизацию
Vladimir
год назад отвязали кафку от зукипера
и я не думаю что много смельчаков уже без зукипера)
Hog
@VagifAbilov Вагиф, а ты читаешь Nesbø?
Shub
Так речь про сложный язык, нет?
С++ настолько огромный, что в нем есть вообще все, включая плашки на 5/8“. Гугл замутил собственную джаву на крестах с помощью макросов — это все, что тебе нужно знать про «сложный С++ в Гугле»
Shub
Есть проекты, которые в общем-то не на крестах, а на бусте, ну типа как есть спринг-программисты, так же точно есть буст-программисты. В Гугле собственный крестомирок, потому что внезапно средний гуглер — это около 3-5 лет опыта ВООБЩЕ.
Shub
Вот тебе пример. Когда-то на одном крестопроекте со мной работал один джун. Ну как «работал»: я его собеседовал, он прошел, а через три месяца я уволился. Он честно признался, что вообще-то пишет на php, а кресты изучает в свободное время, прекрасно понимает свой уровень и особенно на звёзды не претендует. Ну короче он поджунил там, а потом ушел в Гугл внезапно на L5
Shub
I just want to serve 5TB уже все посмотрели? Вот это настоящий Гугл, даже снова грустно стало
Vagif
@VagifAbilov Вагиф, а ты читаешь Nesbø?
Почти не читал. Давно, пару вещей.
Vagif
На норвежском?
Не помню, давно было. Сейчас бы точно на норвежском читал, а как тогда было, не помню.
Shub
Ну щас уже должно быть на ютубе. Кто-то постил линк
Shub
https://youtu.be/3t6L-FlfeaI
Shub
KPACUBO
Все эти люди очень хорошо умеют находить петли в связных списках и сортировать болты с гайками самым оптимальным способом
Vasily
В этом я не сомневаюсь
Shub
В этом я не сомневаюсь
А потом ты подходишь к такому и говоришь: там твое дерьмо сломалось, ты б может тесты написал хотя бы? А он тебе «за 3 ревью поинта починю»
Vasily
Ну большие корпорации
Vasiliy
Ну что ждём Кольцо теперь
Vasiliy
https://dtf.ru/930512