Ilya
тут всё таки сурьёзные люди!
Vladimir
и что) по поду на стрим грубо говоря
Ilya
и что) по поду на стрим грубо говоря
збс, нам тут мозги компостируют, что мы слишком микросервисные
Ilya
говорят, надо делать сервисы больше))
Ilya
а то у нас АЙПИ АДРЕСОВ БЛЯТЬ МАЛО В КУБЕРЕ!
Vladimir
ну ок, по поду на 10 стримов) зачем другим отдавать?
Ilya
горит от индусов
Sergey
Не хватает Василия, он бы сказал что это все за прегрешения с сишарпом
Vladimir
дак автоскеил нужен
ну понятно, просто я так понимаю не получается гибко менять количество подов при увеличении стримов. Но если количество стримов постоянное +-, то проблемы нету
Vladimir
это ващето бывшее название конторы которая с кафки на пульсар перешла, а потом их купил датастакс)
Vasily
Шо у нас тут - Илья на коленке пытается решить задачу гарантированной доставки только один раз?
Vladimir
а что кстати акторы? поназапускал акторов, их заменеджат так чтобы по актору на стрим
Vladimir
и сколько хочешь подов
Ilya
и сколько хочешь подов
кто то их должен активировать
Ilya
и перезапускать в случае падения
Vladimir
кто то их должен активировать
поды? тебе не важно сколько подов
Vasily
Интересные попытки натянуть Кафку на Илью, конечно
Vladimir
акторы менеджит же их менеджер) там орлинс или акка
Vasily
он он их не перезапускает
У вас закат солнца вручную?
Ilya
хотя орлеанс, конечно, так умеет
Ilya
но ну ево нахуй в кубере
Vladimir
он он их не перезапускает
почему? взять акку например, там актор при падении какой-то месседж родителю шлет, типа последний ивздох
Vladimir
и тот решает перезапустить или нет
Ilya
а если родитель и чайлд на одном поде который упал?
Vladimir
а если родитель и чайлд на одном поде который упал?
ну я точно не знаю, не юзал акку кластер сам( но ты можешь их легко разделить
Vladimir
больше вопрос возникает по стриму пер юзер, пульсар например такого выдержать не может
Vladimir
если у тебя с ноды будут десятки тысяч коннектов к редису, думаю и он не выдержит
Ilya
и мультиплексер
Ilya
хотя наверное ты прав
Ilya
и стоит вернутсья к варианту 1 и хуй на краши подов
Vladimir
там же поллинг
в пульсаре тоже, но на каждый консьюмер довольно много русурсов выделяется, и пинги постоянные тоже идут
Vladimir
рестарт клиента со 100к консьюмеров может минут 5 происходить, и то риск что начнут по таймаутам последние отваливаться пока первые доконнектятся
Ayrat
но ну ево нахуй в кубере
В кубере ну нахуй перезапускать? Шо
Ayrat
А нахуй вам вообще кубер...
Ilya
В кубере ну нахуй перезапускать? Шо
я про интеграцию орлеанса и кубера
Vladimir
Простите https://phoboslab.org/q1k3/
Vladimir
quake 13кб
Hog
https://www.wiz.io/blog/secret-agent-exposes-azure-customers-to-unauthorized-code-execution
Vladimir
Remove the auth header and you are root!
Ayrat
Удобно
Vladimir
ага, не нужно пароли запоминать, ключи
Ilya
и стоит вернутсья к варианту 1 и хуй на краши подов
короче, получилось наколхозить гибридный вариант на редисе. Создаётся пользовательский стрим и его ключ помещается в сет редиса. Воркеры идут по этому сету и создают ключи с TTL и своим именем рядом с этим стримом. Каждый воркер поллит только свои стримы и поддерживает этот ключ живым (делает тач). Если воркер встречает ключ без воркера - он пытавется его захватить (через недотранзакции) если получается - значит он теперь его обрабатывает, если нет, то значит его обрабатывает кто то другой
Ilya
выглядит примерно вот так
Vladimir
но всего-лишь гребец на галере)
Anonymous
Я думал Илья техлид в своём болоте.
Anonymous
Не?
Vasily
Обычный гребец он
Anonymous
А.
Anonymous
выглядит примерно вот так
Тогда переводи тикет в кодревью.
Ilya
Я думал Илья техлид в своём болоте.
кафка в одной из начальных стадий аппрува + девопса
Ilya
а пока есть только редис и MSSQL
Ayrat
Вот так всегда, требуют сделать гугл, платят гроши, работать заставляют без бюджета
Anonymous
Айрат рассказывал уже как из Кассандры умный человек Какую делал.
Ayrat
Да-да, это было легендарно
Anonymous
Теперь Кафка из Редис а
Ilya
нечего быть таким быстрым
Anonymous
Объявляю конкурс. Надо делать Кафку из любой технологии. Например, Кафку на основе АПИ Gmail может кто-то сделать?
Ilya
а если первый воркер захватит все стримы?
вот щас сказал и меня тоже начало это беспокоить
Anonymous
Стопудово можно.
Кафку из Экселя?
Sergey
https://blogg.bekk.no/high-performance-persistent-queue-using-db-scheduler-b0e9764d41ba
Ayrat
Кафку из Экселя?
Там можно даже распределенную! Ты ж в екселе работал впятером в одном шЫте?
Ayrat
Топчик же
AlexB
вот щас сказал и меня тоже начало это беспокоить
придётся теперь координатора колхозить 😅
Ilya
придётся теперь координатора колхозить 😅
да не. просто замедлю создание новых