Ilya
тут всё таки сурьёзные люди!
Ilya
Vladimir
и что) по поду на стрим грубо говоря
Ilya
говорят, надо делать сервисы больше))
Ilya
а то у нас АЙПИ АДРЕСОВ БЛЯТЬ МАЛО В КУБЕРЕ!
Vladimir
ну ок, по поду на 10 стримов) зачем другим отдавать?
Ilya
горит от индусов
Ilya
Sergey
Не хватает Василия, он бы сказал что это все за прегрешения с сишарпом
Vladimir
дак автоскеил нужен
ну понятно, просто я так понимаю не получается гибко менять количество подов при увеличении стримов. Но если количество стримов постоянное +-, то проблемы нету
Ilya
Vladimir
это ващето бывшее название конторы которая с кафки на пульсар перешла, а потом их купил датастакс)
Vasily
Шо у нас тут - Илья на коленке пытается решить задачу гарантированной доставки только один раз?
Vladimir
а что кстати акторы? поназапускал акторов, их заменеджат так чтобы по актору на стрим
Vladimir
и сколько хочешь подов
Ilya
и перезапускать в случае падения
Ilya
Vasily
Интересные попытки натянуть Кафку на Илью, конечно
Vladimir
акторы менеджит же их менеджер) там орлинс или акка
Ilya
Ilya
хотя орлеанс, конечно, так умеет
Ilya
но ну ево нахуй в кубере
Vladimir
он он их не перезапускает
почему? взять акку например, там актор при падении какой-то месседж родителю шлет, типа последний ивздох
Vladimir
и тот решает перезапустить или нет
Ilya
Ilya
а если родитель и чайлд на одном поде который упал?
Vladimir
больше вопрос возникает по стриму пер юзер, пульсар например такого выдержать не может
Vladimir
если у тебя с ноды будут десятки тысяч коннектов к редису, думаю и он не выдержит
Ilya
Ilya
и мультиплексер
Ilya
хотя наверное ты прав
Ilya
и стоит вернутсья к варианту 1 и хуй на краши подов
Vladimir
там же поллинг
в пульсаре тоже, но на каждый консьюмер довольно много русурсов выделяется, и пинги постоянные тоже идут
Vladimir
рестарт клиента со 100к консьюмеров может минут 5 происходить, и то риск что начнут по таймаутам последние отваливаться пока первые доконнектятся
Ilya
Ayrat
А нахуй вам вообще кубер...
Vladimir
Простите
https://phoboslab.org/q1k3/
Vladimir
quake 13кб
Dmitry
Hog
https://www.wiz.io/blog/secret-agent-exposes-azure-customers-to-unauthorized-code-execution
Vladimir
Remove the auth header and you are root!
Ayrat
Удобно
Vladimir
ага, не нужно пароли запоминать, ключи
Ilya
и стоит вернутсья к варианту 1 и хуй на краши подов
короче, получилось наколхозить гибридный вариант на редисе.
Создаётся пользовательский стрим и его ключ помещается в сет редиса. Воркеры идут по этому сету и создают ключи с TTL и своим именем рядом с этим стримом.
Каждый воркер поллит только свои стримы и поддерживает этот ключ живым (делает тач).
Если воркер встречает ключ без воркера - он пытавется его захватить (через недотранзакции) если получается - значит он теперь его обрабатывает, если нет, то значит его обрабатывает кто то другой
Ilya
выглядит примерно вот так
Anonymous
Anonymous
Ilya
Anonymous
Vladimir
но всего-лишь гребец на галере)
Anonymous
Я думал Илья техлид в своём болоте.
Anonymous
Не?
Vasily
Обычный гребец он
Anonymous
А.
Ilya
а пока есть только редис и MSSQL
Ayrat
Вот так всегда, требуют сделать гугл, платят гроши, работать заставляют без бюджета
Anonymous
Айрат рассказывал уже как из Кассандры умный человек Какую делал.
Ayrat
Да-да, это было легендарно
Anonymous
Теперь Кафка из Редис а
Vladimir
Ilya
Ilya
нечего быть таким быстрым
Anonymous
Объявляю конкурс. Надо делать Кафку из любой технологии. Например, Кафку на основе АПИ Gmail может кто-то сделать?
Ayrat
Sergey
https://blogg.bekk.no/high-performance-persistent-queue-using-db-scheduler-b0e9764d41ba
Ayrat
Кафку из Экселя?
Там можно даже распределенную! Ты ж в екселе работал впятером в одном шЫте?
Ayrat
Топчик же
AlexB
Ilya