для меня кафка - это когда надо сварганить что-то из области лямбда-архитектуры, рэббит - стандартный паб/саб, а пульсар - типа и то, и то)

Можете сказать какая разница между кафкой и пульсаром для использование в проде? Я вроде почитал несколько статей, выглядит будто одно и тоже

прям вовремя вопрос, задам его с другой стороны)) у нас с нуля проект, нужно выбрать брокер сообщений. Предлагался rabbit, но я предложил пульсар, так как насколько понял он работает и как просто брокер, и как платформа стриминга данных пы.сы. собствеено вопрос забыл, не поем ли я говна с лопаты? может стоить взять рэббит, если задач по обработке потока данных у нас пока нет, но будет

короче, предлагаю тему дня: легализация и свободное употребление марихуаны? кто как к этому относится, кто сам курит, кто против или не против того, чтобы в офисах дули потому что это не незаконно?

прям вовремя вопрос, задам его с другой стороны)) у нас с нуля проект, нужно выбрать брокер сообщений. Предлагался rabbit, но я предложил пульсар, так как насколько понял он работает и как просто брокер, и как платформа стриминга данных пы.сы. собствеено вопрос забыл, не поем ли я говна с лопаты? может стоить взять рэббит, если задач по обработке потока данных у нас пока нет, но будет

погоди, это же не пропаганда

прям вовремя вопрос, задам его с другой стороны)) у нас с нуля проект, нужно выбрать брокер сообщений. Предлагался rabbit, но я предложил пульсар, так как насколько понял он работает и как просто брокер, и как платформа стриминга данных пы.сы. собствеено вопрос забыл, не поем ли я говна с лопаты? может стоить взять рэббит, если задач по обработке потока данных у нас пока нет, но будет

ну и самое главное. ты поешь говна с двух лопат в любом случае, если у тебя по-настоящему распредленная система с более-менее ощутимой нагрузкой (от 1000 mps при разбросе сообщений, скажем, от 10 то 100 кб). технология тебя от фундаментальных проблем не спасет. но чтобы минимизировать количество раз, когда придется умыться кровью, нужно заранее понять какие тебе нужные гарантии консистентности, какой у тебя ожидаемой лоад по 95%%, так же нужно понимать размер сообщения и на какие SLA ты целишься.

в случае с пульсаром размер сообщения роли не играет) с кафкой я слышал что когда больше килобайте то резко перформанс падает

у него нет верхнего предела размера?

Кролик поддерживается всеми возможными способами, на него написано и переписано уйма опенсоуснызх проектов, бесплатных плагинов и чего угодно еще. Кроме того, есть относительно недорогие решения на облаках по кластерам, которые *почти* не нужно мейнтейнить, если вдруг это играет роль. Но у него ряд минус, в числе которых необходимость тащить за собой весь вообще Эрланг и достаточно многословные и топорные подписки, отписик и прочие писки. Про Пульсар ничего сказать не могу, так как не пользовался им ни разу в проде, но Кафка отличается в первую очередь тем, что пишет на диск лог сообщений, это позволяет вернуться к нему в нужный момент времени, а-ка из будущего вернуться в прошлое и исправить/переиграть что-то по новым правилам. Хотя на практике люди пользуются этим очень редко. Если тебе персистентность не так важна, а нужна только гарантированая доставка, то насетпапить правильно Кролика и выжать из него перфоманс ощутимо лучший на MPS <= 10000-20000 с точки зрения лейтенси будет легче. А вот если в приоритете пропускная способность, а не скорость обработки конкретного сообщения, то тут решает Кафка, конечно, при этом с учетом этих ограничений она дает очень хорошие гарантии и работает реально быстро.

в случае с пульсаром размер сообщения роли не играет) с кафкой я слышал что когда больше килобайте то резко перформанс падает

от пользователя пока что только требуется отказаться от батчинга

т.е. он не может делать одновременно поддерживать и чанкинг и батчинг, надо выбрать

у нас в системе были и 150 КБ сообещния (не спрашивайте почему). и ничего, 95%% давал <= 100 ms от входа до выхода.

дак а че, нам на некоторые кейсы и этого мало. Приходится в блоб складывать

Кафка срабатывает по накоплению батча или по времени, если батч не успел накопиться.

у пульсара то же самое и по накоплению и по времени

ну, в раббите тоже сообщения можно до 128 метров вроде

к продьюсеру, продьюсер как хочет так и батчит

ну и самое главное. ты поешь говна с двух лопат в любом случае, если у тебя по-настоящему распредленная система с более-менее ощутимой нагрузкой (от 1000 mps при разбросе сообщений, скажем, от 10 то 100 кб). технология тебя от фундаментальных проблем не спасет. но чтобы минимизировать количество раз, когда придется умыться кровью, нужно заранее понять какие тебе нужные гарантии консистентности, какой у тебя ожидаемой лоад по 95%%, так же нужно понимать размер сообщения и на какие SLA ты целишься.

на стороне продюсера проблем почти никогда нет. а консюмер же тоже батчами читаем? условный var records = pulsarClien.poll()?

Можете сказать какая разница между кафкой и пульсаром для использование в проде? Я вроде почитал несколько статей, выглядит будто одно и тоже

если ты подгадаешь эту цифру КРАСИВО, то у тебя будет хороший перфоманс с заточчкой именно под этот лоад. и он будет топорный как Лукашенко, потому что как только паттерн поменяется, батч уже будет накапливаться неэффективно, а настройки на лету поменять ты не сможешь по крайней мере программно мы не могли.

я сейчас не от sla пляшу, а от задачи))) Кролик к ней подходит лучше конечно, стандартная всем известная пуш-модель. Пожалуй желание воткнуть пульсар с моей стороны выглядит как чрезмерная оптимизация+ просто желание его потыкать)))

мне кажется, парень узнал больше, чем хотел)

в кафке можно выжать адовый перформанс убираем репликацию продьюсим в выделенные партиции читаем из выделенных партиций добавлением партиций(и консумеров) параллелится влёт

в кафке можно выжать адовый перформанс убираем репликацию продьюсим в выделенные партиции читаем из выделенных партиций добавлением партиций(и консумеров) параллелится влёт

в кафке можно выжать адовый перформанс убираем репликацию продьюсим в выделенные партиции читаем из выделенных партиций добавлением партиций(и консумеров) параллелится влёт

кто в здравому уме уберет репликацию продовских данных?

ну мы ж за перформанс говорим

за перфоманс, оставаясь в границах здравого смысла

ну кому-то не нужна репликация

ну кому-то не нужна репликация

ну если не нужна репликация, значит, данные можно проебать

вижу очередь на кафке

а чо ты будешь делать, когда у тебя наебнется физически файл с той самой единственной партицией, а данные нельзя терять? молиться или писать завещание?

ну да)

ничо не буду делать

мы так скоро к UDP прийдем

в хттп уже пришли =)

А после одного колумбайна в школе надо было закрыть и разогнать все школы

Народ, а есть у кого читалки? Стоит такую покупать? с компа уже устал читать и с айпада мини тоже(

для очередей есть специализированные системы, а не кафка