снапшоты не?

ES все равно будет хранить старые события. кроме того, снапшоты надо предусмотреть во время дизайна событий. а предусматривать некогда, надо таски в жире закрывать. таска в жире сама себя не закроет

снапшот == невозможность переиграть ВСЕ события, т.к. часть схлопнулись в снашот.

если тебе надо что-то фиксить - ты можешь пофиксить состояние снапшота и оттуда уже переигрывать

снапшот == невозможность переиграть ВСЕ события, т.к. часть схлопнулись в снашот.

нет. Ты хранишь и снапшоты и все события. Просто в штатном режиме ты проигрываешь события не с большого взрыва, а с последнего снапшота. А если че-то пошло не так, то уже расчехляешь архивы

если тебе надо что-то фиксить - ты можешь пофиксить состояние снапшота и оттуда уже переигрывать

на основе чего? просто руками перетрешь снапшот на авось?

на основе чего? просто руками перетрешь снапшот на авось?

на основе своего знания о сути проблемы

это если предположить, что все, что до снапшота, перестало существовать

нет. Ты хранишь и снапшоты и все события. Просто в штатном режиме ты проигрываешь события не с большого взрыва, а с последнего снапшота. А если че-то пошло не так, то уже расчехляешь архивы

а, тогда да, approved

а, тогда да, approved

проблему бесконечных стримов это не решает

проблему бесконечных стримов это не решает

откуда берутся бесконечные стримы, если есть снапшоты? Я че-то плохо не понял

Тогда в чем профит? Мы три месяца храним.

Ебать вы жоские.

проблему бесконечных стримов это не решает

ну я думаю, что это решается приоритезацией потоков и per topic ретеншином.

У нас тут по дефолту 2 дня.

сори, 1 день

больше 1 дня надо ДОГОВАРИВАТЬСЯ

Ебать вы жоские.

у нас просто < 100 ГБ в месяц данных, всем похуй.

хотя я точно этого не знаю

больше 1 дня надо ДОГОВАРИВАТЬСЯ

больше чем на неделю не договоришься, если что

это интуиция

у нас просто < 100 ГБ в месяц данных, всем похуй.

понимаю. Ну и ты ж понимаешь сколько у нас данных, да?

но! вот как я начал толкать тему приоритезации потоков, так сразу повылазили косоебские контракты и озарения в стиле: "ТАК ВЕДЬ ЭТО МОЖНО СДЕЛАТЬ ПРОЩЕ!!1"

понимаю. Ну и ты ж понимаешь сколько у нас данных, да?

мне кажется, что < петабайта в месяц?

нет лол

мне кажется, что < петабайта в месяц?

Ммм…….

но! вот как я начал толкать тему приоритезации потоков, так сразу повылазили косоебские контракты и озарения в стиле: "ТАК ВЕДЬ ЭТО МОЖНО СДЕЛАТЬ ПРОЩЕ!!1"

"косоебские контракты" ?

тогда извините, я сама наивность

Ну я вот смотрю на 1 из сотни брокеров, там щас прокачивается 30к мсж/сек, и там полигиа в секунду стримится

это 1 брокер. Из сотен

У нас 700 кластеров кассандры. 12000 нод. Каждая нода по 12 ядер

Полную картину мне кажется знают только девопсы

чет какие-то большие у вас месседжи

что вы там отправляете

У нас 700 кластеров кассандры. 12000 нод. Каждая нода по 12 ядер

сколько кластеров кассандры еще обслуживают импортозамещенную кафку?)

У нас 700 кластеров кассандры. 12000 нод. Каждая нода по 12 ядер

интересненько. мне еще интересно узнать, сколько реально нужно, чтобы решить вашу проблему. уверен, что косоебские контракты + уебанский код ТМ жрет немеренно ресурсов

сколько кластеров кассандры еще обслуживают импортозамещенную кафку?)

1!

ну если вопрос ставить как "можно ли в принципе построить es на кафке?", то ответ "в принципе - можно", это бесспорно

+ вы ж json гоняете?

а не бинарный формат?

а не бинарный формат?

ну я гоняю жсон. И все кого я видел гоняют жсон

но я не могу ручаться что ВСЕ гоняют жсон

+ вы ж json гоняете?

тут все гоняют. я удивлен, что волмарт оказался продвинутее б\п умного джета и во всю пользуется авро

ну я гоняю жсон. И все кого я видел гоняют жсон

во! протобаф тебе дал бы серьезный импрувемент в этом плане

но я не могу ручаться что ВСЕ гоняют жсон

кто-то может гоняет томл или тсв?

во! протобаф тебе дал бы серьезный импрувемент в этом плане

в чем? :D

А сколько тогда полезных сервисов?

геморою бы мне протобаф прибавил, это точно

в чем? :D

количество байтов на проводах и в логах

количество байтов на проводах и в логах

не поверишь, мне с 10го этажа насрать на кол-во терабайт в кафка кластерах. Ну я могу грубо выражаться, но правда насрать

то есть вот совсем все равно. Я хочу топик, я получаю топик, я гоняю как мне удобно

не поверишь, мне с 10го этажа насрать на кол-во терабайт в кафка кластерах. Ну я могу грубо выражаться, но правда насрать

верю )))

Так а что там, нано сервисы? Сервисы интерпрайзных гуидов?

а еще у нас в последнее время стало модно запиливать парсинг CLI на 200-300 строк

с подачи одного очень перспективного разработчика, лол

короче, на мой взгляд, ЛОГ СОБЫТИЙ с ретеншином в короткий строк - это как молотком откручивать шурупы. можно. но нахуя?

Я тут прикинул, только 1 брокер выше, в день дает 69 петабайт трафика. @fiftytwoheartz

я смотрю на это и думаю, что мог бы свой парсер в таком объеме уместить и еще место на собственно разбор осталось бы

Я тут прикинул, только 1 брокер выше, в день дает 69 петабайт трафика. @fiftytwoheartz

да я уже понял, что я промахнулся ))))))))

короче, на мой взгляд, ЛОГ СОБЫТИЙ с ретеншином в короткий строк - это как молотком откручивать шурупы. можно. но нахуя?

это основной вопрос этой корпорации. а может и всей индустрии

причем я бы сформулировал его так - "нахуя? вы что, ебанутые?"

причем я бы сформулировал его так - "нахуя? вы что, ебанутые?"

нахуя лог событий? или нахуя всего лишь пару дней ретеншин?

или что нахуя?

кафка не для стораджа. Нужен сторадж, слушайте кафку, складируйте в ДБ

проебались с ретеншном, вайп дб, слушаем с нуля

потому что нехуй проебываться с ретеншном

потому что как по мне линейный (а не древовидный) лог событий - это идеальная абстракция синхронизаниции разных участников распределенной системы о том что В КАКОМ ПОРЯДКЕ произошло (при всем при том, что Кафка не гарантирует полный порядок без особых выебнов).

особенно если на offset смотреть как на виртуальное время. монотонно возрастающая фукнция.

особенно если на offset смотреть как на виртуальное время. монотонно возрастающая фукнция.

а это не вполне так

а это не вполне так

я тонкостей не знаю, наверно. ты сейчас о чем конкретно?

я тонкостей не знаю, наверно. ты сейчас о чем конкретно?

у тебя offset монотонно возрастает в пределах партиции, следовательно, ты должен обеспечить правильное партиционирование для своих сообщений. иначе у тебя хронология будет нарушаться ежемоментно

о, кстати да. Я тут недавно узнал что нас кто-то читал ПО ОСОБОМУ А мы взяли и партиционирование поменяли у продьюсера - у них все сломалось

у тебя offset монотонно возрастает в пределах партиции, следовательно, ты должен обеспечить правильное партиционирование для своих сообщений. иначе у тебя хронология будет нарушаться ежемоментно

да, это так, но это в большинстве случаев вопрос партицирования по правильному ключу. а-ка все события по такому-то юзеру должны попадать в одну партицию и тогда побоку. но есть ситуации, когда тебе полная упорядоченность нужна и тут либо топик с одной партицией (привет, Колхоз!), либо дополнительные ухищрения.

но опять же - это скорее редкие случаи, чем частые.

о, кстати да. Я тут недавно узнал что нас кто-то читал ПО ОСОБОМУ А мы взяли и партиционирование поменяли у продьюсера - у них все сломалось

кастомное партицирование? а причем тут читал?

кастомное партицирование? а причем тут читал?

ну они читали нас по-разному в зависимости от партиций. У них там типа все серьзено, энтерпрайз, нагрузки, стримы (на самом деле они просто долбойобы из индии) А мы им все испортили

да, это так, но это в большинстве случаев вопрос партицирования по правильному ключу. а-ка все события по такому-то юзеру должны попадать в одну партицию и тогда побоку. но есть ситуации, когда тебе полная упорядоченность нужна и тут либо топик с одной партицией (привет, Колхоз!), либо дополнительные ухищрения.

ньюанс в том, что рано или позно тебе придется масштабироваться, и заводить несколько партиций. и тебе все равно придется заводить отдельное поле для упорядочивания

Добрый вечер! Не совсем по F#, но по .NET. Тут я написал решение, которое работает, но попахивает концертным таким говнокодом - смешались в кучу com-объекты, потоки, веб-сокеты и т.д. Можно тут на всеобщую критику вынести? Так как тут чат для флуда, что-то в pro.net не решился выкладывать, а зеленый чат слишком обобщенный. Или подскажите, пожалуйста, куда можно было бы на обсуждение закинуть?

В фиолетовый можно @DotNetRuChat

А выложить можно и пронет, там те же люди почти, что и тут.

если психика устойчивая!

В фиолетовый можно @DotNetRuChat

Слишком много людей