Ilya
из моего текущего места работы люди просто уходят в никуда со словами: заебало блять
Anatoly
удачи там в стартапе с подобными историями
Ilya
из моего текущего места работы люди просто уходят в никуда со словами: заебало блять
за последний месяц уже 3 человека уволилось :( - жара плохо влияет на людей
Ilya
млин, у нас вообще каждую неделю кто-то увольняется
но зато до этого за целый год - всего 1
Stas
млин, у нас вообще каждую неделю кто-то увольняется
так если большие аутсорсерсы, это вроде ок...
Vagif
Хехе, близко по теме, свежий твиттер https://twitter.com/RogerAlsing/status/1425007700472127502
Sergey
так если большие аутсорсерсы, это вроде ок...
Ну если из всей конторы то да. А если с одного проекта то начинается паника)
Stas
Банк
о, интересно, расскажи ,как оно в принципе работать в банках... ?
Vagif
Хехе, близко по теме, свежий твиттер https://twitter.com/RogerAlsing/status/1425007700472127502
Это пишет Рогер Йохансон, Akka + ProtoActor. И это Швеция. У меня был схожий опыт, но пару десятилетий назад. Надеюсь, с ним тоже это давно было. Все же уроки учатся.
Sergey
если с проекта такое начинается, проекту хана
Некоторые проекты сразу так пишут!
Vasiliy
о, интересно, расскажи ,как оно в принципе работать в банках... ?
Средний и не сильно радует, имхо. Но ЗП зато радует пока что) ощущение болотца такого
Крылатый
Хехе, близко по теме, свежий твиттер https://twitter.com/RogerAlsing/status/1425007700472127502
Дак купили 8 часов рабочего времени, вот и работайте все 8 часов.)
Stas
Средний и не сильно радует, имхо. Но ЗП зато радует пока что) ощущение болотца такого
типо большой тырпрайз, копи-паст деволпмент, но с хорошей зарплатой?
Vasiliy
типо большой тырпрайз, копи-паст деволпмент, но с хорошей зарплатой?
ага, много сервисов, много разных статьей на вики, ну и надо иногда согласовывать задачи
Sergey
типо большой тырпрайз, копи-паст деволпмент, но с хорошей зарплатой?
говно костыли странные заказчики Ынтыграции с кривыми сервисами
Sergey
что то типо у нас был соап в котором в 1 поле передавался жсон в виде строки
Stas
я просто сейчас в "неактивном поиске", вот думаю куда податься, сейчас хоть можно выбирать, а джуном было сложнее
Ilya
Средний и не сильно радует, имхо. Но ЗП зато радует пока что) ощущение болотца такого
меня тут на перфоманс ревью спросили, что вас удерживает в этой компании, я сказал что деньги. видимо был первый))
Vagif
Дак купили 8 часов рабочего времени, вот и работайте все 8 часов.)
У меня вообще был забавный опыт в Ericcson Norway. Я там работал на проекте временно консультантом, что-то типа 20 часов в неделю. У меня были и другие проекты, и в один из месяцев, сделав все порученные мне задачи, я написал им мало часов. Мне сказали, что так не пойдет, я недоработал. Я удивился - ведь им же только дешевле, задачи сделаны. Мне сказали, что у меня контракт не на задачи, а на часы, и я их должен отрабатывать. Справедливости ради, такой случай был один, ну и где сейчас этот Эрикссон?
Ilya
@omgszer подскажи ка по распределнным системам. мне надо обрабатывать сообщения последовательно. получается что нужен 1 консумер в консумер группе? или есть какие то хаки?
Vasily
Мейлбокс
Ilya
Мейлбокс
вот мне бы отказоустойчивый
Vasily
Таких не бывает
Крылатый
Если формально, то может неотработка всех 20 часов может быть нарушением контракта. Но я не видел твоего договора, хз.)
Vagif
Ну вот про мой период Википедия пишет: "Ericsson issued a profit warning in March 2001. Over the coming year, sales to operators halved.[20] Mobile telephones became a burden; the company's telephones unit made a loss of SEK 24 billion in 2000." Но оправились, да. Живы. Вообще легендарная компания по влиянию на технологию.
Vagif
Жив и здравствует.) А оплатили все 20 часов? Или оплата после?
Нет, все оплачивали аккуратно. Там немного советский подход был к бюджетам. Если я свои часы не выберу, этому отделению могут сократить бюджет на консультантов с следующем году
Ayrat
@omgszer подскажи ка по распределнным системам. мне надо обрабатывать сообщения последовательно. получается что нужен 1 консумер в консумер группе? или есть какие то хаки?
Короче, если надо чоткий порядок, то придется складывать в один партишн и читать одним консумером. Это сильный удар по перфу в целом. Поэтому лучше попробовать найти способ партиционировать месаджи и сохранять порядок по каждой партиции. Если совсем никак, то придётся костылить стриминг на аппликейшне. Флинк умеет читать кафку с таймштампом в N читателей и сохранять порядок по этому таймштампу. Не 100% т.к. могут быть запоздалые сообщения и пр
Ayrat
Если надо 100% гарантию порядка, то один партишн
AlexB
Если надо 100% гарантию порядка, то один партишн
Кафку заводить без партишнинга это как пиво без водки (деньги на ветер)
Vasily
Илья, ты там транзакциями балуешься, шоле?
Ilya
Илья, ты там транзакциями балуешься, шоле?
да я тут микросервисами проникаюсь, и стейт сервиса должен меняться инкрементально
Ilya
вот думаю сложу я всё сообщения в редис стрим
Ilya
но потреблять то их всё равно надо одно за другим
Ilya
ммм, акторы
это прошлый век :(
Ilya
но потреблять то их всё равно надо одно за другим
и это даже в принципе ок, но хочется, конечно чтобы дало хотябы отказоустойчивость
Ayrat
Обожаю стриминг. Я бы все стримил
Ilya
Обожаю стриминг. Я бы все стримил
и обрабатывал на гопаке!
Ayrat
и обрабатывал на гопаке!
Да, но гопак не дистрибутивный. Вот флинк топчик
Ayrat
время жабы
Котлин/скала
Ayrat
Котлин/скала
Попроси @Lanayx портировать флинк на дотнет
AlexB
Да, но гопак не дистрибутивный. Вот флинк топчик
Ну только я не понял как флинк поможет если партишнинг не определён и важен порядок обработки
Ayrat
Ну только я не понял как флинк поможет если партишнинг не определён и важен порядок обработки
Он может ухватиться за таймштамп в месадже и сортировать их инмемори при чтении из N партишнов. Это не гарантия, т.к. там есть период пока он ждёт сообщения
Ayrat
Ну только я не понял как флинк поможет если партишнинг не определён и важен порядок обработки
Порядок может быть определен например в инкрементальном id, sequence id, таймстемпе, чо угодно. Пишем как обычно в 128 партиций, читаем в 128 консумеров, флинк дальше разберётся. Повторюсь, это не гарантия
Ilya
кстати, задача довольно тривиальная - есть большой массив данных (вида плоская таблица, но поля конфигугрируются) и нужно эти данные показывать на фронте с сортировкой, фильтрацией, аггрегацией и лайв апдейтами
Ayrat
Ну только я не понял как флинк поможет если партишнинг не определён и важен порядок обработки
https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/datastream/event-time/generating_watermarks/#watermark-strategies-and-the-kafka-connector
AlexB
https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/datastream/event-time/generating_watermarks/#watermark-strategies-and-the-kafka-connector
Понятно, но все мессаджи всё равно аггрегируются в одном буфере потом вот тут forBoundedOutOfOrderness(Duration.ofSeconds(20)))
Vladimir
Илье еще предстоит встретиться с проблемой дубликатов)
Vasily
Илья в самом начале волебного пути
Ilya
вопрос в том, как вы решаете такую задачу?
Ilya
с гридам и большим количеством данных в них
Ayrat
Так что он будет всяко быстрее чем получение месаджей по сети из кафки
Ayrat
И да, это не идеальный солюшн. это трейдофф который позволяет сохранить КАКОЙ-ТО порядок с небольшой или никакой потерей перфа
Vladimir
да и хуй с ними :)
надо сузить задачу) если хочешь делать все что угодно с большим количеством данных, то это OLAP и реляционная БД, но здесь не будет тебе риал тайм апдейтов. Если хочешь риал тайм апдейтов, то надо брать что-то типа флинка, но там будут только оконные аггрегации, а не за весь промежуток времени
Ayrat
Надо, чтобы было норм!
Тогда делай красиво и будет норм!
Ilya
Тогда делай красиво и будет норм!
Вот я хочу, а ты мне палки в колёса вставляешь
Ayrat
Вот я хочу, а ты мне палки в колёса вставляешь
Это не я, это все фшарп тебе мешает
IdiocyAcceptance
Тогда делай красиво и будет норм!
А как? Он же не пишет на фшарпе!