Shub
поэтому нужны лайки и звездочки. памагите
Vladyslav
let loadTicket ticketId = ... CosmosClient.ReadItetmAsync<Ticket>(ticketId) let loadTickets tIds = tIds |> Async.map loadTicket |> Async.RunParallel
Если я не ошиблась космос считает RU для какого запроса. Так что один сложный или много мелких, конечно не равны в сумме, но и не прямо что бы бомба, хотя надо смотреть. А космос даёт RU/sec и только если привесить его лимит то будет 429
Shub
А batching нормальный в космосдб так и не завезли? 😶
batching только для write, что ты от него хочешь, если ты ему сказал "дай мне эти документы ПО ОДНОМУ"
Hog
поэтому нужны лайки и звездочки. памагите
Если оно корпоративное. Тут тебе только @omgszer поможет
Shub
Если я не ошиблась космос считает RU для какого запроса. Так что один сложный или много мелких, конечно не равны в сумме, но и не прямо что бы бомба, хотя надо смотреть. А космос даёт RU/sec и только если привесить его лимит то будет 429
1 RU - это чтение одного 1кб, мы тут можем говорить про какие-то x RU для нашего конкретного документа. но совершенно точно, что послать query - это x RU, а послать кучу read items - это n * x RU
Hog
У тебя хоть доступ есть :) а у меня неделя прошла - пишу письма каждый день, а доступа так и нет :)
Shub
читать результаты - там да, но результаты читаются последовательно, поэтому trhoughput будет кратно ниже
Hog
Вот вы какие!
Hog
Я-то не такой!!1
Anonymous
я так понимаю, что тыщи?
Shub
а какой там рендж коллекции ожидается?
ну они ловят это в dev\stage, там до сотен редко, чаще десятки. у нас просто эдиктом запрещено поднимать RU на коллекциях выше дефолтных 400
Shub
потому что проверяли прошлогодний бюджет, нашли коллекции с 10k RU, 25к RU
Shub
заметьте, у нас базовый случай уровня "хелло ворлд", все записи в одном регионе, нет репликации, нет партиционирования, все коллекции не дотягивают до 10Гб даже близко
Shub
ну щас-то с эквиноксом мы размеры быстренько наверстаем
Shub
И скока это в $?
тысячи в месяц
Hog
В масшабе вольмарта - копейки
Shub
точно не помню. но помимо этого это неиллюзорно влияет на характеристики самого Космоса, т.к. чтобы обеспечить такие астрономические числа, надо уже заводить реплики, синхрить их между собой, еще не дай боже кто-то включит репликацию по регионам, не юзая е
Shub
В масшабе вольмарта - копейки
а в масштабе мировой экономики - вообще исчезающая величина, тем не менее, у нас бюджет инфраструктуры равен одной зарплате инженера.
Shub
что в принципе более чем достаточно, если отключить эту типично капиталистическую манеру жрать ресурсы как не в себя и даже их не переваривать
Shub
В хозяйстве все сгодится?
в карьере, так сказатб
Roman
а в масштабе мировой экономики - вообще исчезающая величина, тем не менее, у нас бюджет инфраструктуры равен одной зарплате инженера.
Мы кстати недавно сократили траты на хостинг как раз на зп разработчика! И это совпало с переписыванием на фарш кстати)
Shub
Мы кстати недавно сократили траты на хостинг как раз на зп разработчика! И это совпало с переписыванием на фарш кстати)
так я уверен, сообщи ваш СЕО, что все экономии на инфре будут выплачены инженерам в виде бонуса, вы до конца отчетного года оптимизируетесь настолько, что будете работать на sqlite и rpi на 25% СPU
Shub
потому что когда бабки чужие - они тратятся только в путь, бюджеты уходят как молодой каберне в пересохшую глотку
Shub
а когда свои - так начинаются выключения инстансов на ночь и в шаббат
Anonymous
так я уверен, сообщи ваш СЕО, что все экономии на инфре будут выплачены инженерам в виде бонуса, вы до конца отчетного года оптимизируетесь настолько, что будете работать на sqlite и rpi на 25% СPU
вот анекдот в тему. у нас тут хуева туча орхетекторов и конкретно надо мной новый чувак пришел где-то полгода назад, лет 50. так вот, у человека в силу преклонного возраста Кафка головного мозга той стадии, после которой вопросы о том "а зачем оно нам нужно?" и "какую именно проблему решает?" задавать уже бесполезно. отобрал он, значит, четырех "лучших и худших" и начал поверх Кафки (которая в систе уже давно, большинство топиков однопартиционные, репликация == 1) с помощью Кафка Стримов и бинарного протокола пилит "новую архитектуру", она же "стримминговая платформа" (в его системе на ПРЕДЕЛЕ нагрузки 1000 mps), оно же проект с кодовым именем "Тринити". а пилили они кусок длинной, бессмысленной и беспощадной цепочки хуй-пойми-зачем-нужных микросервисов, которые бесконечно что-то тупо перекладывают, по ходу дела нагревая датацентр и не давая одниким админам замерзнуть в холодные зимние ночи. легаси кода там выше крыше, везде magic numbers, разумеется недокументированные. в результате после 4х месяцев разработки первые же лоад тесты показали, что платформа примерно в 6 раз медленнее легаси на виндовых виртуалках и жрет примерно в 6 раз больше ресурсов. и все бы ничего, если бы на этом и закончилось, но этот парень так просто не сдается. задержите дыхание.
Hog
вот анекдот в тему. у нас тут хуева туча орхетекторов и конкретно надо мной новый чувак пришел где-то полгода назад, лет 50. так вот, у человека в силу преклонного возраста Кафка головного мозга той стадии, после которой вопросы о том "а зачем оно нам нужно?" и "какую именно проблему решает?" задавать уже бесполезно. отобрал он, значит, четырех "лучших и худших" и начал поверх Кафки (которая в систе уже давно, большинство топиков однопартиционные, репликация == 1) с помощью Кафка Стримов и бинарного протокола пилит "новую архитектуру", она же "стримминговая платформа" (в его системе на ПРЕДЕЛЕ нагрузки 1000 mps), оно же проект с кодовым именем "Тринити". а пилили они кусок длинной, бессмысленной и беспощадной цепочки хуй-пойми-зачем-нужных микросервисов, которые бесконечно что-то тупо перекладывают, по ходу дела нагревая датацентр и не давая одниким админам замерзнуть в холодные зимние ночи. легаси кода там выше крыше, везде magic numbers, разумеется недокументированные. в результате после 4х месяцев разработки первые же лоад тесты показали, что платформа примерно в 6 раз медленнее легаси на виндовых виртуалках и жрет примерно в 6 раз больше ресурсов. и все бы ничего, если бы на этом и закончилось, но этот парень так просто не сдается. задержите дыхание.
50 - преклонный возраст?
Shub
Anonymous
он попросил ВЫПИЛИТЬ ОТТУДА ВСЮ БИЗНЕС-ЛОГИКУ из-за которой оно так медленно работало (то есть все джоины, энричменты и аггрегации - самые дорогостоящие во всех смыслах операторы, без которых стримминг конкретно в этой цепочке нахуй не нужен в принципе). то есть, осталось просто перекладывание байтов. буквально. и сделали новые лоад тесты. после чего он заявил топам наверху, что решение ОПТИМИЗИРОВАЛИ.
Hog
Anonymous
и в итоге на прошлой недели они показали демо НОВОГО ПОДХОДА.
Hog
Я тут походу примерно в такое попал :) но доступ не дают, чтобы я там ненароком не наоптимизировал чего
Anonymous
я когда увидел МР я сначала думал, что я еблан и они так КРАСИВО переписали все, что легаси кода больше нет.
Anonymous
я подумал, ну вот да, вот это уровень.
Anonymous
но чем больше я смотрел ченджсет, тем больше сомнений закрыдавались на задворки бессознательного.
Anonymous
но я не мог поверить.
Anonymous
а потом я просто зашел в соседний кабинет к автору и спросил, что это такое и где, собственно, бизнес-код, на что он мне сказал, что была просьба "выпилить всю бизнес-логику" потому что она МЕДЛЕННАЯ и мешает платформе БЫСТРО РАБОАТЬ.
Anonymous
но это по-прежнему МВП, я все равно думаю, что его проекту пизда, он просто хочет "не потерять лциа".
Anonymous
в проде этого дерьма нет
Anonymous
(а Кафка без репликаций есть)
Anonymous
Кабинет?
у нас не опен-спейс
Hog
Удивительно
Shub
(а Кафка без репликаций есть)
есть конечно, только кому она нужна
Anonymous
Удивительно
ну контора арендовала 6 этажей в самом дорогом бизнес-центре Киева с видом "почти на Крещатик" и теперь ахуеевает от того, что никто в эти офисы и не ходят. хотят понемногу переводить людей на удаленку.
Anonymous
то есть, без возможности работать из офифса
Anonymous
есть конечно, только кому она нужна
ну одно из добрых дел, которые он сделал - это инцировал процесс разумного партицирования и реплик там, где этого не было. мирровинг из прода тоже пушит на некритичные данные.
Anonymous
то есть, он не совсем деревянный.
Anonymous
Что это за контора?
PMLAB и весь консорциум
Anonymous
он же Parimatch, у них тут много имен
Anonymous
я точно не знаю, за кем конкретно офисы закреплены, потому что они все слились воедино, по крайней мере на уровне IT так точно
Andrew
@Saphirox звучит как та контора где сам знаешь кто
Anonymous
Молдован штоле?
Andrew
Не
Anonymous
не, он у конкурентов. в SBTECH
Hog
ниче не имею против опенспейса, когда в нем работают другие
Да сейчас всё равно из отдельного кабинета с баром, санузлом и кухней!
Hog
и личная кровать
Не. Кровать приходится шарить
Anonymous
50 - преклонный возраст?
ну программист в 50 это уже квитенсенция всего профессионального опыта кмк
Anonymous
и когда люди после 10+ лет в IT не понимают чем read uncommited отличается от read commited, то это грустно
Hog
Люди с 10+ опытом передают мапу в метод, там её меняют и удивляются, что после ретурна мапа измененная
Anonymous
да, есть такое. но это можно списать на бодун или усталость.
Anonymous
но конкретно в нашей системе консистентность данных (точнее, ее отсутствие) это пробелма
Anonymous
по крайней мере, в небольшом подмножестве болевых точек
Anonymous
и я слышу разговоры в стиле "да надо просто лить в Кафку, она все сама хендлид", меня аж холодным потом прошибает