Ivan
еще для мля я бы предложил подучить что-нибудь вроде https://www.coursera.org/learn/bayesian-statistics
Hog
Nuxs🏴☠️
мляяя я маслину поймал
Hog
Между глаз? Извините.
Danil
Vladislav
Anatoly
https://twitter.com/XOR0sha2wine/status/1241049367630528513
Ayrat
Обсуждали вчера!
Ayrat
И даже Олега все узнали
Anatoly
и я просидел на продакшен инциденте 7 часов
Anatoly
так что пропустил по уважительной причине!
Anatoly
автоскейлинг не настроен :D
ну ты не далёк от истины, те, кто нам писал инфраструктуру смогли родить только одно решение "расхерачить всё и собрать с нуля"
Anatoly
ну или переписать весь код, которым это оркестрируется
Anatoly
в пятницу, в 6 вечера
Ayrat
Бывает. У нас недавно был продакшн инцидент, отвалились связи между товарами. Оказалось что какой-то ЕТЛ каждый день крутился на машине разраба, а он уволился....
Anatoly
или мигрировать наш стек на другое решение, которое по идее автоскейлится
Anatoly
Anatoly
на другом проекте "CI" был такой
Anatoly
есть ровно один сервер в компании, он-прем, где руками собирается ПРАВИЛЬНАЯ версия
Anatoly
нигде больше собрать никто ничего не мог
Anonymous
это хуйня. вот вам история получше. мы модные и молодежные, у нас есть два девопса (и еще человек двадцать в другом офисе, на который прямого влияния нет) и свой доморощенный кубернетис. у нас вообще много всего своего, но речь конкретно про это. так вот, ВНЕЗАПНО прод разваливается. не то, что один сервис отвалился, нет. просто все нахуй разваливается на глазах. весь лайвстрим, все машинлернинги, вся historical data. вообще все. ну то есть буквально за полчаса. все лежит. и пытается подняться на доморощенном кубернетесе. и не поднимается. опять пытается и опять не поднимается.
Anonymous
а дело как бы к вечеру, на часах 16.00
Anonymous
и никто не может въебать почему оно не поднимается и как так, все развалилось за полчаса.
Anatoly
есть ровно один сервер в компании, он-прем, где руками собирается ПРАВИЛЬНАЯ версия
я всех заебал за полгода, но теперь у нас на дженкинсе собираются rpm-ки.
Anonymous
в общем, спустя часов пять оказалось, что у нас был список В АЛФАВИТНОМ ПОРЯДКЕ, по которому сервисы возвращались к жизни. В АЛФАВИТНОМ ПОРЯДКЕ БЛЯТЬ
Anonymous
и те сервисы, которые на букву А зависят от сервисов на букву Т, которые еще не запущены
Anonymous
я такой хуйни даже придумать бы не смог, если бы мне за фантазию платили
Anonymous
а развалилось все из-за вовремя необновленных сертификатов и че-то там кубер помер из-за этого. внезапно.
Ayrat
Anonymous
и при этом контора по-прежнему считает, что купить кубер в GCP это дороже, чем своими руками все делать. "я хуею"
Anatoly
в общем, спустя часов пять оказалось, что у нас был список В АЛФАВИТНОМ ПОРЯДКЕ, по которому сервисы возвращались к жизни. В АЛФАВИТНОМ ПОРЯДКЕ БЛЯТЬ
я ржал в голос так, что жена с кухни пришла и спросила - доктора вызывать или не надо
Anonymous
блять ну объясните мне как так можно
Anatoly
так вот, в ходе пока мы трахались с автоскейлингом, я пошёл посмотреть код - а нахуя там вообще скейлинг нужен. сервис простой - юзер даём нам вебхук, а мы его стучим. нагрузка средненькая - лям эвентов в час
Anatoly
и по всем железным метрикам (проц, память), сервис нихуя не делает. как вы понимаете, если его отскейлить, он будет нихуя не делать, только дороже
Anatoly
выяснил. у нас таймаут на веб-колл - 5 минут. и мы делаем 4 ретрая. и тестеры, тестируя, въебали нам на проде урлов, а потом выключили сервис.
Anatoly
т.е. приходит эвент (один из миллиона в час), мы 20 минут пытаемся его отправить. НИПАЛУЧИЛАСЬ.
Anatoly
берём следующий.
Ayrat
Последовательно?
Anatoly
ну, эвенты из одной партиции в кафке - последовательно, а как ещё. порядок важен
Anatoly
партиций 60. т.е. в теории мы могли обработать аж 3 эвента в минуту!
Anatoly
Последовательно?
ну тут ты тоже прав. а что, если у нас два вебхука на один эвент? правильно, тут тоже последовательно.
Anatoly
зато интерфейсов, реализаций, DI, всё по учебнику
Ayrat
Неплохо. Прям сильно
Anatoly
@fiftytwoheartz можно я твою историю спизжу в другой чатик? полуприватный дискорд
Anonymous
партиций 60. т.е. в теории мы могли обработать аж 3 эвента в минуту!
HIGH LOAD ARCHITECT в резюме!!11
Anonymous
Anonymous
но дело даже не в том, что но так было. ну было и было, можно списать на человеческий фактор или на астрологию. дело в том, что по-прежнему бытует мнение, что доморощенный кубер это клево, секрьюрно и дешево, а кубер в GCP или, что хуже, кубер в Амазоне это очень дорого и неэффективно.
Anonymous
шта блять
Anatoly
но дело даже не в том, что но так было. ну было и было, можно списать на человеческий фактор или на астрологию. дело в том, что по-прежнему бытует мнение, что доморощенный кубер это клево, секрьюрно и дешево, а кубер в GCP или, что хуже, кубер в Амазоне это очень дорого и неэффективно.
у меня мнение, что кубер где угодно - это ад
Anatoly
эз ин, дорого, опасно, и если ебанёт - я хз как чинить
Anonymous
я плохо кубер знаю ( я дитя EC2
Anonymous
ну я не девопс, я тоже кубер чинить не умею, но не суть. мне хватает мозгов понять, что лучше отдать это на откуп бородатым дядям на облаках и пусть они отжимаются за сертификаты и в принципе.
Ayrat
Я юзаю кубер эз э сервис от наших девопсов. Очень удобно
Anonymous
но было забавно наблюдать как за 30 минут вся система померла.
Ayrat
Прям збс
Anonymous
впервые такое вижу.
Anonymous
раньше только в фильмах было
Anonymous
Я юзаю кубер эз э сервис от наших девопсов. Очень удобно
так есть то же самое на GCP же? типа, нативный родный гугловый кубер с 1724971937412 удобных фентифлюшек.
Ayrat
Про сам кубер знаю ровно нихуя. Могу под перезапустить наверное.
Anatoly
Я юзаю кубер эз э сервис от наших девопсов. Очень удобно
у нас в конторе нету сильных, кто готов ночью его чинить. пока.
Ayrat
так есть то же самое на GCP же? типа, нативный родный гугловый кубер с 1724971937412 удобных фентифлюшек.
У нас своих 4 датацентра + ажура. Гцп там по подсосе по объемам
Anonymous
У нас своих 4 датацентра + ажура. Гцп там по подсосе по объемам
ага. у нас тоже свой "датацентр". нахуй он только нужен, я не знаю. ресурсов никогда не допросишься!!!1
Anatoly
у нас два своих дц, авс и гцп.
Ayrat
ага. у нас тоже свой "датацентр". нахуй он только нужен, я не знаю. ресурсов никогда не допросишься!!!1
Ну вот в нашем дц компы реально простаивают.
Ayrat
Они заняты, но нихуя не делают
Anonymous
Ну вот в нашем дц компы реально простаивают.
везет вам. хотя с точки зрения конторы наверно это оверпрайс, конечно.
Anatoly
нет, они андерпрайс.
Ayrat
1200 ХЛ компов обслуживают 7к рпс на чтение бд по ключу
Anatoly
я как не посчитаю, свой ДЦ дешевле
Anatoly
но всегда есть нюанс