раз уж тут Владимир говорил за себя.

Но так тут же разговор про "Да, всего лишь пара серверов ценой в 1М"

ну да. а что такого? когда у тебя 20к-30к машин - это мелочи.

мол, не беда

да, не беда. и диски менять - тоже не беда. потому что время людей, которые производят продукт - стоит дороже.

ничтяк, значит туда скорее всего можно этот 1м потартить

Я непротив, если оно посчитано, прикинуто и действительно спасет

если у тебя парк стоит 1ккк, то плюс-минус милион никого не спасет

если у тебя парк стоит 1ккк, то плюс-минус милион никого не спасет

А раз никого не спасет, то стоит прикинуть - а действительно ли стоит его тратитиь?

мы тут уже минут 30 переливаем из пустого в порожнее

Я не против закупки железа, камрады. Я против бездумной траты средств

Я не против закупки железа, камрады. Я против бездумной траты средств

а судьи кто?

ящитаю нужно выпилить питон.

а судьи кто?

тесты?

Я не против закупки железа, камрады. Я против бездумной траты средств

а где тут бездумная трата?

потому что каждая джоба на питоне, запущенная на 10к машинах - впустую потраченное процессорное время.

тесты?

кто тесты?

постмортем? тут гитлаб сэкономил на реплике недавно. и на админах, кстати, тоже.

2 сервера.

ну, мб 1М рублей.

если это почти бесплатно - да. но не обязательно снимать бесполезные метрики. нужно снимать полезные.

блин. вот есть такая штука, как microburst. без мелкого шага метрик их хрен увидишь

если это почти бесплатно - да. но не обязательно снимать бесполезные метрики. нужно снимать полезные.

каждая следующая метрика - почти бесплатна. ввести десять метрик на 10к серверов - 100к метрик. причем не в секунду. да, это почти бесплатно.

блин. вот есть такая штука, как microburst. без мелкого шага метрик их хрен увидишь

их и с метриками иногда не увидишь, это вообще лютая боль любого latency-bound приложения.

каждая следующая метрика - почти бесплатна. ввести десять метрик на 10к серверов - 100к метрик. причем не в секунду. да, это почти бесплатно.

угу. именно.

кто тесты?

уффф. Берем чтототам, тестируем на имеющемся железе. Определяем что полезно, определяем что масштмбируемо, прикидывем сколько надо железа для внедрения. Закупаем-внедоряем. Но никак не "да, всего лишь 1М стоит, берем"

их и с метриками иногда не увидишь, это вообще лютая боль любого latency-bound приложения.

ну, без нормальных метрик нет шанса даже подумать в их сторону.

уффф. Берем чтототам, тестируем на имеющемся железе. Определяем что полезно, определяем что масштмбируемо, прикидывем сколько надо железа для внедрения. Закупаем-внедоряем. Но никак не "да, всего лишь 1М стоит, берем"

Максим, я прошу прощения, что апеллирую к фактам, но вы теоретик, не нюхавший пороху.

работает примерно не так.

Максим, я прошу прощения, что апеллирую к фактам, но вы теоретик, не нюхавший пороху.

А чего это на вы? мне не нравится.

@Sheridan_ru чувак, ты не работал с мало-мальски нагруженными системами, поэтому твои представления о мониторинге они вот такие

работает по-другому: происходит outage. прибегает бизнес, кричит АААА, БОЛЬНААА, вы кое-как чините. бизнес спокойно спрашивает "ребят, было очень больно. что можно сделать чтобы так не было?", ты говоришь "ну вот можно так и так, вот это нужно замониторить". бизнес говорит "ок, ок, главное чтобы больно не было"

работает по-другому: происходит outage. прибегает бизнес, кричит АААА, БОЛЬНААА, вы кое-как чините. бизнес спокойно спрашивает "ребят, было очень больно. что можно сделать чтобы так не было?", ты говоришь "ну вот можно так и так, вот это нужно замониторить". бизнес говорит "ок, ок, главное чтобы больно не было"

угу.

странно всё как то тут. Деньги не считаем, метрики снимаем педалькой в пол, выбор по принципу "авось пригодится" и так далее

бизнес не готов это "больно" словить ещё раз.

потому лучше post mortem иметь все данные на руках.

через мало (если бизнес умный) или много (если бизнес тупой) итераций вы мониторите все. что может случиться, что не может случиться. вообще все. вы снимаете все данные, которые могут вас заинтересовать. да, часто просто на всякий случай.

странно всё как то тут. Деньги не считаем, метрики снимаем педалькой в пол, выбор по принципу "авось пригодится" и так далее

ты никогда не знаешь что пригодится - поэтому у тебя два варианта

когда случиться - начать снимать

это факап дривен подход

минус в том что ты каждую метрику будешь ловить через факапы

сэкономишь миллион на внедрении

потеряешь 10 миллионов на факапах

второй подход - хранить как можно больше

минус в том что ты каждую метрику будешь ловить через факапы

ну во втором подходе какое-то количество метрик ты все равно внедряешь н а факапах. но не так больно.

да, ты потереяешь на железе

но сэкономишь на факапах

Я правда не могу понять как бизнес все еще терпит подобные расходы

выбор за тобой

Я правда не могу понять как бизнес все еще терпит подобные расходы

потому что факапы это больно

кроме того, факап-дривен требует как минимум 2 факапа для понимания.

на первом ты делаешь гипотезу, на втором - подтверждаешь.

хуяк и лям на сервера. На всякий случай.

цена факапа в десятки раз больше таких систем

пусть оно за свою жизнь предотвратит один факап

это уже окупится

хуяк и лям на сервера. На всякий случай.

хуяк - и лярд.

даже если потом оно будет греть воздух

хуяк и лям на сервера. На всякий случай.

у нам мониторинг - 250 серверов

цена факапа в десятки раз больше таких систем

что там за сервера такие?

Я правда не могу понять как бизнес все еще терпит подобные расходы

ты считаешь по своей конторе, что милион много, для других это не много, как для твоей тысяча рублей

2xE5-2620v3, 128GB RAM, из них 200 с ССД

50 с хдд

ты считаешь по своей конторе, что милион много, для других это не много, как для твоей тысяча рублей

мне и тысячу не дают. За свои свичи покупаю

точнее это не весь мониторинг, но большая часть

Володь, нотабене, но субъективно, даже я считаю, что 250 на метрики - это дохреновато.

Володь, нотабене, но субъективно, даже я считаю, что 250 на метрики - это дохреновато.

у нас к ним подход как еще и к хранилищу данных вспомогательных для аналитики

правда я лично не верю в полезность аналитики по графиту

Короче, я пополз всё это переваривать с подушкой в обнимку

но саентисты что-то умудряются делать

у нас к ним подход как еще и к хранилищу данных вспомогательных для аналитики

мы просто компактим данные из метрик в мапред

так что кто я такой чтоб им запрещать

С удовольствием бы помониторил такие объемы

мы просто компактим данные из метрик в мапред

у них и мапред есть

Готов даже сам писть

но им мало

в графите?

странно

@spuzirev ну они говорят что нужнО

ну у нас хранится полная история всех метрик в мапреде, но никто не бегает к самим мордам метрик.

еще приходят чуваки и говорят что нужнО хранить это пять лет

вот и 200 серверов (

впрочем, допускаю кейс, в котором исторически сложилось бы.

впрочем, допускаю кейс, в котором исторически сложилось бы.

вероятно оно так и есть

я вообще уверен что потрею 75% этого объема никто не заметит

5 лет то зачем :)

Я правда не могу понять как бизнес все еще терпит подобные расходы

1 факап - и 30% клиентов уходит.

5 лет то зачем :)

черт их знает, говорят "хотим вечность"

Короче, я пополз всё это переваривать с подушкой в обнимку

С удовольствием бы помониторил такие объемы

Готов даже сам писть

Я правда не могу понять как бизнес все еще терпит подобные расходы

бизнес вообще любит ровный стабильный доход.

1 факап - и 30% клиентов уходит.

^

и очень не любит "острые внезапные расходы".

@spuzirev я сам не понимаю короче зачем нам столько

почти как человек. ты вот любишь, когда к тебе приходят и делают больно?

@spuzirev я сам не понимаю короче зачем нам столько

лол

@spuzirev ну мое дело тут давать хранилище

почти как человек. ты вот любишь, когда к тебе приходят и делают больно?

1V 'nj jcnhsq hfc[jl? 'nj ,jkmyj

а что в нем уже не мои проблемы

1м это острый расход, это борльно

1м это острый расход, это борльно

кхе.