А другой отдел "В качестве основного инструмента для сбора и отображения данных по работе бизнес-логики мы используем Graphite в связке с Grafana." какой же зоопарк

В большой компании всегда зоопарк. И это лучше, чем стандартизация

Касательно тех инструментов, что выбирают большие компании, я просто скажу, что тот же prom позволяет обезопасить метрики ровно на уровне reverse-proxy, что не всегда хорошо и полезно. Он классный, но enterprice-фич не хватает :( А они, к сожалению, иногда решают.

ну вроде на дев-саммите было решено впиливать что-то такое

В большой компании всегда зоопарк. И это лучше, чем стандартизация

конечно лучше. а потом в компании 12 TSDB-сервисов, пять мониторингов, шесть оповещалок об алертах и три календаря.

конечно лучше. а потом в компании 12 TSDB-сервисов, пять мониторингов, шесть оповещалок об алертах и три календаря.

Хах, вы думаете такого не будет при стандартизации? При стандартизации происходит так же, только команда, вместо того, что бы использовать свое решение, вынуждена будет использовать свое и какой-то Zabbix 2.0, потому что его вот полгода назад только стандартизировали

еще новый продукт охуенно разрабатывать. нужен тебе распределенный консенсус - и ты сразу так думаешь "нахуй стандартизацию, напишу свой". и со стораджами так же.

сидишь, кнопки жмешь, сложные продукты разрабатываешь, зашибись.

а потом внезапно выясняется что в компании четыре разных питона 2.7

У вас была в крупной компании, в которой есть много отделов стандартизация, которой управляли не вы?

не распарсил

а. 1) дефайн крупная. 2) дефайн много.

Ну вот предположим, штук 5 разных продуктов, которые разрабатываются минимум по 10 команд каждой.

Числа с потолка, разумеется.

Я осознаю что это может быть поводом для бана, но очень смешно "Из инструментов мы используем Zabbix для сбора данных в реальном времени — он уведомляет о работе серверов и дата-центров, качестве работы сети, доступности компонентов и источников данных." https://habr.com/company/yamoney/blog/426583/

Этож яндекс.деньги, общеизвестно что они к яндексу мало относятся и что там пиздец

Ну вот предположим, штук 5 разных продуктов, которые разрабатываются минимум по 10 команд каждой.

ага. три раза. в трех разных больших компаниях. в одной не было стандартизации совсем. в другой стандартизация была, но сделанная идиотами. в третьей была стандартизация, сделанная не идиотами.

ну ладно уж, сколько можно не относится то, вон народ туда перекидывается по простому, так что не такие уж и оторванные

Я осознаю что это может быть поводом для бана, но очень смешно "Из инструментов мы используем Zabbix для сбора данных в реальном времени — он уведомляет о работе серверов и дата-центров, качестве работы сети, доступности компонентов и источников данных." https://habr.com/company/yamoney/blog/426583/

Лукавый clickbait Как-будто они 90k сайтов поддерживают, а ведь речь идёт о клиентах. Цифры не запредельные, у процессингов тоже, знаете ли, POS-оф не два десятка...

Стандартизация сделанная не идиотами - это как?

Лукавый clickbait Как-будто они 90k сайтов поддерживают, а ведь речь идёт о клиентах. Цифры не запредельные, у процессингов тоже, знаете ли, POS-оф не два десятка...

это да, это отдельный разговор :)

Стандартизация сделанная не идиотами - это как?

это когда тебе нужен TSDB и он есть, развит, работает как надо и решает задачи.

Стандартизация сделанная не идиотами - это как?

Например Technology Radar интересная штука для приведения в порядок зоопарка https://www.thoughtworks.com/radar

команда хотя бы в тысячу инженеров?

Ой опять вот это пошло, у кого команда больше, у кого проекты длиннее...

это когда тебе нужен TSDB и он есть, развит, работает как надо и решает задачи.

Ммм ... вы же понимаете, что у вас либо cutting-edge, либо все продумано, либо у вас просто шикарная команда и далеко не всем такое дано?

Ой опять вот это пошло, у кого команда больше, у кого проекты длиннее...

у меня в конторе щас меньше 10 инженеров включая меня и у нас ниочинь

померялся так померялся

Ммм ... вы же понимаете, что у вас либо cutting-edge, либо все продумано, либо у вас просто шикарная команда и далеко не всем такое дано?

а то. фокус в том, что если у вас нет подобного элайнмента и стандартизации между командами, то фиг вы до cutting edge дойдете

потому что каждый будет делать работу заново

С удовольствием почитал бы про не идиотами

Сам размышляю над стандартизацией инструментов vs стандартизацией выводов из инструментов

Интересно где грань перехода от первого ко второму

и то и другое лучше чем просто бардак, как обычно бывает

Стандартизация построенная идиотами лучше, чем бардак? Хех

Масло лучше, чем масло

Коллеги, существует ли некий прокси для прометея, который бы позволил направить запрос сразу в несколько прометеев?

Сейчас обхожусь федерацией, но в случае добавления новых метрик или перебоев работы сети не очень удобно получается.

был где-то, но наверное лучше thanos возьми

Был. Стоит поискать в истории канала

кстати в таносе же тоже есть подобный прокси в комплекте

а то. фокус в том, что если у вас нет подобного элайнмента и стандартизации между командами, то фиг вы до cutting edge дойдете

Ну как раз стандартизации и мешают выходу на cutting-edge. Чтоб воспользоваться новой технологией, её надо принять как стандарт и внедрить как стандарт повсеместно. Умеренный хаос - это как раз про agile.

Ну как раз стандартизации и мешают выходу на cutting-edge. Чтоб воспользоваться новой технологией, её надо принять как стандарт и внедрить как стандарт повсеместно. Умеренный хаос - это как раз про agile.

cutting-edge это не "воспользоваться новой технологией", а "создать новую технологию".

Смотря на каком уровне смотреть - взглянул чуть ниже и уже "воспользоваться новой технологией"

обрати внимание что стандартом может быть выходной сигнал

тогда новая технология получает шанс

Так мы спустимся до размерности транзисторов в процессоре, а затем вообще на теоретическую физику, а остальное станет лишь "воспользоваться"

Ядро линукса даже не создало новых технологий, лишь применили C поверх железа

Ядро линукса даже не создало новых технологий, лишь применили C поверх железа

точно. только линукс взлетел, потому что им кто-то занимался кроме Линуса. а теперь представь картину, когда линукса нет, а каждый пытается сам пилить ядро, потому что в его команде будет особое ядро.

когда стандартизации и общих тулзов нет - начинается разброд и шатание, и команды в компании повторяют одну и ту же работу на разные лады.

каждый поднимает свои репозитории с пакетами, свои билд-фермы, свои мониторинги, хостинги кода и т.п.

а потом эволюционно останется лучшее

а потом эволюционно останется лучшее

щаз, два раза. продукты не доходят до стадии эволюционной борьбы.

когда?

когда стандартизации и общих тулзов нет - начинается разброд и шатание, и команды в компании повторяют одну и ту же работу на разные лады.

Прям напоминает Google Borg, а потом преобразованый в стандарт Kubernetes, а ведь внутри Google он нормально жил "для личных целей". В этот момент мы приходим к определению размера "команды" и соответственно стандарта.

Прям напоминает Google Borg, а потом преобразованый в стандарт Kubernetes, а ведь внутри Google он нормально жил "для личных целей". В этот момент мы приходим к определению размера "команды" и соответственно стандарта.

преобразованный?

Идеи и логика, а не код

Внутри команды на 5 человек можно сделать стандарт, а будет ли он стандартом для конторы в 50 команд? А имеет ли значение какие у других команд стандарты, когда они пилят разные куски пазла, отвечающие за разные задачи (притом могут использовать разные языки программирования)? Ну вот, а там всего 2 мониторинга на множество команд...

У каждой команды свой велосипед

А у некоторых даже язык... Фронты, беки, ML, real-time компоненты...

каждый поднимает свои репозитории с пакетами, свои билд-фермы, свои мониторинги, хостинги кода и т.п.

Ммм ... а потом начинается "нам не хватает 2 воркеров в teamcity, выделить больше нам не выделят, перейти с teamcity нельзя, начинаем пилить костыли".

Проблема в том, что стандартизировать нужно подходы, технологические стеки стандартизировать можно только для типичных проектов, имхо. Если у вас каждый проект отличается от старых, тащить туда такой же стек, как на предыдущем проекте не очень решение

Внутри команды на 5 человек можно сделать стандарт, а будет ли он стандартом для конторы в 50 команд? А имеет ли значение какие у других команд стандарты, когда они пилят разные куски пазла, отвечающие за разные задачи (притом могут использовать разные языки программирования)? Ну вот, а там всего 2 мониторинга на множество команд...

Чем больше размер, тем больше имеет значение. Иначе на разработку новых велосипедов уходит слишком много времени

Чем больше размер, тем больше имеет значение. Иначе на разработку новых велосипедов уходит слишком много времени

Это при условии однотипных задач

Это при условии однотипных задач

Не имеет значения.

Общие кирпичики всегда выгодно выделять и наслаждать

Ну при достаточном размере компании

Ну переводить всю разработку на ноду просто потому как в браузер JS - вот тогда не имеет значения, но обычно так не делают

ERROR: S client not available

Ну переводить всю разработку на ноду просто потому как в браузер JS - вот тогда не имеет значения, но обычно так не делают

Имеют единый стандарт мониторинга, единый подход к логам, единую инфраструктуру (начиная от балансеров до оркестрации контейнеров), даже единую билд систему на вообще все - я про такие базовые вещи

Фреймворки похожие в разных языках, стандарты написания протоколов взаимодействия и т.п.

Инфраструктура с сетевыми железками и ipmi не очень подходят для графита... Протоколы взаимодействия - согласен

Общие кирпичики всегда выгодно выделять и наслаждать

"наслаждать" записал себе. полезное словечко

"наслаждать" записал себе. полезное словечко

Мой т9 и не такое знает

:) верю

Инфраструктура с сетевыми железками и ipmi не очень подходят для графита... Протоколы взаимодействия - согласен

Да тоже не имеет значения

Если стандарт PG, то это не отменяет эластика

@StalkerNOVA я потерял нить обсуждения

Ну жёсткие стандарты хранения данных в этот раз)

Ну жёсткие стандарты хранения данных в этот раз)

И это тоже плюс

Их наличие

насаждать хорошие практики внутри разнородных стеков сложновато будет

только если они сильно будут общие

На самом деле даже под копотом ОС множество нишевых решений, просто потому как они идеально подходят под конкретные задачи

вот только если в таком виде https://github.com/donnemartin/system-design-primer

насаждать хорошие практики внутри разнородных стеков сложновато будет

Ну крупные компании пытаются бороться с нишевыми решениями, не используя их нигде где прям не обойтись

Ну крупные компании пытаются бороться с нишевыми решениями, не используя их нигде где прям не обойтись

Тут согласен

Тут согласен

И они стали крупными отчасти потому что смогли стандартизовать стек

И они стали крупными отчасти потому что смогли стандартизовать стек

А на острие прогресса те, кто не воспринимают стандарт как дому и пробуют разное

А на острие прогресса те, кто не воспринимают стандарт как дому и пробуют разное

Это уже не так однозначно

Простой пример - Golang на каком-то этапе был экспериментом

И они стали крупными отчасти потому что смогли стандартизовать стек

или наоборот, децентрализоваться

Кто-то отступил от стандарта, создал велосипед, и вот мы имеем go-carbon

вас послушать, так тут каждый первый - СТО

мамкин

я каждый раз, как вернусь в этот чат, горжусь, в какую профессиональную тусовку я попал

лучшие технические люди планеты

жалко про мониторинг мало

Кто-то отступил от стандарта, создал велосипед, и вот мы имеем go-carbon

между тем, замена карбона на го-карбон - хороший пример сохранения стандартов.

вместо того чтобы сказать "в пизду этот ваш карбон, я пойду и напишу свою TSDB для нашей команды" Рома и ко нахуярили го-карбон, а потом протолкали его в остальные команды.

не изменив при этом стандарт TSDB - графит