Чо это такое?

Это то что серализует коммиты, прогоняет тесты и откатывает то что их ломает

Т.е. это в народе называется билд?

А что такое "билд" если у тебя монолитный репозиторий?

(Вы прогоняете все тесты только при билде?)

Скрипты которые делают чекаут коммита и проверяют что все в порядке - гонят тесты, греют кеши, разворачивают на тестовый сервер

(Вы прогоняете все тесты только при билде?)

Ну да и еще локально иногда запускаем

Это должно быть отдельной системой -- вы не хотите ждать canary verification на каждый коммит

Проверка канарейкой? 😱

Скрипты которые делают чекаут коммита и проверяют что все в порядке - гонят тесты, греют кеши, разворачивают на тестовый сервер

Это звучит как полный ад, в случае если затронул какую-либо базовую библиотеку

Проверка канарейкой? 😱

Да, популярно кстати и очень прикольно работает )

Проверка канарейкой? 😱

Тесты -> стэйджинг -> canary -> prod

Тесты -> стэйджинг -> canary -> prod

некоторые, увы, думают что canary заменяет тесты и стейджинг )

Если херня маленькая, то просто тесты -> canary -> prod, поскольку стэйджинга у неё скорее всего нет

Да, популярно кстати и очень прикольно работает )

Чо за канарейкп

Чо за канарейкп

берем какой-нибудь процент людей и на них катим апдейт

например на 1 сервер который стабильно получает 0.01% трафика )

Если большая, то роллаут по регионам (несколько недель)

опционально еще - чтобы туда шла копия трафика, а не реальный трафик

а ответы чем-нибудь сравнивались с продом, но такое вроде совсем редко

О клево

К нас есть такие теств

Мы апдейты не сразу всем отдаем

тут главное чтобы у людей в сознании они не вытеснили обычные тесты и стейджинг

А сначала потенциальным неудачникам

Проще статы умножать на canary ratio и сравнивать с продом-- если результат не 1.0 -- канари погибает

тут главное чтобы у людей в сознании они не вытеснили обычные тесты и стейджинг

Ни в коей мере. За это у нас выебут

Лично я

Минимум

ну хорошо вам )

а то бывают

Узбагойдесь ганарейги

У гугла тут некоторое время назад статья про деплои неплохая проскакивала

Но у них и система сборки есть, и система деплоя без выебонов(почти), и система верификации -- читеры короче =)

https://cloudplatform.googleblog.com/2017/03/how-release-canaries-can-save-your-bacon-CRE-life-lessons.html

Ну и в the sre book были пара глав

Девопсы, есть вопрос по пайплайну

Первый: у кого есть пайплайн на втором дженкинсе?

Второй: правильно ли делать 2 разных пайплайна?

Т.е. вот первый пайплайн у меня по сути это тесты + кодстайл + деплой на стейдж для фиче бранча. Вот тут загвоздка, что не факт что когда одна фича попала в мастер надо мастер деплоить на стейдж а потом сразу на прод

Отсюда получается первый пайплайн только для стейджа, а другой для прода. Правильно ли это с идеологической точки зрения?

Или надо их разворачивать в один длиннющий и обкладываться условиями, и прочими стопами, паузами, аппрувами и т.д.

Пилять, почему из-за нового statsd данные начали периодически теряться? Никто не сталкивался?

Ядро дропает или юзерспейс?

включай дебаг!

Ядро дропает или юзерспейс?

Пока нипанимайт даже на какой стороне, statsd или graphite. Но началось всё с обновления statsd.

включай дебаг!

Меня затопит нахрен)

включай tcpdump на выходе из statsd или на входе в графит )

и смотри реально ли что-то шлется

включай tcpdump на выходе из statsd или на входе в графит )

Вот это уже делал: всё выглядит одинаково.

а, н у еще метрики графита того же можно глянуть

сколько чего получено, подропано и пр.

цпу юзадж на графитном хосте и т.п.

Вот это уже делал: всё выглядит одинаково.

ну вот ищи те что дропаются потом

были ли они по сети отправлены

если были - значит на стороне графита

если не были - статсд

Пилять, почему из-за нового statsd данные начали периодически теряться? Никто не сталкивался?

Я знаю отличную шутку про udp

Я знаю отличную шутку про udp

трави!

трави!

Не факт, что дойдет

Никто не пробовал на DO их объектное хранилище?

Мне чот не пришёл доступ

Пилять, почему из-за нового statsd данные начали периодически теряться? Никто не сталкивался?

Нашёл, сцуко. Не до конца правда. Но старый statsd не выключили, и походу он тоже слал данные. А Графит почему-то отбрасывал эти данные и строил нулевой график.

Нашёл, сцуко. Не до конца правда. Но старый statsd не выключили, и походу он тоже слал данные. А Графит почему-то отбрасывал эти данные и строил нулевой график.

у графита же last write wins

кто последним прислал точку того и тапки

возможно старый statsd просто слал всякий мусор

Странно было, что промежутки занимают так много времени

ребят, а кто-нибудь уже брал на ovh dedicated серваки с nvme флешками? чет на убунту 14.04 с ориджинал ядром виснет.

надо aerospike вхерачить, а нимагу :(

и другой оси нельзя

В овх не брал но на ноутбуке работает:)

А зачем тебе оригинал ядро? Есть же лтсное из ксениала

ребят, а кто-нибудь уже брал на ovh dedicated серваки с nvme флешками? чет на убунту 14.04 с ориджинал ядром виснет.

Притащи hwe ядро

Да 4.4 из ксениала должно хватить. В трасти ж третье

Ну или такой костыль

Кинуть диски в ahci

И nvme_load=yes