Roman
Лонгрид кулстори (или не кул) для чата.
Дисклеймер:
В рассказе может быть сложно проследить сюжет. Чукча не писатель, чукча читатель.
Свежачок, с прошлой недели.
Дано: иерархия на 55 тысяч компов, один праймари сайт и инфраструктура на 270 серверов.
Почти 2 недели назад обновили мы, значит, винду на primary site server с 2012 на 2016. Дерьма выхватили, конечно (это вообще отдельная стори), но доблестно пофиксили новые баги, после чего вернулись к починке старых.
Так вот, один из старых багов это неработающий SMS Provider (на одном из двух серверов с соответствующей ролью).
Дело было в понедельник, неделю назад.
Из Бразилии подняли кейс в Майкрософт и почти сразу получили инженера из USA.
Стали ему шарить скрин, логи показывать, всё такое. Смотри, мол, в консоли показывает что провайдера 2, а работает только один по факту.
Инженер выслушал, всё посмотрел и предложил запустить Configuration Manager Setup, в визарде выбрать Modify SMS Provider configuration, дабы посмотреть что визард думает про количество провайдеров в иерархии, мол, мы только посмотреть, рид онли то есть. Как ни странно, визард думал, что провайдер у нас один...
Признаться, я хз в какой момент и почему что-то пошло не так, но в итоге во время этого скрин шэринга под чутким руководством инженера была запущена реконфигурация сайта.
Эпично, что ни инженер, ни наш аналитик этого не заметили...
Ещё более эпично, что она (реконфигурация) зафейлилась, не успев завершиться. Служба sms_site_component_manager хоть и значилась в статусе running, не работала от слова совсем.
И верх эпичности, что он успела снести нам почти все Management Points и мониторинг на хер убила.
Тревогу забили в четверг, потому что статусы деплойментов долго не отображались и после установки ОС клиенты в большинстве случаев не могли нормально коммуницировать с центральной инфраструктурой.
Начинал я это всё раскуривать как проблему с MP, а выяснил в итоге, что у нас реконфигурация сайта в процессе... Что там реконфигурируется никто не догадывается.
Опять же из Бразилии подняли ещё один кейс в майкрософт и опять получили инженера из USA (но уже другого).
Предварительно, я погасил sms_site_component_manager от греха подальше. Но startup type не менял (идиота кусок), ибо рестарт по плану только в выходной.
Хотели совместно с инженером понять можно ли реконфигурацию отменить (нет, нельзя), можно ли посмотреть что мы там вообще реконфигурируем (тоже нельзя), и как бы нам вернуть к жизни MPs, чтобы обслуживать клиентов и дотянуть до выходных, а там уж хоть сайт резет (а это можно). Решили руками поставить MP на одном из серверов. Вроде как поставили, но что-то не до конца завелось и инженер такой, а давай сайт сервер ребутнем и оно просрется...
Напомню, что для site_component_manager я startup type не менял, и при ближайшем старте сервиса сайт ожидала запланированная ранее хз какая реконфигурация.
Собсна, так и произошло.
Но ни инженер MS, ни наш аналитик не поняли что ящик пандоры открыт и реконфигурация набирает обороты.
После рестарта сервера наш аналитик поехал домой (пока он ехал, реконфигурация шла полным ходом) и уже оттуда посмотрел,что MP заработал. Чирканул мне кратенько в ватсапе, что всё стало лучше, а детали завтра обсудим (у него уже ночь была). Он даже написал письмо с перечислением того, что они сделали и что в итоге получилось и со спокойной душой и чувством выполненного долга закрыл ноутбук. Только вот закрыл быстро и письмо не отправилось...
Утром я пришел и был приятно удивлен тому, как хорошо всё работает, ибо ещё день назад всё было очень плохо. Не обнаружив письма я начал смотреть по логам что же они там делали и увидел, что имело место быть реконфигурация. Подумал, что небось инженер смекалистый попался и всё как-то шустро починили а для удобства сделали сайт резет (ну мало ли как там всё шло). Ждал бразильца, чтобы он рассказал историю подвига, предотвратившего трагедию. Только вот с его точки зрения они чинили руками один сервер, и не осознавали, что починили вообще всё...
Такие дела... Длинная история получилась...
Дабы как-то подытожить написанное выше скажу,