@openstack_ru - страница 1659

. У нас тысячи геораспределённых железных серверов и несколько ЦОД — часть коммерческих и часть собственных Угу. Тышши хостов, 20 тышш вирталок ? Впрочем, для такого днища как хабр сойдёт , там сожрут

Илья | 😶☮️🐸

. У нас тысячи геораспределённых железных серверов и несколько ЦОД — часть коммерческих и часть собственных Угу. Тышши хостов, 20 тышш вирталок ? Впрочем, для такого днища как хабр сойдёт , там сожрут

если это инстансы по 16 рам, то почему нет?

Mr

если это инстансы по 16 рам, то почему нет?

Да легко. Не жалко ни разу. Могут сразу и число контейнеров посчитать.

Artemy

. У нас тысячи геораспределённых железных серверов и несколько ЦОД — часть коммерческих и часть собственных Угу. Тышши хостов, 20 тышш вирталок ? Впрочем, для такого днища как хабр сойдёт , там сожрут

Бобер, выдыхай. Совсем не все хосты облако.

Mr

Очередной покемон?

Например, у нас на сети 25 Гбит/с — миграция диска в 1 ТБ происходит за пять минут. Локальные диски — не препятствие, но требуют немного модифицировать процесс. То есть 2.5 Гбайт / секунду , 150 Гб/ минуту - за 5 минут делают терабайт? Что то я сомневаюсь в наличие smb / NFS multichannel 'своими руками', или минут там не 5, а 15-20

Mr

Бобер, выдыхай. Совсем не все хосты облако.

Я к статьям на этой помойке, в которую менеджмент превратил не самый плохой ресурс, пару лет отношусь с интересом - что ещё соврут, какое ещё дно пробьют

Mr

Статья - просто эталонный ор. Помните, несколько лет назад из-за Meltdown и Spectre всем облакам пришлось обновлять ОС на гипервизорах Раз в месяц и чаще , так то.

Mr

Но зачем ??? Система переподключает сетевые диски с одного физического сервера к другому.

Artemy

Но зачем ??? Система переподключает сетевые диски с одного физического сервера к другому.

Зачем мигрировать диски? Странный вопрос для случая локальных дисков. Миграция ВМ так то по уму это скорее нестандартная ситуация (продолбались с шедулингом, железо собирается завалиться, инфра говняет и тд)

Mr

Зачем мигрировать диски? Странный вопрос для случая локальных дисков. Миграция ВМ так то по уму это скорее нестандартная ситуация (продолбались с шедулингом, железо собирается завалиться, инфра говняет и тд)

Зачем переподключать сетевые диски. Если у людей локальные дисковые группы это их выбор

Mr

Зачем мигрировать диски? Странный вопрос для случая локальных дисков. Миграция ВМ так то по уму это скорее нестандартная ситуация (продолбались с шедулингом, железо собирается завалиться, инфра говняет и тд)

Миграция вм это штатная ситуация - балансировка нагрузки, отработка правил drs

Artemy

Если тебе DRS сказала мигрировать, то ты зафакапился в шедулинге в оверселлинге.

icewolf

Если тебе DRS сказала мигрировать, то ты зафакапился в шедулинге в оверселлинге.

Оверпровиженинге. ну то есть да сами дураки не расчитали нагрузку

Mr

Если тебе DRS сказала мигрировать, то ты зафакапился в шедулинге в оверселлинге.

Нет, это обычное дело - выкинуть нагрузку поровнее на соседей. Держать везде 70 % например, или не держать два компонента кластера на одном хосте. Не говоря о плановом выводе на обновление .

Alex

Миграция вм это штатная ситуация - балансировка нагрузки, отработка правил drs

Вывод железа в обслуживание

icewolf

угу стандартная свалится в свап на 70%

Mr

Вывод железа в обслуживание

да. От раза в месяц до раза в квартал . И чаще , если отказала скажем сфп - смигрировал все и на выключенном сменил

icewolf

ты выше писал про заплатки от мелидавн, поправку на воздух не сделал 60% 40% на всякий лучше не занимать. Ибо у тебя виртуализация вот же блять парадокс на варе 1 типа

icewolf

и просадка по производительности у тебя может быть не произвольно заафектить к хуям ноду вплоть до 25% производительности..

Alex

да. От раза в месяц до раза в квартал . И чаще , если отказала скажем сфп - смигрировал все и на выключенном сменил

Замена дисков, добавление/замена памяти, замена процов, замена контроллеров дисков, замена БП, замена куллеров, обновление bios/bmc/os, переключения питания Там работ полно может быть

Artemy

Вывод железа в обслуживание

А ты не выводи на железку которую предстоит скоро взять в обслуживание?

icewolf

и как ты на 5% мигрировать то будешь? В своп свалишься, а это 100% ребут вм

Alex

А ты не выводи на железку которую предстоит скоро взять в обслуживание?

Когда у тебя несколько машзалов, всегда есть какие-то работы

Mr

Замена дисков, добавление/замена памяти, замена процов, замена контроллеров дисков, замена БП, замена куллеров, обновление bios/bmc/os, переключения питания Там работ полно может быть

Так да. Настолько рутинная процедура с 2010 года, или когда она в Винде появилась , что я даже хз. В варе тоже настолько давно, дольше чем в винде, и настолько рутинная задача, что не понятно, а чего такого то. Ткнул - поехало. Вот пару десятков терабайт нагруженной базы по сети тащить это да, неприятно, или если база - сракел на десяток терабайт оперативки, но обычно то

icewolf

аналогично на эпиках, но там хотя бы провалится до 12% так что думайте почему красные, а не синие

Mr

Когда у тебя несколько машзалов, всегда есть какие-то работы

Да даже если и один. Один зал, триста стоек, тысячи три серваков, каждый день что то где то отьебнет

icewolf

Да даже если и один. Один зал, триста стоек, тысячи три серваков, каждый день что то где то отьебнет

из тысячи серверов обычно отьебывает 2-3 если что

Alex

В итоге лайв миграция это штатная регулярная процедура

icewolf

В итоге лайв миграция это штатная регулярная процедура

она штатная, да для kvm ваще два пальца об асфальт. А вот.. в openstack nova и шедулер надо тюнить

Mr

В итоге лайв миграция это штатная регулярная процедура

Как и drs к ней, да. 'оно само' тащит куда надо, один раз настроил и дальше не паришься. А тут у людей подвиг. Причем они же сами пишут что у них везде кластер, так что им и живая миграция не нужна. Но они там сетевые диски переключают, так что костылей там видимо закопано нормально.

icewolf

ну в смысле подвиг? Вотчер прикручиваешь и всё норм.

icewolf

у опеннебулы и овирта это кстати из коробки

Mr

В итоге лайв миграция это штатная регулярная процедура

Ой там в комментариях ещё и про метро кластер и асинхронную репликацию не слышали никогда. === Соответственно, решать этот вариант отказа можно двумя способами - растягивать сетевые диски между ЦОДами, либо на уровне приложения обеспечивать отказоустойчивость и необходимую репликацию. В реальной жизни допустимый вариант только второй, потому что сетевые диски растянутые между ЦОДами будут работать очень медленно

Alex

Как и drs к ней, да. 'оно само' тащит куда надо, один раз настроил и дальше не паришься. А тут у людей подвиг. Причем они же сами пишут что у них везде кластер, так что им и живая миграция не нужна. Но они там сетевые диски переключают, так что костылей там видимо закопано нормально.

в опенстаке такого нет, в овирте, проксе, опеннебулла тоже в кубвирте есть отдельный оператор

Mr

У них в приложении видимо магия работает , сетевые диски медленно, приложения быстро

Alex

Ой там в комментариях ещё и про метро кластер и асинхронную репликацию не слышали никогда. === Соответственно, решать этот вариант отказа можно двумя способами - растягивать сетевые диски между ЦОДами, либо на уровне приложения обеспечивать отказоустойчивость и необходимую репликацию. В реальной жизни допустимый вариант только второй, потому что сетевые диски растянутые между ЦОДами будут работать очень медленно

или нормально будут межцодовые диски работать, но очень задорого

icewolf

в опенстаке такого нет, в овирте, проксе, опеннебулла тоже в кубвирте есть отдельный оператор

так так так.. ты можешь задать что бы не занимать на ноде более 70% и если ты попытаешься лить больше 70% от нагрузки cpu/ram это поедет на другую ноду. Это настраиваемый параметры в овирте где то с 4.2 в небуле с 5.2 версии

Alex

так так так.. ты можешь задать что бы не занимать на ноде более 70% и если ты попытаешься лить больше 70% от нагрузки cpu/ram это поедет на другую ноду. Это настраиваемый параметры в овирте где то с 4.2 в небуле с 5.2 версии

это не дрс, а огрызки какие то

icewolf

или нормально будут межцодовые диски работать, но очень задорого

а зачем делать такую каломуть? Если есть s3 вот простите нахуя?

Alex

а зачем делать такую каломуть? Если есть s3 вот простите нахуя?

есть задачи, в финтехе например

icewolf

есть задачи, в финтехе например

которые вообще решаются иначе.