Потому что etcd это датаплейн, ингресу, coredns и т.д. неоткуда будет получить инфу о том где у вас поды и какие ip адреса они имеют

а, ок

ну опять таки, это не означает, что надо копировать етцд во все регионы с ворклоадами

достаточно пару регионов завести

Для вашей задачи проще сваять образ для виртуалки с vpn сервером с одинаковыми ключами и балансить их с помощью балансера клауда

Не имел дело с мультирегионом в K8S. Но в случае swarm доставило много боли. Если исходить из того, что K8S штука навороченнее swarm-а - яб не стал пробовать мультирегион в k8s. Проще и надеждее несколько кластеров

Для вашей задачи проще сваять образ для виртуалки с vpn сервером с одинаковыми ключами и балансить их с помощью балансера клауда

кластер не только для этой задачи, эта задача — впридачу. Если кластер уже есть, почему бы не докинуть туда с десяток нод и не накатить демонсет с впнами

Создатели сабжа даже в разных аз советуют разные кластера поднимать, что уж говорить про разные регионы

советуют сегодня, или советовали в прошлом?

ситуация меняется, лэтенси падает, прогресс на месте не стоит

ситуация меняется, лэтенси падает, прогресс на месте не стоит

лэтенси не падает

физику не наебёшь

физику не наебёшь

это да, но часть физики можно убрать

лэтенси не падает

Может у гугла между регионами кротовая нора

это да, но часть физики можно убрать

физику как науку

физику как науку

я понял, но и процы когда-то за гигагерц не могли шагнуть

скорость распространения сигнала между регионами не увеличится

тоже физика мешала, пока готовить не научились

скорость распространения сигнала между регионами не увеличится

выше скорости света пока и не надо :)

скорость распространения сигнала между регионами не увеличится

Ну, 2 тысячи км со скоростью света это 6 мс

сомневаюсь что там свет

10 тысяч км (берлин-сан-франциско) это 30 мс

On June 29, 2016, Google announced their investment in the FASTER Cable System which gives Google access to up to 10Tbps (Terabits per second) of the cable’s total 60Tbps bandwidth between the US and Japan. They are using this for Google Cloud and Google App customers. The 9,000km trans-Pacific cable is the highest-capacity undersea cable ever built and lands in Oregon in the United States and two landing points in Japan. Google is also one of six members which have sole access to a pair of 100Gb/s x 100 wavelengths optical transmission strands between Oregon and Japan.

https://www.nec.com/en/press/201606/global_20160629_02.html

On June 29, 2016, Google announced their investment in the FASTER Cable System which gives Google access to up to 10Tbps (Terabits per second) of the cable’s total 60Tbps bandwidth between the US and Japan. They are using this for Google Cloud and Google App customers. The 9,000km trans-Pacific cable is the highest-capacity undersea cable ever built and lands in Oregon in the United States and two landing points in Japan. Google is also one of six members which have sole access to a pair of 100Gb/s x 100 wavelengths optical transmission strands between Oregon and Japan.

это всё ещё не про латенси

насчет конкретных цифр сегодня — вот кнопка: http://www.gcping.com

я понял, но и процы когда-то за гигагерц не могли шагнуть

лейтенси обращения к памяти сильно ли уменьшилась с тех пор?

лейтенси обращения к памяти сильно ли уменьшилась с тех пор?

надо сказать, подробно не изучал этот вопрос, но сдается мне, что с _тех_ пор — да

не хочу тебя расстраивать

Короче говоря для мультизональных и мультирегиональных инсталляций придумали https://github.com/kubernetes-sigs/federation-v2

не хочу тебя расстраивать

даже если так, десятки и даже сотни миллисекунд это совсем другой уровень, нежели микросекунды

меня смущает версия 0.0.8

так бы да, я тоже за федерацию

Растянуть etcd на два региона не имеет смысла (потому что большинство окажется в одном регионе и он станет критическим), можно попробовать на три и наблюдать реилекшон 2-3% времени работы кластера

суть та же, физику ты не наебёшь и между регионами у тебя в лучшем случае будет несколько десятков миллисекунд

суть та же, физику ты не наебёшь и между регионами у тебя в лучшем случае будет несколько десятков миллисекунд

разве этого недостаточно для нашего кейса?

даже если так, десятки и даже сотни миллисекунд это совсем другой уровень, нежели микросекунды

Ну я написал теоретический минимум латенси между европой и США -- 30мс

разве этого недостаточно для нашего кейса?

полагаться на это не стоит, наверняка будут спайки и етцд будет разваливаться и коннект до мастеров будет пропадать

проще взять да поднять несколько кластеров

Ну я написал теоретический минимум латенси между европой и США -- 30мс

Это если оптоволкно не теряет данных и абсолютно-прозрачно

200 мс это очень много

полагаться на это не стоит, наверняка будут спайки и етцд будет разваливаться и коннект до мастеров будет пропадать

ну изначально я таки говорил только за ноды в разных регионах, про мастера я не говорил

Это если оптоволкно не теряет данных и абсолютно-прозрачно

это ещё за вычетом всех накладных расходов и промежуточных свичей

ну изначально я таки говорил только за ноды в разных регионах, про мастера я не говорил

ноды будут терять коннект до мастера

ты короче хочешь внести непредсказуемости вместо просто нескольких кластеров

гугл же не берёт денег за мастеров

насколько я знаю

есть вероятность, что мы сами будем менеджить кластер

Короче говоря для мультизональных и мультирегиональных инсталляций придумали https://github.com/kubernetes-sigs/federation-v2

этим кто-то пользуется прямо сейчас серьезно? кроме соответствующего сига

это выглядит серьёзнее чем растягивание кластера между регионами

это выглядит серьёзнее чем растягивание кластера между регионами

+

ноды будут терять коннект до мастера

должен же быть измеримый опыт об этом где-то, как часто теряют ноды коннект на среднем пинге до 100, 100-200, 200-300 и т.д. Или я первопроходец?

ну вроде этот опыт сложился в рекомендации по построению кластера

насколько я помню, это было в документации

ну окей, опыт этот, положим, старый, хотелось бы цифры хотя бы

например, на 200-300 воркер будет теряться 20% времени

с тех пор лейтенси между регионами уменьшилось или что?

например, на 200-300 воркер будет теряться 20% времени

ну вощем ты всё равно хочешь это сделать, наплевав на рекомендации

Сейчас возможности нет, но если кто-нибудь напомнит в рабочие дни, то я могу попробовать расчитать SLO etcd, растянутого на три региона, опираясь на SLA gcloud'а

сделай и потом поделись опытом

не, етцд в одном регионе

и мастера в нём же

воркеры в других

Сейчас возможности нет, но если кто-нибудь напомнит в рабочие дни, то я могу попробовать расчитать SLO etcd, растянутого на три региона, опираясь на SLA gcloud'а

ну это ж несколько другая тема, это попытка увеличить HA

я не столько хочу HA, сколько уменьшить операционную сложность поддержки кластеров в разных регионах

играюсь с cert-manager, вроде делаю все по доке, пытаюсь получить сертификат, в логах получаю следующее: W0504 11:32:40.083740 6 backend_ssl.go:48] Error obtaining X.509 certificate: no object matching key "default/quickstart-example-tls" in local store W0504 11:32:40.084302 6 controller.go:1042] Error getting SSL certificate "default/quickstart-example-tls": local SSL certificate default/quickstart-example-tls was not found. Using default certificate I0504 11:32:40.084572 6 controller.go:170] Configuration changes detected, backend reload required. I0504 11:32:40.083719 6 event.go:209] Event(v1.ObjectReference{Kind:"Ingress", Namespace:"default", Name:"kuard", UID:"530d621b-6e60-11e9-964f-3264bd127d34", APIVersion:"extensions/v1beta1", ResourceVersion:"14301", FieldPath:""}): type: 'Normal' reason: 'CREATE' Ingress default/kuard I0504 11:32:40.224456 6 controller.go:188] Backend successfully reloaded

я не столько хочу HA, сколько уменьшить операционную сложность поддержки кластеров в разных регионах

ты ж не руками их настраиваешь

а между 2 и 10 операционной сложности мало разницы, при должной автоматизации

при должной(!) автоматизации(!)

если у тебя гугл то автоматизация у тебя в терраформе кончается

а, да, и еще вот такое, в сертификате Message: http-01 self check failed for domain Reason: ValidateError Status: False Type: Ready

если у тебя гугл то автоматизация у тебя в терраформе кончается

деплоить манифесты тоже тераформом?

деплоить манифесты тоже тераформом?

вообще это возможно, но даже если не терраформом а тем же ksonnet, то между "деплоить в два кластера" и "деплоить в 10 кластеров" разницы всё ещё мало

вообще это возможно, но даже если не терраформом а тем же ksonnet, то между "деплоить в два кластера" и "деплоить в 10 кластеров" разницы всё ещё мало

ну мы то с вами знаем, это "возможно" — какашка

ну вощем давай, делай кросс-регион кластер

но обязательно напиши отчёт

на мастер/etcd возрастает нагрузка из-за высокой лэтенси до воркеров?

на мастер/etcd возрастает нагрузка из-за высокой лэтенси до воркеров?

Делал кластер hezner + selectel, в принципе работает, при обращении к api (kubectl) ощутимо подтупливает

Сейчас возможности нет, но если кто-нибудь напомнит в рабочие дни, то я могу попробовать расчитать SLO etcd, растянутого на три региона, опираясь на SLA gcloud'а

было бы круто энивей. И ещё бы как именно

Ну я написал теоретический минимум латенси между европой и США -- 30мс

а практически 300мс+, придумывать сферический конь в вакуме это хорошо но кому-то и работу надо делать