cloud_config можно заюзать если не хочешь юзать network_plugin, все ноды имеют внутренние ip адреса внутри сети облака

на счет внутренней сети нужно указать network_plugin, я юзаю canal

У меня calico. Нужно, чтобы он поверх внутренней сети работал - через свитч. Если я правильно понимаю, то сам кубер без разницы, как будет настроен, главное, чтобы оверлейная сеть работала по внутренней сети. Я пытаюсь добиться таким образом минимального отклика и увеличения быстродействия кластера.

В плейбуке есть такая конструкция: CALICO_IP="{{ip | default(ansible_default_ipv4.address) }}" Это оно?

ага

те у тебя на машинах по два интерфейса ?

те у тебя на машинах по два интерфейса ?

Да. Один в интернет смотрит, а другой в свитч включен.

глянь ansible -m setup -f ansible_default_ipv4.address

если засветится нужный тебе айпишник то ничего не меняй

я бы задеплоил, посмотрел конфиги калико и все стало бы понятно)

я бы задеплоил, посмотрел конфиги калико и все стало бы понятно)

Вся проблема в том, что там продакшен). Хочется сначала информацию собрать перед тем, как делать.

те ты хочешь сразу в продашн деплоить кубспреем, даже непоигравшись с ним ?))удачи

в какое облако деплоишь ?

те ты хочешь сразу в продашн деплоить кубспреем, даже непоигравшись с ним ?))удачи

Я уже поигрался немного. Не облако. Бареметалл.

просто там есть определенные траблы, глянь issues, многие фичи работают не везде, я испытывал много трабло в азуре, issue есть на них, также есть и hostfix но их надо накатывать, так как в релизе этого нет...

на голое железо не деплоил, может кто деплоил, подскажите

Самое интересное - не сломается ли всё, если я на действующем кластере сменю CALICO_IP...

Да. Один в интернет смотрит, а другой в свитч включен.

У меня похожая ситуация, только на внешних интерфейсах по умолчанию нет IP адресов, так что весь кластер работает на внутренних IP.

Еще в kubernetes создал под который вешает IP-адреса на внешние интерфесы нод, если под переезжает то переезжает и внешений IP'шник

если создать сервис, и в ExternalIPs указать ему один из этих внешних ip, то он будет маршрутизировать трафик внутрь

но на правильность решения не претендую :)

У меня похожая ситуация, только на внешних интерфейсах по умолчанию нет IP адресов, так что весь кластер работает на внутренних IP.

То есть, балансировкой входящего трафика занимается какой-то отдельный сервер вне куба?

неа, балансировкой занимается сам куб

т.к. если нода с внешним IP сдыхает, кубернетес запустит этот контейнер на другой, контейнер назначит внешний IP этой ноде и трафик пойдет через нее

@tetramin, а что у тебя в роли балансировщика?

@tetramin, а что у тебя в роли балансировщика?

nginx ингресс-контроллер в кубере.

а как ты снаружи хочешь к нему обращаться?

Вот это и непонятно. Как calico заставить ходить по внутренней сети, а ингресс заставить слушать внешний интерфейс. Возможно, в этом поможет hostNetwork: true. Вот, только какой он выберет интерфейс для этого...

Вот это и непонятно. Как calico заставить ходить по внутренней сети, а ингресс заставить слушать внешний интерфейс. Возможно, в этом поможет hostNetwork: true. Вот, только какой он выберет интерфейс для этого...

так ингресс и будет слушать оба интерфейса

на нодах он не вешает ip-адреса, а только создает правила в iptables

а дальше на какой интерфейс ты ни обратишься, он смаршрутизирует это внутрь

Ночью попробую на живой кластер по новой calico накатить.

Просто номер?) или номер и имя?

да, храним просто номер телефона, но везде пишут, что это является персональными данными :(

хм, а в каком чатике можно обсудить закон о защите персональных данных (типа что надо их хранить на территории РФ)? я так понял придется отказываться от google cloud platform если хранишь/обрабатываешь персональные данные. хотя у меня только телефон хранится, но сим-карты привязываются к паспорту гражданина РФ сейчас, и хз можно ли считать номер моб. телефона персональными данными, мне вот говорят, что да (ну и инфа из открытых источников это подтверждает)

отказываться от google cloud не придётся, пока ещё ни один закон не запрещает передачу ПД за границу

отказываться от google cloud не придётся, пока ещё ни один закон не запрещает передачу ПД за границу

но Федеральный закон от 27.07.2006 N 152-ФЗ (ред. от 29.07.2017) "О персональных данных" 5. При сборе персональных данных, в том числе посредством информационно-телекоммуникационной сети "Интернет", оператор обязан обеспечить запись, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение персональных данных граждан Российской Федерации с использованием баз данных, находящихся на территории Российской Федерации, за исключением случаев, указанных в пунктах 2, 3, 4, 8 части 1 статьи 6 настоящего Федерального закона. (часть 5 введена Федеральным законом от 21.07.2014 N 242-ФЗ) http://www.consultant.ru/document/cons_doc_LAW_165838/b004fed0b70d0f223e4a81f8ad6cd92af90a7e3b/#dst100036

"с использованием" грубо говоря, законодатель хочет иметь *копию* этих ПД на территории РФ, чтобы в случае чего получать доступ к данным без волокиты с запросами (чтобы было куда маски-шоу присылать). Саму передачу ПД через границу при этом не запрещали.

да, но я так понял, что первичная обработка данных должна быть на территории РФ насколько я понял, нужно/можно не делать им бэкап бд, который будет на территории РФ, а делать бэкап себе и хранить за границей)

хотя явно об этом не сказано, такой вывод нельзя сделать из "оператор обязан обеспечить запись, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение персональных данных граждан Российской Федерации с использованием баз данных, находящихся на территории Российской Федерации"

как передать в параметры запуска $HOSTNAME? упорно не раскрывается при запуске, запускаю java. Я видел воркэраунды с sh -c но ругается что слишком длинное имя файла (там куча параметров)

но при этом не просто HOSTNAME нужен а типа $HOSTNAME.foo

может попробовать через как - то так /bin/sh -c “java … $(HOSTNAME).foo”

но Федеральный закон от 27.07.2006 N 152-ФЗ (ред. от 29.07.2017) "О персональных данных" 5. При сборе персональных данных, в том числе посредством информационно-телекоммуникационной сети "Интернет", оператор обязан обеспечить запись, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение персональных данных граждан Российской Федерации с использованием баз данных, находящихся на территории Российской Федерации, за исключением случаев, указанных в пунктах 2, 3, 4, 8 части 1 статьи 6 настоящего Федерального закона. (часть 5 введена Федеральным законом от 21.07.2014 N 242-ФЗ) http://www.consultant.ru/document/cons_doc_LAW_165838/b004fed0b70d0f223e4a81f8ad6cd92af90a7e3b/#dst100036

http://minsvyaz.ru/ru/personaldata/ TL; DR: вообще нельзя, но можно; нам придумали закон, который противоречит сам себе; пока что за яйца брать вас не будем, если копия есть в РФ

:) нельзя, но можно? 2 мин, попробую еще раз прочитать разъяснение

"При этом, статья не содержит указания на то, что такие действия должны совершаться исключительно с использованием баз данных, размещенных на территории России."

но "Таким образом, персональные данные гражданина Российской Федерации, первоначально внесенные в базу данных на территории Российской Федерации и актуализируемые в ней («первичная база данных»), могут далее передаваться в базы данных, расположенные за пределами России («вторичные базы данных»), администрируемые иными лицами, с соблюдением положений о трансграничной передаче данных. ", т.е. именно "первоначально", а значит – нельзя юзать google cloud platform :( как же я все это не люблю :(

ну то есть минкомсвязь на своем сайте сама прекрасно понимает, что это блевня и сама подсказывает тебе как галантно обойти закон

если честно, зная что бизнес в россии обчыно действует в питоновом режиме better pray for forgiveness rather ask for permission, я вообще удивлен что этому уделяется столько внимания, а не просто ставится реплика и все забивают

но "Таким образом, персональные данные гражданина Российской Федерации, первоначально внесенные в базу данных на территории Российской Федерации и актуализируемые в ней («первичная база данных»), могут далее передаваться в базы данных, расположенные за пределами России («вторичные базы данных»), администрируемые иными лицами, с соблюдением положений о трансграничной передаче данных. ", т.е. именно "первоначально", а значит – нельзя юзать google cloud platform :( как же я все это не люблю :(

reverse proxy на сервере в РФ формально справится и с этой задачей: 1. приняли в РФ 2. передали за границу 3. сохранили на сервере в РФ (например, в виде асинхронной реплики базы)

но ведь, исходя из этого разъяснения, нужно именно "первоначально внесенные в БД на территории РФ", похоже просто реверс прокси в РФ не поможет такая это дичь все эти законы)

а как узнают? видимых внешних признаков нарушения нет

ну это может важно для инвесторов, например, хотят быть уверены, что все в порядке

но ведь, исходя из этого разъяснения, нужно именно "первоначально внесенные в БД на территории РФ", похоже просто реверс прокси в РФ не поможет такая это дичь все эти законы)

но еще с другой стороны, вот это "первоначально" – *не* выдержка из закона, а выдержка из разъяснения, вывод в котором может быть сделан ошибочно, например

но ведь, исходя из этого разъяснения, нужно именно "первоначально внесенные в БД на территории РФ", похоже просто реверс прокси в РФ не поможет такая это дичь все эти законы)

там где-то отдельный параграф, вздыхающий о бумажных анкетах и говорящий, что вроде все-таки можно

не помню уже точно

ладно, всем спасибо, простите за оффтоп)

Я правильно понимаю что если не создать headless service для StatefulSet то в DNS не будет записей вида foo-0.service-name?

кто-нибудь использовал kubespray?

это нормально что он целый час работал и писав в консоль пусты строки?

в итоге я его остановил, теперь думаю почему он так работает p.s. деплою на bare-metal

кто-нибудь использовал kubespray?

Я использую. На 8 серверов деплоится за 20-25 минут.

Что настраивал в нём?

Что настраивал в нём?

ничего, только айпишники указал

kubespray prepare —nodes MASTER NODE1 NODE2 —nodes 2 —masters 1

в переменных просто айпи адреса указаны

я его правильно использую? он ничего не выводит в консоль кроме пустых строк? ?

хз) я ансиблём пользуюсь)

ERROR: S client not available

Спрей тоже через ансибль работает. Генерит для него плейбуки.

я его правильно использую? он ничего не выводит в консоль кроме пустых строк? ?

ansible хоть установлен?

да

если ввожу ansible в консоль, то получаю список команд и ERROR! Missing target hosts

то есть мне надо туда сначала хосты указать?

Это нормально.

а что куберспрей это надстройка над ансиблем?

А зачем? -)

то есть мне надо туда сначала хосты указать?

Нет. Покажи ~/.kubespray/inventory/inventory.cfg

No such file or directory

А зачем? -)

Кем-то сделано и поддерживается. Удобно. Поправил конфиги под себя и развернул кластер.

Ну я то же самое сделал с Чистым ансиблем)

переписал плейбуки с версии 1.4 на 1.7 изменил сервисы на докеризованные в hyperkube и живу)

No such file or directory

Надо найти файл этот. Посмотреть, где prepare его создаёт. Папка .kubespray есть?

переписал плейбуки с версии 1.4 на 1.7 изменил сервисы на докеризованные в hyperkube и живу)

Сколько времени ушло на написание плейбуков?

>ls ~/.kubespray/inventory group_vars inventory.example local-tests.cfg

Сколько времени ушло на написание плейбуков?

пара дней

>ls ~/.kubespray/inventory group_vars inventory.example local-tests.cfg

Значит файл с хостами не создался.

а как его создать?? $kubespray prepare —nodes 192.1.1.1 192.1.1.1 192.1.1.1 —nodes 2 —masters 1 вот так правильно же я использую для деплоя на baremetal?

.kubespray.yml я если что ручками через wget дефолтный скачал

пара дней

Согласен. Самому написать - удобнее. Там в этих шаблонах чёрт ногу сломит. Но, когда я деплоил куб, стояла задача "Чтобы через полчаса кластер уже работал!")). В целом мне понравилось. В будущем свой напишу.

Они просто написаны под Все известные системы

ubuntu 14< и 14> CoreOs AtomicHost CentOS и даже комплиции из гита)

то есть 70% мусора)

а как его создать?? $kubespray prepare —nodes 192.1.1.1 192.1.1.1 192.1.1.1 —nodes 2 —masters 1 вот так правильно же я использую для деплоя на baremetal?

kubespray prepare —nodes node1[ansible_ssh_host=10.99.21.1] node2[ansible_ssh_host=10.99.21.2] node3[ansible_ssh_host=10.99.21.3] [--etcds N+] [--masters N+]

Это одна строка.

то есть 70% мусора)

Да))

.kubespray.yml я если что ручками через wget дефолтный скачал

https://github.com/kubespray/kubespray-cli

@Leorent а у тебя какая ос на серверах?

Атомик

Rhel Atomic Host