Timur
Чем не подходит обычный rolling update с serial=1?
Fastumkruk
Всем привет. Кто сталкивался с руссиан юзером в инвентори? Не спрашвиайте как и почему.
Timur
Fastumkruk
Учту 😁
Fastumkruk
А что так можно было ? )))
А разве кто то на винде не руссиан юзера создает?
Fastumkruk
Ну к слову: так случилось что винду как host jump нужно заюзать.
Alex
Andrey
Всем привет. Кто сталкивался с руссиан юзером в инвентори? Не спрашвиайте как и почему.
Если вопрос про пользователя кирилицей, то решается ntlm-auth =>1.5.0
Александр
Ребята, кто с башем "на ты", подскажите в чём затык
Александр
#!/bin/sh DIRS='/etc /var/www' for element in DIRS$ do echo $element done
Александр
должен по идее выдавать каждый путь отдельно
Vladimir
должен по идее выдавать каждый путь отдельно
гуглу запретили уже?) Блин бяда бяда
Petr
#!/bin/sh DIRS='/etc /var/www' for element in DIRS$ do echo $element done
не очень вопрос по ансиблу #!/bin/sh DIRS="/etc /var/www" for element in ${DIRS}; do echo ${element} done
Michael (Joom)
а как только вернем - сразу можно и нужно брать следующий
Вообще задачка выглядит очень типовой и интересной. Но я не знаю как ее решить без костылей. У вас по сути есть N кластеров и вам нужно как можно быстрее их все обработать в идеале в один запуск плейбука. А кластера все одинаковые по размеру? Из одного кластера можно брать в работу не больше одного хоста?
Андрей
как правильно называть schemes.txt в терминологии Ansible?
Michael (Joom)
нет и нет. в этом-то и все веселье - из разных кластеров можно одновременно брать разное количество хостов. зоопарк =(
Но есть понимание сколько минимум хостов должно остаться в кластере чтобы он работал?
Ivan
Но есть понимание сколько минимум хостов должно остаться в кластере чтобы он работал?
там не совсем о кластерах речь. речь о том, что в кластере базы данных с копиями на разных машинах кластера, у каждой базы две копии активная и пассивная. Для каждой базы в любой момент времени обязательно должна оставаться активная копия. Взятие машины в работу приводит к тому, что копии которые лежат на ней будут переведены в пассивный режим.
Ivan
Но есть понимание сколько минимум хостов должно остаться в кластере чтобы он работал?
я уже сделал список списков серверов, которые нельзя трогать одновременно через - set_fact: testlist: [] delegate_to: localhost run_once: yes - set_fact: testlist: "{{testlist + [hostvars[item]['linked_servers']]}}" loop: "{{ansible_play_hosts}}" delegate_to: localhost run_once: yes теперь надо их смерджить так, чтобы ушли дубликаты... и у нас появится список групп для запуска, которые можно запускать одновременно, а внутри каждой группы будет serial: 1
Ivan
Дайте мне минут 20 подумать, я предложу решение
testlist |unique почти подходит, но к сожалению есть кластера у которых у части баз не две копии а три и надо как-то сделать так, чтобы список с большим количеством вхождений разных серверов поглотил список с меньшим количеством если есть хоть какие-то совпадения
Oleg
комрадз, а чем отличается in group_names от in groups?
Ivan
Хм, а как такой дубликат выглядит с т.з. инвентори? Просто в линкед хостс лежит больше хостов?
MBXХХХ1.domain: linked_servers: - MBXХХХ1.domain - MBXХХХ2.domain - MBXХХХ3.domain - MBXХХХ4.domain - MBXХХХ5.domain
Ivan
к сожалению иногда там будет 4 сервера, а иногда 3
Petr
кажется вам нужно что-то сделать с фактами про хост. Например сделать кастомный факт, активная это нода или нет. и по нему решать
Petr
но вы же можите это понять из нутри самой ноды? условно там shell: list cluster active
Petr
и через эотт список уже выходить, скипать таск остановки или запускать
Ivan
но вы же можите это понять из нутри самой ноды? условно там shell: list cluster active
список серверов, которые мы запускаем в полет надо иметь до того как ты пошел на какой-либо из этих серверов. иначе времени будет сожрано - жуть
Petr
Ivan
ну и там прикол еще в том, что на каждом сервере всегда есть и активные базы и пассивные. мы выбираем те сервера, которые будем окучивать и устраиваем анал-карнавал в который в том числе входит миграция активных копий на сервера, которые в этом батче в карнавале не будут участвовать. потом все отрабатывает, возвращается на круги своя и следующий сервер везет все базы на тот, который только что окучили и можно окучивать его.
Vladimir
Хаус инженеринг !
Ivan
есть какой-то фильтр, типа |unique который в случае подобных списков "testlist": [ [ "MBXVA-1.domain", "MBXVA-3.domain", "MBXCA-1.domain" ], [ "MBXVA-3.domain", "MBXVA-4.domain", "MBXVA-2.domain", ], их слепит в один, а в случае если нет совпадений, то добавит новый список?
Ivan
кажется в регэкспах это называлось квантификаторы =)
Ivan
flatten
попробовал, но он чот все слепляет в один, даже если в двух разных нет совпадений. я что-то не так делаю?
Ivan
мне скорее нужен union, но только если есть хоть какое-то совпадение, а если нет, то добавление нового
Timur
мне скорее нужен union, но только если есть хоть какое-то совпадение, а если нет, то добавление нового
Честно говор, не очень понял задачу тогда. Как должен выглядеть итоговый результат в каждом из случаев?
Ivan
Честно говор, не очень понял задачу тогда. Как должен выглядеть итоговый результат в каждом из случаев?
если вход такой "testlist": [ [ "MBXVA-1.domain", "MBXVA-3.domain", "MBXCA-1.domain" ], [ "MBXVA-3.domain", "MBXVA-4.domain", "MBXVA-2.domain", ], [ "MBXVA-5.domain", "MBXVA-6.domain", "MBXVA-7.domain", ], то выход хотелось бы вот такой: "finallist": [ [ "MBXVA-1.domain", "MBXVA-3.domain", "MBXCA-1.domain" "MBXVA-4.domain", "MBXVA-2.domain", ], [ "MBXVA-5.domain", "MBXVA-6.domain", "MBXVA-7.domain", ], я представляю как сделать это через вложенные циклы и всякий if-then-else но jinja2 мне не дается =(
Michael (Joom)
Ну в лоб можно решить вот так
Michael (Joom)
Michael (Joom)
Michael (Joom)
@sonn_drake ^^^
Ivan
спасибо большое, сейчас поковыряю.
Michael (Joom)
Отпишите потом, подходит или нет, прямо интересно
Michael (Joom)
Наверное даже лучше в одну таску вот так - set_fact: clusters: "{{ clusters | default(unique_linked_hosts) | difference([item.0]) }}" loop: "{{ unique_linked_hosts | product(unique_linked_hosts) | list }}" when: - item.0 != item.1 - not item.0 | difference(item.1) vars: unique_linked_hosts: "{{ hostvars.values() | map(attribute='linked_hosts') | map('sort') | unique}}"
Michael (Joom)
Запускать на каждом элементе плейбук с сериал 1?
Michael (Joom)
Оно так не очень работает, да и медленно это будет ИМХО
Ivan
Оно так не очень работает, да и медленно это будет ИМХО
да? ну будем ковырять-смотреть. может все равно будет лучше, чем руками все это двигать туда-сюда как сейчас
Michael (Joom)
Кажется что лучшей стратегией будет наоборот отобрать хосты которые входят в наибольшее количество групп и запустить на них плейбук параллельно
Michael (Joom)
А потом параллельно выполнить плейбук на оставшихся хостах этих же групп
Ivan
Кажется что лучшей стратегией будет наоборот отобрать хосты которые входят в наибольшее количество групп и запустить на них плейбук параллельно
я думал об этом. но ведь тогда пока не закончится первый плей второй даже не подумает начаться. а там могут быть нюансы требующие ручных действий. то балансер не отработает, то базы едут на разных серверах с разной скоростью. В первом случае тот который сделался успешно сразу за собой автоматом потянет соседа и разные батчи будут отдельно друг от друга выполняться и не зависеть от соседа... но это в любом случае еще будет повод обдумать и потестировать
Timur
А внутри джобы для одного кластера плейбук с serial
Michael (Joom)
Нюанс в том что это не кластера, это базы данных размещенные на физических хостах
Michael (Joom)
Причем разные базы могут быть на одном и том же хосте. Задача получается немного другой
Michael (Joom)
А внутри джобы для одного кластера плейбук с serial
Так-то да это было бы самое простое решение
Timur
Нюанс в том что это не кластера, это базы данных размещенные на физических хостах
Я знаю, что такое DAG, это для простоты обозвал кластером
Ivan
На вашем месте я бы просто сделал разные джобы для разных кластеров, которые запускал бы параллельно
у нас примерно 400 кластеров. Приличная часть из них потребует две или три джобы на штуку.
Michael (Joom)
Нет, async работает на таске, а не на плее
Michael (Joom)
Скажите, а инвентори-то у вас построено вокруг хостов или вокруг DAG?
Ivan
Скажите, а инвентори-то у вас построено вокруг хостов или вокруг DAG?
как попросим так и построим. это как раз не проблема. Сейчас думаем что скорее всего будем делать так что будут группы по именам дагов - они к счастью уникальные, а внутри будут имена хостов
Michael (Joom)
Ну вот это как раз удобнее ИМХО
Ivan
Нет, async работает на таске, а не на плее
инклуд вроде запускает плеи параллельно. надо будет поковырять
Michael (Joom)
инклуд в случае плея просто собирает виртуальный плейбук
Michael (Joom)
Никакой логики похожей на параллельность он не дает
Michael (Joom)
Более того там уже кажется его заменили на import_playbook
Michael (Joom)
Набор действий которые надо выполнить для каждого хоста сильно различается?
Michael (Joom)
И они выполняться должны per host или per DAG?