Pavel
Считаю сколько нод он считает. Селф - сам, не селф - удалённые.
Nikolay
Я экспортер в Прометей смотрел
Nikolay
Ок, пойду глаза проверю
Artemy
А этого митапа можно как-то избежать или мы обречены?
Митап отменяется, фронтенды в панике
Pavel
Сорри, что картинкой. Только так.
Nikolay
Да смотрел что он у меня экспортит сам, и такого там не помню
Pavel
https://github.com/kbudde/rabbitmq_exporter
Илья | 😶☮️🐸
если в кластере кролика отваливается нода, то как-то колбасит или всё прозрачно проходит ?
Pavel
если в кластере кролика отваливается нода, то как-то колбасит или всё прозрачно проходит ?
Когда как. Зависит от инсталляции. Каждый сервис может к разным нодам быть подцеплен, и может случиться так, что на одном контроллере к одному кролику, на другом к другому. Вот и выходит, что из трёх запросов два нормально работают, а один тормозит. В общем бывают чудные случаи.
Pavel
J
train
А, ну да. У клиентов версии по-другому нумеруются.
J
train
Тебе нужен как минимум ussuri либо патчить Libvirt драйвер. Переносить код метода swap_volume из более свежих релизов к себе. https://opendev.org/openstack/nova/src/commit/4eaceeec4d0c7a37cfed1194d02a403c057d0af3/nova/virt/libvirt/driver.py#L1892
J
https://opendev.org/openstack/nova/commit/fafbc182f9179c16b89c45d02544d4582e0a1194
Alexander
icinga
а не пробовали стоковый кролевый экспортер? или типа "этот работает - нет смысла менять"?
Pavel
а не пробовали стоковый кролевый экспортер? или типа "этот работает - нет смысла менять"?
Стоковый который в кроле? У нас стоит король без вкомпилированного экспортера, он так не умеет. Приходится так вот.
Artemy
Не. Это обычно стреляет уже на волюме или в нове в фазе нотификации а не на шедулере. Хотя может что то и поменялось
Aleksey
Привет, может кто подсказать по airship2? Можно там как-то тестовый стенд развернуть на ВМ или только барики нужны?
Aleksandr
Че пацаны с 256ым днем что ли -)))
Roman
Че пацаны с 256ым днем что ли -)))
Путаешь немного. Сегодня последняя пятница июля. 256-ой день - день программиста он в сентябре ))
Roman
Че пацаны с 256ым днем что ли -)))
мимо. это день погромиста.
Roman
эксперти в чати! :)
Aleksandr
ааа точно ))) ну пофиг )) все равно надо нажраться
Valeriy
ааа точно ))) ну пофиг )) все равно надо нажраться
Так то не обязательно поводы придумывать... ))
Valeriy
И можно и одному. ^^
Саша
Привет! Может кто поможет побороть? Пропадают сегменты файла при заливке больших файлов (напр., 150Гб). При заливке файла в 50Гб всё ок. В логах: object-server: IP - - [27/Jul/2022:09:41:47 +0000] "PUT /mpathd/15258/AUTH_key/bucket/.file-segments/150.file/00000035" 201 object-server: IP - - [27/Jul/2022:10:21:19 +0000] "HEAD /mpathd/15258/AUTH_key/bucket/.file-segments/150.file/00000035" 404
Aleksandr
Через харайзон льете ?
Nikolay
как красоту навести?
Nikolay
libvirt/libvirtd.log:2022-07-29 12:08:11.172+0000: 77572: error : virNetDevSendEthtoolIoctl:2937 : ethtool ioctl error on qr-fc557862-72: No such device openvswitch/ovs-vswitchd.log:2022-07-29T12:08:11.120Z|00445|bridge|INFO|bridge br-int: added interface qr-fc557862-72 on port 166
Nikolay
рейсится немножко
Andrey
Ого, заумь какая :)
Это у нас сделано😉
NS 🇷🇺
Это у нас сделано😉
а, ну хоть ты расскажи как вы это запилили. А то Aleksandr пропал =) А @Outlingo предлагает грязные хаки в код, для поддержки всякого =)
Andrey
мы тож про него
Так ты же мне и помогал.
NS 🇷🇺
Так ты же мне и помогал.
ну так Артем и Саня говорят - что это в пизду так делать.
NS 🇷🇺
Понятно, у тебя короче как у меня =)
Andrey
Понятно, у тебя короче как у меня =)
Ага, работает без накреканий. По логам было видно, что диски создаются на разный контролах.
NS 🇷🇺
Ага, работает без накреканий. По логам было видно, что диски создаются на разный контролах.
ну там пацаны за подвисшие таски и связанные с ними проблемы. Но я пока не встречал
NS 🇷🇺
На Victoria работает, скоро на Wallaby посмотрю
ну с квинса с этой схемой живу =)
NS 🇷🇺
а вот если заменить переменную host вместо host_backend то начинается веселое
Maxim
ну про это и в доках написано
NS 🇷🇺
Картинка будет такая же, но поведение совсем другое
Maxim
понял, значит это норм HA
Stanley
Это у нас сделано😉
Так одно другому не противоречит. :) Не, на самом деле вполне понятная и логичная схема.
Ilya
у меня кстати не получилось такое поведение реплицировать с таким конфигом. В еррор уходят только треть джобов, как раз те, которые были зашедулены на ребутающийся контроллер
А поконкретнее можно кейс описать ? Что ребуталось ? И какие джобы уходиди в еррор (на какой сервис они в этот момент были зашедулены) ? Просто при создании тома апи сначала кастит через кроля в шедулер. Затем после того, когда шедулер кастит создание тома в конкретную очередь -ее берёт какой-то из вольюмов (в нашей конфигурации). В таблице воркеров появляется запись. И это тот момент, когда надо ловить рестарт. В лабе - и то не очень удобно так подловить циндер :)
Ilya
Вот тут можно почитать - попроще, чем сразу в код: https://docs.openstack.org/cinder/latest/contributor/high_availability.html
Ilya
Самое простое - слипов прямо в коде циндер вольюма добавить на несколько минут и мессадж в лог положить. Количество воркеров ограничить по одному на ноду. Как в лог прилетит 3 сообщения от трёх вольюмов, что они начали отрабатывать создание тома и заснули на эти несколько минут - вот тут один из них рестартануть и смотреть за результатом
Ilya
Ок, понятно... Ну в принципе норм вариант, только тяжело понять, что с этими джобами. Например часть висело еще в кроле
Maxim
да, надо будет более корректно тест поставить
Ilya
Ну и зависит от количества воркеров
Ilya
запустил создание 100 вольюмов больших, сделал docker restart cinder_volume на одной из контролов, примерно 33 вольюма ушло в еррор, остальные нормально продолжили создаваться
Как вариант более простой в организации тест: застопь один циндер-вольюм, шарахни свои 100 томов и стартани циндер вольюм. Если будут тома в эрроре - получилось чужие джобы заклирить
Ilya
потому что на остановленный циндер джобы не прилетали и он убил чужие
Aleksey
я так понял airship 2й никто не осилил? Я что-то читаю доку и вообще понять не могу как с этим работать. Можно ли как-то развернуть тестовый стенда на ВМ?
J
bifrost не из этой же оперы ?
bifrost простой же как мычание.
J
И эт просто пачка ансиблевой лапши чтоб удобнее ironic отдельно от остального опенстека использовать)
J
А airship цэ ужас с точки зрения освоения, мне кажется)
Nikolay
Да ладно
Nikolay
Трудился я там както
Nikolay
Просто нужна еще одна дырка в голове что говно вытекало в виде кастомайза
Aleksey
Просто нужна еще одна дырка в голове что говно вытекало в виде кастомайза
может тогда подскажешь? я правильно понимаю что чтобы что-то поменять в деплое мне надо поменять шаги в плане, которых хранится в дериктории phases? как понять какие фазы вообще доступны и как понять какой набор нужен чтобы раздеплоиться на ВМ?
Nikolay
фазы это крупные блоки, если там логику не поменяли, то там было разворачивание бутсрап исошки, на ней же кубер, потом деплой первой кажись ноды, а потом пивот ресурсов с одного кубера в другой
Nikolay
логика там поидее гвоздями должна быть прибита
Nikolay
в модели идет компиляция енвов
Nikolay
фазы это индикатор для операций
Сергей
s3browser, Cyberduck
Поверх swift стоит эмулятор s3api?
Сергей
Скорее в нём баг, попробуйте напрямую через swift теже 150гб через cyber duck прогнать