Layer4 connection problem, info: "Connection refused", check duration: 0ms. 0 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue
Что-то странное, будто флапает, но в интерфейсах на стороне свитча всё чисто
чет с таймаутами, надо смотреть на очереди крола
icewolf
icewolf
пока только смотреть и крестится, как говорится Господь поможет.
Илья | 😶☮️🐸
чет с таймаутами, надо смотреть на очереди крола
The reply b010400d213d434f9e2dc67321367305 failed to send after 60 seconds due to a missing queue (reply_18b2e4b2465a43979a39fb152646cc29). Abandoning...: oslo_messaging.exceptions.MessageUndeliverable
ну а потом инстанс в ошибку падает
Илья | 😶☮️🐸
не дожидается ответа, тк другой гипер теряет подключение к кролику
Илья | 😶☮️🐸
что-то они крепкое курили в 2024 релизах
Илья | 😶☮️🐸
гиперы хаотично в down уходят
icewolf
The reply b010400d213d434f9e2dc67321367305 failed to send after 60 seconds due to a missing queue (reply_18b2e4b2465a43979a39fb152646cc29). Abandoning...: oslo_messaging.exceptions.MessageUndeliverable
ну а потом инстанс в ошибку падает
А найди подностью трейсы в том числе и нейтроне и отсыпь в личку.. если это каракуль с овсом есть у меня мисли
Илья | 😶☮️🐸
А найди подностью трейсы в том числе и нейтроне и отсыпь в личку.. если это каракуль с овсом есть у меня мисли
разливалось из мастера 2024 в связке с ovn
icewolf
каракуль с ovn.. Там весело, как в цирке
Илья | 😶☮️🐸
https://youtu.be/WMLFeZG9_so?t=311
icewolf
А стояло скорее всего 60 да?
icewolf
Ladno, у меня 160, на большинстве было.
Ilya
Скорее всего это свидетельствует о какой то другой проблеме. А таймауты - ее следствие. Лучше покопать
icewolf
Скорее всего это свидетельствует о какой то другой проблеме. А таймауты - ее следствие. Лучше покопать
на стендах с ovn, это нормальный таймаут. Я немного изучал из-за чего это вообще может быть. Так вот там все очень интересно с keepalived:)
icewolf
и там надо подкручивать все настройки 🙂
Ilya
The reply b010400d213d434f9e2dc67321367305 failed to send after 60 seconds due to a missing queue (reply_18b2e4b2465a43979a39fb152646cc29). Abandoning...: oslo_messaging.exceptions.MessageUndeliverable
ну а потом инстанс в ошибку падает
Вот это может говорить о том, что очередь пропала. Т.е. при старте сервиса ее сервис проверил (и создал если надо), а потом оказалось что ее нет
icewolf
Вот это может говорить о том, что очередь пропала. Т.е. при старте сервиса ее сервис проверил (и создал если надо), а потом оказалось что ее нет
хотя казалось бы причем тут крол? Там же ovn
Ilya
Это может быть например, если очереди в кластере не отреплицировались на все ноды кроля в силу проблем, а условная компута переключилась с ноды кроля, где очередь была, на ноду где ее нет
icewolf
Тоже будете нам предлагать пассивный доход ?
icewolf
а уж что предлагать будет, это мало интересно
icewolf
У тебя есть там где нить взабэкс? У него была возможность дергать вроде бы состояние крола..
icewolf
ну как у nrpe но у забекс
icewolf
Чет типа такого:
https://www.zabbix.com/integrations/rabbitmq
icewolf
А откуда у тебя там крол если ты же говорил что там ovn?
icewolf
в какой момент крол высрался с обратной стороны бедра
icewolf
ааа, вот оно что.. а конфиг новы можно?
icewolf
или там дефолтный дефолт?
J
XD
Artemy
Только не забудь билет в тай с открытой датой и предполату за операцию по смене пола перед деплоем сделать
icewolf
резня контейнеров😂🤣🤣🤣🤣
icewolf
сразу перейти на openshift… и получать гонорар..
icewolf
XD
Может скажем правду? Что резни контейнеров не бывает просто так, что это предварительные ласки и тонкие настройки?
J
Может скажем правду? Что резни контейнеров не бывает просто так, что это предварительные ласки и тонкие настройки?
Нет, ты щто)
Кубернетес же селф хилинг)
icewolf
вот что такое кубернетис
icewolf
все кто верит в панацею в виде k8s, обычно потом плюются как не в себя..
icewolf
ток редхат, ток жесткий интерпрайз
icewolf
ну а как ты хотел? Тут два варианта, сдохнуть и еще раз сдохнуть. В одно лицо держать эти кубы можно ну разве что для пет проекта, который не жалко потом бросить
icewolf
Илья читай внимательно, когда эта игра.. закончится продским продом, и реальными хотелками заказчиков, которые придется делать из гавна и палок то все это неплохо превратится в проклятья
icewolf
команды из мирантиса не будет, и ребят с поддержки редхата тоже(которые хотя бы похлопают по плечу и скажут так держать пацан)
icewolf
и кстати комьюнити которое тебе чет дельное скажет, тоже не будет. Потому что это талос и козий стек
NS 🇷🇺
ну а как ты хотел? Тут два варианта, сдохнуть и еще раз сдохнуть. В одно лицо держать эти кубы можно ну разве что для пет проекта, который не жалко потом бросить
это ж всего 5 бинарей, а можно какой нить k0s или k3s и будет вообще один бинарь :D
icewolf
Может быть думать?
Alexander
битва староверов и новаторов )))
icewolf
это ж всего 5 бинарей, а можно какой нить k0s или k3s и будет вообще один бинарь :D
что бы сразу себе порезать все выпирающее.
Alexander
кубер - это отлично, когда у заказчика есть люди, которые знают, как в нем деплоить, а инфраструктура, знает как кубер правильно разворачивать и эксплуатировать )
NS 🇷🇺
кубер - это отлично, когда у заказчика есть люди, которые знают, как в нем деплоить, а инфраструктура, знает как кубер правильно разворачивать и эксплуатировать )
да проблема куберов и опенстеков не в куберах и опенстеках. А в головах. Когда из пушек мы палим по воробьям
icewolf
битва староверов и новаторов )))
наоборот, я считаю что лучше опеншифт.. это как с девушкой у которой голова не болит. А так берешь любой концепт и в какой то момент у тебя 0 команды, 0 понимания что делать дальше.. И клиенты которые хотят из твоей задницы сделать тоже самое что гномы с Белоснежкой
Ivan
До момента, пока не начинаешь его патчить
NS 🇷🇺
да у него одна проблема, слишком много ямла. Но зато прям хорошо - никакого вам ssh на ноды
J
да у него одна проблема, слишком много ямла. Но зато прям хорошо - никакого вам ssh на ноды
А чо хорошего в этом?)
NS 🇷🇺
А чо хорошего в этом?)
ну если у тебя хорошо выстроенный Iac, то это прям отдушина от любителей сходить руками чет поправить на хосте
NS 🇷🇺
И как часто бывает забыть это внести в условный гит и при апдейте словить артефактов
icewolf
Ivan
да у него одна проблема, слишком много ямла. Но зато прям хорошо - никакого вам ssh на ноды
Ну а дальше любой дебаг системных компонент/сетевой связности нод превращается в адок.
Либо, альтернативно, разрешаешь запускать привилегированные поды с хостовыми неймспейсами, и тогда снова непонятно, зачем вырезать ssh
J
ну если у тебя хорошо выстроенный Iac, то это прям отдушина от любителей сходить руками чет поправить на хосте
А чо плохого в том чтобы сходить и поправить на хосте?
Это не проблема само по себе. Проблема когда правишь не понимая последствий и когда не документируешь и не информируешь никого.
А когда в таком стиле работаешь модный IaC тоже не поможет.
Я диву даюсь как нынче из залупы из пальца высасываются модные рестриктивные термины и практики и подаются как спасение, типа вот наконец то можно работать!
NS 🇷🇺
Ну а дальше любой дебаг системных компонент/сетевой связности нод превращается в адок.
Либо, альтернативно, разрешаешь запускать привилегированные поды с хостовыми неймспейсами, и тогда снова непонятно, зачем вырезать ssh
обычно такая нода просто сжигается и на ее месте поднимается новая. А если у тебя все дружно отъебнуло, то сорян, проблемы не в системных компонентах и не на сети в отдельно взятом инстансе
J
обычно такая нода просто сжигается и на ее месте поднимается новая. А если у тебя все дружно отъебнуло, то сорян, проблемы не в системных компонентах и не на сети в отдельно взятом инстансе
Так если не сломалось, а просто не работает, с самого начала. И тебе нужно понять что именно там не работает.
NS 🇷🇺
А чо плохого в том чтобы сходить и поправить на хосте?
Это не проблема само по себе. Проблема когда правишь не понимая последствий и когда не документируешь и не информируешь никого.
А когда в таком стиле работаешь модный IaC тоже не поможет.
Я диву даюсь как нынче из залупы из пальца высасываются модные рестриктивные термины и практики и подаются как спасение, типа вот наконец то можно работать!
так вот ты сам и ответил, я предпочитаю контролировать все в одном месте, а не смотреть, где кто-то что поменял и не задокументировал. И да я не адепт отключения ssh, просто без него мне спиться спокойнее
NS 🇷🇺
Так если не сломалось, а просто не работает, с самого начала. И тебе нужно понять что именно там не работает.
ну Иван написал как раз в ключе дебага.
Ivan
Talos очень легковесный и очень иммутабельный. Если нужны какие-то не-очень-стандартные конфигурации (модули ядра, дрова и т.д.), надо расширять ось через их собственный механизм модулей, либо патчить базовый образ и самостоятельно ставить на конвейер сборку образов талоса. В доке это расписано довольно хорошо: https://www.talos.dev/v1.7/talos-guides/install/boot-assets/ , но в одно лицо это всё поддерживать - помереть можно
icewolf
А чо плохого в том чтобы сходить и поправить на хосте?
Это не проблема само по себе. Проблема когда правишь не понимая последствий и когда не документируешь и не информируешь никого.
А когда в таком стиле работаешь модный IaC тоже не поможет.
Я диву даюсь как нынче из залупы из пальца высасываются модные рестриктивные термины и практики и подаются как спасение, типа вот наконец то можно работать!
это потому что в детстве по сраке розгами не лупили.. вот они выросли и вот они пытаются лечить диарею ампутацией жопы
NS 🇷🇺
Talos очень легковесный и очень иммутабельный. Если нужны какие-то не-очень-стандартные конфигурации (модули ядра, дрова и т.д.), надо расширять ось через их собственный механизм модулей, либо патчить базовый образ и самостоятельно ставить на конвейер сборку образов талоса. В доке это расписано довольно хорошо: https://www.talos.dev/v1.7/talos-guides/install/boot-assets/ , но в одно лицо это всё поддерживать - помереть можно
Так они его вроде и не продвигают, как серебряную пулю. Изначально они вообще вроде как выползли в качестве куба запускателя в клауд средах. Это потом начали туда бареметалл завозить и тд и тп
NS 🇷🇺
а в одни щи любую корп платформу тянуть не просто
Alexander
наоборот, я считаю что лучше опеншифт.. это как с девушкой у которой голова не болит. А так берешь любой концепт и в какой то момент у тебя 0 команды, 0 понимания что делать дальше.. И клиенты которые хотят из твоей задницы сделать тоже самое что гномы с Белоснежкой
Не вижу честно говоря разницы между кубером и оберткой для него
J
так вот ты сам и ответил, я предпочитаю контролировать все в одном месте, а не смотреть, где кто-то что поменял и не задокументировал. И да я не адепт отключения ssh, просто без него мне спиться спокойнее
Но иногда ж просто невыгодно контролировать всё в одном месте. Инструменты не позволяют быстро изменения вносить и тратится время и ресурсы. Скажем, в чудо-плейбуках каких-нибудь мейнтейнеры не сумели правильно теги расставить и вот у тебя появляется воркфлоу при котором ради правки конфига нужно выждать пока пройдет десяток проверок не связанных с ним вещей, скипнутся всякие ненужные таски и дойдет наконец до дела.
Ivan
обычно такая нода просто сжигается и на ее месте поднимается новая. А если у тебя все дружно отъебнуло, то сорян, проблемы не в системных компонентах и не на сети в отдельно взятом инстансе
Это "обычно" исходит из предположения, что работоспособность ноды - это бинарная величина, и нода либо работает, либо нет. Но баги ядра/компонент куба/<ещё-какого-нибудь-системного-софта> имеют свойство простреливать с некоторой вероятностью, и тогда только часть подов может, например, не увидеть сторадж/потерять сеть/ребутнуться/etc. И в таких случаях без лазанья по хосту с лупой ничего не добьёшься
Ivan
Look’s like flatcar
Они оба с талосом с одной грядки выращены. У талоса вроде в кач-ве апстрима ванильная gentoo, у flatcar'а - chromeos, которая тоже гента
J
J
Прост аргументация у разработчиков какая, интересно)
Почему генту?
icewolf
Прост аргументация у разработчиков какая, интересно)
Почему генту?
Тут другая аргументация, на самом деле есть убунта есть я не знаю там другие оси где отлично себе кубы сидят и работают. Попытка накидаться мефом talos/flatcar просто потому что это гиперсекьюрно и дает тебе возможность просрать данные на ноде и забыть(ну берём и поднимаем новый хост) объективно не работает.
icewolf
в прочем и «вы не понимаете! Это другое!» От openshift тоже не работает, потому что сама система тоже работает не с атомарными обглодышами ОС, а так же с операционкой полноценной операционной системой
Ivan
Прост аргументация у разработчиков какая, интересно)
Почему генту?
Чтобы резать всё, что не нужно, и харденить всё, что можно. Безопасники в восторге, образы легчайшие, разворачиваютс быстро, на выходе минималистичная ось-гипервизор aka esxi, только для куба, все счастливы.
А потом начинается эксплуатация в проде, со всеми вытекающими проблемами дебага такой минималистичности
J
"Зумеры изобретают гипервизор 1 типа"
icewolf
Чтобы резать всё, что не нужно, и харденить всё, что можно. Безопасники в восторге, образы легчайшие, разворачиваютс быстро, на выходе минималистичная ось-гипервизор aka esxi, только для куба, все счастливы.
А потом начинается эксплуатация в проде, со всеми вытекающими проблемами дебага такой минималистичности
и то и другое одинаково плохо, для облегчения сущностей OKD лучше, но при скейлинге хуже