𝚔𝚟𝚊𝚙𝚜
Он
проверь ipvsadm -L -n -t 10.96.0.10:53
Grigorii
ю ар велкам https://github.com/kubernetes/kubernetes/issues/81775
Хм, сходу непонятно, как это связанно с моей проблемой
Lucky SB
G72K
которое ретрай не делает
Вы drain балансировщикам тоже не делаете? "Ну и что? Отвалилось, пусть все ретрай делают, мне F5 перезагрузить надо, понабрали кодеров по объявлению"
Grigorii
проверь ipvsadm -L -n -t 10.96.0.10:53
Memory allocation problem Это на тестовом кластере, 674мб свободных есть
George
ты не путай внутрикластерное взаимодействие и взаимодействие с клиентом снаружи
Grigorii
Вссссмыыысле ?
У меня bare-metal и немного облаков, все это объединяется вайргуардом, поверх него уже kubespray
𝚔𝚟𝚊𝚙𝚜
Memory allocation problem Это на тестовом кластере, 674мб свободных есть
ненене, поменяй на 10.96.0.10:53 на айпишник твоего kube-dns get svc -n kube-system kube-dns
G72K
ты не путай внутрикластерное взаимодействие и взаимодействие с клиентом снаружи
Все должно работать всегда и везде по максимуму. service использует какой-то совсем левый сигнал от кублета для определения здоровья и главное доступности контейнера с приложением.
Отделение Bereke Bank
у тебя ж они аппрувятся когда продляются.
в общем щас запущу плейбук без таски с апрувом и проверю апрувнет ли он их прям на свежем голом кластере
George
если ты их не понимаешь... то это не проблема Service
G72K
у всего есть ограничения
Да, но есть ограничения физики, а есть ограничения смекалки
Lucky SB
фланель
hostgw или vxlan ?
G72K
Service подкладывает свинью на ровном месте
George
а те чуваки, которые его неверно применяют
𝚔𝚟𝚊𝚙𝚜
Memory allocation problem - эту ошибку ipvsadm выводит когда сервис по заданным параметрам найти
𝚔𝚟𝚊𝚙𝚜
George
т.е. здесь тогда больше вопрос не к Service
George
а к тому, кто через него coredns деплоит
George
йо
Grigorii
hostgw или vxlan ?
vxlan, кажется
G72K
а те чуваки, которые его неверно применяют
Все его применяют, начиная от днс внутри пода :)
Lucky SB
vxlan, кажется
иэхххх. т.е. ты впн внутри впн гоняешь )))) udp заворачиваешь в udp vxlan, а его в wiregard
𝚔𝚟𝚊𝚙𝚜
Да, точно https://i.imgur.com/QJ4JAZC.png
вот когда под убьётся, один из RS поменяет weight на 0 либо удалится, в первом случае подключения продолжат идти на мертвый узел, во втором всё ок
Lucky SB
норм
Lucky SB
убиваться ему не обязательно
𝚔𝚟𝚊𝚙𝚜
да, но эта бага возникает только в случае если есть активные подключения, в данном выводе у тебя их нет
George
хм
George
мне кажется, что мы все друг друга не понимаем
George
давайте с самого простого
George
1. сервис балансирует
George
2. он балансирует на основе того какие поды живые
Lucky SB
там проблема насколько я понимаю, что кублет перестает рапортовать статусы подов, потому что нода пропала вместе с кублетом и всеми подами. и начинаются боольшие таймауты ожидания - пока все решат что оно окончательно сдохло. и можно уже им со своей стороны поставить стаус - не готов
George
3. это определяется по хелсчеку
George
4. каков таймаут между тем, что под сдох (==нода в ребут) и тем, что куб это прочухает
George
5. в любом случае во время этой задержки какое-то количество запросов будет пролюблено
George
чтобы такого не было
George
кореднс демонсетом и наверное локально на каждой ноде?
George
или я глупость говорю?
George
а сервис выкинуть
𝚔𝚟𝚊𝚙𝚜
@gecube хватит писать по предложению в сообщении)
George
сорри, я с тела
Отделение Bereke Bank
демонсетом на каждую ноду - мало реплик будет
George
@kvaps у меня для тебя есть бизнес-идея - сделай бота, который клеит сообщения в одно 😂😂😂
Grigorii
иэхххх. т.е. ты впн внутри впн гоняешь )))) udp заворачиваешь в udp vxlan, а его в wiregard
Возможно я не очень понимаю что такое vxlan. Никакого двойного впна быть не должно. Из Пода трафик идет на интерфейс wg, заворачиваясь один раз в udp
Pavel
Всем привет Порекомендуйте учебные ресурсы/курсы, которые стоит посмотреть/пройти для тех, кто только начинает знакомится с докером/кубернетисом. Спасибо.
𝚔𝚟𝚊𝚙𝚜
@kvaps у меня для тебя есть бизнес-идея - сделай бота, который клеит сообщения в одно 😂😂😂
проблема не в склейке а в размазанности информации, и в постоянных нотификациях от новых сообщений телеграм уже давно всё придумал, можно выставить таймаут на отправку сообщений, но у нас же приличное сообщество :)
Отделение Bereke Bank
ну или к лаки)
𝚔𝚟𝚊𝚙𝚜
Спасибо за наводку, сейчас протестирую
Но у тебя ActiveConn и InActConn по нулям, скорее всего из-за того что для dns в основном используется udp. Проблема скорее всего где-то ещё.
Отделение Bereke Bank
велкам к нам. правда платно
они апрувятся автоматом и для новых нод 😂😂😂
Grigorii
Но у тебя ActiveConn и InActConn по нулям, скорее всего из-за того что для dns в основном используется udp. Проблема скорее всего где-то ещё.
Вот я ребутнул сейчас ноду с одной из реплик coredns - ipvsadm ещё минуту выдавал оба эндпоинта без изменений
𝚔𝚟𝚊𝚙𝚜
Вот я ребутнул сейчас ноду с одной из реплик coredns - ipvsadm ещё минуту выдавал оба эндпоинта без изменений
здесь @gecube правильно сказал: куб ещё ничего не знает об упавшей ноде какое-то время
George
ну, ЭТУ проблему можно победить только уменьшением таймаута опроса kubelet'ов вариант с демонсетом мне нравится... но вероятно, что он не самый верный.
G72K
Проблема сервиса в том, что вместо того чтобы определять на месте "так, я вот тут, кандидаты там,куда пойти" , он сидит и слепо верит каким-то отдаленным слухам "я слышал кублет слышал ,что под здоров" , а то что между мной и тем подом сеть тридцать раз порвалась или есть под совсем рядом , но нет мы будем идти за тридевять земель или кублет помер, под жив, но к нему пойти не можем ,потому что не верим своим глазам, а верим тому далёкому кублету. Просто представь ситуацию, что все настоящие лоад балансеры перестали делать хелс чеки и просто верят списку бекендов, который кто-то когда-то удосужился обновить
George
ЭТО НЕ ПРОБЛЕМА. Это особенность, которую ТЫ ДОЛЖЕН УЧИТЫВАТЬ Это та же история, которая при разработке приложений под куб. Если у тебя приклад не умеет в 2+ реплик, то это не кубовая проблема, а твоя как разраба
Grigorii
Не, ну правда, хелзчеки на уровне сервиса бы решили проблему. Точнее уменьшили бы её
George
и еще раз повторюсь, что то что внутри кластера - это одна история. Клиента снаружи это никак не аффектит - он идет через ингресс. У тебя фейлится запрос на беке, он уходит на следующий бек, все довольны
Etki
строго говоря > есть под совсем рядом, но нет мы будем идти за тридевять земель это вопрос балансировки, если все будут ходить к варваре рядом, то две будут отдыхать, а третья будет пить антидепрессанты > или кублет помер, под жив, но к нему пойти не можем ,потому что не верим своим глазам как по мне так это хороший повод забраковать расположенное на одном с ним узле
G72K
ЭТО НЕ ПРОБЛЕМА. Это особенность, которую ТЫ ДОЛЖЕН УЧИТЫВАТЬ Это та же история, которая при разработке приложений под куб. Если у тебя приклад не умеет в 2+ реплик, то это не кубовая проблема, а твоя как разраба
Это проблема созданная на ровном месте, если вы считаете чтотакой дизайн красив, предлагаю отключить хелсчеки на ваших лоад балансерах и замерить время до увольнения :) но в мире cloud nativev такое говно считается нормой
George
ну, и, да, опенсурс - говно. А что ты хотел
Grigorii
Можно было бы добавить чуть логики, что б если 1 эндпоинт ничего не ответил в течении n секунд - сходить в другой эндпоинт
G72K
Отцы основатели сделали хорошо, у них был балансировщик в kube-proxy, оставалось совсем чуть-чуть до того как впилить туда хелсчеки и начать верить им. Но понабежали непонятно кто и все переписалось на iptables / IPVS