Dmitry
Нет файла этого
Solyar
Такое после апгрейда было помню
Алимжан
Эмммм.. А версия кубера?
kubeadm version kubeadm version: &version.Info{Major:"1", Minor:"13", GitVersion:"v1.13.4", GitCommit:"c27b913fddd1a6c480c229191a087698aa92f0b1", GitTreeState:"clean", BuildDate:"2019-02-28T13:35:32Z", GoVersion:"go1.11.5", Compiler:"gc", Platform:"linux/amd64"}
Solyar
Обновления какие-то ставили?
Алимжан
Я правильно понял что вы просто рестартнули мастер и он больше не запускался?
Да, просто reboot now, так как стал получать ошибку что не мог подключиться к нему через kubectl
Solyar
Файл /etc/kubernetes/kubelet.conf существует?
Solyar
Тогда странно, он должен брать его при запуске
Алимжан
Его переименовать?
Solyar
Его переименовать?
Нет. С этим должно быть всё в порядке
engelbart
rabbitmq-ha в кубике держите?
engelbart
было чего такого что стоит знать?
engelbart
я только раскатал
Solyar
было чего такого что стоит знать?
Приложение должно нормально реагировать на то что мастер умирает и заново создавать подключение к реббиту
Solyar
Единственный подводный камень что был
engelbart
При умирании мастера коннект обрывается и при реконекте уходит на другую ноду, так?
engelbart
backup solutions какой то делали?
Solyar
Зеркалирование очередей само собой
engelbart
Нод сколько? Как с нагрузкой? Я чуть потестил, на трех нода с 2 гига памяти получил 2к сообщений в секунду.
Solyar
Его переименовать?
sudo kubeadm alpha kubeconfig user --org system:nodes --client-name system:node:$(hostname) > kubelet.conf
Solyar
Не уверен что спасёт но попробуйте
Solyar
Нод сколько? Как с нагрузкой? Я чуть потестил, на трех нода с 2 гига памяти получил 2к сообщений в секунду.
4 ноды, нагрузка не большая. 8 гб оперативы. В графиках наблюдал 4-7к, выше не видел. Нагрузочных тестов особо не проводилось
engelbart
А почему выбрали 4 ноды? там не будет network split какого нить
Sergey
heroku appengine поменять с левой нижней стороной и будет ок
Solyar
А почему выбрали 4 ноды? там не будет network split какого нить
Исходили из того что всё должно быть гуд
Алимжан
Там выдается то же самое, что и есть в имеющемся kubelet.conf ))
Алимжан
Там выдается то же самое, что и есть в имеющемся kubelet.conf ))
Этой командой то есть sudo kubeadm alpha kubeconfig user --org system:nodes --client-name system:node:$(hostname)
engelbart
Да
Solyar
Да
Ну в целом я пока никаких проблем не видел. С репликацией всё ок. С бекапами тоже.
Solyar
Алимжан
С какими ключами запускается kubelet?
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
Solyar
А как бекапите?
Не особо правильно как вариант можно тормозить ноду зеркальную у которой аптайм самый большой. Делаем бекам и запускаем в работу обратно
Алимжан
Короче файлик исчез магическим образом тот
Solyar
Ну и персистентное хранилище само собой
Solyar
В кубере еще ниразу не нужно было восстанавливать из бекапа что либо с реббитом связанное
Solyar
Упавшие ноды отлично цепляют данные на дисках и возвращаются в работу
Solyar
Также и с редисом
engelbart
Не было 2019-12-20 19:15:29.456 [info] <0.322.0> Waiting for Mnesia tables for 30000 ms, 9 retries left ? Я уже видел при редеплое
Solyar
Хмммм. Не могу сказать. Не видел такого
engelbart
Понял, спасибо.
engelbart
Попробую взлететь сегодня.
Solyar
Попробую взлететь сегодня.
А, самое главное. Используем хельм чарт реббита допиленый ручками
engelbart
что пилили? может не секрет?
Solyar
что пилили? может не секрет?
Чисто под свои нужды реквесты лимиты хелсчеки и шаблон для PVC
Solyar
Ничего уникального
Solyar
Ну и впихнули правило на зеркалирование очередей, но если у вас он будет персистентный это можно через UI настроить
engelbart
Я это правил тоже да
engelbart
А ещё вспомнил, а вы наружу из кластера как его публикуете ?
engelbart
У меня в гугле кубик, я там лоадбалансер сделал, но бесит что ип меняется.
engelbart
Наверное можно умнее
Solyar
dns запись у нас
Solyar
ip не меняется
Alexander
Агонь! А что это за факел такой, на уровне докера? Почему-то не подписано..
George
Прометеус, не узнал?
Alexander
спасиб!
inqfen
Просто до ребута был запущен мастер и соответственно создан файловый дескриптор для чтения
inqfen
А пока он есть, его можно как бы удалить, но по факту он ещё не удалится
Отделение Bereke Bank
Зачем вообще bootstrap kubeconfig на мастере 😑
rambling
про Capistrano первый раз усвидел, уже гуглю, но тащемта тут кто-то пользовался, какой опыт?
George
Ещё и на рубях
rambling
так это ж ансибл на рубях, еще и с всратым языком скриптинга
rambling
мне кажется или на его месте должен был быть ансибл - вот он прост максимально и сектанты имеются
George
так это ж ансибл на рубях, еще и с всратым языком скриптинга
Как будто капистрпно более узкий инструмент Но вообще - согласен
Отделение Bereke Bank
Но ансиболь нужна...
Отделение Bereke Bank