Dmitry
https://www.leaseweb.com/
@rarmbling leaseweb хуже hetzner по моему опыту. Если саппорт там не покупать, могут решать проблему 1-3 дня. Несколько раз было такое - у них упала сеть, сервер недоступен, создаешь тикет, через 1-3 дня чинят, и пишут, мол это вы что-то там на сервере сломали, а у нас все хорошо. Но только вот у меня вся инфра в гите, и я точно знаю когда и что меняется на сервере. В итоге просто отказался от них Плюсую за servers.com
Denis
@LuckySB да, ситуация странная. В логах kubelet на воркер нодах вижу следующее: Failed to connect to apiserver: the server has asked for the client to provide credentials failed to run kubelet: cannot create certificate signing request: Unauthorized Part of the existing bootstrap client certificate is expired: дата
Denis
@LuckySB и, увы, kubeadm древний, версии 1.13, так что придется поставить новый и обновиться с него, как вы и советовали
Lucky SB
чтобы понимать что именно протухло
Lucky SB
@LuckySB да, ситуация странная. В логах kubelet на воркер нодах вижу следующее: Failed to connect to apiserver: the server has asked for the client to provide credentials failed to run kubelet: cannot create certificate signing request: Unauthorized Part of the existing bootstrap client certificate is expired: дата
оно тут ругается, что у тебя бутстрап сертификат закончился. что оч. странно. у тебя время точно стоит ? на воркер узлах сертификаты должны сами обновлятся. примерно за N дней до завершения. в крайнем случае делаешь kubectl delete node worker-1 и прокатываешь плейбук заново. должна добавится
Vadim
народ а писать лог контейнером сразу в сокет fluentbit намного лучше чем писать в стандартный syslog, который флюентбитом забирется?
Vadim
а в сокет fluentbit плохо писать?
Gleb
пиши в stdout. syslog всё - закончился
а стдаут блокирующий
Lucky SB
а в сокет fluentbit плохо писать?
поясни. зачем тебе так надо ? мы же про контейнеры ? зачем тебе в каждый контейнер просовывать сокет от флуентбита ?
Vadim
stdout это же в /var/log/containers/*.log пишется?
Dmitry
yandex cloud
@rarmbling А тут в чатике несколько жалоб было, что у них в yandex облаке, на ingress повысился latency очень сильно, и ничего сделать нельзя. Саппорт проблему признал, и вроде как не решил ее даже за неделю. Чем там закончилось неизвестно
Lucky SB
stdout это же в /var/log/containers/*.log пишется?
как ты докер настроишь - так и будет
Lucky SB
а стдаут блокирующий
а какие есть альтернативы ?
Alexander
Dmitry
а стдаут блокирующий
а syslog разве нет? https://habr.com/ru/company/badoo/blog/280606/ "Проблема 2 (блокирующий syslog)"
Gleb
а какие есть альтернативы ?
хороший вопрос, я в общем то тоже ищу интересные ответы. Я сначала тоже смеялся когда говорили мол стдерр и аут блокирующие, но при определенном потоке это реально иногда отстреливает ноги
Lucky SB
https://12factor.net/ru/logs
Alexander
https://12factor.net/ru/logs
На бумаге гладко. А на деле проблемы с блокировкой и сатанинский МУЛЬТИЛАЙН
Terry
servers - для рф и usa
Terry
но это сугубо имхо
Dmitry
но это сугубо имхо
наверное. Ничего не могу ответить. Все зависит от задач. Я лично за облака, но дорого =)
Vadim
а по дефолту докер куда лог пишет?
Vadim
json-file
ну да, а что это, просто файл в слое для записи?, не stdout значит?
Aleksey
кстати SLO у hetzner по сети 99.9 =). Оно по ощущениям и правда такое
Возможно, но по субъективным ощущениям там две девятки
Dmitry
Возможно, но по субъективным ощущениям там две девятки
ну я замерял. За прошлый год 5-7 часов простоя из-за сети. То етсь 99.9 =). Но может быть оно хуже у некоторых
Alexander
ну да, а что это, просто файл в слое для записи?, не stdout значит?
В stdout пишет софт, работающий в контейнере. Докер демон получает этот вывод, прогоняет через подсистему логирования и записывает через драйвер. По умолчанию юзается json-file, который складывант логи в json-файлы где-то в /var/lib/docker (не в слои).
Vadim
так какие минусы писать логи в сокет флунтбита?
Alexander
так какие минусы писать логи в сокет флунтбита?
Зависит от того, какого типа сокет.
Danil
хецнер частенько кладет мне в кластере бд сеть на микросекунду, это ОЧЕНЬ неприятно
Держим в хецнере 60+ нод. Каждую неделю регулярно 1 нода в мейнтейне.
Марат
+++ C сетью там все плохо
бывает моргает, но редко
Dmitry
бывает моргает, но редко
🤷‍♂️ у меня часто. Очень часто в FSN. В hel и ngb получше вроде
Danil
60+ дедиков и один падает каждую неделю?
Да, в интерфейсе пишет что обслуживает. Сейчас попробую скриншот найти
Dmitry
Да, в интерфейсе пишет что обслуживает. Сейчас попробую скриншот найти
это же в облаке так пишет У меня стата следующая: 50 дедиков - не падают. Только с сетью проблемы иногда около 50 в облаке - в облаке да, падают частенько как по сети так и сами виртуалки
Alexander
Может блокироваться приложение.
Vadim
потому что tcp, требует подтверждения доставки? udp не блокирует?
Vadim
если асинхронный поток логирования сделатЬ, то переполнения хипа будет
Марат
🤷‍♂️ у меня часто. Очень часто в FSN. В hel и ngb получше вроде
из 137 только 7 не в FSN, с сетью вполне норм, но бывает, да, раз в месяц может моргнет в среднем
Dmitry
из 137 только 7 не в FSN, с сетью вполне норм, но бывает, да, раз в месяц может моргнет в среднем
вот да, из FSN надо уходить. У них там вечно то свитч то машрутизатор накроется. А у меня наоборот почти все в FSN просто
Марат
130 серверов уходить очень больно) на пару порядков больнее, чем моргания да и они в большинстве с аука, а там 10/1 соотношение FSN/NGB
Dmitry
130 серверов уходить очень больно) на пару порядков больнее, чем моргания да и они в большинстве с аука, а там 10/1 соотношение FSN/NGB
Да вот если бы моргания. Летом упал маршрутизатор, и какой-то из FSN-DC вырубило на три часа, точнее не вырубило, а потери пакетов 90% А то что моргает, жить можно
Марат
помню было, но не помню весь ли FSN лег, так-то задублировано у нас по разным DCnn
Марат
а, тым вроде два или три DC отпадало, но выжили, перегруз был, но не насмерть
Dmitry
помню было, но не помню весь ли FSN лег, так-то задублировано у нас по разным DCnn
а с базами как делаете? По разным DC раскидываете в пределах одного кластера? Например если это galera?
Марат
в общем я думаю жить там можно, если конечно проект не на 1-3 серверах с полной загрузкой, кластры, балансировки и пр., по книжке в общем
Dmitry
в общем я думаю жить там можно, если конечно проект не на 1-3 серверах с полной загрузкой, кластры, балансировки и пр., по книжке в общем
+ Можно даже заморочиться и отказоустойчивость по регоинам замутить. Все упало, трафик в hel перекидваешь
Марат
а с базами как делаете? По разным DC раскидываете в пределах одного кластера? Например если это galera?
да, галеры в M+M+garb в разных DC, но с доступом через haproxy с одним active и вторым backup
Марат
вертики тоже трехнодовые обязательно в трех разных DC
Dmitry
да, галеры в M+M+garb в разных DC, но с доступом через haproxy с одним active и вторым backup
ну вот так и надо в hetzner. Иначе никак. Жалко DC нельзя выбирать в пределах одного региона, при покупке сервера
Ilya
Подскажите как сделать авторестарт системных контейнеров kubernetes (kube-apiserver и т.д.)? После раскатки через kubespray, если рестартануть сервак, то запускается только etcd, остальное надо вручную стартовать.
Ilya
Или такое вообще не подразумевается у разработчиков? :) Может есть какая-то команда, которая все контейнеры на мастере разом поднимает?
Артём
По-моему ты не понимаешь что такое toleration и taints, почитай доку и возвращайся