Max
но это не помогло)
Max
у кого-нибудь тут есть сервера в OVH?
Andrey
Что бы rbd моунтить нужно что бы он был создан с image features layering. Может в этом дело?
Max
в storage class есть features: layering
Nikolay
Хм, гиперкуб не использовал. Надо почитать
Max
Andrey
В самом цефе попробуй создать rbd image с layering и замапить его к хосту (rbd map) так сказать с начала начать :)
Max
Max
Max
ща погуглим)
Max
у меня ядро 4.4.0-116-generic
Max
на DO стоит ubuntu 17.10
Max
Ядро 4.13.0-32-generic
Max
в логах dmesg таких ошибок нет(
Anonymous
Max
ща попробую накатить linux-image-4.13.0-36-generic
Max
обновил ядро, rbd map заработал)
Max
Спасибо за помощь!)
Max
Max
ура)
Max
о
Max
спасибо
Max
как раз думал может есть канал такой)
Max
ты мысли мои читаешь)
Aleksandr
Ceph mon у тебя запущены на тех же тачках что и k8s?
Max
Да
Aleksandr
Rbd provisioner используется?
Max
Да
Aleksandr
Зайди в любой под и попробуй telnet mon_ip mon_port
Aleksandr
Ceph mon на внешних ипах шлушают?
Max
Не, на приватных
Max
Да я же все починил уже)
Max
Спасибо)
G72K
имейте ввиду, ребята заигрались в погоне за бенчмарками (помните, "мы умеем 5000 нод!" в 1.6) так что у вас может быть 2 экземпляра одного и того же пода в кластере. Подвержены все версии с 1.6: https://github.com/kubernetes/kubernetes/issues/59848
Max
Кстати, у меня в кубе при падении одной машины, запущенные на ней поды от деплойментов не перезапускаются на других машинах
Max
В чем проблема может быть?
Max
В том числе kube dashboard
Max
К меня мультимастер
Max
С внутренним балансировщиком через nginx
Max
Точнее куб это делает только через минут 5
Rustam
@Maxpain177 посмотри опции https://kubernetes.io/docs/reference/generated/kube-controller-manager/
Rustam
скорее всего вот это --pod-eviction-timeout
Max
это точно в controller-manager а не в scheduler настраивается?
Max
спасибо)
Max
https://github.com/kubernetes-incubator/kubespray/blob/master/docs/kubernetes-reliability.md
Max
нашел кое-что интересное по этому поводу
Max
Fast Update and Fast Reaction
If -–node-status-update-frequency is set to 4s (10s is default). --node-monitor-period to 2s (5s is default). --node-monitor-grace-period to 20s (40s is default). --pod-eviction-timeout is set to 30s (5m is default)
In such scenario, pods will be evicted in 50s because the node will be considered as down after 20s, and --pod-eviction-timeout occurs after 30s more. However, this scenario creates an overhead on etcd as every node will try to update its status every 2 seconds.
If the environment has 1000 nodes, there will be 15000 node updates per minute which may require large etcd containers or even dedicated nodes for etcd.
If we calculate the number of tries, the division will give 5, but in reality it will be from 3 to 5 with nodeStatusUpdateRetry attempts of each try. The total number of attemtps will vary from 15 to 25 due to latency of all components.
Max
ну это да)
Anton
Fast Update and Fast Reaction
If -–node-status-update-frequency is set to 4s (10s is default). --node-monitor-period to 2s (5s is default). --node-monitor-grace-period to 20s (40s is default). --pod-eviction-timeout is set to 30s (5m is default)
In such scenario, pods will be evicted in 50s because the node will be considered as down after 20s, and --pod-eviction-timeout occurs after 30s more. However, this scenario creates an overhead on etcd as every node will try to update its status every 2 seconds.
If the environment has 1000 nodes, there will be 15000 node updates per minute which may require large etcd containers or even dedicated nodes for etcd.
If we calculate the number of tries, the division will give 5, but in reality it will be from 3 to 5 with nodeStatusUpdateRetry attempts of each try. The total number of attemtps will vary from 15 to 25 due to latency of all components.
кстати, набирал себе параметры для быстрого детектинга что нода сдохла
kube_controller_node_monitor_grace_period: 15s
kube_controller_node_monitor_period: 3s
kube_controller_pod_eviction_timeout: 30s
kubelet_status_update_frequency: 4s
Anton
это конечно для kubespray =)
Anton
но по именам параметров нагуглить легко
Max
Не понял
Салтыдык
оффтоп вопрос, но всё же. Есть кластер на бареметале, а также есть желание уехать в облако. Есть ли какие-то калькуляторы внятные чтобы посчитать стоимость этой затеи?
Andor
У амазона был на сайте калькулятор
Салтыдык
да это понятно, у гугла тоже есть. Я про нагрузку
Andor
Стоимость нагрузки?
Салтыдык
ага
Салтыдык
пока я больше склоняюсь в сторону тестового стенда с искусственной нагрузкой.
Andrey
просто считай стоимость виртуалок под параметры твоих серваков
Салтыдык
да в том-то и дело, что если считать так, то получится дороже, ибо на бареметале взято с большим запасом. А в облаке есть возможность горизонтально скейлиться (можно более дешёвые машины взять)
Andrey
облако всегда дороже будет
Andor
с учётом зарплат считать надо сразу
Andrey
сейчас примерил, мой 500 баксовый intel nuc, у гугла стоит 170 баксов в месяц)
Andor
а он у тебя с ecc памятью хотя бы?
Andrey
думаешь у гугла с есс ?
Andor
не знаю
Andrey
прикольно, хецнер хочет только 30 евро в месяц
Max
Если бы в хецнере был виртуальный свитч(
Max
И 10гбитный линк
Max
А так овх и только)
Max
Альтернатив почти нет
Max
Ну это да, но пользоваться этим как услугой приятней)
Max
И управлять всем через панельку
Ivan
Всем добра!)
Не давно я писал что есть проблема с etcd, в логах ошибки типа "etcd[27310]: sync duration of 2.078790767s, expected less than 1s" и задержки доходили до 8с. Передебажил все что только можно, вплоть до обновления etcd.
Проблема была в медленных дисках (ZFS pool raid1 из 2 NVME), пересетапал проксмокс на mdadm + xfs и ошибки ушли.
Проблема была очень актуальна поскольку кластер etcd разваливался в хлам под нагрузкой.
Max
Но у овх техподдержка отстой, у нас рандомные ребуты на этих выходных были, они на 3 тикета не отвечали все это время
Stanislav
+