а кто каую файловую систему использует под ОС k8. У нас недавно что-то подвисло на тестовом стенде и поды быстро расплодившись исчерпали inode.

а кто каую файловую систему использует под ОС k8. У нас недавно что-то подвисло на тестовом стенде и поды быстро расплодившись исчерпали inode.

У меня все хорошо на ext4

Правда, у меня OpenShift.

Да у нас ext4 везде. Это первый случай. Когда все успокоили то занятость inode 25%

Да у нас ext4 везде. Это первый случай. Когда все успокоили то занятость inode 25%

Вводите больше нод.

Или можно использовать xfs :)

Это шоурум. Там однонодовый кластер. Дальше Уже минимум 3 ноды. На проде будет три мастера.

Это шоурум. Там однонодовый кластер. Дальше Уже минимум 3 ноды. На проде будет три мастера.

Тогда надо логи курить)

а кто каую файловую систему использует под ОС k8. У нас недавно что-то подвисло на тестовом стенде и поды быстро расплодившись исчерпали inode.

ext4 под ОС, xfs под данные. с докером нормально скрещивается только XFS, как я понимаю

ext4 под ОС, xfs под данные. с докером нормально скрещивается только XFS, как я понимаю

Спасибо

у докера overlay storage driver пожирает inode обычно

Как то исторически aufs ставится

вот я проверку состояния добавил в автоматический балансировщик гугля (который генерится когда сервис создаешь)

Ресурсов на всё хватает?

Ресурсов на всё хватает?

угу, 3% cpu занято и 20% памяти

Как то исторически aufs ставится

Но не стоит так делать.

Как то исторически aufs ставится

я использую overlayfs2, но она по сути - не FS, с голыми дисками работать не может

Но не стоит так делать.

А почему? У меня как раз были проблемы с оверлей2 даже было время когда мастер kubeadm не хотел активироваться с этой фс.

Кстати в рекомендации встречал "we will continue to recommend users to use the default storage backend, which is Aufs as of now."

aufs?

бгг

она жёстко глючит

особенно в убунту

не встречали когда ломаются permissions?

и ещё сотня багов

просто docker/issues

а вот этот баг просто сказка

https://github.com/docker/docker/issues/13940

я видел его в 3 ядрах из шести в убунтах

то есть то нет то опять опа

в ядрах lts

Да я вкурсе. У меня везде 16.04 и 4.4.0-66

я для себя решил использовать btrfs результаты отличные

А я вот в первый, и, наверно, последний раз, воспользовался CentOS в качестве ОС для Docker

А я вот в первый, и, наверно, последний раз, воспользовался CentOS в качестве ОС для Docker

В чем проблема? Более года в проде, именно centos 7.x и последний docker 1.13

Так получилось, что нужно было развернуть один сервис, а под рукой была только виртуалка с CentOS. Развертывание нужно было для внутреннего использования, поэтому я решил просто поставить докер и в нем развернуть то, что нужно

И все было прекрасно на протяжении нескольких месяцев. Потом виртуалка стала подвисать, а сегодня контейнеры перестали запускаться

Оказалось, что в закончилось место на device mapper, который был в файле на loopback

Это потому-что ты использовал devicemapper и старый докер и ядро не более свежее, у нас ядро с elrepo было, потом стали почти ванильное + патч в одну строку

И не просто закончилось, а к херам закончилось - все решения, которые я встретил сводились у тому, что нужно сделать rm -rf /var/lib/docker и начать сначала

С overlay2 таких проблем нетв

Это потому-что ты использовал devicemapper и старый докер и ядро не более свежее, у нас ядро с elrepo было, потом стали почти ванильное + патч в одну строку

Насколько я видел в баг трекер докера, только последней осенью они вылили *воркарунд*! который не дает полностью закончится месту (так, что еще можно реанимировать все это дело)

И я видел предупреждение о том, что device mapper на лупбеке не стоит использовать а проде (и да, я смотрел, что основная причина - это перформанс, мне это было некритично)

Насколько я видел в баг трекер докера, только последней осенью они вылили *воркарунд*! который не дает полностью закончится месту (так, что еще можно реанимировать все это дело)

Ну удачи, это дело не из простых....

Но вот чтобы поведение по умолчанию было "я работаю пока не сдохну без предупреждения" это что то

И да, я был не лучшего мнения о aufs в убунте

я для себя решил использовать btrfs результаты отличные

я его тоже юзал продолжительное время, но устал от постоянных глюков

хз. aufs не работает, layerfs не работает, layerfs2 ещё нет, devmapper не работает

в дебиане кстати более менее aufs в отличии от убунты)

в дебиане кстати более менее aufs в отличии от убунты)

это как? разные исходники?

ядро разное. собрано с разным конфигом

для примера можешь скачать 4 ядра лтс убунты и сделать zcat /boot/config.gz | grep aufs

или как там она называется. я в мирантисе кучу багов заводил что не работает dir perm

из-за того что в ядре пролюбили включить xattr

выглядит как permission denied при попытке записать в валидную директорию в многослойный докер

например в tomcat9

дебиан просто в сислог гадит. убунта колтрейс в ядро, сервер неадекватен

github.com/docker/docker/issues/783

4 года гоняют мыло по тазику

откроют закроют

починят, потом дочинят, потом уже точно пофиксят, потом уже точно точно

потом снова открывают

вон чувак опять шесть дней назад словил тоже самое. хотя ведра уже у всех 4 поди

не знаю как назвать это цензурно

Такие дела :) https://www.nixp.ru/news/13963.html

а в начале монолитность докера преподносилось как преимущество

можно будет containerd и runV подменять на другие oci-совместимые реализации

выглядит как permission denied при попытке записать в валидную директорию в многослойный докер

Видел такое в убунте. Но мне наверно повезло, когда я уже понял, что это ядерный баг и хотел было завести баг в трекере, оказалось, что он уже пару дней как known и что уже даже есть фикс в 16.04 proposed - я его поставил и это решило проблему.

"мне наверно повезло" - это к тому, что в моем случае было идеально: проблему зарепортили, пофиксили и зарелизили за несколько дней, что очень крутой user experience

Жаль, что так не со всеми проблемами в убунте :)

Такие дела :) https://www.nixp.ru/news/13963.html

Да, они на прошлой неделе (в среду) презентовали. Причем на том же колле и CoreOS rkt презентовали с той же целью.

Но это только презентация, за эти проекты еще проголосовать должны.

а в начале монолитность докера преподносилось как преимущество

только готовые решения от Docker Inc мягко говоря не взлетели, вот и пытаются наверстать где проебали.

Всем привет. Совсем недавно познакомился с Kubernetes. Не могу понять некоторые моменты. Допустим, пытаюсь как-то настроить бакэнд на nodejs и mongo rs через statefulSet, которому изначально выделим 3 шарда. Вопрос в том, как сообщить бакэнду что добавили новые либо удалили шарды и сделать так, чтобы он подцепил изменения?

Это уже вопрос взаимодействия приложения и БД, ситуация особо не отличается от аналогичной вне куба. Проще всего пересоздавать клиенты через промежутки времени, если только они не являются умными и не реагируют на изменение топологии сами.

Благодарю. Как лучше список шардов пасануть приложению, можете подсказать? Вижу два варианта: либо при инициализации пода command и пихать список в envVar, если такое взможно, либо через запрос к apiserver вытаскивать список statefulSet подов и как-то пытаться его загрузить. Со вторым у меня уже произошёл затык, т.к. пока список достаётся, GridFS уже падает иза отсутствия DB)), т.ч. не думаю, что 2й вариант рабочий

Боюсь, я недостаточно владею терминологией, но если под шардами подразумеваются отдельные инстансы монги (а это все-таки немного не то), то вам нужен стандартный service куба.

Возможно я тоже недостаточно ей владею. Делал mongo statefulSet по статье. Там создаётся headless service и описана подача списка из 3х подов в mongo.connect строкой типа "...//mongo-1.mongo,,mongo-2.mongo,mongo-3.mongo:27017..." И опять к вопросу, как мне динамически эту строку формировать для приложения, может быть будут мысли?

резолвить headless service через DNS и забирать айпишники оттуда

Благодарю, буду обдумывать Ваш совет