ᴅᴏᴏᴘᴇʀᴀᴛᴏʀ
чото все советуют s3 придется похоже все-таки туда ладно, спасибо
Андрей
чото все советуют s3 придется похоже все-таки туда ладно, спасибо
если aws не используете, то можно поднять minio, gitlab умеет с ним работать
Vladimir
это дополнительно
Vladimir
а с гитлабовским кэшэм сами тоже minio используем
Андрей
По fluentd подскажите, как лучше поступить? На нодах k8s кластера в качестве logging driver для docker можно использовать fluentd. Тогда все контейнеры пода напрямую будут писать логи в fluentd, избавляемся от операций чтения/записи на диск. Это первый вариант. Второй вариант - это в daemon set прописать монтирование хостового каталога /var/lib/docker/containers. Здесь имеем операции обращения к диску, но без риска потерять логи, если fluentd умрет. Правильно я понимаю, что большинство выбирают второй вариант?
Solyar
Всем привет! У меня есть вопрос по ОС для кубернетеса. Во многих мануалах nvidia установка происходит на убунту 16.04. Это обязательно надо соблюдать?
Он работает и на СentOS / Debian / Ubuntu / OpenSUSE (тут вопрос больше к совместимости проприетарного софта от nvidia с выбранной системой)
Solyar
Используйте что угодно
Андрей
насчет большинства - хз, а я выбрал второй вариант, да
какова задержка между генерацией строки лога приложением и появлением его в kibana?
Валентин
какова задержка между генерацией строки лога приложением и появлением его в kibana?
не знаю, не пользуюсь elk. В кликхаусе логи храню. Но и даже так - все равно не знаю, ну "быстро" и ладно, прям измерять ни разу не надо было
Solyar
Можно выбирать интервалы отправки данных
Anonymous
ты можешь сконфигурировать под, чтобы он обращался к какому-то другому DNS. Например тому, что у ноды куба в resolv.conf описан
в resolv.conf ноды лежат адреса dns сервера внутренней сети кубернетеса а где тогда лежат адреса [корневых] днс серверов интернета?
Solyar
Как например в filebeat у меня это 5 секунд
Solyar
можно ставить любой интервал
Solyar
всё там же в resolv.conf
Solyar
Или тут вопрос с пробрасыванием их в контейнер?
Anonymous
что за хост машина?
Валентин
а то есть там же лежат?
то есть вы можете по-разному сделать. У меня кэширующий dns на каждой ноде, и он умеет ходить в любые dns - хоть в корневые интернета, хоть в кубовый coredns. Соответственно у меня в resolv.conf прописано 127.0.0.1
Dmitry
не знаю, не пользуюсь elk. В кликхаусе логи храню. Но и даже так - все равно не знаю, ну "быстро" и ладно, прям измерять ни разу не надо было
а в CH как раз должна быть разница во времени, там же лучше копить записи, а потом их скопом в базу отправлять. Как этот вопрос решаете?
Валентин
а в CH как раз должна быть разница во времени, там же лучше копить записи, а потом их скопом в базу отправлять. Как этот вопрос решаете?
ну у меня пока выдерживает без этого. Но скоро как-нибудь буду решать... пока не знаю, до весны терпит вопрос :)
Валентин
понял, спасибо
вообще, если копить минуту - то будет достаточно большой кусок данных, чтобы ch стало хорошо. Так что думаю я весной отвечу на ваш вопрос "лаг около минуты".
Dmitry
всё там же в resolv.conf
да, но это может быть же симлинк systemd-resolve. И сам конфиг, где прописаны DNS, уже будет где-то в /lib/systemd вроде, а если это netplan то вообще в /etc/netplan
Валентин
Забыл про эти нововведения убунты 18
ого, в убунту завезли systemd-resolved? не прошло и пяти лет... а нет, прошло :D
Dmitry
Забыл про эти нововведения убунты 18
угу, все течёт, все меняется. Старый добрый resolv.conf уходит
dzmitry
привет, есть возможность получить инфу о конкретном sa его resources и verbs например через kubectl?
Валентин
угу, все течёт, все меняется. Старый добрый resolv.conf уходит
почему уходи? Ну симлинк и симлинк, ничего не меняется от этого кардинально.
Валентин
а в centos 7 он разве был?
можно включить без проблем, я так и делаю. Я на systemd сразу перешел, еще когда его все хейтили, так и не научился писать init скрипты, учился сразу сервисы под systemd. Ну и все остальное тоже юзаю.
dzmitry
смотри какие роли на него забиндены
а как вывести роль в в yaml например?
Konstantin
Коллеги,добрый день. Никто не сталкивался с задачей пробрасывания сетевых устройств с хоста в поды и hugepages?
Валентин
Коллеги,добрый день. Никто не сталкивался с задачей пробрасывания сетевых устройств с хоста в поды и hugepages?
прям сетевушку подключить в под? Типа eth0 в поде сделать? Это ж был в стандартных cni плагинах такой
Konstantin
Dpdk в под
Konstantin
Больше на самом деле вопрос с huge интересует)
Konstantin
В чистом докере все заводится,в кубере не может софт стартануть в контейнере
𝚔𝚟𝚊𝚙𝚜
Но это такое себе
Konstantin
а можно поподробнее?
Konstantin
я понимаю чтр костыли,но надо)
Victor
Коллеги, правильно ли я понимаю что куб автоматом не заботится о NUMA node affinity и надо ждать пока допилят topology manager, а пока что лучше отключать NUMA на воркер нодах?
𝚔𝚟𝚊𝚙𝚜
а можно поподробнее?
https://github.com/jpetazzo/pipework#connect-a-container-to-a-local-physical-interface
𝚔𝚟𝚊𝚙𝚜
Сам пайпворк можно демонсетом накатить в куб https://github.com/kvaps/kube-pipework
Konstantin
Будем посмотреть
Victor
Коллеги, правильно ли я понимаю что куб автоматом не заботится о NUMA node affinity и надо ждать пока допилят topology manager, а пока что лучше отключать NUMA на воркер нодах?
Сам спросил - сам отвечу: --cpu-manager-policy=static опция к кубелету вроде бы делает с NUMA то, что надо. * - https://kubernetes.io/blog/2018/07/24/feature-highlight-cpu-manager/
Vadim
какой там ключ был, чтобы вытащить манифест сущности без лишних полей?
M
Сам Мастер может быть Рабочей нодой или Мастер надо отдельно выносить?
Dmitrii
Может, но лучше так не делать.
M
а как удалить весь кубер с Ubuntu?
M
а на сколько мастер должен быть мощьным? и как выбирают мастера? по каким параметрам? или можно на обычный ПК установить?
dzmitry
да, верно. думаю может в саппорт написать. почему в пайплайнах не проходит деплой🤔
если все сделать как в доках заработает: https://docs.microsoft.com/en-us/azure/devops/pipelines/ecosystems/kubernetes/aks-template?view=azure-devops
Solyar
Сам Мастер может быть Рабочей нодой или Мастер надо отдельно выносить?
в dev можно но тогда нужно больше ресурсов так как это будет мастер-воркер
Solyar
если выносить отдельно мастера то минимум 3 машины для RAFT консенсуса в etcd
Александр
Развернул кластер на esxi. Думаю синхронизировать директории нод, к которым будут прилеплены волумы пода через двусторонний rsync. Это норм идея или есть что-то более адекватное?
Anton
но лучше конечно от таких затей отказаться
Евгений
nfs 😢
Толсто
Anton
и сделать чтобы синхронизация шла через конфигмапу или методы в приложениях
Anton
Толсто
там вот смайлик описывает всю суть
Anton
а так то 2way rsync лучше, ага)
Евгений
А у esxi разве нет своей кластерной ФС?
Евгений
vmfs это не оно?