Sn00part
Ну оптимизировать или подключить через меш
Andrey
Отмечу, что отсутсвие swap'а имеет большой минус в связи с (пока что) плохим поведением OOK killer в Linux Kernel. Крайне рекомендую эту статью к прочтению про текущие нюансы: https://lwn.net/Articles/668126/
Andrey
Вот так на большом скейле решает этот вопрос Facebook. В Kubernetes, к сожалению, такого пока нет. https://facebookmicrosites.github.io/oomd/
Andrey
https://facebookmicrosites.github.io/oomd/docs/oomd-casestudy.html
Sn00part
Поэтому все падает и уходит на фейловер. В статье нет ни слова про контейнеры и сигруппы
Sn00part
Аьмикросервисы в теории безьстейта и эфемерны
Sn00part
На практике нет, поэтому три пути. Забить. Вынести на бареметал и подключить через меш. Прибить на ноду и включить там все на свой страх и риск. Ну и оптимизировать все
Denis
Поюзал helm 3 я пару недель😂😂😂 https://github.com/helm/helm/issues/6361
Sn00part
Нученить истио позволяет в схему подключать внешние ресурсы и кубер ничего не поймет
Anonymous
Anonymous
G72K
Этот совет какое-то говно. Почему же этот совет говно? Потому что все нюансы планировщика, QoS и прочих вещей в кубе, касающиеся resources поля в Container и мониторинг тоже полетит в жопу непредсказуемую. Если есть приложение, которому нужен (не нужен, а НУЖЕН) swap (убогая старая большая база данных), следует разместить её подальше от кластера Kubernetes. Лучше в мусорной корзине со стенками из крупной сеточки, чтобы к SAN'у подключать удобно было.
Второй раз вижу упоминание планировщика в контексте свопа. По-моему что там реально на машине происходит планировщику все равно, он считает только requests , которые к реальному потреблению ресурсов отношения не имеют. Естественно нода должна анонсировать в кластер доступную память за вычетом свопа
Andrey
И вот тогда синергия планировщика и отсутсвия свопа приводит к корректной настройке очерёдности убийств процессов на ноде.
Andrey
И корректному и ожидаемому scheduling'у, конечно.
Andrey
Интересно , давно?
Почти сначала.
G72K
И вот тогда синергия планировщика и отсутсвия свопа приводит к корректной настройке очерёдности убийств процессов на ноде.
Убивается под вышедший за лимиты, внутри пода oom_score уже считается, если там несколько процессов
Andrey
Убивается под вышедший за лимиты, внутри пода oom_score уже считается, если там несколько процессов
Не только. Все процессы на ноде конкурируют за несжимаемый ресурс -- память. Поэтому oom score относительно процессов в соседних контейнерах тоже имеется.
Andrey
И всё это работает хорошо и предсказуемо только без swap.
Andrey
Интересно , давно?
Минимум 5 лет, судя по git blame.
G72K
Почти сначала.
Тут вроде только по QoS выставляют : https://github.com/sjenning/kubernetes/blob/7dcf1fe5f8b06e9f06247bd0fdd49442f7028727/pkg/kubelet/qos/policy.go#L44
Oleh
Назовите хоть одно приложение которое рассчитывав на оперативную память будет нормально работать с свопом? На счет кубелета там на сколько я помню есть параметр failOnSwap=false
Andrey
Тут вроде только по QoS выставляют : https://github.com/sjenning/kubernetes/blob/7dcf1fe5f8b06e9f06247bd0fdd49442f7028727/pkg/kubelet/qos/policy.go#L44
Ага. И QoS имеют *все* поды. А при burstable посмотри внимательно на расчёты для индивидуальных *контейнеров*: https://github.com/sjenning/kubernetes/blob/7dcf1fe5f8b06e9f06247bd0fdd49442f7028727/pkg/kubelet/qos/policy.go#L58-L65
Andrey
Не могу не вставить доклад, который и я тоже готовил и должен был рассказывать, но проебался с подготовкой в последние дни и вынужден был отдать микрофон другой личности. Чему несказанно расстроен. Там про это всё есть и больше. https://www.youtube.com/watch?v=10ZR-fbyuSY
G72K
Вернёмся к свопу. Если нода анонсирует только доступную ОЗУ, то шедулеру не поплохеет, наоборот может быть так что без свопа был бы ООМ, а с ним все процессы выжили
Andrey
Но хоть это радует. :3
Andrey
Вернёмся к свопу. Если нода анонсирует только доступную ОЗУ, то шедулеру не поплохеет, наоборот может быть так что без свопа был бы ООМ, а с ним все процессы выжили
Да, но это сбивает планирование и анализ доступных ресурсов в общем. Что мне не нравится совсем. Наличие swap вообще не оправдывает это.
G72K
Почему оно сбивает? Этот своп просто подушка безопасности , о которой куб не знает. Это как в старые времена админы клали гигабайтный пустой файл и когда уже казалось бы поздно пить баржоми просто удаляли его :)
G72K
Со свопом можно втащить ещё больше подов, ещё больше oversubscription :)
Anton
да пойнт простой, лучше умрет по оому, чем будет вместо 10к рпс козлить и отвечать не по SLA
Anton
такое на большом лендскейпе очень тяжело искать почему так произошло
Alex Sharov
а кто-нибудь пробовал https://gardener.cloud/?
Andrey
а кто-нибудь пробовал https://gardener.cloud/?
Мы планируем, а пока активно используем компонент Gardener -- https://github.com/gardener/machine-controller-manager Крайне успешно для нашего кейса. Разработчики крайне общительны в k8 slack'е.
Sviatoslav
Как продебажить почему не стартует сервис? Порты точно свободны и 80 и 443, даже пробовал поднимать контейнер nginx внутри кубера все стартует но сервис в вечном пендинге ingress-nginx-ingress-controller LoadBalancer 10.111.42.179 <pending> 80:30206/TCP,443:32317/TCP 7m56s
Sviatoslav
почему то не хочет получать внешний ip возможно где то нужно указать что список
Sn00part
А он есть вообще ? Внешний балансер
Sn00part
Сделай describe чтоли
Sviatoslav
Сделай describe чтоли
Name: ingress-nginx-ingress-controller Namespace: gitlab-managed-apps Labels: app=nginx-ingress chart=nginx-ingress-1.22.1 component=controller heritage=Tiller release=ingress Annotations: <none> Selector: app=nginx-ingress,component=controller,release=ingress Type: LoadBalancer IP: 10.111.42.179 Port: http 80/TCP TargetPort: http/TCP NodePort: http 30206/TCP Endpoints: 192.168.248.72:80 Port: https 443/TCP TargetPort: https/TCP NodePort: https 32317/TCP Endpoints: 192.168.248.72:443 Session Affinity: None External Traffic Policy: Cluster Events: <none>
Sviatoslav
веб админка внешний ip видит показывает какой ип в ноды
Sviatoslav
а external endpoint не ставится
Sn00part
LoadBalancer подразумевает, что у тебя есть внешний балансер где-то. Например, в aws, gce так будет работать.
Sviatoslav
так это и есть балансер
Sviatoslav
ingress-nginx-ingress-controller-5fd5984996-6h2qs 2/2 Running 1 23m ingress-nginx-ingress-default-backend-7789656965-7gzjg 1/1 Running 0 23m
Sviatoslav
по идеи он просто должен проставить экстернал ип но не делает этого
Sviatoslav
LoadBalancer подразумевает, что у тебя есть внешний балансер где-то. Например, в aws, gce так будет работать.
А можно по подробнее? И как решить? Как запустить без внешних блансеров? Ошибку нашел Failed to start service controller: WARNING: no cloud provider provided, services of type LoadBalancer will fail
Sviatoslav
Или он так не работает, балансер которому нужен балансер это странно, что то я совсем запутался
Dmitry
Все доброе утро. Рядом подскажите на тему сбора логов с контейнеров, сейчас остановился на filebeat как daemonset, но в грейлоге не могу получить source и host
Там еще кучи полей нет скорее всего. Если ты используешь в graylog input типа beat, и напрямую туда шлешь логи от filebeat, там есть баг, и graylog тупо не видит кучу полей (например поля kubernetes.*). По крайней мере у меня это воспроизводится на версии graylog 2.5. Но такое возможно и не нужно, ведь логи все равно требуется обрабатывать. С filebeat можно отправлять логи в logstash. В logstash их обрабатывать как надо, добавляь доп. поля, каких нибудь преобразований типов, регулярок и тому подобное, а потом уже отправлять json'ом в graylog в input GELF. В такой схеме легко заменить каждый компонент, и можно масштабировать их отдельно.
inqfen
Или он так не работает, балансер которому нужен балансер это странно, что то я совсем запутался
https://kubernetes.io/docs/tasks/access-application-cluster/create-external-load-balancer/ Я понимаю, что доки читать не модно, но может все же попробуешь?
Sviatoslav
Ну сказал же, как раз читаю, спс.
Sviatoslav
с таким подходом никакие группы не нужны, то что все можно нагуглить с десятого сотого раза все знаю, но, по началу сложно.
inqfen
Спрашивая тут то, что прекрасно гуглится ты только время себе увиличиваешь
inqfen
Это пока ответят
Sviatoslav
Вот я ввел почти то же, что ты спрашивал - это находится за 5 секунд
оно прекрасно гуглится когда знаешь что искать, но когда первый день разбираешься, все кажется сложным. спс. гуглю читаю разберусь)
Petr
Все доброе утро. Рядом подскажите на тему сбора логов с контейнеров, сейчас остановился на filebeat как daemonset, но в грейлоге не могу получить source и host
У меня в тестовом кубе стоит fluent-bit, который сливает всё в кластер грейлога (вне кубера). Пробовал нагружать до 40к сообщений - fluent-bit даже ничего не почувствовал, а у грейлога очень большой запас.
Dmitry
Какое железо у тачки с грейлогом?
Petr
Ты конфиг флюентбита сам писал что бы он гельф слал или взял типовой?
В кубе ставил флюент из хелм-чарта и писать конфиг было лень. Поэтому настроил в режиме форварда, а на каждой ноде грейлога поставил ещё флюент-бит, который пересылал в гелф.
Dmitry
А зачем так?
Petr
Какое железо у тачки с грейлогом?
3 ноды грейлога, 4 цпу 8гиг, закрыты хапроксей. Каждый грейлог смотрит на 2 ноды эластика
Petr
А зачем так?
Не знаю, от лени)
Petr
Монга стоит на том же хосте что и грейлог
Dmitry
У тебя сколько сообщений в минуту кластер генерит?
Petr
Этот мало. Он пустой. В проде (там нету куба) почти такой же грейлог, но 6 эластиков доходит до 40-50к и нормально, ещё запас есть
Fedor
Есть тут кто реализовал openstack cinder ci plugin ?
Andrey
Что-то я не заметил такой проблемы. Грейлог 3.1 замечательно работает. Шлю в него через fluent-bit
поделись конфигом fluent-bit. У меня уже всё работает, хочу сравнить. Шлю через gelf
Tamerlan
всем привет как передать диапазон TCP портов для правила сетевой политики? что-то типо ports: - port: 1111-2222 protocol: TCP