𝚔𝚟𝚊𝚙𝚜
а если сеть и датастор нужно пилить отдельно, то всё что остаётся - это только удобный API
Vadim
тут я не копенгаген, но выглядит интересно
𝚔𝚟𝚊𝚙𝚜
тут я не копенгаген, но выглядит интересно
Если често бы с радостью юзал бы куб для виртуалок, но текущие реалии с immutable infrastructure идут в разрез с класическими представлениями о виртуализации.
Но тем не менее эта область по прежнему широка и её по прежнему можно развивать. Другое дело, что для реализации задуманного (виртуалная инфраструктура) есть более подходящие инструменты чем куб.
𝚔𝚟𝚊𝚙𝚜
Куб он всё-же очень заточен на Stateless, даже StatefulSet'ы в нём приследуют теже принципы.
В отличии одной HA-виртуалки, которую можно live-мигрировать до бесконечности, каждый StatefulSet, по хорошему, должен иметь несколько реплик. Чтобы в любой момент можно было вырубить какую-нибудь из них, создать новую или удалить старую. Ничего страшного не произойдет, потому что там RAFT, потому что там кворум, потому что оно само задеплоится и отреплицируется, а внешний балансировщик сбалансирует куда нужно. Вот.
Alex
товарищи админы, подскажите нубу
есть такая схема
https://gyazo.com/ef55739bda093592e28daca37cad3ed2
сейчас когда ингрес справа отправляет трафик на реплику на node2, трафик идет через публичную сеть eth0
задача сделать чтобы он отправлял трафик через eth1
кубер 1.13.5
сеть flannel
это делается средствами кубера/flannel?
Solyar
Кто-нибудь в кластере iperf запускал? Будет нормально работать чтобы проверить пропускную способность?
Подумал, есть ли смысл его запускать если в кластере одна нода
Solyar
Или он проверяет пропускную способность между подами?
𝚔𝚟𝚊𝚙𝚜
товарищи админы, подскажите нубу
есть такая схема
https://gyazo.com/ef55739bda093592e28daca37cad3ed2
сейчас когда ингрес справа отправляет трафик на реплику на node2, трафик идет через публичную сеть eth0
задача сделать чтобы он отправлял трафик через eth1
кубер 1.13.5
сеть flannel
это делается средствами кубера/flannel?
добавляй ноды в кластер с внутренним адресом, который присвоен eth1 интерфейсу
Stas
а если сеть и датастор нужно пилить отдельно, то всё что остаётся - это только удобный API
а я думаю что в этом самый кайф, что можно под кейс собрать. Мне вот нужны л2 домены, я буду кубвирт с контрейлом женить. А что касается stateful/stateless так у того же кубвирта свой контроллер и своя CRD и LCM политики свои же.
Anton
а readiness/liveness пробы можно делать на основе тела ответа (а не хэдэра)?
Илья
подскажите, где взять дебиан слим бейс докер имейдж?
𝚔𝚟𝚊𝚙𝚜
а я думаю что в этом самый кайф, что можно под кейс собрать. Мне вот нужны л2 домены, я буду кубвирт с контрейлом женить. А что касается stateful/stateless так у того же кубвирта свой контроллер и своя CRD и LCM политики свои же.
ну да, получается нужен свой vni (Virtualization Networking Interface) и свой vsi (Virtualization Storage Interface) по аналогии с cni и csi, вот тогда будет норм
Stas
ну да, получается нужен свой vni (Virtualization Networking Interface) и свой vsi (Virtualization Storage Interface) по аналогии с cni и csi, вот тогда будет норм
Мне кажется редхаты тут по-умнее сделали. Как я понимаю там почти полный реюз CNI/CSI потому что виртуалка это не рантайм класс, а просто процесс в поде
Stas
ну правда там еще multus во все дыры, чтобы был не только pod network, но с другой стороный если у меня pod network в неймспейсе это свой vNetwork то этого достаточно
𝚔𝚟𝚊𝚙𝚜
Мне кажется редхаты тут по-умнее сделали. Как я понимаю там почти полный реюз CNI/CSI потому что виртуалка это не рантайм класс, а просто процесс в поде
это всё хорошо, но как же live-миграция с RWO стораджем и с захардкоженным IP к ноде?
Stas
это всё хорошо, но как же live-миграция с RWO стораджем и с захардкоженным IP к ноде?
каким захардкоженным IP?
𝚔𝚟𝚊𝚙𝚜
я про podCIDR на ноду и стандартные CNI плагины, которые не позволяют тебе перетащить айпишник с одной ноды на другую
Vadim
я про podCIDR на ноду и стандартные CNI плагины, которые не позволяют тебе перетащить айпишник с одной ноды на другую
для этого мультус и суется, насколько я понял
Nikita
Hi! При подключении по ws к эндпоинту exec, чтобы взять консоль контейнера количество символов в строке COLS =80. Хочу увеличить ширину до 300 символов. Не знаю каким параметром передать это кубу. Кто-нибудь сталкивался?
𝚔𝚟𝚊𝚙𝚜
теоретически здесь мог бы использоваться такой-же подход с кубе-сервисами и эндпоинтами, но тогда виртуалка должна будет применять новый айпишник каждый раз когда она мигрирует
Pavel
export COLUMNS=300
Solyar
Чем вы IOPS в кластере замеряете товарищи?
Nikita
wss://.../exec?stdout=true&stderr=true&stdin=true&tty=true&command=sh&container=application&env=COLUMNS=300 пробовал так. не выходит
Nikita
export COLUMNS=300
хотя как вариант всаживать эти переменные при подъеме контейнеров.. посмотрим, но надеюсь есть способ в API
𝚔𝚟𝚊𝚙𝚜
теоретически здесь мог бы использоваться такой-же подход с кубе-сервисами и эндпоинтами, но тогда виртуалка должна будет применять новый айпишник каждый раз когда она мигрирует
По этому попытка переиспользовать cni/csi для классической виртуализации, выглядит не страннее чем прикрутить LXC к OpenNebula, это та вещь которая не была изначально для этого приспособленна. Та же OpenNebula/OpenStack имеет кучу готовых плагинов для этого, и вендорских и комьюнити, которые изначально создавались конкретно для решения этой задачи.
Artem
Можно у coredns как-то выключить отсылку АААА?
𝚔𝚟𝚊𝚙𝚜
Мне кажется редхаты тут по-умнее сделали. Как я понимаю там почти полный реюз CNI/CSI потому что виртуалка это не рантайм класс, а просто процесс в поде
Под на каждый процесс виртуалкой - идея здравая, я бы тоже так делал. Как и качественный API, который предоставляет куб, который можно приспособить буквально ко всему.
Я верю что спустя время из куба получится отличная система виртуализации, но не прямо сейчас, ибо на данный момент имеется слишком много ограничений.
Stas
Под на каждый процесс виртуалкой - идея здравая, я бы тоже так делал. Как и качественный API, который предоставляет куб, который можно приспособить буквально ко всему.
Я верю что спустя время из куба получится отличная система виртуализации, но не прямо сейчас, ибо на данный момент имеется слишком много ограничений.
сейчас да, и меня больше заботит не IP Allocation в рамках livemigration, во всяких tungsten/контрейле это решаемый вопрос. Я скорее в тупике относительно volumes с RWM
𝚔𝚟𝚊𝚙𝚜
сейчас да, и меня больше заботит не IP Allocation в рамках livemigration, во всяких tungsten/контрейле это решаемый вопрос. Я скорее в тупике относительно volumes с RWM
Скорее всего здесь можно использовать Offline migration - это suspend/unsuspend виртуалки с сохранением состояния на диск
Stas
Artem
Можно у coredns как-то выключить отсылку АААА?
Vadim
Подскажите плиз, я правильно понимаю что если мне на своем standalone baremetal кластере k8s нужны persistent volumes, мне надо поднимать какую-то сетевую/кластерную фс. Очень ли это плохо поднять на тех же нодах что и воркеры какую-нибудь nfs или ceph ? или что еще можно ?
Solyar
Буду благодарен
Solyar
https://github.com/wallnerryan/fio-tools
Нашел вот это, кто работал?
Solyar
У всех уже рабочая неделя закончилась)
Ладно, пойду тоже
Alex
Подскажите плиз, я правильно понимаю что если мне на своем standalone baremetal кластере k8s нужны persistent volumes, мне надо поднимать какую-то сетевую/кластерную фс. Очень ли это плохо поднять на тех же нодах что и воркеры какую-нибудь nfs или ceph ? или что еще можно ?
Nfs в минимальном варианте вполне ок
Alex
Если мощности позволяют - ceph неплох
Alex
Openebs сыроват и тормознут, но зато быстро развивается и разрабы готовы помочь в гиттере
Alex
Gluster как-то не запомнился - но вроде +- стабильный и не супер быстрый, но быстрее OpenEBS, емнип
Евгений
Ещё linstor есть
Михаил
Всегда же
Solyar
Спасибо
engelbart
а как сделать бы такой kubectl config use но только для конкретной сесии
engelbart
грубо говоря хочу одновременно в два кластера с разных окошечек команды слать
Nikolay
engelbart
ну хочется, типа сделал cd my_config
engelbart
и там уже kubectl знает чо
Dmytro
а как сделать бы такой kubectl config use но только для конкретной сесии
можно юзать direnv например или аналоги
Dmytro
cd в папочку и установился нужный контекс
engelbart
не знал такого
engelbart
получилось, спасибо
Dmytro
https://github.com/rancher/rio
Dmytro
это типа новая cpanel для шаред хостингов?
Dmytro
https://github.com/nirmata/kyverno
Maxim
🇬🇷🇬🇷🇬🇷
Alex
https://github.com/nirmata/kyverno
блин, недавно заметил, что слишком щедрые реквесты поставил и из-за этого некоторые поды шедулятся по пол часа 😄
Peter
Подскажите, пользование tiller это хорошая практика или не очень?
А то меня тут пугают, что в проде его нельзя
Dmytro
https://github.com/knqyf263/trivy кто нибудь щупал? интересно было бы сравнить со сканером от artifactory
Dmytro
Подскажите, пользование tiller это хорошая практика или не очень?
А то меня тут пугают, что в проде его нельзя
смотря как использовать, если ставить в каждый неймспейс и с SA который не дает ему лишнего это одно
глобальный с рут правами другое
ну и зависит от того как вы людям раздаете доступы в куб и какие
Mikhail [azalio]
https://github.com/knqyf263/trivy кто нибудь щупал? интересно было бы сравнить со сканером от artifactory
Да только сегодня трогал. Очень странно работает в кубере. Центос image пишет что распознал и падает с ошибкой не распознал. А alpine норм протестил. В тоже время на локальной машинке вообще все ок. Другие сканеры не трогал. Этот понравился отсутсвием требования стораджа или бд и не хочет докер сокет. В принципе интересно
Dmytro
может redhat сделали защиту от сканеров, а то ещё найдут чего)
Mikhail [azalio]
может redhat сделали защиту от сканеров, а то ещё найдут чего)
Да не, локально все отлично работало. Надо поковыряться в коде:)
Vadim
https://github.com/knqyf263/trivy кто нибудь щупал? интересно было бы сравнить со сканером от artifactory
Бгг, отдельные графы для Clair и Quya
Vadim
Даже странно, что они совпадают
VolanDeVovan
Пихать юмл конфиг в переменную окружения и скриптом на питоне выкачивать по этому конфигу артефакты при запуске контейнера норм идея?
Dmytro
откуда выкачивать? артефакты должны быть внутри образа
VolanDeVovan
Из нексуса
VolanDeVovan
Это скорее модули к основной программе
Dmytro
они настолько большие что нельзя их тоже в образ положить? В-целом, обычно или кладут yaml конфиг файлик в образ или делают конфигмапу из него
V
Ребят проблемку одну поймал надеюсь на чью то помощь кто уже решал,
есть metallb + flannel, ipvs и когда создаешь svc/loadblanacer с функцией policy: Local
то поды не могут достучаться до сервиса по внещнему IP адресу ( кроме под которые локально на той же ноде где и сервис)
может уже ктото решал это? проблема кажется актуальная
Leo
Пихать юмл конфиг в переменную окружения и скриптом на питоне выкачивать по этому конфигу артефакты при запуске контейнера норм идея?
Не очень, лучше в контейнер сразу запихнуть
Alex
Пихать юмл конфиг в переменную окружения и скриптом на питоне выкачивать по этому конфигу артефакты при запуске контейнера норм идея?
А чем не нравится конфигмап / секретсы?
Peter
У кого-нибудь есть положительный опыт с Istio?
У меня пачка такой фигни
istio-ingressgateway-5fc5cf85cb-hfjcn 0/1 Evicted 0 52m
istio-ingressgateway-5fc5cf85cb-nsr9n 0/1 Evicted 0 53m
istio-ingressgateway-5fc5cf85cb-tgpsl 0/1 Pending 0 53s
istio-sidecar-injector-698c7b7f9-tx8pw 0/1 Evicted 0 45m
istio-sidecar-injector-698c7b7f9-vms72 0/1 Evicted 0 45m
istio-sidecar-injector-698c7b7f9-vs4bz 0/1 Evicted 0 45m
Евгений
V
Ребят проблемку одну поймал надеюсь на чью то помощь кто уже решал,
есть metallb + flannel, ipvs и когда создаешь svc/loadblanacer с функцией policy: Local
то поды не могут достучаться до сервиса по внещнему IP адресу ( кроме под которые локально на той же ноде где и сервис)
может уже ктото решал это? проблема кажется актуальная
Ребят что по этому вопросу никто не попадал в эту ситуацию, и у всех в облаках кубер?