Sergey
Это прям кадр из клипа на песню одну менсона
Sergey
Года так 2012
Sergey
Ну так будет запись?
Dmitry
Sergey
По ссылке же
Я очень ленивый, киньте ссылку
George
Я очень ленивый, киньте ссылку
https://www.youtube.com/watch?v=rO6K6KOH9ZM
Sergey
Уже нашел в хистори, спс
Anton
интересно есть ли подкасты на русском на подобии девзена и разбора полетов только про кубер, с разборами, кишочками?
𝚔𝚟𝚊𝚙𝚜
Мне про barematall и понравилось и не очень понравилось одновременно. Понравилось, что автор очень много всяких интересных open source штук вокруг куба упомянул (я, как и многие, только и успевал фоткать названия). Не понравилось, т.к. не хватило некой глубины. Все таки такой зоопарк организовать, автоматизировать, поддерживать, обновлять, тестировать - та ещё задачка. Я ждал раскрытия хотя бы одного из этих пунктов, а в итоге услышал лишь что то типа: "после этого выполняется kubeadm join" лолшто? И все?)))) Как не печально, в конечном итоге все это сложилось в нечто вроде: "сервера с масляным охлаждением и diskless, compute, lvm, bgp, что то там". Просто - личное мнение, не претендующее ни на что. В любом случае, материал отличный и познавательный
Спасибо за отзыв. Очень хотелось рассказать обо всем поподробнее, но мне пришлось сократить доклад раза в 1,5 как раз из-за ограничения по времени. Был бы рад услышать конструктивную критику и про что конкретного хотелось бы узнать более подробно.
𝚔𝚟𝚊𝚙𝚜
https://m.habr.com/en/post/423785/
George
да, все уже по нику нашел, спасибо
𝚔𝚟𝚊𝚙𝚜
Наверное лучше будет всю презентацию сюда скинуть
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
Расскажи про пункт с nfs3 vs nfs4, рассматривался ли вариант внедрить какой-то object storage типа minio ?
Мы используем mino, но скорее для бэкапов только. minio работает достаточно круто, но только когда используется как интерфейс для доступа к данным. Как только ты пытаешься развернуть его в fault tolerance конфигурации, сразу же ощущается большая просадка по скорости
D3Ơh
А для каких нагрузки по io используется nfs? У вас я так понял там хостинг? Он просто кажется стремным из-за того что там вроде как есть риск неконсистентности(в nfs3), получается что вы от nfs4 отказались чтобы там в случае чего всё колом не стояло?
𝚔𝚟𝚊𝚙𝚜
Так что блочное хранилище наше все
𝚔𝚟𝚊𝚙𝚜
А для каких нагрузки по io используется nfs? У вас я так понял там хостинг? Он просто кажется стремным из-за того что там вроде как есть риск неконсистентности(в nfs3), получается что вы от nfs4 отказались чтобы там в случае чего всё колом не стояло?
NFS используется в основном для специфических целей, когда надо шарить фс между подами, обычные высоконагруженные приложения работают с ReadWriteOnly томами и не используют NFS
D3Ơh
А можно пример такой нагрузки?
Stas
а представители kublr есть в чате?
Vadim
https://blog.pulumi.com/if-you-liked-ksonnet-youll-love-pulumi
Ну это как-то совсем некрасиво, рекламировать себя на похоронах ksonnet Кроме того, пулуми стучит на свой сервер и отказывается без доступа к нему работать, что это за замена такая. Каноникаловские штучки тут не пройдут
𝚔𝚟𝚊𝚙𝚜
А можно пример такой нагрузки?
Ну например мы деплоим OpenNebula в контейнерах. Шарим образы для темплейтов - они лежат на nfs
Vadim
я честно говоря не очень знаю как эта штука работает, просто статья на флеймовую тему
На это и расчет - а вот сходи посмотри, только ксоннету это никак не поможет
𝚔𝚟𝚊𝚙𝚜
Да и не сказал бы что NFSv3 как-то менее надёжен чем NFSv4
𝚔𝚟𝚊𝚙𝚜
Да, у него динамические порты, там нет Kerberos и сессий, но тем не менее он отлично работает
G72K
Посмотрим, хотя непонтяно почему целый доклад. Енвой у них как просто как локальный прокси, для доступа в аписервер.
Никто в курилке не спросил у них энвой с сертификатом аписервера на каждой ноде что ли? Или в TCP режиме просто?
G72K
отмотай в https://youtu.be/rO6K6KOH9ZM
Мэйл ру митап по кубу сильнее и интереснее митапа по кубу в яндексе
Navern
Мэйл ру митап по кубу сильнее и интереснее митапа по кубу в яндексе
Я думал в яндексе был сре митап в этот же день
Andrey
@kvaps Ты https://github.com/jpetazzo/pipework, если не ошибаюсь, упоминал. Говорил ты также о том, что видимости в Kubernetes нет вообще никакой. Твой юзкейс точно нельзя на CNI построить? Если нет, то что бы ты доработал в CNI?
𝚔𝚟𝚊𝚙𝚜
Остальной функционал (прокидывать статик-ip в под) - не самая лучшая идея в виду динамической природы ip'шников в кубе
𝚔𝚟𝚊𝚙𝚜
А почему bridge, а не macvlan? :3
bridge постабильнее чуть-чуть работает, и на момент написания плагина macvlan не имел какой-то опции позволяющей пустить трафик на кубе-сервисы через ноду, точно не помню
Andrey
Спасибо тебе за доклад, в общем. Я не думал, что в сообществе есть любители baremetal. Не на словах, а на делах.
Юрий П.
Я считаю, что лучшая практика для куба HA - не держать системные процессы в подах / контейнерах.
А в чем проблема/опасность держать системные компоненты в подах?
Oleg
А в чем проблема/опасность держать системные компоненты в подах?
Мы говна поели в прошлом с докером в проде. Так что все системные компоненты решили не держать в контейнерах.
Oleg
Что есть "системные компоненты", кстати?
я про аписервер, контроллер, шедулер
Юрий П.
Мы говна поели в прошлом с докером в проде. Так что все системные компоненты решили не держать в контейнерах.
Мы тоже говна поели с докером, правда не в проде. По этому и решили использовать окрестратор. Пока за 2 года не было проблем с системными компонентами в подах...
Юрий П.
Как раз кубернетес и отвечает за их работоспособность.
𝚔𝚟𝚊𝚙𝚜
Окей, спасибо. Просто бенчмарки, которые я видел, сильно выделяли macvlan в лучшем свете.
Ну macvlan неплохой, но реализация с bridge проще и отлично работает в случае L2-связности, ноды не тратят ресурсы на маршрутизацию пакетов как это происходит в отличии от остальных cni
Юрий П.
Крайне мала вероятность что на всех мастера, докер разом колом встанут.
𝚔𝚟𝚊𝚙𝚜
Проще в плане поддержки, keep it stupid and simple
Andrey
Окей, не спорю, не спорю.
Oleg
Крайне мала вероятность что на всех мастера, докер разом колом встанут.
тем не менее, ноды на докерах 17... какой-то то рекомендованной версии регулярно отъезжали после обновления до 18.03 норм стало
Oleg
в общем, сервисные компоненты кластера запихивать в этот же кластер... ну лично мне не норм это как запихать мониторы цефа в тот же цеф. некоторые шутку юмора оценят
Andrey
Выжать — это одно, дать другим workload'ам поработать на хосте — это другое.
George
@SinTeZoiD я еще очень расстроен, что не рассказали про таких клевых парней как BANZAI CLOUD https://beta.banzaicloud.io/
Max
Выжать — это одно, дать другим workload'ам поработать на хосте — это другое.
выжать в этом измерении - это при bursts видеть достижение хорошего уровня.
Max
могут быть приложения с разными net/cpu/mem координатами....
𝚔𝚟𝚊𝚙𝚜
А что по CPU циклам/usage в этот момент?
Сейчас не скажу, но нагрузка заметно меньше когда бриджи соединены физически чем когда трафик полностью подходит через ноду. Минус такого решения в том что приходится пожертвовать политиками.
Andrey
выжать в этом измерении - это при bursts видеть достижение хорошего уровня.
Нет, это показать использование CPU в момент бенчмарка iperf3.
Max
Нет, это показать использование CPU в момент бенчмарка iperf3.
в принципе "все взаимосвязано" - пень ясен. нужно пробировать все вместе. но не факт что iperf3 это самый точный ответ. если не ошибаюсь его запускают из основного контекста, т.е. теряются несколько процентов чего-то на сам iperf. мониторил бы серверными средствами (т.е. из service processorов) серверов.
Max
А, я понял тебя. Ты к тому, что синтетический workload, и сбор данных только с него одно, — это так себе. Ты имеешь в виду Active Benchmarking, да? http://www.brendangregg.com/activebenchmarking.html
принцип неизвестности Heisenberg ;) основная тема, что когда сами поды/контейнеры себя из своего контекста "мониторят", они этим изменяют нагрузку. или когда ноды мониторят контейнеры/поды и при малых нагрузках процент ошибки высокий. внешние же пробы делают этот другими "маршрутами", более точно. но данные надо собирать куда нибудь и визуализовать. всё - ИМХО.
Oleg
А что будет если у тебя встанет колом аписервер? При этом не выйдет.
Ну у нас какбе он не один, аписерверов и сопутствующих компонентов в кол-ве 5шт. Ну и мониторинг этого всего.
Jain
Lfs458 уже кто делал тут? Вам не показалось что весь курс как-то сумбурно сделан . Курс только на бумаге а не в PDF в 2019 году тоже ... Удручает
Михаил
но я сам виноват. Надо было не сваливать с митапа, а ловить спикера в кулуарах :)
Для этого и нужны митапы) доклады можно в записи посмотреть
Alexandr
Ребят, а кто нибудь дружил сети между кластерами? через tunnel или vpn есть доки и примеры (cilium пока не взлетает, использую canal) ?