но вообще раз 15 уже говорилось и тут в том числе
что kubelet смотрит в localhost
на локалхост haproxy в haproxy API
?????
PROFIT
больше haproxy богу haproxy
Andor
Vadim
Для людей, кто делает тест производительности дисковой одним dd отдельный котел в аду, так ещё и не знаете что дд сам умеет писать с синком
Нутк у него там nfs всех побеждал вроде
Михаил
Sergei
Stas
Если мсье любит смузи, али хайлоад у него, то есть envoy
у нас идет третмй день тестирования контура в качестве ингресса, пока энвой падает с сегфолтами
𝚔𝚟𝚊𝚙𝚜
https://github.com/kubernetes-incubator/kubespray/blob/master/docs/ha-mode.md
исчерпывающе, спасибо
Stas
но я лучше буду сидеть черипикать мерджи а энвой чем сяду на нджинкс ингресс
Vadim
Проблема, как известно, в том что сетевые фс, оказывается, медленнее локальных. Щито поделать
Sergey
Проблема, как известно, в том что сетевые фс, оказывается, медленнее локальных. Щито поделать
Nvme over fabric через конвергентный езернет
Sergey
𝚔𝚟𝚊𝚙𝚜
еще можно в /dev/null писать :)
Etki
Проблема, как известно, в том что сетевые фс, оказывается, медленнее локальных. Щито поделать
Всегда можно выбросить кубер, там все равно оверхед от докера...
Anonymous
но я лучше буду сидеть черипикать мерджи а энвой чем сяду на нджинкс ингресс
а можно подробней причины ?
Никита
исчерпывающе, спасибо
Юр велкам.
Кстати, про L4 лоадбалансинг я бы поговорил. У меня пока получается норм вариант только с ecmp на сетевой железке --> ipvs с dsr через ipip.
𝚔𝚟𝚊𝚙𝚜
напомнило историю когда пришло письмо в саппорт. мол мы тут бэкап сайта делаем через ftp, все слили, но вот два файла уже несколько часов скачиваются, не подскажете какой у них размер?
/dev/zero и /dev/random
Stas
и ?
просто сейчас тестирую кубер - хотелось бы развёрнутого ответа.
хорошо, ингресс ресурс как спецификация ущербен, он не позволяет для одного мэтч правила указывать разные сервисы, делатб траффик шифтинг и прочее.
Anonymous
хорошо, ингресс ресурс как спецификация ущербен, он не позволяет для одного мэтч правила указывать разные сервисы, делатб траффик шифтинг и прочее.
это мы про a/b тестирование, aka canary deployment ?
Andor
Vadim
+ трейсинг удобнее делать
Anonymous
про любые произвольные варианты этого
а можно статейку про это на envoy ?
просто я на istio смотрел.
Andor
ну понятно что envoy нынче фичастее
Stas
примерно то же самое что истио ингресс гейтвей
Stas
без остального сервис меша
Никита
напомнило историю когда пришло письмо в саппорт. мол мы тут бэкап сайта делаем через ftp, все слили, но вот два файла уже несколько часов скачиваются, не подскажете какой у них размер?
/dev/zero и /dev/random
То есть, какие-нибудь /dev/sda они уже скачали к тому моменту?)
Andor
ну /dev/sda имеет конечный размер :)
Никита
Ну это да)
Никита
а можно статейку про это на envoy ?
просто я на istio смотрел.
Дык istio - это такой контрол плейн к куче энвоев.
Никита
А про фичи энвоя лучше всего в его документации читать, кмк. Tldr умеет то, что и коммерческий nginx (а мб и больше).
Anonymous
Дык istio - это такой контрол плейн к куче энвоев.
сама istio мне понравилась тем, что я могу мерять какой микросервис у меня хреновый.
но пока еще разворачиваю на кубере + деплой настраиваю.
Anonymous
а с нагрузкой у него как ?
Хотя по идее всё ок должно быть.
Andor
слышал что он памяти многовато жрёт
Anonymous
много это сколько ?
Andor
я сам пока не юзал, это лишь то что я слышал
Никита
а с нагрузкой у него как ?
Хотя по идее всё ок должно быть.
Ящетаю, надо тестить, он слишком быстро развивается.
Etki
Ящетаю, надо тестить, он слишком быстро развивается.
отлично, значит действительно кубовая технология
Stas
на один контейнер с энаоем
𝚔𝚟𝚊𝚙𝚜
То есть, какие-нибудь /dev/sda они уже скачали к тому моменту?)
я полагаю там могло быть какое-нибудь chroot-окружение)
Andor
я слышал что на каждый контейнер
Stas
это память на каждый под
Andor
если вешать сайдкаром то это +300-400 мб каждому сервису
Anonymous
а сайдкаром - чтобы снимать метрики с самого сервиса, верно ?
Прилично, да.
Anton
если первый мастер сляжет api-server недоступен окажется
Это в кубеконфиг он указан, а так на машинах раньше поднимался nginx, у которого в апстримах были все апи, тоесть кластер не взорвётся
Никита
а сайдкаром - чтобы снимать метрики с самого сервиса, верно ?
Прилично, да.
В этом фишка istio - весь трафик всех подов проходит через сайдкар-прокси, которыми можно централизованно управлять, в том числе, да, снимать метрики.
Anonymous
сайдкар к поду.
удваиваем количество оперативки под проект.
пипец )
Andor
не уверен что нельзя поставить демонсетом
Stas
не уверен что нельзя поставить демонсетом
пытались ставить истио пер хост - затрахались придумывать как отправлять траффик с хоста в энвой а не в эндроинт сервиса (ну акромя айпитейблс) то есть из энвоя в энвой
Stas
400 мегов на кластере с 1500к сервисов. У вас че такие есть?
Andor
- name: MY_NODE_NAME
valueFrom:
fieldRef:
fieldPath: spec.nodeName
Andor
можно как-то так выделываться
Andor
400 мегов на кластере с 1500к сервисов. У вас че такие есть?
да даже если +100мб на каждый сервисочек, то уже получается дофига
Stas
да даже если +100мб на каждый сервисочек, то уже получается дофига
я ради роутинга, трейсинга и рбака заплачу
Anonymous
альтернатива-то известна - zipkin/jaeger вместо istio
но сначала попробовать нужно.
Andor
это не альтернатива
Andor
они работают вместе
Anonymous
это понятно
Andor
альтернатива - инструментация сервисов, а это обычно дорого
Etki
hardware is cheap, X is not
Anonymous
сейчас задача декомпозировать - какой сервис - слабое звено
понятно, что внутри сервиса нужны более детальные утилиты.
Stas
ща я вас сломаю, еще вместо истио можно юзать ротор- он умеет забирать инфу о сервисах не только с куба
Anonymous
ротор ?
Stas
https://github.com/turbinelabs/rotor