подними сам рил ворлд апликацию и убедись

короче, никто меня не переубедит что сетевые диски это быстро

на гигабитной-то сети?

иметь гигабайтную сеть и удивляться что она даёт 120мб/с, в отличие от локального, который под 500мб/с

иметь гигабайтную сеть и удивляться что она даёт 120мб/с, в отличие от локального, который под 500мб/с

локальный 900мб/с

вы видели провайдеров кто дает 10 гигабитную сеть ? ) ну так чтобы заплатил кредиткой и получил продукт ?

aws даёт до 25гбит сеть

хмм, это уже интересно

кстати, digitalocean volumes были быстрые даже если маленькие, но проблемы с ними я уже выше описывал

какие?

какие?

ты про то какие проблемы ?

@ghst0, бери DO волумы и используй их многоразово через subPath

@ghst0, бери DO волумы и используй их многоразово через subPath

не буду рисковать уже, сдача проекта вчера уже, сделаю локально, но 25гбит сетка в aws это интересно

time sh -c "dd if=/dev/zero of=$th bs=100k count=10k && sync" либо так, либо 8 таких потоков

Ну fio же, 2к18 на дворе, той статье Amarao уже лет шесть.

короче, никто меня не переубедит что сетевые диски это быстро

Ну латенси же, как минимум.

Тогда vrrp и прочие keepalived утехи.

Свят-свят.

Ну fio же, 2к18 на дворе, той статье Amarao уже лет шесть.

и что фио за 6 лет перестал быть верным тестом?

time sh -c "dd if=/dev/zero of=$th bs=100k count=10k && sync" либо так, либо 8 таких потоков

Кто-то сделайте этому господину глубокий пенитрейшин

Свят-свят.

ну вопрос с baremethal loadbalancer'ом для control plane так и не закрыт

А что kubespray в качестве LoadBalancer использует?

Кубпрокси этим заведует же. Создаёшь сервис с скастерайпи, он вешается на всех нодах на лупбек, на каждой ноде конфигурится ipvs (или iptables), всё.

Первый в списке мастер

если первый мастер сляжет api-server недоступен окажется

ну вопрос с baremethal loadbalancer'ом для control plane так и не закрыт

f5 big ip

Кубпрокси этим заведует же. Создаёшь сервис с скастерайпи, он вешается на всех нодах на лупбек, на каждой ноде конфигурится ipvs (или iptables), всё.

где ты сервис создавать будешь если куба еще нет?

и что фио за 6 лет перестал быть верным тестом?

Это я так эмоционально призвал к использованию fio.

f5 big ip

вы сейчас серьезно?

если первый мастер сляжет api-server недоступен окажется

Щас найду, там на каждой ноде нжникс с бакендами из аписерверов.

Кто-то сделайте этому господину глубокий пенитрейшин

да, да, в теории ты лев толстой

вы сейчас серьезно?

нет, но вообще у ф5 для куба есть свой контроллер - там и ингресс контроллер и лойд балансер сервис тип и че только нет

я хотел поиграться, но сетевики зажали ф5 на эксперименты(

ну вопрос с baremethal loadbalancer'ом для control plane так и не закрыт

Тыж вроде умный и знаешь буквы ECMP

их даже я знаю

да, да, в теории ты лев толстой

Для людей, кто делает тест производительности дисковой одним dd отдельный котел в аду, так ещё и не знаете что дд сам умеет писать с синком

а я так себе умный

если первый мастер сляжет api-server недоступен окажется

https://github.com/kubernetes-incubator/kubespray/blob/master/docs/ha-mode.md

а metallb кстати умеет ecmp?

См. Kube-apiserver.

Кто-то сделайте этому господину глубокий пенитрейшин

а на деле ты Сергей из Санкт Питербурга 89 года рождения

а на деле ты Сергей из Санкт Питербурга 89 года рождения

Два раза мимо

а я так себе умный

но вообще раз 15 уже говорилось и тут в том числе что kubelet смотрит в localhost на локалхост haproxy в haproxy API ????? PROFIT

но вообще раз 15 уже говорилось и тут в том числе что kubelet смотрит в localhost на локалхост haproxy в haproxy API ????? PROFIT

Два чая этому адеквату

но вообще раз 15 уже говорилось и тут в том числе что kubelet смотрит в localhost на локалхост haproxy в haproxy API ????? PROFIT

больше haproxy богу haproxy

Для людей, кто делает тест производительности дисковой одним dd отдельный котел в аду, так ещё и не знаете что дд сам умеет писать с синком

Нутк у него там nfs всех побеждал вроде

больше haproxy богу haproxy

Если мсье любит смузи, али хайлоад у него, то есть envoy

Если мсье любит смузи, али хайлоад у него, то есть envoy

какой вы теоретик

Нутк у него там nfs всех побеждал вроде

Если он его ещё с асинк смаунтит то нфс победит всех

какой вы теоретик

У нас даже таска стоит на переехать с haproxy на envoy

Если мсье любит смузи, али хайлоад у него, то есть envoy

у нас идет третмй день тестирования контура в качестве ингресса, пока энвой падает с сегфолтами

У нас даже таска стоит на переехать с haproxy на envoy

а опыт-то есть?

https://github.com/kubernetes-incubator/kubespray/blob/master/docs/ha-mode.md

исчерпывающе, спасибо

а опыт-то есть?

ну сделаем таску - будет

но я лучше буду сидеть черипикать мерджи а энвой чем сяду на нджинкс ингресс

Если он его ещё с асинк смаунтит то нфс победит всех

как ни крути, tmpfs все равно быстрее

как ни крути, tmpfs все равно быстрее

Быстрее l1 Кеша все равно ничего быстрее нет)

Проблема, как известно, в том что сетевые фс, оказывается, медленнее локальных. Щито поделать

Проблема, как известно, в том что сетевые фс, оказывается, медленнее локальных. Щито поделать

Nvme over fabric через конвергентный езернет

еще можно в /dev/null писать :)

Проблема, как известно, в том что сетевые фс, оказывается, медленнее локальных. Щито поделать

Всегда можно выбросить кубер, там все равно оверхед от докера...

Всегда можно выбросить кубер, там все равно оверхед от докера...

Все на уникернелы

но я лучше буду сидеть черипикать мерджи а энвой чем сяду на нджинкс ингресс

а можно подробней причины ?

но я лучше буду сидеть черипикать мерджи а энвой чем сяду на нджинкс ингресс

а почему?

исчерпывающе, спасибо

Юр велкам. Кстати, про L4 лоадбалансинг я бы поговорил. У меня пока получается норм вариант только с ecmp на сетевой железке --> ipvs с dsr через ipip.

а можно подробней причины ?

я хочу 100 стейдж

напомнило историю когда пришло письмо в саппорт. мол мы тут бэкап сайта делаем через ftp, все слили, но вот два файла уже несколько часов скачиваются, не подскажете какой у них размер? /dev/zero и /dev/random

я хочу 100 стейдж

и ? просто сейчас тестирую кубер - хотелось бы развёрнутого ответа.

и ? просто сейчас тестирую кубер - хотелось бы развёрнутого ответа.

хорошо, ингресс ресурс как спецификация ущербен, он не позволяет для одного мэтч правила указывать разные сервисы, делатб траффик шифтинг и прочее.

хорошо, ингресс ресурс как спецификация ущербен, он не позволяет для одного мэтч правила указывать разные сервисы, делатб траффик шифтинг и прочее.

это мы про a/b тестирование, aka canary deployment ?

напомнило историю когда пришло письмо в саппорт. мол мы тут бэкап сайта делаем через ftp, все слили, но вот два файла уже несколько часов скачиваются, не подскажете какой у них размер? /dev/zero и /dev/random

и им показали вывод df -h?

это мы про a/b тестирование, aka canary deployment ?

про любые произвольные варианты этого

и им показали вывод df -h?

была бы истерика что за то время, что скачивают, уже что-то пропало

+ трейсинг удобнее делать

про любые произвольные варианты этого

а можно статейку про это на envoy ? просто я на istio смотрел.

+ трейсинг удобнее делать

да

ну понятно что envoy нынче фичастее

а можно статейку про это на envoy ? просто я на istio смотрел.

heptio/contour

примерно то же самое что истио ингресс гейтвей

без остального сервис меша

напомнило историю когда пришло письмо в саппорт. мол мы тут бэкап сайта делаем через ftp, все слили, но вот два файла уже несколько часов скачиваются, не подскажете какой у них размер? /dev/zero и /dev/random

То есть, какие-нибудь /dev/sda они уже скачали к тому моменту?)

ну /dev/sda имеет конечный размер :)

Ну это да)

heptio/contour

спасибо тебе) Теперь еще и мучаться в муках выбора ))

а можно статейку про это на envoy ? просто я на istio смотрел.

Дык istio - это такой контрол плейн к куче энвоев.

А про фичи энвоя лучше всего в его документации читать, кмк. Tldr умеет то, что и коммерческий nginx (а мб и больше).

Дык istio - это такой контрол плейн к куче энвоев.

сама istio мне понравилась тем, что я могу мерять какой микросервис у меня хреновый. но пока еще разворачиваю на кубере + деплой настраиваю.

а с нагрузкой у него как ? Хотя по идее всё ок должно быть.

слышал что он памяти многовато жрёт

много это сколько ?

я сам пока не юзал, это лишь то что я слышал

а с нагрузкой у него как ? Хотя по идее всё ок должно быть.

Ящетаю, надо тестить, он слишком быстро развивается.

Ящетаю, надо тестить, он слишком быстро развивается.

отлично, значит действительно кубовая технология

слышал что он памяти многовато жрёт

400 мегов на кластер с 1.5к сервисов

на один контейнер с энаоем

400 мегов на кластер с 1.5к сервисов

а в Мбит/с это сколько ? 400 - это ни о чём.

То есть, какие-нибудь /dev/sda они уже скачали к тому моменту?)

я полагаю там могло быть какое-нибудь chroot-окружение)

я слышал что на каждый контейнер

это память на каждый под

если вешать сайдкаром то это +300-400 мб каждому сервису

а сайдкаром - чтобы снимать метрики с самого сервиса, верно ? Прилично, да.