Бенчмаркинг ннадо

# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 test: (g=0): rw=randrw, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=64 fio-2.2.10 Starting 1 process test: Laying out IO file(s) (1 file(s) / 4096MB) Jobs: 1 (f=1): [m(1)] [100.0% done] [305.8MB/101.8MB/0KB /s] [78.3K/26.4K/0 iops] [eta 00m:00s] test: (groupid=0, jobs=1): err= 0: pid=16524: Sat Aug 11 00:45:34 2018 read : io=3071.7MB, bw=318037KB/s, iops=79509, runt= 9890msec write: io=1024.4MB, bw=106058KB/s, iops=26514, runt= 9890msec cpu : usr=14.28%, sys=69.56%, ctx=36192, majf=0, minf=10 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued : total=r=786347/w=262229/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0 latency : target=0, window=0, percentile=100.00%, depth=64 Run status group 0 (all jobs): READ: io=3071.7MB, aggrb=318037KB/s, minb=318037KB/s, maxb=318037KB/s, mint=9890msec, maxt=9890msec WRITE: io=1024.4MB, aggrb=106058KB/s, minb=106058KB/s, maxb=106058KB/s, mint=9890msec, maxt=9890msec Disk stats (read/write): drbd1066: ios=773817/258151, merge=0/0, ticks=740/296, in_queue=469676, util=99.05%, aggrios=786347/262232, aggrmerge=0/0, aggrticks=236960/8916, aggrin_queue=246232, aggrutil=98.36% dm-3: ios=786347/262232, merge=0/0, ticks=236960/8916, in_queue=246232, util=98.36%, aggrios=786347/262274, aggrmerge=0/2, aggrticks=237100/8800, aggrin_queue=237792, aggrutil=98.17% nvme0n1: ios=786347/262274, merge=0/2, ticks=237100/8800, in_queue=237792, util=98.17%

круто, да?

круто, да?

Нет, что за диски, сколько и т д

диски nvme INTEL SSDPEKKA010T7, в данном случае с репликой 2

Нет, что за диски, сколько и т д

Я бы посмотрел на ваш результат в ceph :)

диски nvme INTEL SSDPEKKA010T7, в данном случае с репликой 2

Пфф

Пфф

пссст, это HA NFS такой

пссст, это HA NFS такой

Ты о чем именно?

Ты о чем именно?

о drbd

А

А ebs ? Longhorn?

последние два вроде всё подряд поддерживают

пссст, это HA NFS такой

Нет, это без NFS

Нет, это без NFS

эммм, окей, хорошо, допустим (я тогда ничего не понял, конечно же, что та статья по ссылке от вас, что весь гугл говорит об NFS, об NFS мы спорили вчера). Для 9го все еще нужно совать модули в ядро?

Да, там dkms

ясно, спасибо

Ну если нужен readwritemany можно запустить NFS но будет медленнее раза в 3

подскажите, плиз, как завести kubectl через socks прокси?

туннель поднял ssh -D <port> -f -C -q -N user@host.name.com

доблестный РКН заблочил IP адреса в hetzner'е (даже уже и разблочил,но не все провайдеры спешат обновлять у себя списки)

у меня репозиотий компании не был доступен

я позвонил в ростелеком

через некоторое время разблочили

Кто-нибудь использовал Win10 Server в кач-ве ноды для куба с Ранчером v2?

воу это реально?

воу это реально?

хмм точно, дебильный вопрос. Это ж нужен линукс в виртуалке, ок

даже на маке вроде через линукс контейнер

Где фотки?!

а фоток с прошлого митапа так и не завезли, да?

я позвонил в ростелеком

принято

Кто-нибудь использовал Win10 Server в кач-ве ноды для куба с Ранчером v2?

Был вроде анонс

Я точно знаю, что в докере недавно добавили такой функционал на винде

Что можно мини учебный кластер запилить

Надо погуглить

Что можно мини учебный кластер запилить

мне в продакшн воркеров докидать нужно, просто нашел несколько забытых виндовс серверов, вот хочу запрячь

# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 test: (g=0): rw=randrw, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=64 fio-2.2.10 Starting 1 process test: Laying out IO file(s) (1 file(s) / 4096MB) Jobs: 1 (f=1): [m(1)] [100.0% done] [305.8MB/101.8MB/0KB /s] [78.3K/26.4K/0 iops] [eta 00m:00s] test: (groupid=0, jobs=1): err= 0: pid=16524: Sat Aug 11 00:45:34 2018 read : io=3071.7MB, bw=318037KB/s, iops=79509, runt= 9890msec write: io=1024.4MB, bw=106058KB/s, iops=26514, runt= 9890msec cpu : usr=14.28%, sys=69.56%, ctx=36192, majf=0, minf=10 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued : total=r=786347/w=262229/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0 latency : target=0, window=0, percentile=100.00%, depth=64 Run status group 0 (all jobs): READ: io=3071.7MB, aggrb=318037KB/s, minb=318037KB/s, maxb=318037KB/s, mint=9890msec, maxt=9890msec WRITE: io=1024.4MB, aggrb=106058KB/s, minb=106058KB/s, maxb=106058KB/s, mint=9890msec, maxt=9890msec Disk stats (read/write): drbd1066: ios=773817/258151, merge=0/0, ticks=740/296, in_queue=469676, util=99.05%, aggrios=786347/262232, aggrmerge=0/0, aggrticks=236960/8916, aggrin_queue=246232, aggrutil=98.36% dm-3: ios=786347/262232, merge=0/0, ticks=236960/8916, in_queue=246232, util=98.36%, aggrios=786347/262274, aggrmerge=0/2, aggrticks=237100/8800, aggrin_queue=237792, aggrutil=98.17% nvme0n1: ios=786347/262274, merge=0/2, ticks=237100/8800, in_queue=237792, util=98.17%

А сеть какая? Или вы локально fio сделали?

Но надо поисследовать. Я кажется и оф. доке видел что-то про виндовс

Сейчас не могу посмотреть

а фоток с прошлого митапа так и не завезли, да?

Ага

А сеть какая? Или вы локально fio сделали?

Сеть 10G Ethernet, без RDMA

Сеть 10G Ethernet, без RDMA

это FIO по сети?

Один девайс локальный, другой удаленный, drbd в режиме полной синхронизации (protocol C)

Если оба девайса удаленные то будет чуть поменьше, но не намного

@SinTeZoiD

/report

Надо @SinTeZoiD в @report переименовать^_^

@SinTeZoiD @DenisIzmaylov spam

Надо @SinTeZoiD в @report переименовать^_^

Или кому-то починить бота

Или кому-то починить бота

ты про спам бота?

ты про спам бота?

Ага

Ага

я думал у всех один бот, в @devops_jobs @devops_ru вродь работает О.о

я думал у всех один бот, в @devops_jobs @devops_ru вродь работает О.о

Хз

я думал у всех один бот, в @devops_jobs @devops_ru вродь работает О.о

и это единственный кто там работает

/report

?

Как получить 'kubectl top nodes' в json ?

--output json не работает

коллеги, а кто соответсвует? https://habr.com/company/flant/blog/417905/

Kubelet вырубает все контейнеры когда на корневом разделе остаётся мало места, подскажите как эту балалайку отключить?

по этому поводу куча параметров, не понимаю что конкретно нужно использовать

--eviction-hard поменял, посмотрим

Он вообще при недостатке места на любом из разделов будет врубать эвакуацию

Есть темы с reclaim policy

Но если кратко, не нужно ничего писать на ноду, тогда и проблемы такой не будет

Самое забавное что у меня докер вообще на другом разделе, а кубелет паникует когда на руте места мало

Ему пофиг)

А ещё такой вопрос, я тут сооуражаю плэйбук для мультимастера в очередной раз. Мастерам достаточно одинакового ca.crt, а apiserver.crt могут быть разными?

Ну ca логично один иметь

кажется кому-то надо бы изучить как работает ssl

я к тому, не будет ли проблем если у мастеров будут разные сертификаты?

понятно что если одним корневым подписаны, то не должно быть проблем, хз где у куба может затык возникнуть

Эх... В сиэн или сан

Когда ни там ни там не будет нужного имени/айпи

Самое забавное что у меня докер вообще на другом разделе, а кубелет паникует когда на руте места мало

Вообще, кублет следит как за разделом с докером, так и за разделом где лежат данные самого кублета. Например, /var/lib/kubelet

А ещё такой вопрос, я тут сооуражаю плэйбук для мультимастера в очередной раз. Мастерам достаточно одинакового ca.crt, а apiserver.crt могут быть разными?

Где можно почитать про плейбуки для мультимастеров?

Читать нужно про то как поднять мультимастер и переделить инструкцию в плэйбук читая доки ansible.

Где можно почитать про плейбуки для мультимастеров?

Kubespray?

Читать нужно про то как поднять мультимастер и переделить инструкцию в плэйбук читая доки ansible.

Есть линк на такое?

Kubespray?

Спс

Это уже готовый

Тем не менее там описан алгоритм что где генерить и куда передавать

Мне кажется он сложноват будет для понимания. Я бы начал с простых инструкции по настройке мультимастера, коих полно

https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/ https://blog.inkubate.io/install-and-configure-a-multi-master-kubernetes-cluster-with-kubeadm/ https://docs.ansible.com/ansible/2.5/user_guide/quickstart.html

Мне кажется он сложноват будет для понимания. Я бы начал с простых инструкции по настройке мультимастера, коих полно

Из сложного много разнообразных инклудов и очень интересная вещь с синхронизацией файлов. А сам мультимастер прост.

Мне кажется он сложноват будет для понимания. Я бы начал с простых инструкции по настройке мультимастера, коих полно

вы не правы

Ну да, более того, он продолжит выполняться на ноде, при этом куб не знает выполняется он или нет. Если такой под просто удалить из API, куб его пересоздаст на другой ноде, подключит и смаунтит тот же iscsi-volume, при этом в лучшем случае под не заведется, в худшем заведется и ты получишь поврежденную фс на волуме. Так как она смонтирована на нескольких физически разных нодах.

Неправда, пока нода не зарепортит что вольюм неиспользуется, нигде никто его не подключит. Attach-Detach контроллер этим занимается и проследит.

Оу, добро пожаловать снова!

Оу, добро пожаловать снова!

ты вообще спишь?