просто погугли kubernetes cephfs provisioner

--- Привет всем! Купил билет на тренинг по Кубернетису в Киеве, но планы поменялись и поехать туда не получается https://www.eventbrite.com/e/kubernetes-workshop-tickets-47031971894 Если есть желающие, пишите. Продам по себестоимости.

Всем привет! Есть вопрос к знатокам )) На тему PersistentVolume (pv) Как мне привязать конкретный PVC к конкретному PV ? (либо как то иначе организовать процесс?) У меня есть кластер ceph, в котором живёт CephFS. (она, как известно, может быть только одна). Но в ней надо хнарить данные разных проектов, поэтому в ней созданы папки для этих проектов. Далее в кубе я создаю несколько PV (в каждом монтирую нужную папку). Далее мне надо как то ассоциировать PVC в конкретном проекте к нужному PV. Единственную связку, которую я нашёл в мануале - это StorageClass. Но для CephFS не существует StorageClass (в апи нет такого provisioner-а).

Так легко же. PVC могут и без StorageClass работать. selector: matchLabels: release: "stable" matchExpressions: - {key: environment, operator: In, values: [dev]} Добавь вот эту штуку в PVC, определив правильный селектор. И лейблы правильные на PV проставь, чтобы PVC к нему привязался. И всё, в общем-то.

Всем привет! Есть вопрос к знатокам )) На тему PersistentVolume (pv) Как мне привязать конкретный PVC к конкретному PV ? (либо как то иначе организовать процесс?) У меня есть кластер ceph, в котором живёт CephFS. (она, как известно, может быть только одна). Но в ней надо хнарить данные разных проектов, поэтому в ней созданы папки для этих проектов. Далее в кубе я создаю несколько PV (в каждом монтирую нужную папку). Далее мне надо как то ассоциировать PVC в конкретном проекте к нужному PV. Единственную связку, которую я нашёл в мануале - это StorageClass. Но для CephFS не существует StorageClass (в апи нет такого provisioner-а).

Подробнее про лейблы и селекторы, чтобы лучше ориентироваться. https://kubernetes.io/docs/concepts/overview/working-with-objects/labels/

Спасибо!

StorageClass нужен для dynamic provisioning. Чтобы PV сами появлялись, грубо говоря. Иначе, их надо вручную создавать корректно, чуть больше делать.

да, но настройки подключения к ceph есть и в StorageClass и в PersisstentVolume. мне не понятно, как разруливать мою ситуацию с разными папками. получается, надо на каждую делать отдельный StorageClass. Либо тоже на каждую папку делать отдельный PersisstentVolume и привязывать к PVC через лейблы. второй вариант мне пока кажется разумнее ))

Господа, подскажите мне, сейчас кошерный метод деплоя прометеуса в кластер - это Prometheus Operator?

ну он вроде норм, но не так чтобы самый кошерный

обычный прометей тоже ок

ну он вроде норм, но не так чтобы самый кошерный

а кто самый кошерный? :)

смотря какие задачи

да обычный прометей тоже работает без особых проблем

если промежуточный, который собирает с одного кластера и отправляет на вышестоящий - то обычный

смотря какие задачи

задача: в кластере есть несколько десятков почти однотипных неймспейсов, все из которых волатильные (это девелоперские стенды). нужно сделать удобный и простой способ сбора метрик из каждого неймспейса, чтобы разработчики могли это делать самостоятельно

я вижу два варианта: 1) прометеус в каждый неймспейс 2) прометеус-оператор

первый вариант мне кажется странным

> чтобы разработчики могли это делать самостоятельно бери оператор

первый вариант мне кажется странным

и мне.

а чем плох третий вариант - один прометей на весь кластер?

а чем плох третий вариант - один прометей на весь кластер?

у меня есть подозрение, что индивидуальные пользователи этого прометеуса потеряют в гибкости настройки, не?

> чтобы разработчики могли это делать самостоятельно делать самостоятельно что?

> чтобы разработчики могли это делать самостоятельно делать самостоятельно что?

пихать метрики, извлекать метрики, конфигурить релейблинг, рисовать дашборды в графане (это уже не очень важно как) и рисовать себе алерты в алерт-менеджере

у меня есть подозрение, что индивидуальные пользователи этого прометеуса потеряют в гибкости настройки, не?

настройки чего? все индивидуальности потом в графане можно реализовывать

ну релейблинг и/или игнор в графане не появятся... хотя можно извернуться

а на одном прометее они не уживутся? попортят друг другу конфиги?

хз, я пока не пробовал их туда уживать.

потому и спрашиваю, в которую сторону копать :)

а сейчас как?

Господа, подскажите мне, сейчас кошерный метод деплоя прометеуса в кластер - это Prometheus Operator?

Там один молодой малоизвестный стартап на конференции говорил про прометей. Может, найдёшь, что интересное. https://habr.com/company/flant/blog/412901/

а сейчас как?

а сейчас никак, экспоз метрик есть, а сбора нет :D

тут ещё человеческий фактор - как организовать. если разрабы готовы ковыряться сами с релейблом и алертами - видимо есть смысл дать в каждую команду свой прометей и пускай играются сами ))

не, тут не команда, тут каждая отдельная голова

ну ладно, пойду окопаю оператор

тогда каждой голове ))

Простите за оффтоп, но очень накипело ? Напишите в личку аналоги Skype которые вы используете для корпоративного общения? Важно, чтобы там были групповые чаты и звонки, клиенты под macos, win, android, ios.

zoom

тоже зум )) но он скорее для видео. а тексты - слак

Hangouts, bluejeans например

Простите за оффтоп, но очень накипело ? Напишите в личку аналоги Skype которые вы используете для корпоративного общения? Важно, чтобы там были групповые чаты и звонки, клиенты под macos, win, android, ios.

дискорд

slack?

слак же умеет звонки

slack+zoom

Простите за оффтоп, но очень накипело ? Напишите в личку аналоги Skype которые вы используете для корпоративного общения? Важно, чтобы там были групповые чаты и звонки, клиенты под macos, win, android, ios.

hangouts

synapse + riot + jitsi

странно, что нет единого инструмента ?

странно, что нет единого инструмента ?

был скайп, и чем это кончилось?...

Привет всем. Подскажите, кто-то сталкивался с TX overruns\ errors на tunl0 интефейсе calico 3.1.3 +- по одному в минуту http://take.ms/frGnD http://take.ms/xqNSL ?

а если вернуться к топику скайпа vs ... zoom выглядит ок за исключением что в бесплатной версии 40мин на группу. есть что-то без этого лимита? моя жадный.

а если вернуться к топику скайпа vs ... zoom выглядит ок за исключением что в бесплатной версии 40мин на группу. есть что-то без этого лимита? моя жадный.

Реально часто митинги более 40 минут?)

Тогда мне кажется менять надо не скайп на зум, а нечто иное)

а если вернуться к топику скайпа vs ... zoom выглядит ок за исключением что в бесплатной версии 40мин на группу. есть что-то без этого лимита? моя жадный.

мы пересоздавали если затянивалось. Но то, что нужно пересоздать - уже звоночек был, что затянули.

$14.99 в месяц же не много. хостинг/sentry/datadog/browserstack и тп стоят дороже.

Более менее хороший специалист стоит больше 1к/ч, т.е. это цена 1 часа специалиста. Если так считать, то очень адекватная цена. 1месяц - 1человекочас

протерял вывод init'а с join'ом. Пытаюсь создать новый токен # kubeadm token create 'hmqn46.bu87xhcl6fo6a7b8' --print-join-command --ttl=0 I0706 12:15:50.958235 7498 feature_gate.go:230] feature gates: &{map[]} таймаут timed out waiting for the condition Я че-то не так делаю?

kubeadm token create —print-join-command должно работать

kubeadm token create —print-join-command должно работать

таймаут

я конечно могу kubeadm reset сделать, это игрушечная площадка. но хотелось бы понять

6443 порт открыт?

ща в хостс загляну

у меня только идеи, что порт закрыт или ip не тот у мастера публичный

в хостс лишнего нет, в iptables тоже только кубовые правила

curl masterip:6443 что-то даёт?

пустую строку

в кубернетесе есть рестрикшены на длину имен неймспейсов ?

пустую строку

kubectl config view | grep server там корректный ip?

ERROR: S client not available

да, верный. а пустая строка, потому что я https забыл сунуть курлу

{ "kind": "Status", "apiVersion": "v1", "metadata": { }, "status": "Failure", "message": "forbidden: User \"system:anonymous\" cannot get path \"/\"", "reason": "Forbidden", "details": { }, "code": 403 }

$14.99 в месяц же не много. хостинг/sentry/datadog/browserstack и тп стоят дороже.

это не для работы ). семейное еженедельное сборище

бабушки внуков хотят увидеть и тп

Друзья посоветуйте, как решить вопрос. Есть openstack. Как сделать так чтобы для для сервиса LoadBalancer выделялся постоянный ip? Выделил себе айпишник из пула в Horizon, но не могу в сервисе указать чтобы он его использовал как externalIP

Если просто делаю сервси LoadBalancer, то статический айпишник открывается, но при удалении сервиса он освобождается

у меня всё мучения с ingress-nginx. по совету отсюда сделал nginx с HostNetwork: true без service-nodeport

теперь в логе контейнера валится W0706 11:34:05.899979 7 queue.go:130] requeuing &ObjectMeta{Name:sync status,GenerateName:,Namespace:,SelfLink:,UID:,ResourceVersion:,Generation:0,CreationTimestamp:0001-01-01 00:00:00 +0000 UTC,DeletionTimestamp:<nil>,DeletionGracePeriodSeconds:nil,Labels:map[string]string{},Annotations:map[string]string{},OwnerReferences:[],Finalizers:[],ClusterName:,Initializers:nil,}, err services "ingress-nginx" not found кто его искать пытается?

cat ingress-values.yaml name: nginx-ingress namespace: kube-system rbac: create: true controller: kind: DaemonSet daemonset: useHostPort: true helm install --namespace kube-system --name nginx-ingress stable/nginx-ingress -f ingress-values.yaml По ошибке ничего не скажу, но поднимал так, сразу все стало.

это в клауде или на baremetal?

я до изучения хелма ещё не дошёл. может правда через него и попробовать...

а, раз hostPort: true, значит метал

baremetal

там без helm нужно обдуманно написать 4-6 yml, на начальном этапе я не осилил, а раз сразу заработало с helm, то пока не трогаю.

эх, сам хелм установить тоже мозги нужны, оказалось

Сегодня проверила таки по разным кейсам nifi (jvm + write heavy) проверила чистый docker + vfs/zfs/overlay, проверила использование heapsize, вобщем лучше всего в такой ситуации по производительности оказался overlay (zfs на сайте докера рекомендовался для write-heavy, но по факту производительность (создание очень мелких файликов + запись в логи) оказалась примерно на 20% ниже чем на overlay. Java 8 (151) ведет себя вполне хорошо с ограниченными xmx. По факту оказалось, что еще и я в одном месте накосячила (для тех, кто в теме nifi - backpressure ? ). В итоге с учетом исправления бага, а также overlay & flannel производительность отличается на 25% (что уже совсем не так плохо)

статью пиши с графиками и полной раскладкой

ты hostpath попробуй ещё, без оверлейфс совсем

Сегодня проверила таки по разным кейсам nifi (jvm + write heavy) проверила чистый docker + vfs/zfs/overlay, проверила использование heapsize, вобщем лучше всего в такой ситуации по производительности оказался overlay (zfs на сайте докера рекомендовался для write-heavy, но по факту производительность (создание очень мелких файликов + запись в логи) оказалась примерно на 20% ниже чем на overlay. Java 8 (151) ведет себя вполне хорошо с ограниченными xmx. По факту оказалось, что еще и я в одном месте накосячила (для тех, кто в теме nifi - backpressure ? ). В итоге с учетом исправления бага, а также overlay & flannel производительность отличается на 25% (что уже совсем не так плохо)

Любые большие I/O нагрузки надо 100% выносить из под всяких layered filesystems. HostPath, Local Storage и т.д. Только так.

Сегодня проверила таки по разным кейсам nifi (jvm + write heavy) проверила чистый docker + vfs/zfs/overlay, проверила использование heapsize, вобщем лучше всего в такой ситуации по производительности оказался overlay (zfs на сайте докера рекомендовался для write-heavy, но по факту производительность (создание очень мелких файликов + запись в логи) оказалась примерно на 20% ниже чем на overlay. Java 8 (151) ведет себя вполне хорошо с ограниченными xmx. По факту оказалось, что еще и я в одном месте накосячила (для тех, кто в теме nifi - backpressure ? ). В итоге с учетом исправления бага, а также overlay & flannel производительность отличается на 25% (что уже совсем не так плохо)

а вы зфс правильно приготовили то? ну там ссд под кешик чтения, ссд под кешик записи, много-много рам

hostpath дает 700к файлов против 900к живых, впринципе лучшее.

а вы зфс правильно приготовили то? ну там ссд под кешик чтения, ссд под кешик записи, много-много рам

нет конечно, у стенда вообще разделенные ресурсы на два кластера :) vmfs

ну зфс никогда быстрым не был если в него всё что не рекомендуется не напихать и не потюнить. Так что вполне на правду похожу по замерам

ну мое знакомство с zfs ограничилось статьей на сайте докера, потому ничего не тюнила.

hostpath с какой фс?

ext4

Только ещё не нашел софтины, которая будет при push отправлять на сборку не все проекты, а только то, что поменялось + deps :( Может кто знает?

dapp? (@dapp_ru)

Только ещё не нашел софтины, которая будет при push отправлять на сборку не все проекты, а только то, что поменялось + deps :( Может кто знает?

dapp?

https://flant.github.io/dapp/index.html

https://github.com/flant/dapp

https://github.com/flant/dapp

да, я знаю про ваше решение и ruby очень близко. Там прямо граф зависимостей можно описать?

там прямо можно указать при изменении каких файлов какую часть образа собирать. в куче вариантов. кстати, есть не только ruby, но и ansible