У меня заблочен pastebin(

apiVersion: v1 items: - apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: annotations: storageclass.kubernetes.io/is-default-class: "true" creationTimestamp: 2018-06-08T13:12:16Z name: ceph-rbd namespace: "" resourceVersion: "218938" selfLink: /apis/storage.k8s.io/v1/storageclasses/ceph-rbd uid: 90ab8d48-6b1d-11e8-b694-001a4ab6328a parameters: adminId: admin adminSecretName: ceph-secret adminSecretNamespace: kube-system fsType: ext4 imageFeatures: layering imageFormat: "2" monitors: k8s1:6789,k8s2:6789,k8s3:6789 pool: mypool userId: myuser userSecretName: ceph-secret-myuser provisioner: kubernetes.io/rbd reclaimPolicy: Delete volumeBindingMode: Immediate kind: List metadata: resourceVersion: "" selfLink: ""

А секрет для юзера в каком NS?

userSecretNamespace ?

Индивидуально в каждом?

Под каждый проект?

вродеж все в kube-system

Не, если не указываешь userSecretNamespace, то он жрет переменную из того NS куда ты диски

аа, нет

провижиниш

--namespace=default

Это откуда?

ключ с которым скреачен myuser

В общем создай секрет ceph-secret-myuser в том NS куда ты PVC делаешь. И ппопробуй

Не факт что именно в этом дело, но по логике использования ceph-rbd это должно работать именно так

или задавай userSecretNamespace: default

как в моем примере

понял, добро, попробую

ничосе вы через звёздочки видите пароль

там hunter2

или задавай userSecretNamespace: default

не, не пошло

не, не пошло

Ошибка та же?

На стороне сефа точно все ок?

да. полный текст: I0608 14:16:55.397459 1 event.go:218] Event(v1.ObjectReference{Kind:"PersistentVolumeClaim", Namespace:"default", Name:"claim1", UID:"c626a3fd-6b25-11e8-b694-001a4ab6328a", APIVersion:"v1", ResourceVersion:"223619", FieldPath:""}): type: 'Warning' reason: 'ProvisioningFailed' Failed to provision volume with StorageClass "ceph-rbd": failed to create rbd image: exit status 1, command output: 2018-06-08 14:16:55.347849 7f869847c7c0 -1 did not load config file, using default settings. rbd: extraneous parameter --image-feature

На стороне сефа точно все ок?

да, судя по статусам

Хм, тогда наверно больше не подкину идей

версия ядра?

ноды, с которой rbd map делается

4.17.0-1.el7.elrepo.x86_64

аа, с которой rbd ща.

4.16.2-1.el7.elrepo.x86_64

не, там на конфиг ругается, меня смутило: —image-feature - на это ругалось, когда ядра старые были

Ядра разные/старые или версии сефа/клиентов разные

https://github.com/kubernetes-incubator/kubespray/issues/1959 вот например мой гугл подсказывает

у меня версии клиента и сервера различаются v1.10.3 клиент v1.10.4 сервер. rdb брал под версию сервера

Это версии чего?

кубера

А он тут при чём, если у тебя сеф не монтируется?

да, действительно

Рбд какой версии?

А сам сеф?

sudo ceph version ceph version 10.2.10

rbd -v ceph version 0.94.5

во

Обновить можешь до той же версии что на сервере?

-1 did not load config file, using default settings. вот эта ошибка пренадлежит rdb, её он выдаёт при неверных параметрах

конечно, посмотрю сейчас с каких реп какая версия доступна

0.94.5 это какого года версия вообще?

А у тебя какую показывает?

А у меня нет сефа :)

Особенно на телефоне

Хм, тогда наверно больше не подкину идей

Какая версия rbd?)

Если не затруднит

Уже не на работе(

Не подскажу

вобщем с версией я вроде как понял. rbd берёт версию ceph-common, который в системе. в контроллере ceph-common взят из штатных реп, который действительно 0.94. сделаю сам контроллер с свежими версиями и посмотрим

привет позвольте небольшой опросец: кто чем логирует/мониторит и почему?

прочитал в пдф-ке одной что надо мониторить прометеусом а логи собирать fluentd

так и делаю

(на самом деле нет)

привет позвольте небольшой опросец: кто чем логирует/мониторит и почему?

и зачем

Вобщем помогло впиливание свежей версии rbd. Всё завелось на ура

прочитал в пдф-ке одной что надо мониторить прометеусом а логи собирать fluentd

А на самом деле как? В том то и дело что ищу удачное решение и хотелось бы услышать мнение более опытных товарищей

Прометеус весьма хорош почему не он?

А на самом деле как? В том то и дело что ищу удачное решение и хотелось бы услышать мнение более опытных товарищей

Заббикс. Стабильно, нарузку держит, в горизонталь скэйлится.

Заббикс. Стабильно, нарузку держит, в горизонталь скэйлится.

Я даже не могу понять это тонко или толсто

80 тачек, по 40 базовых айтемов, с интервалом обновления в 1 секунду. 180 дней тренды, 7 история. Это было без сарказма.

Всего 80

У нас было восемьдесят тачек, сорок базовых айтемов, интервал обновления в одну секунду, сто восемьдесят дней трендов и семь - истории. Единственное, что меня беспокоило - это сарказм.

80 тачек, по 40 базовых айтемов, с интервалом обновления в 1 секунду. 180 дней тренды, 7 история. Это было без сарказма.

это значит 3200 точек в секунду же

Злые вы. А заббикс хороший, если посгрес притьюнить, и прокси юзать.

вот кстати поэтому в церкви метрик за упоминание заббикса - бан

Да каждый раз, когда начинают цифрами хвастаться, становится липко и тоскливо.

Да каждый раз, когда начинают цифрами хвастаться, становится липко и тоскливо.

почему?

вот кстати поэтому в церкви метрик за упоминание заббикса - бан

А меня от документации прометея тошнит, и?)

ну фигово тебе

Как правило это случается тогда, когда нет более внятных аргументов и не хватает нужных знаний, чтобы доказать гипотезу.

Мониторинг должен предупреждать о событиях, чтобы заранее отреагировать. Чем мониторить - каждый выбирает сам, это инструмент. Я умею готовить заббикс - его и юзаю, плюсов прометея (для себя) не увидел, попробовал, выкинул. Где я не прав?

80 хостов - сильно громкое заявление на счёт умею готовить

Было две локации крупных, по пару сот серваков в каждой, плюс сотня виртуалок, короче борохла порядка 600 инстансов

Но заббикс юзали как алертинг онли

Графики были с графита и графана

Ну инстансов заббикса с подключением к одной бд может и можно накидать - я к счастью его не пробовал ни разу - но сама SQL у тебя вообще ни разу не отмасштабируется горизонтально, так что это заявление не очень корректно

На графит стэк валило тыщ 300 метрик в секунду это суммарно на обе локации

Хватить письками меряться

Ну инстансов заббикса с подключением к одной бд может и можно накидать - я к счастью его не пробовал ни разу - но сама SQL у тебя вообще ни разу не отмасштабируется горизонтально, так что это заявление не очень корректно

Основной заббикс собирает с двух проксей, к нему графана.

Хватить письками меряться

Не собирался.

Забавно вы горизонтальное масштабирование понимаете

Это не совсем горизонталь, соглашусь. Но суть одна - можно подцепить и 80, и 300к.

Прометеус весьма хорош почему не он?

Прометеус, но не флюентд

На графит стэк валило тыщ 300 метрик в секунду это суммарно на обе локации

на прошлой работе у нас было 18 млн в секунду :D

на прошлой работе у нас было 18 млн в секунду :D

При тебя я вообще молчу

@robolucion не, ну это какой-то там букинг всего лишь навсего был