т.е. мне для кластера ceph надо еще отдельный кластер куба поднять? Тогда если честно - еще больше непонятен юзкейс

Что даст деплой ceph в кубер кластер в таком случаи, если его не мешать с воркер нодами, в таком кейсе кубер просто лишняя прослойка

Плюс сложность конфигурирования самого ceph

Тот же скраб и планирование его с ростом кластера и нагрузки

То же редактирование круш карты, что бы разделить ноды по рэкам и машзалам

Да и вообще куча всего, сам по себе ceph то ещё попоебство, а тут ещё его в кубере предлогают ранить и управление отдать какому-то инструментарию ещё в Альфа версии

Это разве что так, для демо стенда где данные потерять не проблема

Тот кто предлагает rook юзать сейчас, явно с ceph имеет очень скудный опыт и не на больших данных и не с активной жизнью дисков, у которых срок наработки есть уже в пару лет

прямо все мои сомнения просуммированы

т.е. мне для кластера ceph надо еще отдельный кластер куба поднять? Тогда если честно - еще больше непонятен юзкейс

сейчас де факто раздеполить "еще один" k8s не является проблемой, и многие workload'ы специально деливерят для k8s что бы окрестрировать и автоматизировать деплоймент

сейчас де факто раздеполить "еще один" k8s не является проблемой, и многие workload'ы специально деливерят для k8s что бы окрестрировать и автоматизировать деплоймент

То что есть "распрекрасный" кубер, не говорит что в него надо пихать все, хотя они и пытаются навязать обратное

То что есть "распрекрасный" кубер, не говорит что в него надо пихать все, хотя они и пытаются навязать обратное

есть же бест-практис и статьи, где довольно доходчиво написано что стоит совать в k8s, что нет

https://pbs.twimg.com/media/DcXBhzoW4AA0LGg.jpg посмотрите на этих серьезных дядей rook.io deep dive for developers & admin

https://techcrunch.com/2018/05/02/upbound-grabs-9-m-series-a-to-automate-multi-cloud-management/

https://pbs.twimg.com/media/DcXBhzoW4AA0LGg.jpg посмотрите на этих серьезных дядей rook.io deep dive for developers & admin

и что я тут должен увидеть?

у меня опыта с ceph с 0.8 его версии

и я оперирую реальным опытом, а не серьезными дядеми

вообщем я не защищаю и не продаю rook, очевидная архитектурная промашка, если при апгреде k8s на котором запущен rook и ceph, k8s полоамется, нужно будет применить смекалку что бы вытащить из поломанного ceph'a user-data остальные аргументы про "доступ на прямую к железу" и "докер - это эфемерные контейнеры", мягко говоря не очень.

и я оперирую реальным опытом, а не серьезными дядеми

окей, когда у меня сломается ceph у кастомера на 11 пятабайт и не смогу его починить, я напишу вам в ЛС с коммерческим прердложением. пока полет нормальный

11 петабайт рав или с каким-то уже RF?

уже RF

и какой именно RF?

сколько лет наработки дискам, какая сеть?

сколько дисков на ноду и колличество памяти на нее

crush мапа редачидась или дефолтная

что со скрабом

сколько лет наработки дискам, какая сеть?

этому деплойменту около 4 месяцев, железо было закуплено полностью новое. если вам нужны детали, я смогу их добыть в понедельник, прямо с env'a

11 петабайт это уже занятого обйома или всего с учетом RF подупстим 3

11 петабайт это уже занятого обйома или всего с учетом RF подупстим 3

нет, не занятого, перед ним стоит небольшой кластер. обкатываем workload'ы и запускаем далее на большом ceph'e

я так понимаю за 4 месяца из 11 петабайт занято не так уж и много

вам видимо виднее, впрочем это оффтопик.

Я пробовал. Если на ноде удалить все с /var/lib/docker/, то у вас будет минус одна нода ceph, при этом автоматом когда вы запустить kubelet он контейнеры вернет, но ceph в строй не вернется автоматом и у вас будет кластер с 2 работающими нодами ceph

Такое себе :(

Splunk (https://www.splunk.com, cloud/on-premise); Loggly (https://www.loggly.com, cloud); Datadog (https://www.datadoghq.com, cloud)

Спасбо, но

Походк альтернатив еластику нет

Разае что logstash поменять

Походк альтернатив еластику нет

Как справедливо заметил @shursh — стек ClickHouse (+LogHouse+fluentd)

Спасбо, но

Если объёмы логов небольшие - можете попробовать Splunk Free license (up to 500 MB per day and will never expire)

oklog ещё есть, но у него не все фичи пока реализованы

Кто-то может поделиться линком на гластер канал в телеграме?

https://github.com/kubeflow/experimental-kvc кто нибудь пробовал?

https://github.com/kubeflow/experimental-kvc кто нибудь пробовал?

выглядит интересно, если кто-нибудь попробует, пошарьте опыт в чат

мне больше из соседнего репозитория понравилось https://github.com/kubeflow/tf-operator

Кореось про операторы с месяц назад писали

https://github.com/kubeflow/tf-operator/blob/master/examples/tf_job/templates/tf_job.yaml мне порой не хватало таких абстракций

https://github.com/operator-framework/awesome-operators

https://github.com/operator-framework/awesome-operators

Спасибо

Спасибо

Напиши потом отзыв, пожалуйста, стоит ли вообще трогать

Напиши потом отзыв, пожалуйста, стоит ли вообще трогать

Я не уверен что мои руки дойдут до этого в ближайшее время, но постараюсь делегировать. Если будет что то стоящие отпишусь

oklog ещё есть, но у него не все фичи пока реализованы

Ну если не умрет

Добрый день, товарищи ! Как подсунуть ssh key в качестве env. Использую helm . В папке с template есть файл secrets.yaml который имеет вид: .... (описание секрета ) data: privateKey: {{ .Values.privateKey | b64enc | quote }} publicKey: {{ .Values.publicKey | b64enc | quote }} В файле values.yaml privateKey: значение private key publicKey: значение public key Собственно при запуске приложения который использует env , падает с ошибкой не валидности приватного ключа. Можно ли как нибудь более корректно поднусуть ssh ключ в контейнер ?

Всем привет,не могли посоветовать литературу по кубику?

Всем привет,не могли посоветовать литературу по кубику?

Глянь в доках группы, хотя там их много

Ок,спасибо

Просто думал что есть какие то уже зарекомендованые типа лутца для питона

Добрый день, товарищи ! Как подсунуть ssh key в качестве env. Использую helm . В папке с template есть файл secrets.yaml который имеет вид: .... (описание секрета ) data: privateKey: {{ .Values.privateKey | b64enc | quote }} publicKey: {{ .Values.publicKey | b64enc | quote }} В файле values.yaml privateKey: значение private key publicKey: значение public key Собственно при запуске приложения который использует env , падает с ошибкой не валидности приватного ключа. Можно ли как нибудь более корректно поднусуть ssh ключ в контейнер ?

возможно с переносами строк что-то не так все зависит от того, как у тебя ключ в Values.yaml записан и как его потом обратно из env декодирует приложение ты пробовал просто в лог его распечатать для дебага?

возможно с переносами строк что-то не так все зависит от того, как у тебя ключ в Values.yaml записан и как его потом обратно из env декодирует приложение ты пробовал просто в лог его распечатать для дебага?

Тоже думал насчёт переноса , я у приватного ключа секции BEGIN и END обрезал и удалил все переносы и пробелы. Как понимаю это вообще не валидно ? Можно его в какой нибудь другой формат перегнать чтобы он имел вид одной строки без переносов и пробелов ?

не нужно ничего удалять просто кодируй его в b64, а приложение его потом пусть декодирует обратно перед использованием, так все переносы сохранятся

либо не env используй, а монтируй секрет сразу в файл

apiVersion: v1 kind: Secret metadata: name: very-secret type: Opaque data: {{ (.Files.Glob "bar/*").AsSecrets | indent 2 }} в helm вот так удобно секреты создавать если что

кладешь в папку bar два файла — ключ и серт в формате pem

не нужно ничего удалять просто кодируй его в b64, а приложение его потом пусть декодирует обратно перед использованием, так все переносы сохранятся

Вот с декодированием внутри приложения проблема , так как нету доступа к коду который подтягивает env. А потом в контейнере эти файлы где будут лежать ? в папке.ssh ? Просто у меня в приложение есть возможность использовать локальные настройки ssh.

туда куда ты примонтируешь секрет

можно куда хочешь

туда куда ты примонтируешь секрет

Ок понял , спасибо , сейчас почитаю и попробую сделать)

Добрый день, товарищи ! Как подсунуть ssh key в качестве env. Использую helm . В папке с template есть файл secrets.yaml который имеет вид: .... (описание секрета ) data: privateKey: {{ .Values.privateKey | b64enc | quote }} publicKey: {{ .Values.publicKey | b64enc | quote }} В файле values.yaml privateKey: значение private key publicKey: значение public key Собственно при запуске приложения который использует env , падает с ошибкой не валидности приватного ключа. Можно ли как нибудь более корректно поднусуть ssh ключ в контейнер ?

на всякий случай проверьте что бы permission на приватный ключ были 0600

кстати да)

на всякий случай проверьте что бы permission на приватный ключ были 0600

ок, хорошо

Ребята, всем доброго времени суток! ПОдскажите, пожалуйста, куда копать и что почитать, чтобы добиться следующего сценария: Есть кластер k8s на гугле (GKE). Нужно создать деплоймент приложения с двумя инстансами приложения - active и standby (warm standby то бишь). Надо реализовать следующий сценарий: в случае фейла активного инстанса, нужно послать определенный REST на standby-инстанс, сделать его тем самым active, и тем временем перезапускать уже зафейленый инстанс и после запуска - пометить его как standby. Кто подскажет, в сторону чего стоит посмотреть для реализации подобного сценария?

StackOverflow подсказывает смотреть на readiness probe, но это не решает проблему с отправкой REST-запроса в standby-инстанс.

я сейчас выступлю с самым неприятным вопросом, но зачем вообще разделение приложения на активное/стэндбай?

я сейчас выступлю с самым неприятным вопросом, но зачем вообще разделение приложения на активное/стэндбай?

Очень даже приятный вопрос

я сейчас выступлю с самым неприятным вопросом, но зачем вообще разделение приложения на активное/стэндбай?

Увы, но таковы условия - в один момент времени может быть только одно активное приложение. К сожалению, тут ничего с этим не поделаешь.

Я бы и мог только один инстанс его, конечно, крутить, и уповать на авторестарт - но это, если я правильно понимаю, времени отнимет больше, нежели свитч на standby?

Это зависит от времени старта вашего приложения. Но вообще в схеме с переключалкой больше возможностей для проблем.

Средней тяжести, но даунтайм даже меньше чем в 10 секунд может быть проблематичным.

У меня до сех пор не было времени посмотреть, что такое оператор, возможно это как раз ваш случай. Если это не совсем то, то в любом случае вы можете напсиать микроприложение, которое будет делать то же самое, и там скорее всего получится уложиться в меньшее время.

Ребята, всем доброго времени суток! ПОдскажите, пожалуйста, куда копать и что почитать, чтобы добиться следующего сценария: Есть кластер k8s на гугле (GKE). Нужно создать деплоймент приложения с двумя инстансами приложения - active и standby (warm standby то бишь). Надо реализовать следующий сценарий: в случае фейла активного инстанса, нужно послать определенный REST на standby-инстанс, сделать его тем самым active, и тем временем перезапускать уже зафейленый инстанс и после запуска - пометить его как standby. Кто подскажет, в сторону чего стоит посмотреть для реализации подобного сценария?

Если бы вы делали это без куба, то как? Мне на ум приходит держать прослойку-прокси через которую будут идти запросы и она умеет делать нужные вам вещи

Ребята, всем доброго времени суток! ПОдскажите, пожалуйста, куда копать и что почитать, чтобы добиться следующего сценария: Есть кластер k8s на гугле (GKE). Нужно создать деплоймент приложения с двумя инстансами приложения - active и standby (warm standby то бишь). Надо реализовать следующий сценарий: в случае фейла активного инстанса, нужно послать определенный REST на standby-инстанс, сделать его тем самым active, и тем временем перезапускать уже зафейленый инстанс и после запуска - пометить его как standby. Кто подскажет, в сторону чего стоит посмотреть для реализации подобного сценария?

кажется тебе лучше всего подойдёт относительно новая тема operator

Окей, будем копать в операторы - спасибо за совет!

Если бы вы делали это без куба, то как? Мне на ум приходит держать прослойку-прокси через которую будут идти запросы и она умеет делать нужные вам вещи

Такая мысль, конечно же, пришла так же - но в первую очередь хотелось поискать более «штатные» методы :)

окей, когда у меня сломается ceph у кастомера на 11 пятабайт и не смогу его починить, я напишу вам в ЛС с коммерческим прердложением. пока полет нормальный

а у вас там рук?

а у вас там рук?

Нет конечно.

ребят, такой вопрос, допустим , есть пользователь созданный в namespace "dev", он авторизовался по токену в дашборде, почему он видит и может работать в других namespace ?

уровень прав?)

Rbac точно включен?

ребят, такой вопрос, допустим , есть пользователь созданный в namespace "dev", он авторизовался по токену в дашборде, почему он видит и может работать в других namespace ?

Какая версия k8s?