Ceph

Облегчит мне жизнь?

Облегчит мне жизнь?

Да это его хлеб.

Да это его хлеб.

Почитаю, спасибо

Или наоборот)

В любом случае. Если есть информация как правильно создать локальное хранилище данных на кластере я буду благодарен

В любом случае. Если есть информация как правильно создать локальное хранилище данных на кластере я буду благодарен

https://docs.okd.io/latest/install_config/configuring_local.html

Была у кого-нибудь проблема с dns-резолвингом в образе alpine:3.6 ? Не резолвятся как внутренние, так и внешние имена. Другие поды нормально работают и nslookup kubernetes.defaul отрабатывает корректно.

З.Ы Сделал kubectl run с образом alpine:3.6 и тоже все нормально отработало. Куда можно копнуть по этому делу?

З.Ы Сделал kubectl run с образом alpine:3.6 и тоже все нормально отработало. Куда можно копнуть по этому делу?

А проблема не с го случаем?

В любом случае. Если есть информация как правильно создать локальное хранилище данных на кластере я буду благодарен

вот есть неплохая статейка на тему https://softwareengineeringdaily.com/2019/01/11/why-is-storage-on-kubernetes-is-so-hard/

А проблема не с го случаем?

В точку! Там гошное приложение находится внутри

У меня была похожая проблема, но ее уже давно закрыли https://github.com/golang/go/issues/21160

попробуй GODEBUG=netdns=cgo

У меня была похожая проблема, но ее уже давно закрыли https://github.com/golang/go/issues/21160

спасибо, посмотрю. Просто странно... В kubernetes 1.12.3 нормально все работает. Решил запустить в новом кластере и получил вот такую ошибку

спасибо, посмотрю. Просто странно... В kubernetes 1.12.3 нормально все работает. Решил запустить в новом кластере и получил вот такую ошибку

Там может быть с upstream dns проблема, я такое с bind ловил.

есть такой configmap: apiVersion: v1 kind: ConfigMap metadata: name: cm1 data: field: | body: k1: v1 k2: v2 я его создаю, потом применяю к нему вот такой патч: data: field: | body: k1: v1 k3: v3 вот так: kubectl patch cm cm1 --patch "$(cat cm-patch.yaml)" на выходе получаю: data: field: |- body: k1: v1 k3: v3 что за дефис после вертикальной черты и как от него избавиться?

Он контролирует перенос строки после данных

ну его не было до этого

https://yaml-multiline.info

значит как должен выглядеть мой патч файл, чтобы он не добавлялся, я не совсем уловил?

в самом конце еще один перенос добавить? я вроде так пробовал

Кто-нить сталкивался с большим la от большого количества коннектов? Просто ни с чем больше не могу связать рост la на нодах. Смотришь top - под 50% idle, а la при этом под сотню.

И io ни причем - на нодах со stateless такая картина, чисто веб приложухи, апишки

Большое la может быть связано с медленными запросами в базу данных например. Приложение может просто долго ждать ответа от базы. А вообще вопрос довольно абстрактен для конкретного ответа.

Кто-нить сталкивался с большим la от большого количества коннектов? Просто ни с чем больше не могу связать рост la на нодах. Смотришь top - под 50% idle, а la при этом под сотню.

context switch-ей может быть много

И io ни причем - на нодах со stateless такая картина, чисто веб приложухи, апишки

IO точно нулевой? А то у меня была история когда stateless приложухи так диск вздрачивали что посильнее баз было))

Ну, а вообще верный путь. Если диски курят, а la высокий, надо смотреть сеть.

Большое la может быть связано с медленными запросами в базу данных например. Приложение может просто долго ждать ответа от базы. А вообще вопрос довольно абстрактен для конкретного ответа.

да, от базы и от клиентов бывает долго ждет, по минуте :(

Ну вот и ответ

IO точно нулевой? А то у меня была история когда stateless приложухи так диск вздрачивали что посильнее баз было))

stateless вздрачивают диск - сильно

stateless вздрачивают диск - сильно

понимаю что звучит глупо, но яркий тому пример nodejs. Прямо перед смертью от OOM он умудряется до 300 IOPS вжарить на диск. Причем на чтение. Хотя для функционала диск не нужен от слова совсем.

понимаю что звучит глупо, но яркий тому пример nodejs. Прямо перед смертью от OOM он умудряется до 300 IOPS вжарить на диск. Причем на чтение. Хотя для функционала диск не нужен от слова совсем.

Она ещё перед этим сильно замедляется, да?

да

Так-с, а такой la это плохо или смирится? Т.к вариант "ускорить ответы" очевидно небыстрый

У меня была похожая проблема, но ее уже давно закрыли https://github.com/golang/go/issues/21160

Вообщем проблема была в другом( У меня воркеры на ubuntu 18.04 развернуты. Я выбрал эту ось из-за того что Ceph можно было поставить из репы официальной. Там из-за systemd-resolved проблема была, причем на определенных воркерах. Этот под по совпадению там запускался

Максимум могу прокси перед базами поставить, pgbouncer вот накрутил на одну базу, а на mysql не знаю что взять

Так-с, а такой la это плохо или смирится? Т.к вариант "ускорить ответы" очевидно небыстрый

ну так тут зависит скорее не от LA, а от того, аффектит ли оно работу сервисов.

ну так тут зависит скорее не от LA, а от того, аффектит ли оно работу сервисов.

Да вот непонятно. Ну т.е сервисы априори небыстры, мемкэши на каждом шагу. Задача ускорить, как получится, с моей стороны, т.е куб-сеть и вот это вот всё. Программисты по мере возможности тоже оптимизируют

Да вот непонятно. Ну т.е сервисы априори небыстры, мемкэши на каждом шагу. Задача ускорить, как получится, с моей стороны, т.е куб-сеть и вот это вот всё. Программисты по мере возможности тоже оптимизируют

т.е. грубо говоря, знаний о том как оно работает при нормальном LA нет?

т.е. грубо говоря, знаний о том как оно работает при нормальном LA нет?

Ага

La само по себе же не проблема. Проблемой может быть, например, долгое время ответа от сервиса, который твоя организация продаёт. Я предлагаю для начала определиться с тем, что хочется решить, а потом что-то делать.

да

Оно наверняка начинает вытеснять исполняемый файл ноды из памяти, поэтому там постоянно majfault'ы случаются

La само по себе же не проблема. Проблемой может быть, например, долгое время ответа от сервиса, который твоя организация продаёт. Я предлагаю для начала определиться с тем, что хочется решить, а потом что-то делать.

Золотые слова🤝

всем привет, прошу сильно не бить за дурацкие вопросы - я всего лишь менеджер, который пытается разобраться в теме. вопрос вот какой как лучше жить со статикой для проектов, сколько не читал у всех разный подход: либо nginx > ingress > сервис для статики, у кого-то наоборот, у кого-то отдельный стораж сбоку. речь идет о bare metal, буду благодарен если укажите где читать о бест практиках в данном случае

всем привет, прошу сильно не бить за дурацкие вопросы - я всего лишь менеджер, который пытается разобраться в теме. вопрос вот какой как лучше жить со статикой для проектов, сколько не читал у всех разный подход: либо nginx > ingress > сервис для статики, у кого-то наоборот, у кого-то отдельный стораж сбоку. речь идет о bare metal, буду благодарен если укажите где читать о бест практиках в данном случае

Первый и самый главный вопрос, есть ли у вас CDN. Если используете какой-то внешний и тп, тогда статику надо класть туда и не тянуть в кластер k8s вообще.

Первый и самый главный вопрос, есть ли у вас CDN. Если используете какой-то внешний и тп, тогда статику надо класть туда и не тянуть в кластер k8s вообще.

cdn нет, был бы - было бы все проще

cdn нет, был бы - было бы все проще

статика это стили/js от сайтов или же то что грузят юзеры?

статика это стили/js от сайтов или же то что грузят юзеры?

включая то что грузят юзеры (всякие картинки)

включая то что грузят юзеры (всякие картинки)

Вот лично я бы это не мешал в одном котле. Статику от интерфейсов еще можно сунуть внутрь кластера вместе с тем же фронтом. А вот то что грузят юзеры действительно лучше хранить где-то сбоку. Многие используют для этого ceph/minio.

https://lucascollino.github.io/kubernetes_examples/vault/

Вот лично я бы это не мешал в одном котле. Статику от интерфейсов еще можно сунуть внутрь кластера вместе с тем же фронтом. А вот то что грузят юзеры действительно лучше хранить где-то сбоку. Многие используют для этого ceph/minio.

согласен, тоже размышляю в эту стороны проблема в том что не понятно куда лучше размышлять - еще на входе грузить статику просто сбоку или внутри делать отдельный сервис который будет подтягивать статику снаружи, в общем неделю уже читаю об этом и кажется уже туплю

согласен, тоже размышляю в эту стороны проблема в том что не понятно куда лучше размышлять - еще на входе грузить статику просто сбоку или внутри делать отдельный сервис который будет подтягивать статику снаружи, в общем неделю уже читаю об этом и кажется уже туплю

я в основном встречаю проекты где "загрузчик" это один из множества микросервисов. Просто заливает данные в s3 like стореджи сбоку. Либо во внешний либо в свой.

https://lucascollino.github.io/kubernetes_examples/vault/

спасибо, это просто и не дешево . хочется как обычно дешево и в хетцнере и с metallb, ну те не хочется а надо

эта ссылка была не по теме

это про vault HA

для наколеночных CDN есть разные решения, в зависимости от объема данных и траффика minio/ceph/riak

и ещё куча вариантов

спасибо, это просто и не дешево . хочется как обычно дешево и в хетцнере и с metallb, ну те не хочется а надо

копипаста про облако в снг, в котором можно делать что угодно и тебя не запалят

эта ссылка была не по теме

прошу прощение что воспринял на свой счет

для наколеночных CDN есть разные решения, в зависимости от объема данных и траффика minio/ceph/riak

да, ceph есть - не могу понять на каком уровне лучше делать, кэшировать и так далее. если укажите на что ориентироваться буду благодарен а то первые 15 страниц выдачи гугла изучены вдоль и поперек а понимания как лучше так и не пришло

да, ceph есть - не могу понять на каком уровне лучше делать, кэшировать и так далее. если укажите на что ориентироваться буду благодарен а то первые 15 страниц выдачи гугла изучены вдоль и поперек а понимания как лучше так и не пришло

Если ceph есть то в чем вопрос? Кладете в него, с него и раздаете.

Если ceph есть то в чем вопрос? Кладете в него, с него и раздаете.

простите что не могу внятно сформулировать желание это все от отсутствия понимания), сейчас будет совсем дурацкий вопрос - вот в обычной жизни все просто хапрокси >> сервер >> nginx >> конфиг а там отдельо из одного места статика а все остальное на порт контейнера. здесь же есть массу вариантов использовать отдельный контейнер с nginx который будет подсасывать статику, один из вариантов ингресса который будет делать тоже самое через сервис , или на входе еще поставить что все запросы в статику бери с отдельного сервера

простите что не могу внятно сформулировать желание это все от отсутствия понимания), сейчас будет совсем дурацкий вопрос - вот в обычной жизни все просто хапрокси >> сервер >> nginx >> конфиг а там отдельо из одного места статика а все остальное на порт контейнера. здесь же есть массу вариантов использовать отдельный контейнер с nginx который будет подсасывать статику, один из вариантов ингресса который будет делать тоже самое через сервис , или на входе еще поставить что все запросы в статику бери с отдельного сервера

Ну гонять трафик статики через кластер смысла нет никакого, если только не файлы для которых нужна авторизация. Так что я бы направил его напрямую, в обход k8s

Вообщем проблема была в другом( У меня воркеры на ubuntu 18.04 развернуты. Я выбрал эту ось из-за того что Ceph можно было поставить из репы официальной. Там из-за systemd-resolved проблема была, причем на определенных воркерах. Этот под по совпадению там запускался

Точно, про systemd-resolved я и забыл как-то.

я проблему с systemd-resolved решил радикально: apt-get install -y resolvconf systemctl disable systemd-resolved systemctl mask systemd-resolved

я проблему с systemd-resolved решил радикально: apt-get install -y resolvconf systemctl disable systemd-resolved systemctl mask systemd-resolved

Да я читал про это в этом чате даже) Тоже так и сделал)

Нужна помощь, почему не возвращается результат пи? в начале кидает варнинги log4j

алло, это чат про кубернетес? галочка, ты сейчас мне ответишь про спарк

Ситуация такая, говоришь спарку выполнить джобу, он в кластере поднимает под. Вычисляет, но я не вижу результата

Думаю какие-то проблемы с кубером

я думаю, проблема не с кубером

Может есть идеи как посмотреть вывод?

Давай начнем с простого "что и как ты запускаешь", и откуда эти логи, потому что спарк обычно любит побольше выложить

а вы не знаете какая задача может требовать обучения одной нейросети сразу на большом к-ве GPU одновременно? ну скажем на 100 Tesla V100...просто мне сказали есть много железа...и теперь нужно понять как загрузить эту мощь...

а вы не знаете какая задача может требовать обучения одной нейросети сразу на большом к-ве GPU одновременно? ну скажем на 100 Tesla V100...просто мне сказали есть много железа...и теперь нужно понять как загрузить эту мощь...

Ну какая нибудь для распознавания изображений с большим дата сетом. В интернете много публичных датасетов

Или которая будет распознавать сообщения с плохим юмором или явно не относящиеся к кубу

Давай начнем с простого "что и как ты запускаешь", и откуда эти логи, потому что спарк обычно любит побольше выложить

поднят кластер на нем висят спарк-мастер(репликасет), спарк-история(репликасет), спарк-воркер(репликасет) Захожу на под спарк-мастера Кидаю команду spark-submit и подсовываю пример вычисления пи. Он самостоятельно поднимает под на ноде, там вычисляет(ибо если мониторить ноду, то там поднимается под выполняется и уничтожается). Но само значение пи не появляется.

что-то мне подсказывает, что оно выводится на мастере, а не на том поде, который terminated

или это мастер такие сообщения выводит?

и из какой версии спарка пример