Или nginx - не суть. Ребят не сбивайте, сейчас ковыряюсь с трэфиком, давайте по теме

Есть же линк на Deployment для Dashboard без SSL: https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/alternative/kubernetes-dashboard.yaml

почему не проверяет?

чтобы он хоть как-то шевелился нужно включать async write, и при рестарте сервера все кэши уйдут лесом. Тем более он у вас в контейнере

чтобы он хоть как-то шевелился нужно включать async write, и при рестарте сервера все кэши уйдут лесом. Тем более он у вас в контейнере

ну вы бы в сути вопроса разобрались бы, сначала - async вас никто не заставляет включать, с самого начала понятно что это не безопасно. - повысить производительность NFS можно и другим спопобом, наприме увеличением числа рабочих инстансов RPCNFSDCOUNT - "при рестарте сервера все кэши уйдут лесом" не используйте NFSv4 и будет вам счастье

Есть же линк на Deployment для Dashboard без SSL: https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/alternative/kubernetes-dashboard.yaml

Спасибо ! Но с ссл таки до ковыряюсь

ну вы бы в сути вопроса разобрались бы, сначала - async вас никто не заставляет включать, с самого начала понятно что это не безопасно. - повысить производительность NFS можно и другим спопобом, наприме увеличением числа рабочих инстансов RPCNFSDCOUNT - "при рестарте сервера все кэши уйдут лесом" не используйте NFSv4 и будет вам счастье

>с самого начала понятно что это не безопасно и сколько iops выдает такой сервер?

Спасибо ! Но с ссл таки до ковыряюсь

А вот ссылка на Deployment с SSL: https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml

Ты хочешь поместить свой, заранее созданный сертификат в Kubernetes, чтобы его использовал Dashboard, или будет достаточно автоматически сгенерированных?

>с самого начала понятно что это не безопасно и сколько iops выдает такой сервер?

10к на запись 30к на чтение

Пора кубером заняться, подскажите кто чем разворачивает весь стэк, хорошо бы ансиблом

и это еще при условии что под ним drbd

Пора кубером заняться, подскажите кто чем разворачивает весь стэк, хорошо бы ансиблом

kubespray посмотри

kubespray посмотри

+

ну вы бы в сути вопроса разобрались бы, сначала - async вас никто не заставляет включать, с самого начала понятно что это не безопасно. - повысить производительность NFS можно и другим спопобом, наприме увеличением числа рабочих инстансов RPCNFSDCOUNT - "при рестарте сервера все кэши уйдут лесом" не используйте NFSv4 и будет вам счастье

>не используйте NFSv4 и будет вам счастье нутк вы описываете ситуацию с NFSv3, который stateless, нет?

так и есть

а нафига здесь stateful?

kubespray посмотри

Ммм, любимый ансибл

а нафига здесь stateful?

An NFS Version 4 server can allow an NFS Version 4 client to access and modify a file in it's own cache without sending any network requests to the server, until the server indicates via a callback that another client wishes to access a file

ну и прочие отличия версии 3 от 4, где разработчики внезапно узнали про конкуретные врайты и прелести cache invalidation

Добрый вечер, правильно ли ставить ceph прямо на теже ноды где стоит кубер и почему нет?)

тем не мене он тоже не без недостатков из-за того что NFSv3 stateless - он лучше переживает разного рода сбои и переключения

может быть кому-то его будет достаточно, у нас NFS для registry / logging / metrics стораджа объявлен неподдерживаемой конфигурацией после десятка тикетов с "у меня там половина закорраптилась"

полагаю что это из-за включенного `async`)

а еще если хочется супер-производительности, вместо NFS можно использовать iSCSI и нарезать его на кусочки тем же самым LVM'ом

полагаю что это из-за включенного `async`)

часто NFS кастомерский, там особо не проконтролируешь. Надежнее развернуть ceph/glusterfs/local-provisioner

Привет. А есть что-нибудь в kubernetes для управления cpu приоритетами подов? Аналогично с sched_setscheduler в https://habr.com/company/odnoklassniki/blog/346868/

плохие новости в том, что нет ничего более постоянного, чем временное

С языка снял

Привет. А есть что-нибудь в kubernetes для управления cpu приоритетами подов? Аналогично с sched_setscheduler в https://habr.com/company/odnoklassniki/blog/346868/

Там есть рессурс манагер

Привет. А есть что-нибудь в kubernetes для управления cpu приоритетами подов? Аналогично с sched_setscheduler в https://habr.com/company/odnoklassniki/blog/346868/

https://medium.com/google-cloud/quality-of-service-class-qos-in-kubernetes-bb76a89eb2c6 и https://kubernetes.io/docs/concepts/configuration/pod-priority-preemption/

https://medium.com/google-cloud/quality-of-service-class-qos-in-kubernetes-bb76a89eb2c6 и https://kubernetes.io/docs/concepts/configuration/pod-priority-preemption/

Это к сожалению немного не то. Qos может спасти под от убийства при system out of memory. Но мы до такого не доводим:) Реквесты, лимиты, квоты, limitrange активно используем. Но хочется ещё защитится от микро всплесков из низкоприоритетных приложений. Вот думаю пройтись и nice руками расставить ...

если уж очень хочется ручками, то nice cgroups ничего не сделает

но я не понимаю что такое "микровсплески" и чем они плохи для лимитов, например

Cpu лимиты работают с окном в 100мс в кубернетес. Ещё мы везде ставим cpu лимит в 1.5 - 4 раза больше реквеста. Иначе никакого железа не хватит:) И иногда получается что на короткий период времени (десятки или сотни милисекунд) приложения злоупотребляют лимитом

Добрый вечер, правильно ли ставить ceph прямо на теже ноды где стоит кубер и почему нет?)

Можно

часто NFS кастомерский, там особо не проконтролируешь. Надежнее развернуть ceph/glusterfs/local-provisioner

Вы гластер 4 пробовали?

Вы гластер 4 пробовали?

Не знаю, какая-то версия ставится. А что с ним?

Не знаю, какая-то версия ставится. А что с ним?

Да вроде лучше стал судя по анонсам

Привет. А есть что-нибудь в kubernetes для управления cpu приоритетами подов? Аналогично с sched_setscheduler в https://habr.com/company/odnoklassniki/blog/346868/

https://habr.com/company/flant/blog/418269/

https://habr.com/company/flant/blog/418269/

Это интересно, спасибо. Но нам не подходит:( У нас в качестве "жертвы" jvm приложения, которые делают gc в 24 потока, поэтому "выкусить" из хоста для них ограниченное число потоков не получится.

Так их можно задать в параметрах JVM

там специально так настроено, чтобы максимально сократить время gc. а я хочу снизить воздействие внешних факторов (других подов)

может, стоит просто взять G1 и пусть работает в параллель?

я в этом не компетентен... JVM приложение здесь скорее как пример. В целом интересно, как делать nice подам не руками:)

Можно

Тогда подвопрос, ставить на кубер через helm, либо прямо на сервера?

Тогда подвопрос, ставить на кубер через helm, либо прямо на сервера?

Есть готовые решения типа rook, но для чегото критичного наверное рано использовать Мы пробовали, много проблем :) лучше тогда уж просто на ноды ставить https://rook.io

Есть готовые решения типа rook, но для чегото критичного наверное рано использовать Мы пробовали, много проблем :) лучше тогда уж просто на ноды ставить https://rook.io

а если с минимальными иопсом, но надо иметь общую хранилку для подов — прокатит?

Есть готовые решения типа rook, но для чегото критичного наверное рано использовать Мы пробовали, много проблем :) лучше тогда уж просто на ноды ставить https://rook.io

Я глянул у ceph уже свое родное есть вроде http://docs.ceph.com/docs/mimic/start/kube-helm/

а если с минимальными иопсом, но надо иметь общую хранилку для подов — прокатит?

проблема скорей в целом как оно работает, а не в нагрузке (по крайней мере у нас), например если использовать rook с оверлейной сетью, бывают ситуации когда нода нормально перезагрузится в случае каких-либо проблем не может, т.к падает сеть и нода нормально отмонтировать диски не может так и висит, нужно хард резет делать + сложнее нагрузку распределять, т.к rook бывает нормально так выжирает цпу, рам и сеть - это начинает афектить приложения

проблема скорей в целом как оно работает, а не в нагрузке (по крайней мере у нас), например если использовать rook с оверлейной сетью, бывают ситуации когда нода нормально перезагрузится в случае каких-либо проблем не может, т.к падает сеть и нода нормально отмонтировать диски не может так и висит, нужно хард резет делать + сложнее нагрузку распределять, т.к rook бывает нормально так выжирает цпу, рам и сеть - это начинает афектить приложения

кстати да, даже в первых минутах лабораторных тестов на висяк при ребуте напоролся

проблема скорей в целом как оно работает, а не в нагрузке (по крайней мере у нас), например если использовать rook с оверлейной сетью, бывают ситуации когда нода нормально перезагрузится в случае каких-либо проблем не может, т.к падает сеть и нода нормально отмонтировать диски не может так и висит, нужно хард резет делать + сложнее нагрузку распределять, т.к rook бывает нормально так выжирает цпу, рам и сеть - это начинает афектить приложения

Маааааакс! Приветы :)

Ребят, а ни у кого не бывает такого, что дашборд зависает? У меня 2 ноды + мастер. В кластере из юзерских 1-2 пода которые почти ниче не делают. При редеплое, дашборд иногда просто повисает и перестает отвечать. Через kubectl вижу что поды дашборда работают и все у них ок. версия куба: v1.10.4 имедж дашборда: k8s.gcr.io/kubernetes-dashboard-amd64:v1.8.3

Тогда подвопрос, ставить на кубер через helm, либо прямо на сервера?

Ceph можно ставить на ноды, но не в куб.

Поэтому руками тащим пакеты по старинке

Отлично, это мне нравится больше)

то есть лучше голый ceph поставить на ноды, чем rook мучить?

Ребят, а ни у кого не бывает такого, что дашборд зависает? У меня 2 ноды + мастер. В кластере из юзерских 1-2 пода которые почти ниче не делают. При редеплое, дашборд иногда просто повисает и перестает отвечать. Через kubectl вижу что поды дашборда работают и все у них ок. версия куба: v1.10.4 имедж дашборда: k8s.gcr.io/kubernetes-dashboard-amd64:v1.8.3

Посмотри загрузку нод по CPU

В частности, той ноды, где запущен Dashboard, а также загрузку Master

Посмотри загрузку нод по CPU

вообще близко к нулям. Как только сделаю дашбрду scale -> 0 scale ->1 сразу оживает.

https://corp.mail.ru/ru/press/events/496/ а приглашения когда вышлют?

Тогда ничего конкретного. Единственно - посмотри логи пода Dashboard

или уже всем выслали а меня продинамили?(

Тогда ничего конкретного. Единственно - посмотри логи пода Dashboard

В основном там такие записи: 2018/08/07 19:32:12 Metric client health check failed: the server could not find the requested resource (get services heapster). Retrying in 30 seconds.

то есть лучше голый ceph поставить на ноды, чем rook мучить?

Да

Дернул под напрямую за внутренний IP. Открылся моментально. Но через /api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/ не открывается, просто висит.

Да

Я тут почитал, ceph вообще крутой, можно даже вместо рейда использовать, только у меня в голове не укладывается как

Я тут почитал, ceph вообще крутой, можно даже вместо рейда использовать, только у меня в голове не укладывается как

@ceph_ru

@ceph_ru

Больше чатов богу чатов ?

Я тут почитал, ceph вообще крутой, можно даже вместо рейда использовать, только у меня в голове не укладывается как

он крутой, но важно правильно настроить. А то при первом же подохшем диске он сгибается от ребаланса

он крутой, но важно правильно настроить. А то при первом же подохшем диске он сгибается от ребаланса

ну вобщем да, есть нюансы

ну вобщем да, есть нюансы

мягко говоря ?

он крутой, но важно правильно настроить. А то при первом же подохшем диске он сгибается от ребаланса

Дока вроде довольно подробная)

а как быстро понять что такое Kubernets и как это мне поможет разарботать приложение мониторинга и прогнозировать на основе больших данных ?

а как быстро понять что такое Kubernets и как это мне поможет разарботать приложение мониторинга и прогнозировать на основе больших данных ?

чтобы получить представление что такое кубернетис можно начать например с этого туториала http://container.training/kube-selfpaced.yml.html

о, спс.....начал читать....а если я освою Mesosphere, то у меня получиться сделать то, что я описал выше (приложение) ?

не знаю в тему ли чата вопрос, но вроде это схожее

а как быстро понять что такое Kubernets и как это мне поможет разарботать приложение мониторинга и прогнозировать на основе больших данных ?

Kuberneres в этом никак не поможет. Это просто «запускалка» контейнеров. Ценно то что внутри контейнера, ваши приложения и код. Вот если они есть, на чем их запускать, уже не столь важно. Если про бигдату говорить, то лично я бы базы данных пока не тянул внутрь.

ок, спасибо большое, пошел изучать мануалы по этой штуке

))

ок, спасибо большое, пошел изучать мануалы по этой штуке

Крым тебя не забудет ?

Крым тебя не забудет ?

немного политики в чатик?

немного политики в чатик?

не, в чате по еластику 2 дня рофлили с его стэка, выше скрин ???

А, топ же. zsh курит в сторонке при виде cmd

А, топ же. zsh курит в сторонке при виде cmd

ну и логстэш на рабочем столе

Я тут почитал, ceph вообще крутой, можно даже вместо рейда использовать, только у меня в голове не укладывается как

Я тоже почитал и понял что если это не петабайты то лучше райд. :)))

Всем привет! Заглянул тут в конфиг, который генерит ingress, а там в списке upstream указаны айпишники подов. А можно ли как то сделать, чтобы ingress ссылался на сервис а не напрямую на поды?

Всем привет! Заглянул тут в конфиг, который генерит ingress, а там в списке upstream указаны айпишники подов. А можно ли как то сделать, чтобы ingress ссылался на сервис а не напрямую на поды?

так это фишка nginx ingress, ходить в поды мимо сервиса. мимо ната. в этом одни плюсы

он может живость каждого апстрима оценивать, это ж хорошо

опять же для каждого апстрима своя статистика в vts потом

и снова же, кипэлайв в сторону каждого апстрима отдельно

а, ну тогда ок ))

спасибо