а роль то есть такая?

она вроде "cluster-admin"

А CRI-O какие варианты предлагает по логам кстати?

она вроде "cluster-admin"

спасибо, похоже вы правы)

А CRI-O какие варианты предлагает по логам кстати?

text или json

в файл?

или там плагины

?

да, в файл

ну и https://github.com/kubernetes-incubator/cri-o/issues/377

спасибо почитаю

Блин, какой кубернетес все таки крутой..

Блин, какой кубернетес все таки крутой..

но это не точно

:)

чем больше погружаешься тем больше любви излучаешь к нему)

самое сложное - это пройти стадию отторжения в самом начале пути

чем больше погружаешься тем больше любви излучаешь к нему)

пока в исходники не залезешь

догадываюсь у такого сумбурно развивающегося проекта навенрняка такой же сумбурный код.

Но я не за реализацию я больше за идею

чем больше погружаешься тем больше любви излучаешь к нему)

ну это пока в 2 ночи все не ляжет и с ходу хз что делать ))

как ограничить видимое количество cpu ( ядер ) в поде?

resources limits

пока в исходники не залезешь

ну там не все так плохо на самом деле)

ну там не все так плохо на самом деле)

https://medium.com/@arschles/go-experience-report-generics-in-kubernetes-25da87430301 например

The Kubernetes type system is built at runtime, so type checks must be done at runtime

Лол

You dawg, I heard you like runtimes so we took what usually happens during compilation and put it inside your runtime.

Поднял Minio в k8s. Он отвечает в 2 раза дольше, чем если поднять через docker run. Kubernetes ставил через kubespray, Network plugin: flannel. Как мне это чудо дебагать?

ну это пока в 2 ночи все не ляжет и с ходу хз что делать ))

нужно играть на опережение и самому всё сломать, но днём

https://medium.com/@arschles/go-experience-report-generics-in-kubernetes-25da87430301 например

Эти проблемы не решают дженериками. Ну и на самом деле все нормально. Как бы нет другого нормально способа делать RPC не в рантайме. Просто не самый приятный интерфейс, точнее недостаточно документированный раз у человека возникли проблемы.

я слышал, что за это слово банят в некоторых чатах

>Ну и на самом деле все нормально стадия первая: отрицание =)

не знаю как решить - дженериками или переписыванием на расте, я только осветил проблему

Проблема - чувак не понял как делать. Решение - документация и примеры.

да-да, просто опишем в доках что нужно делать - и проблема исчезла

Resource limits cpu?

Это ограничение количества процесорного времени А мне нужно чтобы под видел ограниченное количество процессоров Не все 64 а только 4

Это ограничение количества процесорного времени А мне нужно чтобы под видел ограниченное количество процессоров Не все 64 а только 4

такого нет в докере

такого нет в докере

Limit the specific CPUs or cores a container can use. A comma-separated list or hyphen-separated range of CPUs a container can use, if you have more than one CPU. The first CPU is numbered 0. A valid value might be 0-3 (to use the first, second, third, and fourth CPU) or 1,3 (to use the second and fourth CPU).

Limit the specific CPUs or cores a container can use. A comma-separated list or hyphen-separated range of CPUs a container can use, if you have more than one CPU. The first CPU is numbered 0. A valid value might be 0-3 (to use the first, second, third, and fourth CPU) or 1,3 (to use the second and fourth CPU).

а это не cpu affinity?

Limit the specific CPUs or cores a container can use. A comma-separated list or hyphen-separated range of CPUs a container can use, if you have more than one CPU. The first CPU is numbered 0. A valid value might be 0-3 (to use the first, second, third, and fourth CPU) or 1,3 (to use the second and fourth CPU).

Ет в какой версии?

Ет в какой версии?

Сам уже нашёл

нужно играть на опережение и самому всё сломать, но днём

Ну так и делаем. Но надо отдать должное - сломать сложно

а вы таски по расписанию запускаете юзая кронджобс, или внешней хренью разруливаете?

как ограничить видимое количество cpu ( ядер ) в поде?

Никак, 99% читают /proc/cpuinfo а оно с хоста. Можно лечить LD_PRELOAD в теории, наверняка у кого нибудь есть уже. 1% делает умно и читает sched_get affinity (jvm 8 кажется так делает тоже), а значит можно заставить "увидеть" при помощи нового CPUManager (включается в kubelet) корректное количество CPU

Limit the specific CPUs or cores a container can use. A comma-separated list or hyphen-separated range of CPUs a container can use, if you have more than one CPU. The first CPU is numbered 0. A valid value might be 0-3 (to use the first, second, third, and fourth CPU) or 1,3 (to use the second and fourth CPU).

Вопрос был про "видеть", а не "использовать"

под каким юзером стартуете поды на coreos?

nobody/nogroup?

Всем привет. Подскажите есть ли возможность отключить создание автоматических правил iptables и использовать свои?

не ставь kube-proxy

на ноду

@rossmohax спасибо

а если всего 2 физических сервера в режиме мультимастер?

господа, а никто не сталкивался с тем, что при превышении лимитов по памяти/cpu одного из подов, перезапускается весь репликасет?

господа, а никто не сталкивался с тем, что при превышении лимитов по памяти/cpu одного из подов, перезапускается весь репликасет?

Крайне странно. Учитывая что механизм работает иначее..Контейнер убивается oom_killer'ом а повторно его запускает уже кублет

Крайне странно. Учитывая что механизм работает иначее..Контейнер убивается oom_killer'ом а повторно его запускает уже кублет

почему-то в итоге убивается весь под из 3-х контейнеров (ну это ладно фиг с ним), но вместе с ним убивается и вторая реплика, которая не получала такого сигнала, потому что не превышала лимитов

почему-то в итоге убивается весь под из 3-х контейнеров (ну это ладно фиг с ним), но вместе с ним убивается и вторая реплика, которая не получала такого сигнала, потому что не превышала лимитов

вот это странно...

Вопрос был про "видеть", а не "использовать"

oh jeez

Это ограничение количества процесорного времени А мне нужно чтобы под видел ограниченное количество процессоров Не все 64 а только 4

Чем он смотрит?

strace-ом найти функцию + читать её usage

Чятик, подскажите, могу ли я в один сервис запихнуть больше одного селектора? Хочу 22 порт пускать напрямую в приложение, а 80/443 через проксю.

Гугл говорит, что я не могу сделать это в рамках одного сервиса. А как в таком случае это сделать?

Гугл говорит, что я не могу сделать это в рамках одного сервиса. А как в таком случае это сделать?

два сервиса?

сделать два сервиса, не?

@yourallah @gorilych разные ip же будут

а надо обязательно одинаковый?

Да. Есть сервис в который для веба мне надо воткнуть проксю и ничего никому не сломать :)

исходная ситуация какая? Есть поды, в которые сейчас сервисом перенаправляются 22,80,443. Этим сервисом пользутся каким-то образом по его ip. Вы хотите теперь 80 и 443 перенаправить на другие поды. Я правильно понял?

исходная ситуация какая? Есть поды, в которые сейчас сервисом перенаправляются 22,80,443. Этим сервисом пользутся каким-то образом по его ip. Вы хотите теперь 80 и 443 перенаправить на другие поды. Я правильно понял?

исходно — есть фабрикатор, один под. Надо воткнуть в веб проксю, но не сломать хождение по fqdn для гита. Соответственно git на 22 порту, веб на 80,443.

веб прокся будет отдельный под?

веб прокся будет отдельный под?

да, она уже существует для других сервисов

можно попробовать через указание endpoints вручную для сервиса

сервис с пустым селектором

apiVersion: v1 kind: Service metadata: name: testservice spec: ports: - port: 22 protocol: TCP name: ssh - port: 80 protocol: TCP name: http selector: {} —- kind: Endpoints apiVersion: v1 metadata: name: testservice subsets: - addresses: - ip: 10.104.195.18 ports: - port: 22 - addresses: - ip: 10.98.31.226 ports: - port: 80

На GKE персистентный сторадж надо выделять на уровне создания KE кластера или на уровне подов?

Или там делаешь кластер, а потом аттачишь туда persistent volume?

apiVersion: v1 kind: Service metadata: name: testservice spec: ports: - port: 22 protocol: TCP name: ssh - port: 80 protocol: TCP name: http selector: {} —- kind: Endpoints apiVersion: v1 metadata: name: testservice subsets: - addresses: - ip: 10.104.195.18 ports: - port: 22 - addresses: - ip: 10.98.31.226 ports: - port: 80

Ага, спасибо, уже нашёл это в доке. А где можно прочитать про сущность addresses? Там только ip может быть?

да, к сожалению

https://github.com/kubernetes/kubernetes/issues/13358

в таком случае стоит закрепить ip в определениях нижележащих сервисов

но мне всё-таки кажется, что вы хотите странного и стоит это странное пересмотреть

исходно — есть фабрикатор, один под. Надо воткнуть в веб проксю, но не сломать хождение по fqdn для гита. Соответственно git на 22 порту, веб на 80,443.

а если вебпроксю засунуть отдельным контейнером в этот под?

оно уже вроде как есть у него

используется в другом месте

я так понимаю, какая-то утилита может ходит в git по ssh и по http(s), и использует для этого один адрес. Надо http(s) трафик направить в обход

если эта утилита внешняя по отношению к кластеру, можно было бы через один LB это сделать

жаль, в k8s нет внутреннего LB

в таком случае стоит закрепить ip в определениях нижележащих сервисов

это не возможно в моей ситуации :(

а если вебпроксю засунуть отдельным контейнером в этот под?

эта прокся уже проксирует десяток других http-приложений, звучит как ещё большая боль

это не возможно в моей ситуации :(

ну тогда используйте текущие, если сервисы не пересоздавать, то они вроде как стабильные. но это костыль

я так понимаю, какая-то утилита может ходит в git по ssh и по http(s), и использует для этого один адрес. Надо http(s) трафик направить в обход

Да просто юзеры.

жаль, в k8s нет внутреннего LB

в опеншифте есть routes, где сразу днс резолвиться

открываешь http порт, а haproxy уже опционально навесит https

Да просто юзеры.

внутри overlay network?

ну тогда используйте текущие, если сервисы не пересоздавать, то они вроде как стабильные. но это костыль

текущие меняются на апдейтах, например. А пересоздавать сущность каждый раз это оверкил