▫️Какой у вас проект или где работаете? общедоступная система интернет аналитики ▫️В чём вы специалист? devops,dba,infra,ci,backend,архитектура,системный анализ,команднаяработа ▫️Чем можете быть интересны или полезны сообществу? поделюсь и подскажу ▫️Чем интересно сообщество вам? узнаю и спрошу ▫️Откуда вы? зеленоград ▫️Как узнали про группу? загуглил В сообщении нужно указать тэг #whois

О привет земляк-)

🤚

Коллеги, приветсвую. Можете поделиться конфигурациями ОС и компонентов в ваших кластерах кубера?

У нас есть проблема с нодами, которые периодически рестартятся из за кернел паника, в дампе каждый раз разная причина (тут есть логи https://gist.github.com/dandronov-alytics/d999698122674106cedf7fd7507daca0), проблема возникает крайне хаотично, нода может работать несколько недель (вплоть до месяца) а потом упасть 3 раза за сутки, связи с нагрузкой на сервер не обнаружено (сервер не сильно нагружен, пиков по нагрузке тоже не бывает). версии компонентов: OS: ubuntu 16.04 (kernel 4.10) kubernetes 1.8.3 etcd 3.2.4 docker 17.03 CNI: calico 2.6.2

Или мб есть мысли по направлению, куда еще смотреть по этому поводу..?

Может с железом проблемы?

похоже на битую память

а зачем 16 убунта на проде?

а зачем 16 убунта на проде?

LTS же, нет?

почти два года как выпустили, вполне можно прод на ней гонять (теоретически)

LTS же, нет?

нудык пока 14 надо держать

Самое интереное что ещё и разные модули падают. То докер, то сваппер

а хост свой или удаленный?

если есть возможность - надо тестить память

В любой непонятной ситуации тести память (или диск)

@mvikharev, на нодах есть swap?

а зачем 16 убунта на проде?

уже два года как вышла. 18ая почти что вышла, вот и перешли. Это наш пилотный кластер.

а хост свой или удаленный?

хост удаленное железо в хецнере

отдавали хосты на диагностику в хецнеру, они говорили что ок

у них можно загрузиться в rescue и потестить память

@mvikharev, на нодах есть swap?

свапа нету

у них можно загрузиться в rescue и потестить память

именно это сейчас и готовим

В любой непонятной ситуации тести память (или диск)

тоже пришли к тому что память , запланирован мемтест вечерний на сегодня

но хецнер своими тестами проблемы железа отрицает

у вас ецц есть?

в хетцнере его на многих тарифах нету

у вас ецц есть?

оп, чекаем

Пока чекаем замечу, что самый первый кластер был стабильный. Но он был однонодный на топовой железке. Но тк на нем сетапили много тестовых окружений - поймали проблемы с превышением количества подов (когда более 100 подов на одной ноде начинает тупить докер - проблема известная и в кубер доке освещается). В итоге решили заменить топовую железку на три дешевых и начались ребуты

Да, память не ECC

в хетцнере дешёвые тарифы = десктопное железо

в хетцнере дешёвые тарифы = десктопное железо

это в курсе

Ну вот, железо исключить нельзя.

ну те получается если реально память то мемтест покажет

Можно глупый вопрос? Чем кубернетис кластер на одной ноде лучше простого swarm?

знакоки helm, подскажите плиз? 0) добавил новую переменную в values.yml 1) изменил deployment в чарте и заинкрементил версию чарта 2) при попытке сделать helm upgrade сервису ругается: helm upgrade $RELEASE_NAME $CHART_NAME --force --recreate-pods --reuse-values --wait --set image.repository=$DOCKER_REPOSITORY,image.project=$PROJECT_NAME,image.tag=$DRONE_BUILD_NUMBER Error: UPGRADE FAILED: render error in "service/templates/deployment.yaml": template: service/templates/deployment.yaml:48:43: executing "service/templates/deployment.yaml" at <.Values.health.liven...>: can't evaluate field livenessInitialDelaySeconds in type interface {} я так понимаю что он должен сам определить что изменились вещи и обновить соответсвующие штукенции? или нужен какой-то флаг для этого?

по-моему он просто ругается на кривой шаблон

похоже с рендерингом шаблона проблемы

тогда должно тут ругаться поидее? helm fetch test/service --untar helm install ./service -n test --dry-run --debug

вот так можно проверить валидность манифестов чарта helm lint

отрендери шаблоны и посмотри, что там на 48 строке

initialDelaySeconds: {{ .Values.health.livenessInitialDelaySeconds }}

values.yml: ... health: livenessInitialDelaySeconds: 10 ...

ммм, кавычки?

я не спец по helm, но меня смущает точка в начала объекта...

это норм, это из шаблонизатора)

странный он какой-то...

я сделал: helm fetch test/service --untar helm install ./service -n test-deploy helm upgrade test-deploy ./service все норм то есть проблема именно при апгрейде с 1.0.0 (в котором нет `initialDelaySeconds`) на 1.0.1 (в котором я добавил это свойство) вот и спрашиваю: я чего-то не понимаю, или он должен был мне обновить деплоймент?

use force)

с ним и делал :) --force --reuse-values

Можно глупый вопрос? Чем кубернетис кластер на одной ноде лучше простого swarm?

если не планировать использовать кубер то наверно ничем) У нас это был пилот для работы тестовых окружений. Нужно было с чего то начинать.

а в каких случаях swarm лучше? (не холивара ради, просто хочу понять для чего инструмент больше подходит)

а в каких случаях swarm лучше? (не холивара ради, просто хочу понять для чего инструмент больше подходит)

Ни для чего( это просто конкурирующий проект..который тонет

wut

даладна

с какой версии?

на маке вроде пока только

запостите кто еще не постил.

)

ну это дистрибьюция в комплекте, это не значит, что в код докера кубер запилил

у меня доскер без кубера поставился, но я стейбл вроде бы ставил

https://twitter.com/solomonstre/status/941080802607222784

просто это звучит примерно как "в составе ядра linux теперь есть ещё и kde"

Kуб -- бандура и махина (не всем же кувалда нужна). Возможно, останется место и сварму.

как аргумент: swarm гораздо проще, если нужно по-быстрому поднять кластер, и команда работала только с докер-композ, то со сворм не будет проблем, из коробки есть почти все для проекта

просто это звучит примерно как "в составе ядра linux теперь есть ещё и kde"

Docker на docercone17 заявили о нативной поддержки Кубера в Docker UP наряду со swarm

compose(swarm) vs k8s

кажется справа не то же самое, что слева

имхо принципиально небольшая разница

compose(swarm) vs k8s

Тут какое дело. Нету ни политики обновления ни дискавери ни описания поддержки и перезапуска контейнера, то есть по сути swarm жто тот же compose но раскинуты на несколько нод, но вот в виде кластера это не очень интересно.....да и как отделять конфиг от кода? ну и т.п.

какая разница, меньше писать же

что может быть важнее

не руками же писать это всё

Тут какое дело. Нету ни политики обновления ни дискавери ни описания поддержки и перезапуска контейнера, то есть по сути swarm жто тот же compose но раскинуты на несколько нод, но вот в виде кластера это не очень интересно.....да и как отделять конфиг от кода? ну и т.п.

да, тут, наверное, дело в масштабах. Для интерпрайза хорошо подходит куб кластер безлимитными возможностями роста, а для стартапов без бевопса или с одним проще сворм и несколько нод

не руками же писать это всё

можно генерить, но все равно еще же придется потратить кучу времени перечитывая огромные доки

Ежемесячный опрос: кто что и как для централизованного логирования использует?

Graylog

elk papertrail

filebeat elk

и почему

А, чорт, думал я в девапс чатике. В k8s у меня пока нет централизованного.