Кто юзает charts, поясните, что хотели сказать создатели чарта stable/openvpn - мне нужно создать ингресс самому? Либо оно как-то должно по-другому работать?

вот я не знаю как донести свою мысль, я про то, что я бы не стал юзать цеф когда кроме него идет активная борьба за рессурсы

так нет борьбы за ресурсы. вся память, изначально выделенная машине с сефом - залочена и сеф безраздельно ей владеет. сефные ядра тоже выделены жестко и безраздельно. единственный шаред-ресурс в схеме, которую я пытаюсь объяснять - это сеть. но и ее можно разделить, если хочется.

ну шина памяти еще, но она в реальности крайне редко забивается на очень особой нагрузке

ну шина памяти еще, но она в реальности крайне редко забивается на очень особой нагрузке

ну шину памяти на серверных системах я не представляю как загрузить в полку

ну шину памяти на серверных системах я не представляю как загрузить в полку

веб-поиск

Кто юзает charts, поясните, что хотели сказать создатели чарта stable/openvpn - мне нужно создать ингресс самому? Либо оно как-то должно по-другому работать?

у опенвпн вроде свой протокол, не http/https

ну шина памяти еще, но она в реальности крайне редко забивается на очень особой нагрузке

Видел своими глазами как PCI забивалось и на сеть нехватало :)

Видел своими глазами как PCI забивалось и на сеть нехватало :)

да убить нетрудно, если стараться. но на разнородной типовой нагрузке - таки редко

Видел своими глазами как PCI забивалось и на сеть нехватало :)

pci - это и я видел и не раз

и даже pci-e на дешманских матерях с двупортовой сетевой 10Г

Кто юзает charts, поясните, что хотели сказать создатели чарта stable/openvpn - мне нужно создать ингресс самому? Либо оно как-то должно по-другому работать?

nginx-ingress умеет проксировать tcp/udp, можно попробовать https://github.com/kubernetes/ingress-nginx/blob/master/docs/user-guide/exposing-tcp-udp-services.md

я разобрался. вопрос был базовый про то как это вообще подразумевалось изначально. через ports можно просто nat проброс сделать...

ну шина памяти еще, но она в реальности крайне редко забивается на очень особой нагрузке

В современных процессорах можно каждому процессу прибить гвоздями полосу памяти и кусочек кэша даже

вот я не знаю как донести свою мысль, я про то, что я бы не стал юзать цеф когда кроме него идет активная борьба за рессурсы

Так а Вы кажется не поняли мысль, которую пытался донести Сергей. Память достаточно дешевая чтобы если надо ее еще докинуть. Раз она уже занята цефом, то за цефовую никто бороться уже и не будет. А так ну память кончилась - придет OOM, но если физическая кончилась - тоже придет OOM

ведь одна из задач контейнеров - в том числе более полная утилизация имеющегося железа. Почему бы не утилизировать его в том числе цефом?

Так а Вы кажется не поняли мысль, которую пытался донести Сергей. Память достаточно дешевая чтобы если надо ее еще докинуть. Раз она уже занята цефом, то за цефовую никто бороться уже и не будет. А так ну память кончилась - придет OOM, но если физическая кончилась - тоже придет OOM

проблема когда цефу понадобится больше, а ее нет уже

или когда в процессе ребаланса система посчитает что памяти мало и епнет процесс осд

проблема когда цефу понадобится больше, а ее нет уже

но также будет если ее на физ ноде нет

я про то, что я бы не мешал цеф с воркер нодой, когда там идет активная конкурентная борьба за ресурсы

я про то, что я бы не мешал цеф с воркер нодой, когда там идет активная конкурентная борьба за ресурсы

Просто поверьте тогда, что конкуретной борьбы там нет

Для вм с контейнерами памяти занятой вм с цефом не существует

как коворил мой товарищь на одной пьянке, никому верить нельзя, даже своей жопе, хотел просто порднуть, а обосрался

Для вм с контейнерами памяти занятой вм с цефом не существует

это уже другой случай

я про то, что я бы не мешал цеф с воркер нодой, когда там идет активная конкурентная борьба за ресурсы

если очень хочется можно oom_adj подтюнить

чтобы шансов что osd умрет были нууу только если больше некого убить

если очень хочется можно oom_adj подтюнить

в этом плане нужно

если очень смущает

но это просто

тем более у сигруппы есть ручка

например

Наверняка опять холиварная тема, но спрошу) Сеф в качестве сервиса кубера это вообще как? Как он хранит настройки, например? в env?

пишут что не переживает рестарт кластера... это только https://github.com/ceph/ceph-container/tree/master/examples/kubernetes пример или оно вообще на для прода?

конечно не переживает

это вообще Proof-of-concept, с ним можно играть, но нельзя использовать.

ааа. Ну ок. А вариант деплоя на ноду?

Kvm пока не охота городить

в хост-машину традиционными способами. но это не слишком популярная и простая дорожка.

А популярная?

inferno - every process is vm by design

/ban

Никто не подскажет? - после смерти под живёт ещё какое-то время со статусом Terminating, когда на ноде его уже давно не существует. Так и должно быть?

Никто не подскажет? - после смерти под живёт ещё какое-то время со статусом Terminating, когда на ноде его уже давно не существует. Так и должно быть?

ing - в англ. - это незавершенная форма. Завершается, же.

Но ведь его же уже не существует

Docker ps на ноде говорит что нет такого контейнера

Никто не подскажет? - после смерти под живёт ещё какое-то время со статусом Terminating, когда на ноде его уже давно не существует. Так и должно быть?

сильно долго? в логах докера ошибок нет?

Ну минуту точно, может больше. О, логи докера - отличная идея!

Ну минуту точно, может больше. О, логи докера - отличная идея!

минута – это нормально

в принципе мне тоже так показалось, но в случае StatefulSet, новый контейнер не запускается пока старый не сдохнет до конца

мож какие то таймеры подкрутить нужно по апдейту состояний

▫️Какой у вас проект или где работаете? общедоступная система интернет аналитики ▫️В чём вы специалист? devops,dba,infra,ci,backend,архитектура,системный анализ,команднаяработа ▫️Чем можете быть интересны или полезны сообществу? поделюсь и подскажу ▫️Чем интересно сообщество вам? узнаю и спрошу ▫️Откуда вы? зеленоград ▫️Как узнали про группу? загуглил В сообщении нужно указать тэг #whois

▫️Какой у вас проект или где работаете? общедоступная система интернет аналитики ▫️В чём вы специалист? devops,dba,infra,ci,backend,архитектура,системный анализ,команднаяработа ▫️Чем можете быть интересны или полезны сообществу? поделюсь и подскажу ▫️Чем интересно сообщество вам? узнаю и спрошу ▫️Откуда вы? зеленоград ▫️Как узнали про группу? загуглил В сообщении нужно указать тэг #whois

О привет земляк-)

?

Коллеги, приветсвую. Можете поделиться конфигурациями ОС и компонентов в ваших кластерах кубера?

У нас есть проблема с нодами, которые периодически рестартятся из за кернел паника, в дампе каждый раз разная причина (тут есть логи https://gist.github.com/dandronov-alytics/d999698122674106cedf7fd7507daca0), проблема возникает крайне хаотично, нода может работать несколько недель (вплоть до месяца) а потом упасть 3 раза за сутки, связи с нагрузкой на сервер не обнаружено (сервер не сильно нагружен, пиков по нагрузке тоже не бывает). версии компонентов: OS: ubuntu 16.04 (kernel 4.10) kubernetes 1.8.3 etcd 3.2.4 docker 17.03 CNI: calico 2.6.2

Или мб есть мысли по направлению, куда еще смотреть по этому поводу..?

Может с железом проблемы?

похоже на битую память

а зачем 16 убунта на проде?

а зачем 16 убунта на проде?

LTS же, нет?

почти два года как выпустили, вполне можно прод на ней гонять (теоретически)

LTS же, нет?

нудык пока 14 надо держать

Самое интереное что ещё и разные модули падают. То докер, то сваппер

а хост свой или удаленный?

если есть возможность - надо тестить память

В любой непонятной ситуации тести память (или диск)

@mvikharev, на нодах есть swap?

а зачем 16 убунта на проде?

уже два года как вышла. 18ая почти что вышла, вот и перешли. Это наш пилотный кластер.

а хост свой или удаленный?

хост удаленное железо в хецнере

отдавали хосты на диагностику в хецнеру, они говорили что ок

у них можно загрузиться в rescue и потестить память

@mvikharev, на нодах есть swap?

свапа нету

у них можно загрузиться в rescue и потестить память

именно это сейчас и готовим

В любой непонятной ситуации тести память (или диск)

тоже пришли к тому что память , запланирован мемтест вечерний на сегодня

но хецнер своими тестами проблемы железа отрицает

у вас ецц есть?

в хетцнере его на многих тарифах нету

у вас ецц есть?

оп, чекаем