это не сторадж, это хуёрадж

я правда не ломал сеф синхронными оомами всех его нод

физическая память делает ровно точно так же.

действительно, где же это видано - колоцировать сторадж и вычисления!

Имеет смысл если можно отдать вычисления поближе к данным, как в хадупе. Пример не совсем подходящий для цеф, т.к. там данные вообще везде , да и спросить вменяемо что-где нельзя.

ее просто больше. а, ну сеф (или другой софт) может еще вести себя как мудак и пытаться смотреть в общесистемные цифры пытаясь понять, сколько ж можно записать

всем "you are welcome" как говориться...

Имеет смысл если можно отдать вычисления поближе к данным, как в хадупе. Пример не совсем подходящий для цеф, т.к. там данные вообще везде , да и спросить вменяемо что-где нельзя.

сеф хуевый в этом плане с точки зрения дата-локалити

я вас удивлю, но оом придет и когда память целиком кончится

Память закончится раньше, если на ноде еще и приложения. А при неаккуратных лимитах, закончится еще и без всяких ребалансов и не в пользу ОСД :)

купите больше памяти и аллоцируйте сефу столько, сколько ему нужно. серьезно, если в типовом сервере 512 гб рам, 56 ядер и 8 ссд - всю такую ноду выделять на сеф?

Память закончится раньше, если на ноде еще и приложения. А при неаккуратных лимитах, закончится еще и без всяких ребалансов и не в пользу ОСД :)

"память закончится раньше" - если оверпровижионить.

иметь на железной машине очень тонкий хост и пару квмных машин, одну для сефа, другую для k8s - вполне ок.

если это не NVMe, то даже потери производительности незначительны. сеф же наоборот бесплатно помещается в одну нума-ноду и меньше дёргается.

иметь на железной машине очень тонкий хост и пару квмных машин, одну для сефа, другую для k8s - вполне ок.

Вы делали замечание относительно rook, оно не про вм :) против нарезания на вм железного монстра никто как раз не выступает :)

Вы делали замечание относительно rook, оно не про вм :) против нарезания на вм железного монстра никто как раз не выступает :)

рук - хипстерская хуита, пока не доказано обратное :)

если это не NVMe, то даже потери производительности незначительны. сеф же наоборот бесплатно помещается в одну нума-ноду и меньше дёргается.

эх. оптимизация по нуманодам... хочу себе железки обратно. фтопку облако...

нет, постойте. если эта память цефу нужна - то ее НЕЛЬЗЯ забивать приложениями. вообще нельзя.

если не нужна - то не нужна.

калькуляция расхода памяти цефом до блюстора-то была той еще задачей, а теперь вообще хуй угадаешь. у меня была инсталляция, в которой на репликации одного радос-объекта (одного, Карл!) осд поедала 64 гб рам и благополучно умирала.

что больше говорит о цефе, кстати, чем о чем-либо еще :)

вы меня напугать-то чем хотите? какая разница, чем память ограничена сверху - гипервизором или физическим размером планок?

5% дисков насмерть - оно и без ребаланса покорраптит данные

так не используйте совместно страницы памяти.

убить ШИНУ памяти сефом крайне сложно

я даже не знаю как этого добиться

Короче цеф херня, если нет требований чтобы один вирт диск был больше размеров ноды - drbd

Короче цеф херня, если нет требований чтобы один вирт диск был больше размеров ноды - drbd

а вот с ним я какашек накушался больше, надо сказать

хотя мб щас чот поменялось

а вот с ним я какашек накушался больше, надо сказать

А чего он? В active passive простой как палка

есть 256 гб рамы на машине, нагрузочные тесты убитого кластера показали потребление сефом памяти в районе 50 гбайт. выделяете виртуалке с сефом внутри 64, лочите память на старте, радостно живете.

а теперь выше - какая разница, что вас ограничивает - железный объём памяти или то что гипервизор разрешил взять?

так можно сказать что пока нет бесконечного объема памяти, сеф нельзя запускать

А чего он? В active passive простой как палка

простой, но однажды я отведал мегатонны крови, когда был молод и юн: https://toster.ru/q/39291

что в слове "лочите" вам непонятно? :)

https://libvirt.org/formatdomain.html When set and supported by the hypervisor, memory pages belonging to the domain will be locked in host's memory and the host will not be allowed to swap them out, which might be required for some workloads such as real-time

я еще раз задам вопрос (простите уже за тон), что в слове "лочите" вам непонятно?

эта память в RES процесса

ее НЕЛЬЗЯ использовать для чего-то еще. НИКАК. это НЕВОЗМОЖНО.

http://man7.org/linux/man-pages/man2/mlock.2.html

выделить, если оверкоммит включен - обычно хоть петабайт

а оверкоммит почти всегда включен.

у меня серьезное опасение, что вы не понимаете, что такое резидентная память процесса

Кто юзает charts, поясните, что хотели сказать создатели чарта stable/openvpn - мне нужно создать ингресс самому? Либо оно как-то должно по-другому работать?

так нет борьбы за ресурсы. вся память, изначально выделенная машине с сефом - залочена и сеф безраздельно ей владеет. сефные ядра тоже выделены жестко и безраздельно. единственный шаред-ресурс в схеме, которую я пытаюсь объяснять - это сеть. но и ее можно разделить, если хочется.

ну шина памяти еще, но она в реальности крайне редко забивается на очень особой нагрузке

веб-поиск

Кто юзает charts, поясните, что хотели сказать создатели чарта stable/openvpn - мне нужно создать ингресс самому? Либо оно как-то должно по-другому работать?

у опенвпн вроде свой протокол, не http/https

ну шина памяти еще, но она в реальности крайне редко забивается на очень особой нагрузке

Видел своими глазами как PCI забивалось и на сеть нехватало :)

Видел своими глазами как PCI забивалось и на сеть нехватало :)

да убить нетрудно, если стараться. но на разнородной типовой нагрузке - таки редко

Кто юзает charts, поясните, что хотели сказать создатели чарта stable/openvpn - мне нужно создать ингресс самому? Либо оно как-то должно по-другому работать?

nginx-ingress умеет проксировать tcp/udp, можно попробовать https://github.com/kubernetes/ingress-nginx/blob/master/docs/user-guide/exposing-tcp-udp-services.md

я разобрался. вопрос был базовый про то как это вообще подразумевалось изначально. через ports можно просто nat проброс сделать...

ну шина памяти еще, но она в реальности крайне редко забивается на очень особой нагрузке

В современных процессорах можно каждому процессу прибить гвоздями полосу памяти и кусочек кэша даже

Так а Вы кажется не поняли мысль, которую пытался донести Сергей. Память достаточно дешевая чтобы если надо ее еще докинуть. Раз она уже занята цефом, то за цефовую никто бороться уже и не будет. А так ну память кончилась - придет OOM, но если физическая кончилась - тоже придет OOM

ведь одна из задач контейнеров - в том числе более полная утилизация имеющегося железа. Почему бы не утилизировать его в том числе цефом?

но также будет если ее на физ ноде нет

Просто поверьте тогда, что конкуретной борьбы там нет

Для вм с контейнерами памяти занятой вм с цефом не существует

если очень хочется можно oom_adj подтюнить

чтобы шансов что osd умрет были нууу только если больше некого убить

если очень смущает

но это просто

например

Наверняка опять холиварная тема, но спрошу) Сеф в качестве сервиса кубера это вообще как? Как он хранит настройки, например? в env?

пишут что не переживает рестарт кластера... это только https://github.com/ceph/ceph-container/tree/master/examples/kubernetes пример или оно вообще на для прода?

конечно не переживает

это вообще Proof-of-concept, с ним можно играть, но нельзя использовать.

ааа. Ну ок. А вариант деплоя на ноду?

Kvm пока не охота городить

в хост-машину традиционными способами. но это не слишком популярная и простая дорожка.

А популярная?

inferno - every process is vm by design

Никто не подскажет? - после смерти под живёт ещё какое-то время со статусом Terminating, когда на ноде его уже давно не существует. Так и должно быть?

Никто не подскажет? - после смерти под живёт ещё какое-то время со статусом Terminating, когда на ноде его уже давно не существует. Так и должно быть?

ing - в англ. - это незавершенная форма. Завершается, же.

Но ведь его же уже не существует

Docker ps на ноде говорит что нет такого контейнера

Никто не подскажет? - после смерти под живёт ещё какое-то время со статусом Terminating, когда на ноде его уже давно не существует. Так и должно быть?

сильно долго? в логах докера ошибок нет?

Ну минуту точно, может больше. О, логи докера - отличная идея!

Ну минуту точно, может больше. О, логи докера - отличная идея!

минута – это нормально

в принципе мне тоже так показалось, но в случае StatefulSet, новый контейнер не запускается пока старый не сдохнет до конца

мож какие то таймеры подкрутить нужно по апдейту состояний

▫️Какой у вас проект или где работаете? общедоступная система интернет аналитики ▫️В чём вы специалист? devops,dba,infra,ci,backend,архитектура,системный анализ,команднаяработа ▫️Чем можете быть интересны или полезны сообществу? поделюсь и подскажу ▫️Чем интересно сообщество вам? узнаю и спрошу ▫️Откуда вы? зеленоград ▫️Как узнали про группу? загуглил В сообщении нужно указать тэг #whois