тут недавно скидывали статейку на хабр

http://onreader.mdl.ru/LearningCeph/content/index.html я тут читал, не знаю на сколько актуальная информация там

хорошая дока

но уже не новая

https://habrahabr.ru/post/313644/ #links #ceph #manuals

оно)

Спасибо!

хз актуальность

Пфффф. Самая жесть - это O_direct на рэйде. Приводит к рассогласованию копий. Типа фича а не баг. Лично триггерил

Эээээ... Srsly?

ну да, а шо

Я даже в деталях могу рассказать какого болта он происходит.

Интересно

ceph и openstack вряд ли будет, но всё же https://special.habrahabr.ru/highload/2016/

ceph и openstack вряд ли будет, но всё же https://special.habrahabr.ru/highload/2016/

Я даже в списках докладов не видел

Я даже в деталях могу рассказать какого болта он происходит.

А давай, только русским языком

Коротко: Если во время записи страницы в режиме O_DIRECT её содержимое меняется, то на разные половинки зеркала может записаться разная информация. При нормальной записи (через Page Cache) там выставляется перед началом реального IO copy-on-write, поэтому такого не происходит.

Я даже в списках докладов не видел

чета хайлоад хуйня какая-то

хайлоад не нужен, кажется

я в прошлом году ходил, ваще не зашло

чета хайлоад хуйня какая-то

лучше линукс питер

лучше линукс питер

много слышу положительных отзыывов

просто реально - посмотрел доклад зайцева

он там монгу с мускулом сравнивает

и налил стока воды, что пиздец

Коротко: Если во время записи страницы в режиме O_DIRECT её содержимое меняется, то на разные половинки зеркала может записаться разная информация. При нормальной записи (через Page Cache) там выставляется перед началом реального IO copy-on-write, поэтому такого не происходит.

Ожидаемо.

Коротко: Если во время записи страницы в режиме O_DIRECT её содержимое меняется, то на разные половинки зеркала может записаться разная информация. При нормальной записи (через Page Cache) там выставляется перед началом реального IO copy-on-write, поэтому такого не происходит.

А что со всякими raid5/6?

парни, ну не надо рейд под цеф

А что со всякими raid5/6?

ровно тоже самое. если речь идёт о программных

вот написано же на хабре почему

парни, ну не надо рейд под цеф

+100500

вот написано же на хабре почему

можно ссыль ?

Другой разговор, что это не будет иметь смысла. Следует отметить и то, что благодаря программной определяемости, хранилище можно поднять даже поверх RAID или iSCSI-устройства, однако в большинстве случаев это тоже не будет иметь смысла.

https://habrahabr.ru/post/313644/ все отсюда же

ровно тоже самое. если речь идёт о программных

В твоем описании получается что оно корраптит массив

надо просто задать себе вопрос зачем?

у вас есть OSD

сеф вам все и сам размажет

нахрена рейд городить?!

я, конечно, маску нашел и в проде его не юзал

нахрена рейд городить?!

что бы при падении диска у тебя не было ребилда

что бы при падении диска у тебя не было ребилда

лолд

к нам тут приходили какие-то азиаты продавать свою версию цефа у них такое прямо в проде

Миш, ну логика же

ты плодишь сущности и слои

это как делать зфс на лвме

В твоем описании получается что оно корраптит массив

Да, именно так. корраптит.

в этом то и соль

да, сущности, но тут у тебя нет ребилдда всего кластера при падении OSD

да, сущности, но тут у тебя нет ребилдда всего кластера при падении OSD

а что страшного в ребилде?

В твоем описании получается что оно корраптит массив

Линус и говорит — что те кто используют O_DIRECT должны аюсолютно чётко представлять шта они вобще делают

а что страшного в ребилде?

когда у тебя кластер забит, то он не очень приятен)

когда у тебя кластер забит, то он не очень приятен)

а когда меняешь диск, можно подумать, рэйд типа не тормозит...

ну то у тебя тормозит один OSD

а так весь кластер)

а так как данные размазаны равномерно по цефу, то обязательно попадется чтонть именно на твоем осд.

а так весь кластер)

а вот и не весь!

а так как данные размазаны равномерно по цефу, то обязательно попадется чтонть именно на твоем осд.

ой вей, давайте не будем про равномерность)

а вот и не весь!

хотя есть необльшой нанопрофит — в рэйде при синхронизации не занимается полоса пропускания в сети хранилища

хотя есть необльшой нанопрофит — в рэйде при синхронизации не занимается полоса пропускания в сети хранилища

ага, только при рейде перерасход дисков ояебу

http://lkml.iu.edu/hypermail/linux/kernel/1610.1/01395.html

43 files changed, 1563 insertions(+), 1071 deletions(-)

Кто-нибудь работал с rackspace private cloud?

я мигрировал с него клиентов к себе :)

по сути это тот же openstack?

снаружи (в API) это тот же Openstack

Я тут пытаюсь довольно банальную задачу решить. Час потратил. Задача: из командной строки задать URL для образа и скачать этот URL в openstack. Большинство мануалов для старой версии, потому пришлось немного повозиться с параметрами. Новая версия, которая не сохраняет образ в кэш: $ glance image-create --name "Ubuntu 16.04 LTS - Xenial Xerus - 64-bit - Cloud Based Image" --visibility private --container-format bare --disk-format qcow2 # get the image id from output $ glance location-add --url https://cloud-images.ubuntu.com/xenial/current/xenial-server-cloudimg-amd64-disk1.img ${IMAGE_ID} Старый API, который позволяет сохранить образ в кэш: glance --os-image-api-version 1 image-create --name "Ubuntu 16.04 LTS - Xenial Xerus - 64-bit - Cloud Based Image" --is-public false --container-format bare --disk-format qcow2 --copy-from https://cloud-images.ubuntu.com/xenial/current/xenial-server-cloudimg-amd64-disk1.img Вопрос. Как в V2 API заставить openstack скачать данные?

а есть ли смысл поднимать flannel на openstack для k8s? или можно разрулить средствами neutron?

а ты что сделать то пытаешься? magnum запустить?

зарулить все docker контейнеры в одну сеть.

желательно конечно разграничить доступ между k8s namespace'ами

я так понимаю надо для этого kuryr использовать?

Уф, я боюсь в этом чате ты первый, кто запускает k8s в опенстеке

OpenStack Russia Группа русскоговорящего сообщества OpenStack. Обсуждаем все про OpenStack, от использования до инсталляции, и от переводов до отправки патчей в апстрим. https://telegram.me/openstack_russia

Попробуй у них спросить

кожанный крепкий чехол для яиц этому господину

Только когда запустишь всё это не забудь нам рассказать

Мне это через пару месяцев тоже внедрять

жалко тут нет никого, кто redhat openstack в россии использует

жалко тут нет никого, кто redhat openstack в россии использует

В чате выше спроси

В чате выше спроси

уже спрашивал как то, все redhat не любят ☹️

у этого господина яйца и так достаточно крепки, без чехла.

:)

уже спрашивал как то, все redhat не любят ☹️

Тогда страдай

ну если flannel запускать, то двойной overlay получится. если его контролировать, то еще и calico впиливать. почему бы не использовать neutron, где уже всё искоробки есть

ну если flannel запускать, то двойной overlay получится. если его контролировать, то еще и calico впиливать. почему бы не использовать neutron, где уже всё искоробки есть

есть простой вариант с dumb-l2.

есть простой вариант с dumb-l2.

а оно security groups поддерживает?

нет, конечно.

тогда буду курить курилку

ну если flannel запускать, то двойной overlay получится. если его контролировать, то еще и calico впиливать. почему бы не использовать neutron, где уже всё искоробки есть

Просто в k8s сеть сама по себе пиздец

Просто в k8s сеть сама по себе пиздец

аргументированно

Просто в k8s сеть сама по себе пиздец

лолшто? в нем нет сети как таковой.

лолшто? в нем нет сети как таковой.

эм, а куча ебалы с iptables, openvswitch и прочее говно? или это openshift накручивает? я просто чистый k8s не ставил

эм, а куча ебалы с iptables, openvswitch и прочее говно? или это openshift накручивает? я просто чистый k8s не ставил

чистый k8s ты можешь запустить поверх чего угодно. хоть linux-bridge, в который вставлен физический eth в одну общую L2-сеть.

а кто пояснит, openvswitch это замена neutron или он дополняет его?

openvswitch - это нижележащий драйвер для neutron

я только вчера начал разбираться с openstack. так что возможно многие вопросы глупыми покажутся. neutron по умолчанию работает с openvswitch?

ну канонический сетап такой, что используется openvswitch. так-то вообще вариантов много. можно и calico подсунуть.

k8s умеет работать с openvswitch. в чем тогда преимущества kuryr?

не знаю даже, что это такое. лично мне идея запускать k8s поверх openstack кажется странной. вариант наоборот мне нравится больше :)