кстати на хабре статья про сеть https://habrahabr.ru/post/321442/

@saamich ты предлагаешь запустить cinder-volume в кластере openstack и зарегистрировать его в openstack?

ну теоритически это можно сделать- если скорость работы не критична, но я предлагал запутсить вышеозвуечнные сервисы на любой ноде, где есть такая возможность

@saamich доступа к compute node нет. могу лишь только сервисы зарегистрировать через keystone service-create. сейчас вот запустил виртуалку со 100Gb root partition. И сразу же наткнулся на проблему. Ubuntu cloud image по умолчанию ресайзит partition до максимального размера. Сейчас пытаюсь понять как ужать текущий раздел.

* загрузиться в rescue cd? не понял как... вроде как можно только создать instance, который будет грузиться с ISO, но не перезагрузить текущий instance в ISO * запретить cloudinit ресайзить диск? тоже пока не понятно. * ресайзить диск наживую?

* загрузиться в rescue cd? не понял как... вроде как можно только создать instance, который будет грузиться с ISO, но не перезагрузить текущий instance в ISO * запретить cloudinit ресайзить диск? тоже пока не понятно. * ресайзить диск наживую?

это только через фмниы ушами и ручной/virsh правкой конфигов ВМ

@saamich запилил конфиг: #cloud-config growpart: mode: {{ grow_partition }} теперь при деплое виртуалка не ресайзит диск.

@saamich что-то не могу найти ман как cinder volume настраивать

и как его регистрировать в openstack service

http://docs.openstack.org/mitaka/install-guide-rdo/cinder-storage-install.html

и как его регистрировать в openstack service

он не регистрируется, как понимаю регается api сервис

openstack compute service list | grep cinder пусто

openstack compute service list | grep cinder пусто

http://docs.openstack.org/mitaka/install-guide-rdo/cinder-controller-install.html - примеры как зарегать там есть

но регается api

настраиваю сижу.

а обязательно использовать oslo_messaging_rabbit ? или его как-то отключить можно?

[DEFAULT] rpc_backend = fake

openstack service create --name cinder --description "OpenStack Block Storage" volume Could not find requested endpoint in Service Catalog.

Засада. Rackspace чтоли отключил специально

Или может я что-то не так делаю?

не скажу

не скажу

что бы это значило? знаешь, но не скажешь или не знаешь и не скажешь?

не знаю и разбираться сейчас нет ни времени - ни желания

Для особо смелых есть новость CEPH v12.0.0 Luminous (dev) released

слабоумие и отвага

вот кстати о первом: я тут ошибся немного с количеством нулей и попытался создать image размером почти в петабайт, ceph начал генерить объекты и на 20+ млн, часов через 12 ноды tier пула стали падать из-за нехватки памяти, на них было по 4гб озу, разделы диска по 500 гб

вот кстати о первом: я тут ошибся немного с количеством нулей и попытался создать image размером почти в петабайт, ceph начал генерить объекты и на 20+ млн, часов через 12 ноды tier пула стали падать из-за нехватки памяти, на них было по 4гб озу, разделы диска по 500 гб

а дисков сколько в ноде ?

сама операция создания имиджа на этом сдохла, но 20 млн объектов-то в пуле остались, я добавил памяти нодам, благо они на виртуалках и они теперь кушают по 50 гб озу

а дисков сколько в ноде ?

в тиер пуле 4 ноды с разделами по 500 гб

вот мне интересно, это у меня что-то не так пошло или сколько ж им памяти надо на большом объеме пула?

50 Гб это овердохуя

погоди. а как ты увидел что он жрёт 50Г ? (без приколов)

так 5Г на осд

и на всех четырех примерно так же

фигня какаято. пид-файл одинаковый, а пиды разные

и это не треды.

у тредов tid

да нет, хтоп вполне показывает PID у тредов.

на экране одна и таже OSD

тогда почему пиды-то разные ?

не может быть что хтоп настолько тупой

тогда почему пиды-то разные ?

в колонке PID он пишет ID треда.

щас проверю

я проверил уже.

дебилы блять

дебилы блять

вай? ты показываешь или процессы, или процессы вперемешку с тредами.

поэтому есть TID а есть PID

окей, это треды, процесс один

прост на скриншоте Михаила не видно сколько осд запущено одновременно.

прост на скриншоте Михаила не видно сколько осд запущено одновременно.

судя по соотношению тредов-процессов - около 5

одна осд там

одна осд там

ну так эта osd ест 5 гб памяти, а не 50.

именно

а 50 это пейдж кеш поди просто. 45 тоесть

окей, а второй вопрос - удалить эти объекты из тиера не позволяет, можно только сделать им evict, но как-то медленно очень получается, по 4-6 штук в секунду

почему так?

за сутки с небольшим 500 тыс эвиктнул

Товарищи, а в сравнении glusterfs и ceph: что быстрое/надежнее?

Здрасьте :)

от тут тебе сейчас точно расскажут о том какая боль glusterfs

А я с удовольствием послушаю

Товарищи, а в сравнении glusterfs и ceph: что быстрое/надежнее?

Glusterfs — более надёжен и более быстр, если речь идёт о скорости потери данных.

тоесть надёжно падает. и быстро.

А меня щас пугали сплитбрейнами гластера

и не зря

он просто сука зависает

и это селфхеалинг нихуя не работает

glusterfs действительно проигрывает на мелких файлах. Для хранения образов виртуалок это не имеет значения. Для других данных может быть важно, например, что если glusterfs развалится напрочь, то файлы можно спасти, а ceph просто так не спасёшь. Ну и, например, для ceph есть поддержка монтирования в ядре. Но её нет в ovz-ядрах.

Мы поэтому не смогли перейти на ceph/

Но мы, например, держим на glusterfs в достаточно сложных условиях (нестабильная работа узлов) достаточно много файлов (сотни тысяч) на десяток терабайт объёма. Обычно glusterfs используют для хранения больших объёмов научных данных (хранилища в петабайты), уж не знаю, почему у них такой выбор.

glusterfs действительно проигрывает на мелких файлах. Для хранения образов виртуалок это не имеет значения. Для других данных может быть важно, например, что если glusterfs развалится напрочь, то файлы можно спасти, а ceph просто так не спасёшь. Ну и, например, для ceph есть поддержка монтирования в ядре. Но её нет в ovz-ядрах.

бред

нельзя спасти

можно спасти некий трешачок недописанный

Просто столько разных мнений ))

прост когда на базовых операциях (выдирание винта на лету) приходится делать ребут всех нодов хранилки - это кагбы не айс

Это для гластера так?

да

Ясн

выдирание внезапное имеется в виду

Я понял

glusterfs действительно проигрывает на мелких файлах. Для хранения образов виртуалок это не имеет значения. Для других данных может быть важно, например, что если glusterfs развалится напрочь, то файлы можно спасти, а ceph просто так не спасёшь. Ну и, например, для ceph есть поддержка монтирования в ядре. Но её нет в ovz-ядрах.

господи, ovz ядра

ну да ладно, это к гделу не относится хотя емнип гластерфс же fuse? ceph Тоже может fuse и ядерный модуль

Видимо, не нашли поддержку через fuse

лол

там прям в доке по cephfs Написано

вот ядрерный модуль вот fuse