https://www.sebastien-han.fr/blog/2012/07/04/remove-a-mds-server-from-a-ceph-cluster/

Ну мы уже в джевел юзали

Сколько mds max cashe был? И сколько было от него занято в inodes?

Хм. И правда можно

Правда, у нас под фигню всякую служебную

Заметил такую хрень у себя, что если подрезать inode_max то сожранную ram он не освободит. И это печально.

https://wiki.samba.org/index.php/Setting_up_a_Share_Using_POSIX_ACLs#Setting_Extended_ACLs

А цеффс умеет в это ?

If your file system supports extended access control lists (ACL)

Наверное fuse модуль может, точно не скажу. Мы ядерный юзаем

Юниксовые права и группы норм хавает

Самба пока на гластере лежит

Он в джувеле и стал продом

Только документации по проду нет 🤗

Кто еще кроме меня настолько чокнулся, что cephfs под фортрочкой через dokan монтировал?

Кто еще кроме меня настолько чокнулся, что cephfs под фортрочкой через dokan монтировал?

Сурово ))) Но я бы тоже послушал отзывы. Главное чтоб там его норм нагружали, а не один файлик в день копировали

Сурово ))) Но я бы тоже послушал отзывы. Главное чтоб там его норм нагружали, а не один файлик в день копировали

нагружали нормально и он падал в дребадан. В прод не годно.

У меня почта и вебы крутятся на нем, правда клиенты centos 7

И да, со старту тоже падал, но мы поднимали и тюнили под свою нагрузку

И да, со старту тоже падал, но мы поднимали и тюнили под свою нагрузку

Опаопа

А как падения выглядят ?

Отчего падал ?

И сейчас бывает, но я склоняюсь что от не понимая всех параметров о которых выше спрашивал

Отчего падал ?

Давление кеша, дальше трим и дальше рестарт mds и ожидание рекавери журнала

Карина.джпг

Давление кеша происходит из-за того, что клиенты не урезают его по запросу mds, у которого закончились свободные inode_max

Давление кеша, дальше трим и дальше рестарт mds и ожидание рекавери журнала

Можно поподробнее ? Для тех кто в танке

Сколько mds max cashe был? И сколько было от него занято в inodes?

Не помню уже

Клиенты работают с файлами, файлы жрут inode, mds задается параметр mds max cache. По умолчанию он 100К. Так вот, когда они все заняты, то mds просит клиентов сбросить свои кеши метаданных, но клиенты иногда морозятся из-за багов в ядерном модуле и тогда сервер падает. Иногда mds запускает trim (урезание Кеша метаданных) и если это быстро не происходит - то стопается IO

Ого. Прям падает

Тоесть просто банальный файнд в исходниках ядра и все. Пипец ?

Ого. Прям падает

Иногда даже журнал не может восстановить. И да сервер = mds, а не железный сервер

Тоесть просто банальный файнд в исходниках ядра и все. Пипец ?

Типа того.

Иногда даже журнал не может восстановить. И да сервер = mds, а не железный сервер

Это как это журнал не может

Это же вобще пинцет

О, у меня такое как раз под доканем и вендой случилось. mds встал и приветы.

Вот так. Последний раз пришлось его обнулять и стартовать mds. Данные остались целы.

Да ну нахрен. Лучше образ монтировать с фс тогда

Да ну нахрен. Лучше образ монтировать с фс тогда

Так и живем сейчас.

Ну все от задач зависит. Нам нужно на кучу виртуалок отдать пачку сайтов, + почта.

А почта довекот ?

Да

И exim

mdbox ?

Или как письма хранятся ?

MailDir

Еопта

Это корень зла

Он риальне трахает фс очень сильно

Кстати платный довекот умеет в s3

Хз, я почту не админю. Но те кто ответственен сказали что mailbox им под задачи не подходит

http://tracker.ceph.com/issues/12430

Хз, я почту не админю. Но те кто ответственен сказали что mailbox им под задачи не подходит

Mdbox подходит всем. Не путать с mailbox

Он риальне трахает фс очень сильно

Я бы так не сказал

Я бы так не сказал

А я бы сказал. И бенчмарки и сравнения от самого довекота говорят об этом же

Mdbox подходит всем. Не путать с mailbox

Не буду спорить. Я ее не админю, лишь обеспечиваю сторедж для mail виртуалок

Не буду спорить. Я ее не админю, лишь обеспечиваю сторедж для mail виртуалок

Ну если им настоять на мдбоксе то у тебя геморроя будет меньше

И у них тоже

Но лишь по началу будет много при конвертации

Но все довольны. 500 с хвостиком гигов почты жуется

Но все довольны. 500 с хвостиком гигов почты жуется

Ну сайты на руби тоже работают. Главное ресурсов дать

Ну сайты на руби тоже работают. Главное ресурсов дать

Вот тут и вопрос - каких ресурсов и сколько и кому давать

Я тут пытаюсь найти ответ на этот вопрос.

Еще в ведре клиента можно ограничить кеш инодов

Но прост тормозить будет больше

Просветления есть, но мне их недостаточно. Хочется больше понимать, что курили разрабы. Та же херня с гластером была, но напротив сидел ментейнер этого монстра.

В целом, мейлдир вобще не годится для большого колва почты

Еще в ведре клиента можно ограничить кеш инодов

Для ядерного или fuse?

Для ядерного или fuse?

Без разницы. Это настройка vfs

@themiron

Без разницы. Это настройка vfs

Там по умолчанию 1600 по-моему

Вот он шарит в это

Но у меня есть клиенты которые едят больше 300K

Так что ограничение непонятно как работает

http://serverfault.com/questions/338097/tuning-linux-cache-settings-for-inode-caching

https://docs.switzernet.com/3/public/130910-ceph-dovecot/index.pdf

https://www.heinlein-support.de/sites/default/files/ceph-s3-dovecot.pdf

https://www.heinlein-support.de/sites/default/files/ceph-s3-dovecot.pdf

А как бекапить S3 с почтой есть инфа?

А как бекапить S3 с почтой есть инфа?

Снапшот пула

Снапшот пула

Клиент удалил письмо, или админ дропнул не тот ящик или нужна почта Васи за прошлую неделю. Как быть в случае снапшота?

Ну ладно. А с цеффс как ?

Ну ладно. А с цеффс как ?

снапшоты пишут, что нельзя снимать