интересно девки пляшут, я сам патчил ядро, под zfsonlinux в свое время -) но SPL как бы тоже до продакшена далеко, точно такое же хипстерское решение

ну мой товарищ одержим этой файловой системой

сам я по старинке много лет на ext4 живу

ни разу не было ни одной проблемы

Можете его разочаровать, после покупки SUN ОРАКЛОМ, ВСЕ РАЗРАБОТЧИКИ ZFS УШЛИ. Ой сорри за капс

за последние 10 лет ка кминимум

на ext4 я тоже терял данные -) когда она была в эксперементал -)

и опять же centos -) древние ядра -))) чуть ли не в каждом выпуске ML ядер, что-то фиксят в btrfs -) у меня на Centos сейчас стоят 4.9.20 ядра

один раз я убил файловую систему, когда жесткий диск подключил к vmware workstation напрямую но это был эксперимент сам по себе :))

мы 4.4.х используем на centos-е

может быть поэтому проблемы с бтрфс?

это я не знаю -)) ядро centos как и ubuntu - там своя жизнь -))))

у меня lt ядро от линуса -) ну и со своими патчами, специфичными для меня

на ноуте с btrfs: [irbis@omicron ~]$ rpm -qa | grep kernel kernel-4.10.13-200.fc25.x86_64

Ноутбук - продакшен-сервер

и давно он стабилен?

SuSe осуществляет support для btrfs в своём sles

очередная потеря данных на бтрфс произошла у знакомого

Вопрос в том, как он потерял и что делал. На ceph тоже теряли данные - следовательно использовать нельзя, не годен? Btrfs активно Facebook использует - почитайте их презентации.

на ext4 я тоже терял данные -) когда она была в эксперементал -)

я терял данные даже когда она была стабильна

Есть люди использующие опцию nobarrier в xfs

Есть люди использующие опцию nobarrier в xfs

Но не долго)

Есть люди использующие опцию nobarrier в xfs

есть.

не обязательно на xfs, кстати

Есть люди использующие опцию nobarrier в xfs

Опция no barrier игнорируется на xfs

Пруфы в истории чата

Опция no barrier игнорируется на xfs

я правда не понял, почему с твоими пруфами у меня всё стало работать в разы быстрее после монтирования с nobarrier centos 7.3 если че

я правда не понял, почему с твоими пруфами у меня всё стало работать в разы быстрее после монтирования с nobarrier centos 7.3 если че

а надёжность не стала хуже ?

просто я до сих пор до конца не очень то и понимаю что значит нобарриер

а надёжность не стала хуже ?

ну я тут закинул графики с 40к иопсов с 90 сата дисков и разобрал этот стенд)

по-моему - это не требовать порядка записи данных и метаданных. тоесть метаданные могут записать раньше чем данные. и мы можем получить трешачок в фалах

я правда не понял, почему с твоими пруфами у меня всё стало работать в разы быстрее после монтирования с nobarrier centos 7.3 если че

значит xfs в ядре centos 7.3 дремучий :)

я правда не понял, почему с твоими пруфами у меня всё стало работать в разы быстрее после монтирования с nobarrier centos 7.3 если че

Глянул, оно только с ядер 4.10 так.

Глянул, оно только с ядер 4.10 так.

и какое там поведение по умолчанию в таком случае?

как будто бы всегда barrier

коммит 2291dab2c9d1880efd19469df2042e2277c8b7a4 если что

Опция no barrier игнорируется на xfs

можно low watermark подкрутить. Это ускоряет работу с записью, но повышает риск запороть данные

Господа, а есть ли простой способ поставить Ceph без глубокого вникания в детали? Что-то вроде apt-get install ... и минимальной настройкой с помощью пошаговой инструкции, скажем на той же Убунте?

https://github.com/ceph/ceph-ansible Или вот тут чуть лучше описания отдельных шагов https://github.com/koder-ua/mira-ceph-ansible

Господа, а есть ли простой способ поставить Ceph без глубокого вникания в детали? Что-то вроде apt-get install ... и минимальной настройкой с помощью пошаговой инструкции, скажем на той же Убунте?

ceph-deploy, в три команды ставится

https://github.com/ceph/ceph-ansible Или вот тут чуть лучше описания отдельных шагов https://github.com/koder-ua/mira-ceph-ansible

некропостер)

я думаю за 2 месяца то уж поставили

да, что-то я не дочитал какая там была настоящая дата

сори

ну я тут закинул графики с 40к иопсов с 90 сата дисков и разобрал этот стенд)

А где это можно увидеть?

коллеги, какая сейчас последняя стабильная версия ceph - jewel? kraken?

то есть - не стоит, я понял

спасибо

А в цеффсе можно метадатный пул и датный один и тотже сделать ?

Или я упоролся ?

А то снапшоты в цеффс не продакшен реди. А два пула атомарно не проснапшотить

кстати - cephfs считается production-ready?

С jewel вроде, но по факту есть вопросы

Опция no barrier игнорируется на xfs

Быть такого не может

по-моему - это не требовать порядка записи данных и метаданных. тоесть метаданные могут записать раньше чем данные. и мы можем получить трешачок в фалах

Надо контроллер с bbu

тогда уж сразу nas

Надо контроллер с bbu

При таком контроллере надо вобще отключать синки. Врайта достаточно

Быть такого не может

Подтверждаю. Четал.

А что за барьеры в фс. Между чем они ?

А что за барьеры в фс. Между чем они ?

Ну так fua жи

Ну так fua жи

Ну так это ж вроде команда принудительного синка именно этого сектора. Так скажем

Не ?

drives can also support a write option called 'Force Unit Access' (FUA) that bypasses the write cache in order to force what you're writing to be forced to disk. In general FUA is bundled with another feature called 'Disable Page Out' (DPO), which tells the drive that putting the data into cache is not useful.

И чо. При чём тут барьеры

Your filesystem may also only bother with write cache flushes instead of trying to be more fancy with selective FUA usage.

Просто по факту линупс командует просрать ВЕСЬ кеш винта на блины. А не селективно.

http://searchenterpriselinux.techtarget.com/tip/Deciding-when-to-use-Linux-file-system-barriers

The use of nobarrier is no longer recommended in Red Hat Enterprise Linux 6 as the negative performance impact of write barriers is negligible (approximately 3%). The benefits of write barriers typically outweigh the performance benefits of disabling them. Additionally, the nobarrier option should never be used on storage configured on virtual machines.

http://searchenterpriselinux.techtarget.com/tip/Deciding-when-to-use-Linux-file-system-barriers

вот прям спасибо, но 2011

Суть не поменялась. Кроме того что драйвмапперы поддерживают давно уж эти барьеры

тогда это был злобный свежак. и ext4 тогда еще вообще, cutting edge была. и хз, как она с barrier себя вела. но в 2017 смотрится как *овно мамонта :)

Блджад

Я пытаюсь чоть что-то найти что пояснит что такое барьер

извините

И к чему приведёт его отключение.

в этом контексте да

был напуган(с)

Ребята, доброе утро! Поздравляю всех с праздниками и в честь них, все цены на видеозаписи занятий по OpenStack и Ceph снижены на 80% до 10 мая. Адрес: http://learningos.ru/video Welcome :)

коллеги, есть ли опыт работы с хранилищами для потокового вещания видео на ceph? Основная проблема - работа с nginx_streaming_mp4 или аналогом, то есть воспроизведение с "нужного места", чтобы не тащить файл целиком

есть ли какие-то сложности, особенности настройки?

Сувай в формате HLS в S3

@spuzirev