Транзакции последние потеряешь

В случае чего совсем уж страшного откатишься на последнюю успешную

Про fat32 в каком-то чатике писали, что нет надежнее FS :)

Про fat32 в каком-то чатике писали, что нет надежнее FS :)

На твоём форуме, наверное?)

Опять правишь сообщения - все просили этого не делать. Давай-ка во флуд с такими вопросами. Второе предупреждение.

На твоём форуме, наверное?)

А вспомнил, в слаковарном.

Я такого не писал. Не надо вот это фантазий

Наверно перепутал с кем-то, прошу прощения в таком случае.

Нажатие reset и выдергивание питания Solaris переносит под нагрузкой нисколько не хуже ZOL ?

он да, линухи которые внутри - матреяться до полного падения один раз. синк дисаблед, это дома

Про fat32 в каком-то чатике писали, что нет надежнее FS :)

ее надежность базируется на том что ее руками из под обломков собрать можно

ее надежность базируется на том что ее руками из под обломков собрать можно

И на том, что она на первый взгляд обычно выглядит целой, хотя в ней уже и собирать нечего из под обломков.

он да, линухи которые внутри - матреяться до полного падения один раз. синк дисаблед, это дома

Линухи внутри, они ведь наверно на extX ?

Линухи внутри, они ведь наверно на extX ?

да, но это ответ на вопрос про синк дисейблед и базу туда, что с ней станется. вот ext4 тоже журналируемая, а раз не поднялась

и это у меня свет выключался раз 5 от силы за несколько лет. тоже самое и с базой может стать

и это у меня свет выключался раз 5 от силы за несколько лет. тоже самое и с базой может стать

У базы обычно есть еще и второй шанс из бэкапов и архивных логов. Но СУБД СУБД рознь, маловероятно, что Db2 бы потребовался второй шанс. Хотя с другой стороны все СУБД обычно подразумевают честную синхронизацию, а sync=disabled - это для них нечто совершенно за рамками предусмотренного.

У базы обычно есть еще и второй шанс из бэкапов и архивных логов. Но СУБД СУБД рознь, маловероятно, что Db2 бы потребовался второй шанс. Хотя с другой стороны все СУБД обычно подразумевают честную синхронизацию, а sync=disabled - это для них нечто совершенно за рамками предусмотренного.

не важно. речь о том, что зфс не гарантирует, что флаш будет делать запись именно в той последовательности, в которой данные накапливались

по крайней мере при синк дисейблед

У базы обычно есть еще и второй шанс из бэкапов и архивных логов. Но СУБД СУБД рознь, маловероятно, что Db2 бы потребовался второй шанс. Хотя с другой стороны все СУБД обычно подразумевают честную синхронизацию, а sync=disabled - это для них нечто совершенно за рамками предусмотренного.

просто тут ходило мнение (твое?) что "ну потеряю 5 секунд". а на практике, можно получить не консистентую базу

не важно. речь о том, что зфс не гарантирует, что флаш будет делать запись именно в той последовательности, в которой данные накапливались

Архивные логи обычно уходят вообще на другое хранилище, как и предварительный бэкап. Им без разницы, что там случится с сервером БД, хоть он взорвется и разлетится на мелкие кусочки, база все равно поднимется :)

кстати, по поовду зфс и рейд. тестирую зфс по верх хранилки, уже почти год. правда пока ребутов не было, но полет нормальный.

просто тут ходило мнение (твое?) что "ну потеряю 5 секунд". а на практике, можно получить не консистентую базу

Надо ссылку на обсуждение, мы потом повторно перетирали это с тобой, и я обозначил дополнения к первому. А про 5 секунд в контексте sync=disabled - это в корне неверно IMHO по крайне мере без перманентной архивации логов или синхронной репликации на другой честный сервер СУБД.

Если в zfs вылетил диск, он же не подсветит на бэкплане красной лампочкой какой из них вылетел? Как вы подсвечиваете диски, чтобы человек незнакомый с серверами точно узнал какой диск надо заменить?

в zed такое есть https://github.com/openzfs/zfs/blob/master/cmd/zed/zed.d/statechange-led.sh

по идее если zed активирован, то должно сработать

а если не idle то что? подшипник бошек типа более задёрганный? :)

Сервопривод вероятно более заезженный.

Никто не обращал внимания, что ZFS v 0.8.6 при репликации иногда начинает что-то активно писать на приемнике причем только на один диск зеркала, утилизируя его почти на 100%, и при этом передача данных с источника временно замирает на несколько минут? Интересно, с чем это связано? На v 0.7.12 я такого не замечал.

Neritan Leka has been banned! Reason: CAS ban.

Neritan Leka has been banned! Reason: CAS ban.

Всем привет, прошу не кидать какахами,только изучаю материал,подскажите пожалуйста , имеется ли какой более менее свежий самочутель- справочник ,бест практис по open zfc с материалом на русском? Может быть книга по теоретической части. Поделитесь пожалуйста

Всем привет, прошу не кидать какахами,только изучаю материал,подскажите пожалуйста , имеется ли какой более менее свежий самочутель- справочник ,бест практис по open zfc с материалом на русском? Может быть книга по теоретической части. Поделитесь пожалуйста

https://pthree.org/2012/12/13/zfs-administration-part-viii-zpool-best-practices-and-caveats/

Спасибо

На счет btrfs не скажу — я предвзят, ибо сталкивался с проблемами. А zfs требует оперативки, так что на 4ГБ явно мало

какой? а тот тут синоложи ее по умолчанию предлагает

Джентльмены, кто делал тесты draid vs raidz в разрезе производительности и иопсов в штатном режиме? Есть потеря производительности?

Или draid=raidz?

какой? а тот тут синоложи ее по умолчанию предлагает

Подробностей не вспомню — несколько лет назад дело было. У меня был собран raid1 средствами btrfs. Я ожидал, что смерть одного диска мне не страшна. В реальности файловая система перестала читаться и монтироваться, не помню уже, удалось ли мне данные вытащить

Подробностей не вспомню — несколько лет назад дело было. У меня был собран raid1 средствами btrfs. Я ожидал, что смерть одного диска мне не страшна. В реальности файловая система перестала читаться и монтироваться, не помню уже, удалось ли мне данные вытащить

А остальные диски показывались как online?

Это был raid1 — всего два диска и было, один сдох

Возможно, "это руки такие", возможно btrfs с тех пор стала лучше и веселее. Но впечатление было испорчено — я теперь не суюсь её использовать

Это был raid1 — всего два диска и было, один сдох

Если смотреть по аналогии в ZFS 2 диска в RAID1 - это ведь не raidz?

Нет, это mirror в ZFS

Facebook в проде используют, вот они пусть с btrfs и танцуют. А я пас. Мой выбор — ZFS, пусть и не совместим лицензией с ядром

Facebook в проде используют, вот они пусть с btrfs и танцуют. А я пас. Мой выбор — ZFS, пусть и не совместим лицензией с ядром

IMHO ценнее данных наверно только личное здоровье и эти две сущности очень сильно взаимосвязаны последнее время. Пусть сами экспериментируют с другими FS, для меня кроме ZFS не существует других FS для надежного хранения данных. До Солярки еще пока не добрался :(

Еще пока? А нужно? 👀

Еще пока? А нужно? 👀

Хотелось бы когда-нибудь попробовать для производительного прода, нетерпимого к downtime, мол этакая rock solid ZFS. Если лажанет не по вине железа, то ну ее нафик, хотя как определить, наверно ни в каждом случае это возможно кроме уж совсем очевидных ... Для online бэкапов кроме ZOL я даже ничего другого не рассматриваю.

Кстати интересно было бы узнать у Василия @gjabu2_2, были ли в его практике случаи, когда ZFS on Solaris вела бы себя нестабильно, не так как описано в доке? Например на приемнике, чтобы не получалось повторно реплицировать dataset из-за того, что он отвис после прерывания прошлой репликации?

Кстати интересно было бы узнать у Василия @gjabu2_2, были ли в его практике случаи, когда ZFS on Solaris вела бы себя нестабильно, не так как описано в доке? Например на приемнике, чтобы не получалось повторно реплицировать dataset из-за того, что он отвис после прерывания прошлой репликации?

Если не лезть в кишки системе то все нормально. Впрочем, как и в любом другом программном продукте

Если не лезть в кишки системе то все нормально. Впрочем, как и в любом другом программном продукте

Получается, что ZOL не является "любым другим программным продуктом"?

Получается, что ZOL не является "любым другим программным продуктом"?

Является :)

Просто чем сложнее продукт, тем сложнее делать вещи наобум без понимания матчасти.

Является :)

И почему же тогда на приемнике ZOL иногда отвисает репликация даже если кильнуть сессию с "zfs receive ..." ?

опиши условия и хронику того, как это произошло

Просто чем сложнее продукт, тем сложнее делать вещи наобум без понимания матчасти.

Ctrl+C на источнике "zfs send ..." - это наобум? Репликация выглядит примерно так: zfs send -I DS@S1 DS@S2 | pv | ssh host "zfs receive XXX" Прерываю репликацию на источнике, на приемнике по прежнему висит сессия с receive, особенно если после потери связи (выключение интерфейса по таймеру например или выдергивание кабеля) или даже предположительно Ctrl+C на источнике. Прибиваю на приемнике shell сессию с receive по kill -s 9, она вроде бы даже и невсегда прибивается. Далее пытаюсь сделать ssh host "zfs rollback XXX@S1", вроде бы даже проходит. Дальнейшие попытки репликации сообщают, что XXX занят. Даже zpool export XXX_pool говорит, что пул занят, пишите в спортлото. Как на хосте приемнике - host датасет XXX вернуть в исходное состояние, готовое к репликации с источником ? ессно БЕЗ ребута.

как только опишешь условия и хронику, можно будет начать разбираться

с какой целью ты прибил начавшуюся репликацию?

Другой пример, До версии 0.8.4x ZOL 0.7.12 не смогла отресилверить часть зеркала, пытался раза 3 (это почти неделя времени). Потом сделал detach и сразу же attach, т.е. пересоздание зеркала с нуля (впрочем и ресилверинг тоже почему-то шел раньше полный больше суток), и что вы думаете, оно опять не шмогло ... Тут мое терпение лопнуло, и я, почитав багрепорты, проапгредил сервер до 0.8.4. А если бы диск помер на нагруженном проде, который должен быть всегда аптайм? Именно поэтому я боюсь сейчас менять v0.8.6 на что-то другое. Но даже с вышеописанными багами ZFS была непревзойденно надежнее для моих кейсов хранения данных чем любая другая доступная мне FS, пользуюсь ZOL уже с 2012 года.

с какой целью ты прибил начавшуюся репликацию?

Передумал, имею право передумать? Или сервер отрубился по таймеру, ifdown ethX.

https://openzfs.github.io/openzfs-docs/man/8/zfs-send.8.html zfs send [-Penv] -t receive_resume_token Creates a send stream which resumes an interrupted receive. The receive_resume_token is the value of this property on the filesystem or volume that was being received into. See the documentation for zfs receive -s for more details.

Другой пример, До версии 0.8.4x ZOL 0.7.12 не смогла отресилверить часть зеркала, пытался раза 3 (это почти неделя времени). Потом сделал detach и сразу же attach, т.е. пересоздание зеркала с нуля (впрочем и ресилверинг тоже почему-то шел раньше полный больше суток), и что вы думаете, оно опять не шмогло ... Тут мое терпение лопнуло, и я, почитав багрепорты, проапгредил сервер до 0.8.4. А если бы диск помер на нагруженном проде, который должен быть всегда аптайм? Именно поэтому я боюсь сейчас менять v0.8.6 на что-то другое. Но даже с вышеописанными багами ZFS была непревзойденно надежнее для моих кейсов хранения данных чем любая другая доступная мне FS, пользуюсь ZOL уже с 2012 года.

медленный ресильвер это норма, главное чтобы шёл.

Другой пример, До версии 0.8.4x ZOL 0.7.12 не смогла отресилверить часть зеркала, пытался раза 3 (это почти неделя времени). Потом сделал detach и сразу же attach, т.е. пересоздание зеркала с нуля (впрочем и ресилверинг тоже почему-то шел раньше полный больше суток), и что вы думаете, оно опять не шмогло ... Тут мое терпение лопнуло, и я, почитав багрепорты, проапгредил сервер до 0.8.4. А если бы диск помер на нагруженном проде, который должен быть всегда аптайм? Именно поэтому я боюсь сейчас менять v0.8.6 на что-то другое. Но даже с вышеописанными багами ZFS была непревзойденно надежнее для моих кейсов хранения данных чем любая другая доступная мне FS, пользуюсь ZOL уже с 2012 года.

репорты и апгрейд проблему решили? если да - вот и ответ. а так - всегда используй стабильные версии софта

я до сих пор на 0.6 сижу, радуюсь и в ус не дую

медленный ресильвер это норма, главное чтобы шёл.

В 0.7.12 он был не просто медленный, но еще и бесмыссленный и бесполезный, его можно было бы повторять по кругу ежедневно хоть год подряд, пока не сдохнут оставшиеся диски в деградированном пуле. А в 0.8.6 по сравнению с 0.7.12 ресилверинг просто сверхскоростной и пул не разваливается на части.

учту

пул и так не разваливался на части у меня

репорты и апгрейд проблему решили? если да - вот и ответ. а так - всегда используй стабильные версии софта

Апгрейд до 0.8.4 решил проблему.

ну вот и всё.

в общем - не дочитал документацию.

пул и так не разваливался на части у меня

Я большую часть времени держу половину бэкап пула в offline, и вот он полгода назад до апгрейда внезапно перестал собираться обратно в целый пул.

предсказуемо

предсказуемо

И почему же на 0.8.6 нет такого косячины?

там много условий влияет, не только код фс.

В 0.7.12 он был не просто медленный, но еще и бесмыссленный и бесполезный, его можно было бы повторять по кругу ежедневно хоть год подряд, пока не сдохнут оставшиеся диски в деградированном пуле. А в 0.8.6 по сравнению с 0.7.12 ресилверинг просто сверхскоростной и пул не разваливается на части.

была бага в 0.7 с бесконечным ресильвером. в самом последнем релизе (вроде 0.7.13) решили проблему

была бага в 0.7 с бесконечным ресильвером. в самом последнем релизе (вроде 0.7.13) решили проблему

Судя по багрепортам ее решали еще очень долго и упорно, вплоть до 0.8.5 У одних пул склеивался, у других по прежнему разваливался.

у меня ресильвер недели полторы шёл например. но прошёл же. :)

у меня ресильвер недели полторы шёл например. но прошёл же. :)

А мог бы не пройти :) Спортлото же :)

у меня ресильвер недели полторы шёл например. но прошёл же. :)

там он валился с ошибкой и начинался по новой

о как. забавно

А мог бы не пройти :) Спортлото же :)

не, прошёл бы.

ни разу не видел на своих системах чтобы не проходил

там он валился с ошибкой и начинался по новой

У меня не валился, проходил на 100 с лишним процентов и потом опять по новой ... Хорошо, что это был домашний бэкап сервер без больших претензий по SLA. Но даже меня эта проблема успела изрядно достать за целую неделю попыток вывода пула из деградировавшего состояния.

что солярис зфс, что зол, что иллюмос

что солярис зфс, что зол, что иллюмос

Все таки Oracle Solaris посвежее Illumos. И это оригинальный код сановиков, а не детская поделка линупсоидов (по отзывам Василия).

Основной иллюмос как раз у меня