касательно ms sql - transaction log - это файл, в конец которого пишутся транзакции(измененные страницы в файлах БД). Соответственно сначала делаем сгнапшот файлов БД, в последнюю очередь transaction log. Передаем это куда-то и в этом куда-то запускаем БД. Начинает работать механизм undo/redo и БД открывается. Точно так же с Postgres(там WAL аналог ). Кстати, Postgres можно тарить на горячую, не останавливая. Точно так же он поднимится по WAL. Для Oracle все аналогично , но там эти механизмы гибче.

обычно, всё же, это один пул, но разные датасеты

https://docs.microsoft.com/en-us/previous-versions/sql/sql-server-2005/administrator/cc966534(v=technet.10)?redirectedfrom=MSDN

6й пункт

крайне глупо логи хранить вместе с базой

так о чем и речь. у меня тоже одно время было все на одном диске. но когда база перешагнула 1тб и 30 пользователей, любые действия ставили раком, и логи вынесли на отдельный массив

я бы в этой ситуации делал бы все возможное, чтобы остаться внутри 1го пула. Снимки - слишком ценны. Есть вариант добавить очень быстрый лог девайс, либо sync=off (часто допустимая настройка)

Ещё раз, mssql знает, что его бекапят.

если он знает, значит это уже работа агента, а не просто фишка уникальных снапшотов зфс

если он знает, значит это уже работа агента, а не просто фишка уникальных снапшотов зфс

Бинго!

я бы в этой ситуации делал бы все возможное, чтобы остаться внутри 1го пула. Снимки - слишком ценны. Есть вариант добавить очень быстрый лог девайс, либо sync=off (часто допустимая настройка)

так я тогда не могу понять чего вы со мной спорите, если я за это топил с самого начала:)

я бы в этой ситуации делал бы все возможное, чтобы остаться внутри 1го пула. Снимки - слишком ценны. Есть вариант добавить очень быстрый лог девайс, либо sync=off (часто допустимая настройка)

если где то можно синк=оф, это 100% не энтерпрайз )

https://docs.microsoft.com/en-us/previous-versions/sql/sql-server-2005/administrator/cc966534(v=technet.10)?redirectedfrom=MSDN

что-то "шпиндели" намекают, что про ссд эта инструкция не знает. А, ну да, 2010й год

если где то можно синк=оф, это 100% не энтерпрайз )

это зависит от базы, как минимум. MongoDB отлично справляется, т.к. сама внутри себя реализует практически тот же COW мехазнизм с группами транзакций и возврату к последней удачной группе в случае чего. Так вышло, что все мои проекты щас на монге.

что-то "шпиндели" намекают, что про ссд эта инструкция не знает. А, ну да, 2010й год

там еще один профит есть, когда диски раздельные: если рухнет база, то при живом логе, база восстанавливается до последней инструкции

*если рухнет диск с базой

это зависит от базы, как минимум. MongoDB отлично справляется, т.к. сама внутри себя реализует практически тот же COW мехазнизм с группами транзакций и возврату к последней удачной группе в случае чего. Так вышло, что все мои проекты щас на монге.

спорить не буду, монго не тестил. но я так понимаю, что он не боится вырубания питания при синк оф? потому что виртуальная ext4 сыпится нараз в такой конфигурации

там еще один профит есть, когда диски раздельные: если рухнет база, то при живом логе, база восстанавливается до последней инструкции

при условие что база лежала на одном единственном диске?

при условие что база лежала на одном единственном диске?

окей, база лежала на рейдкотроллере, который сгорел. есть другой, не совместимый

там еще один профит есть, когда диски раздельные: если рухнет база, то при живом логе, база восстанавливается до последней инструкции

погодите, под логами у mssql понимаются же wal логи?

спорить не буду, монго не тестил. но я так понимаю, что он не боится вырубания питания при синк оф? потому что виртуальная ext4 сыпится нараз в такой конфигурации

я ее в контейнерах запускаю прямо поверх zfs dataset, думаю в этом ключ к успеху. Нет виртуального слоя Ext4

погодите, под логами у mssql понимаются же wal логи?

не знаю что такое WAL, под логами - transaction logs

если да, то для них шпиндели тоже противопоказаны, хоть и поточная, но критичная на латенси нагрузка

я ее в контейнерах запускаю прямо поверх zfs dataset, думаю в этом ключ к успеху. Нет виртуального слоя Ext4

возможно. в данном направлении не обладаю достаточным опытом :(

если да, то для них шпиндели тоже противопоказаны, хоть и поточная, но критичная на латенси нагрузка

с латеси то что не так, все рейды имеют батарейку и латеси записи на простых массивах там вполне норм

с латеси то что не так, все рейды имеют батарейку и латеси записи на простых массивах там вполне норм

аппаратный рейд под zfs, аминь

аппаратный рейд под zfs, аминь

мля, причем тут зфс?

мля, причем тут зфс?

так мы в контексте zfs тут говорим

при чём тут аппаратные рейды и советы для шпинделей

так мы в контексте zfs тут говорим

итого: мы пришли к выводу, что зфс под бд так себе решние, ибо тормозит на всем что не нвме

бинго)

итого: мы пришли к выводу, что зфс под бд так себе решние, ибо тормозит на всем что не нвме

чего?)

чего?)

ну вот допустим есть 10 дисков, сата/сас, на ваш выбор, есть кнотроллер который умеет и рейд с батарейкой и IT режим для zfs. как получить с этой железяки максмиальный перфоманс для бд?

вам про снапшоты и гранулярность говорили, плюс что на zfs на разные пулы под базой может смысла не быть бить

вам про снапшоты и гранулярность говорили, плюс что на zfs на разные пулы под базой может смысла не быть бить

вы начало читали? я в начале спросил нафиг ставить бд на зфс.

и понеслась

вы начало читали? я в начале спросил нафиг ставить бд на зфс.

Резюмирую. Нафига? - "Снимки - мощный инструмент" Снимки требуют чтобы все было в одном пуле, иначе они не имеют смысла. Вы должны выбрать снимки и зфс, или аппаратные рэйд и батарейки

Резюмирую. Нафига? - "Снимки - мощный инструмент" Снимки требуют чтобы все было в одном пуле, иначе они не имеют смысла. Вы должны выбрать снимки и зфс, или аппаратные рэйд и батарейки

бинго

я бы добавил: для маленьких баз, все на одном пуле

Для больших можно ускорять пул, если снимки все еще важны..

Для больших можно ускорять пул, если снимки все еще важны..

боюсь начать новый срачик. а зачем снапить бд?

Вот тут можно почитать для общего понимания https://habr.com/ru/post/414269/

хотя один ответ да, знаю

боюсь начать новый срачик. а зачем снапить бд?

Бэкапы, моментальное восстановление, сохранение бд хоть каждые 5 минут, моментальное создание клона из любого снимка для того чтобы решить проблему возникшую на проде в тестовом окружении

ну вот и я где-то так использую, там где разработчики ковыряются. бо ломают иногда все

Снапшоты БД полезны, например, при создании тест/дев ландшафтов, когда БД большая - создание клона обычно занимает меньше минуы независимо от размера БД

но это не прод вроде как все

да даже например отладка апгрейда, чтото пошло не так - rollback dvt

вместо восстановления всей БД

кстати, а как ролбекнуть только одну вм из снапа в котором их 10? по быстрому, без копирования

но это не прод вроде как все

У меня все проды так устроены если что.. zfs реплики асинхронно делаются в удаленный датацентр, а снимки используются для создания клонов и тестовых окружений. Повторюсь - MongoDB

хотя у солярки там какое то быстрое копирование есть, но не знаю умеет ли оно между снапом копировать

кстати, почему народ так боится зфс поверх рейда? :) у меня вон оно поверх вообще MSA работает

кстати, почему народ так боится зфс поверх рейда? :) у меня вон оно поверх вообще MSA работает

потому что те кто пишет zfs сказали что так не надо делать

кстати, почему народ так боится зфс поверх рейда? :) у меня вон оно поверх вообще MSA работает

потому, что рэйды врут про запись данных на диск, это лишняя угроза. С дорогими рэйдами и батарейками наверное будет плюс минус нормально, но опять же зачем этот лишний дорогой слой, который может выйти из строя - не понятно

кстати, почему народ так боится зфс поверх рейда? :) у меня вон оно поверх вообще MSA работает

работать то будет, просто обычно честный hba быстрее чем аппаратный рейд, это если не говорить о других минусах (что надо иметь идентичный адаптер на замену и тд)

ну и смысл собирать под zfs массив, когда это и скорость отъест, и не даст использовать резервирование на уровне zfs

кейс с батарейкой и улучшением iops очень частный, дешевле может быть просто nvme с кондерами взять для slog

работать то будет, просто обычно честный hba быстрее чем аппаратный рейд, это если не говорить о других минусах (что надо иметь идентичный адаптер на замену и тд)

очень сомневаюсь, что рейд с батарейкой/суперконденсатором будет медленее чем просто диск

пока вижу только один минус - смарт не видно, и то, я так понимаю, не везде

ну и смысл собирать под zfs массив, когда это и скорость отъест, и не даст использовать резервирование на уровне zfs

ну я на сторадже собирал ради шифрования, ну и бонусом снапшоты

кейс с батарейкой и улучшением iops очень частный, дешевле может быть просто nvme с кондерами взять для slog

^ я тут специально упомянул, что кейс с батарейкой тоже не особо нужен за счёт slog

^ я тут специально упомянул, что кейс с батарейкой тоже не особо нужен за счёт slog

опять же: речь была не про нужен/не нужен. а в чем проблема с рейдом. у меня тут один уперся: на рейд ставим винду, никакого зфс. потом что с зфс будет плохо

кстати, почему народ так боится зфс поверх рейда? :) у меня вон оно поверх вообще MSA работает

эм

эм

и? "чего народ боится" "а в чем проблема с рейдом". что не так?

народ же боится проблем или там просто фобия?

и? "чего народ боится" "а в чем проблема с рейдом". что не так?

так я ответил же, что работать будут но смысла мало. Вот народ и запоминает что не нужно. Так же как и городские легенды про "хГБ ОЗУ на каждый ТБ"

так я ответил же, что работать будут но смысла мало. Вот народ и запоминает что не нужно. Так же как и городские легенды про "хГБ ОЗУ на каждый ТБ"

на хдд, имхо смысла будет. может как нибуть руки дойдут потестить, как раз 1гб 420 смартарей валяется

на хдд, имхо смысла будет. может как нибуть руки дойдут потестить, как раз 1гб 420 смартарей валяется

зависит ещё от нагрузки, например на поточке ооочень быстро в пропускную способность аппаратного рейта упираешься

зависит ещё от нагрузки, например на поточке ооочень быстро в пропускную способность аппаратного рейта упираешься

на хдд? врядли. на ссд, скорей всгео да

на хдд? врядли. на ссд, скорей всгео да

ну посмотрите в спеке просто

я упирался

на 10 дисках не упрётесь, на 30 точно жопа

там и pci-e быстро кончается

у меня пока есть конфигурация с 6 ссд, 1гб/с 420 рейд выдает. может чуть больше

на 10 дисках не упрётесь, на 30 точно жопа

так, а как 30 диской зфс будет рулить и не упрется?

так, а как 30 диской зфс будет рулить и не упрется?

в плане как? hba адаптер, пул из 30 дисков, вперёд

лично снимал около 3Гбайт/сек с одного hba на zfs

но дальше в полосу pci-e упёрся, в частности)

zfs сейчас умеет писать до 10ГБ/сек на пул, дальше да, сложновато пока

тут ребята на nvme пуле снимали throughput 12ГБ/сек https://zfsonlinux.topicbox.com/groups/zfs-discuss/Tdec42b46ad7dd0e7-M4f37f2a7a614dbf508fcebcc

zfs сейчас умеет писать до 10ГБ/сек на пул, дальше да, сложновато пока

в общем, сейчас спорить не буду, если дойдут руки до тестов, выложу)

в общем, сейчас спорить не буду, если дойдут руки до тестов, выложу)

👍