Кстати D3-S4610 норм? Выбираю между D3-S4610 и SM883 для небольшого филиального сервера.

я бы взял D3-S4610. У него получше с показателями и они ровнее

допустим у меня будет ssd latency 1us, думаю огромной разницы заметно не будет, т.к. это только лог, а работа будет с хдд, в основном.

https://ark.intel.com/content/www/ru/ru/ark/products/134923/intel-ssd-d3-s4610-series-240gb-2-5in-sata-6gb-s-3d2-tlc.html

интересно, если на гитхабе собирать такую коллекцию, бан не прилетит?

интересно, если на гитхабе собирать такую коллекцию, бан не прилетит?

допустим у меня будет ssd latency 1us, думаю огромной разницы заметно не будет, т.к. это только лог, а работа будет с хдд, в основном.

Плюс стоит смотреть на special allocation class для "взбадривания" hdd пула

вот только хотел спросить, можно ли его в прод )

а как под него размер ссд посчитать ?

если только для меты - до 1-3% от ёмкости пула будет достаточно, имхо

да я если честно что-то начинаю возвращаться к мысли что програмный рейд + LVM отличный вариант)

да я если честно что-то начинаю возвращаться к мысли что програмный рейд + LVM отличный вариант)

Я, когда только начал изучать zfs и пробовал её, тестировпл производительность, с толкнулся с тем же самым и расстроился. Но по факту сравнения на боевой нагрузке я пришел к таким выводам: - zfs по всем тестам сильно проигрывает mdadm + LVM связке. - тем не менее, на реальной нагрузке, там где lvm уже давно лежит, zfs работает как ни в чем не бывало - в реальной работе большой iops намного важнее большой линейной скорости - чем больше vdev тем лучше всё работает. Но желательно чтобы их количество было кратно стемени двойки. - raidzX не пригодны нигде, кроме как на сервере хранения резервных копий Lvm + mdadm не используют контрольные суммы и транзакционную запись - это серьёзный оверхед. Контрольные суммы и транщакционностьтспасают от всего, вообще от всего: никаких разрушенеых баз данных, никаких рассыповшихся рейд-массивов, даже если у вас все диски с бед-блоками, вы узнаете об этом, но скорее всего данные не потеряете. Lvm не управляет очередями из-за этого несколько линейных потоков записи могу поставить колом эту связку. А zfs очень мягко реагирует на рост многопоточной нагрузки. LVM создает очень большой оверхед при резервном копировании. В zfs этой проблемы нет. Если вы не пробовали, то не знаете, что усилий по организации резервного копирования и нагрузки на оборудование будет буквально в 100 раз меньше. В zfs есть кэширование на ssd и zfs разделяет нагрузку: линейное чтение происходит с дисков и не кешируется, мелкие файлы и базы данных осядут в кэше. Кроме того, можно использовать ввделенные устройства для метаданных и таблиц дедупликации. Да, дедупликация в zfs может стать болью. Это хорошо работает только в редких специыических случаях. Но может очень сильно сократить потребление дискового пространства. Ещё момент, если вы тестируете линейные нагрузки, поставьте recoredsize побольше: 64к, 128к или даже 1м.

а я вот собрал себе пул из 4xnvme (raid10) + i900p как slog и получил ~3-4Gb/s чтение и 2Gb/s на запись. Просто сказочные ощущения)). Postgres летает

Спасибо за очень ёмкий ответ), думаю он будет полезен не только мне

только вы с этим по-аккуратнее. Тут важно чтобы у вас было понимание как поведёт себя система внутри виртуалки при внеплановом отключении. Если там живёт stateless система, то всё нормально.

И честно говоря я не до конца понимаю к чему это приведёт)

это приведёт к тому что ОС внутри ВМ будет считать что данные на диск уже записаны. А эти данные ещё не записаны на самом деле.

ну это я догадывался)). Аналогичным образом ведёт себя кеширование на LVM

ну если для вашей ОС и приложений (внутри ВМ) - это нормально переживаемая ситуация, то всё ок

но в LVMтоже так можно)

вопрос перформанса, у классического lvm очень большой оверхед на снапшоты

ну так ты сделай клон, забыл как он там называется правильно и с него снимай снапшот

но в LVMтоже так можно)

В LVM не ТАК :) представьте что вы делаете регулярно снимки тома и отправляете это все на сервер хранящий резервные копии. В zfs есть встроенные утилиты которые не дадут вам сделать что-то не так. Они проверяю что вы шлете, подходит ли это к уже переданным данным, есле передача прервется, вы (или скрипт) сможете её возобновить. Поддерживается сквозная консистентность.

это приведёт к тому что ОС внутри ВМ будет считать что данные на диск уже записаны. А эти данные ещё не записаны на самом деле.

Важно ещё и то как эти данеые из кеша записыааются. В случае с LVM это обсалютно не безопасно. В случае с ZFS, поряжок записи таков, что восстановлпние будет точно таким же как и при отключенном writeback. Но разница в том, что zfs произведет небольшой откат. Т.е условно, 1с в виртуальной машине считает что проводка сохранена, а данные ещё в кеше. После неожиданного перезапуска гипервизора, окажется, что 1с база не повреждена, но проводка не сделана. Если у вас есть вторая сущность, например интернет-магазин со своей базой данных, с этого момента между ними может возникать недопонимание. Если же вторая сущность - бухгалтер. Она должна проверить последние 5 сек до сбоя, что её операции отражены в базе даных. Или, например, контроллер домена active directory в случае такого отката без проблем получит новые данные от домена. Он устойчив к откату. Таким образом эта опция безопасна с точки зрения целосности данных, но безопасность её применения зависит от вышестоящей системы.

Важно ещё и то как эти данеые из кеша записыааются. В случае с LVM это обсалютно не безопасно. В случае с ZFS, поряжок записи таков, что восстановлпние будет точно таким же как и при отключенном writeback. Но разница в том, что zfs произведет небольшой откат. Т.е условно, 1с в виртуальной машине считает что проводка сохранена, а данные ещё в кеше. После неожиданного перезапуска гипервизора, окажется, что 1с база не повреждена, но проводка не сделана. Если у вас есть вторая сущность, например интернет-магазин со своей базой данных, с этого момента между ними может возникать недопонимание. Если же вторая сущность - бухгалтер. Она должна проверить последние 5 сек до сбоя, что её операции отражены в базе даных. Или, например, контроллер домена active directory в случае такого отката без проблем получит новые данные от домена. Он устойчив к откату. Таким образом эта опция безопасна с точки зрения целосности данных, но безопасность её применения зависит от вышестоящей системы.

всё верно. Уровень приложений должен понимать во что выльется такой "сбой". Вряд ли это ограничится одной проводкой - при выполнении операции в 1С это может быть несколько действий (если они не обёрнуты в одну транзакцию). В любом случае использовать writeback - это должно быть крайне осознанное решение

насколько я понимаю, в таком режиме если pg захочет чтоб данные были обязательно записаны, он их запишет и убедится что это так. нет ?

вообще я не уверен, что через gui прокс где-то ставит sync=disabled, выше именно про него говорилось

ну вот, поймал толи дохнущий sata на матери, толи хреновый sata кабель, zfs конечно же спас данные. А на другой ФС бы и не узнал. Ещё одна железобетонная причина не использовать что-то другое 🙈

ну вот, поймал толи дохнущий sata на матери, толи хреновый sata кабель, zfs конечно же спас данные. А на другой ФС бы и не узнал. Ещё одна железобетонная причина не использовать что-то другое 🙈

обычно ext4 становится ro. не помню чтоб при подобных случаях терялись данные. возможно silent corruption и приключалось, но явных потерь заметно не было.

Для этого зфс вроде и проектировался)

насколько я понимаю, в таком режиме если pg захочет чтоб данные были обязательно записаны, он их запишет и убедится что это так. нет ?

обычно ext4 становится ro. не помню чтоб при подобных случаях терялись данные. возможно silent corruption и приключалось, но явных потерь заметно не было.