Кот Матроскин
Диски вобщем SMR, хрустят весело после удаления данных и оптимизации блинов делают в простое...
Xash
Обычные HDD только для бекапов юзаю. Что странное, стоит массив из 4х дисков raidz по 4tb - все норм. А стояли они когда то на базах под виртуалки - тоже фолты и прочее. Они не способны 100% быть загруженными всегда. Стоимость SSD абсолютно оправдана. Вот только вопрос, а на массиве с SSD трим надо включать?
Xash
Любой практически SSD кроме самого дешевого лучше в 5 раз любого винта и это факт.
Georg🎞️🎥
Обычные HDD только для бекапов юзаю. Что странное, стоит массив из 4х дисков raidz по 4tb - все норм. А стояли они когда то на базах под виртуалки - тоже фолты и прочее. Они не способны 100% быть загруженными всегда. Стоимость SSD абсолютно оправдана. Вот только вопрос, а на массиве с SSD трим надо включать?
А вот есть статистика по серверным ssd, при 5-8 кратной стоимости относительно hdd на больших объемах , будут ли они бегать по 10-15 лет , или дешевле (именно дешевле, а не удобнее), раз в 3-4 года менять винты 🤷🏻‍♂️
Xash
Вон у меня 870 самсы стоят уже 3 года. Максимальный износ 15%
Georg🎞️🎥
Вон у меня 870 самсы стоят уже 3 года. Максимальный износ 15%
Износ мало волнует как раз, под файловое хранилище , именно волнует чтобы лет на 8 поставить и забыть Что у них с контроллерами
Xash
Износ мало волнует как раз, под файловое хранилище , именно волнует чтобы лет на 8 поставить и забыть Что у них с контроллерами
Я наврал. Им этим самсам 6 лет и я их снял с десктопов. Они себя по надёжности показали лучше чем что либо у меня было.
Xash
Так что для меня любые винты это уже не надежно. Под большой нагрузкой вылезают сюрпризы. Надоело. По итогу они даже дороже обходятся. Ну например ранее без кластера не обойтись, воткнули ссд - теперь можно обойтись
Georg🎞️🎥
Ага, порви ультрастар 530й?
Я думаю он про hdd а не ssd )
Бу...
Я думаю он про hdd а не ssd )
WD 14TB Ultrastar DC HC530 HDD SATA 3.0 512 MB 7200RPM 3.5
Xash
Ага, порви ультрастар 530й?
Порву. 850й его даже порвет в любых тестах на надежность
Georg🎞️🎥
WD 14TB Ultrastar DC HC530 HDD SATA 3.0 512 MB 7200RPM 3.5
А каком параметре кроме объема речь ? 🤔
Xash
Он только в обьеме превосходит. А так больше данных пиши, больше потом заливать с бекапов и тут все упирается в скорость. Сколько бекап будет делаться/заливаться в сравнении с SSD?
Xash
В 2 раза, 3? Где то так
Xash
Только что посмотрел. У меня даже 850е есть и им сука 8 лет. До этого базы убивали диски максимум за пару лет чисто по смарту алярмы. Уже год работают. 11% износ, а был год назад 7%. Полностью оправданна цена
Xash
Power on hours смотрите
Бу...
А каком параметре кроме объема речь ? 🤔
Стоимость хранения Tb, плотность на порт (ограничение по железу), последовательная запись большого файла (бекап), предсказуемый смарт (прогнозируемый износ железа), длительность хранение в холодном состоянии.
Xash
Посмотрел текущие цены. 4тб = 20к. Даже если из них сделать тупо спарку, это будет надежней чем рейд5 и прочая шляпа из бытовых середнячков.
riv
Думаю может бытовых ssd напихать - для файлового сервера на 5-6 мест точно за глаза :))
Плохая идея. Бытовые легко прогружаются записью и скорость падает до горадо меньшей чем у hdd - 50iops и меньше
Xash
И уж лет 5 оно норм будет.
Igor
Power on hours смотрите
я с блейда снял IBMки 2ТБ и 3ТБ у них безостановочной работы было почти 9 лет )) но уже не рискую их обратно втыкать
Georg🎞️🎥
Плохая идея. Бытовые легко прогружаются записью и скорость падает до горадо меньшей чем у hdd - 50iops и меньше
Ну так они в рейде будут )) да и писать на них круглосуточно не планируется
Xash
Ну короче я, это все на практике проверил как только не делал. Винты чисто как для свалки можно юзать, у меня нет на это времени. Переплата того стоит. Они медленные, с сюрпризами, слишком много костылей. Линейную запись они терпят, подгрузишь их какой то постоянной перезаписью - начинает что то вскрываться. Лучше даже просто большой SSD + backup поставить чем мутить всякие там рейд5 и прочее.
Xash
Потому что сливается все очень быстро и заливается
Xash
Сколько раз у меня хардварный или программный рейд распадался так, что проще было залить бекап с заменой сбойных.
Xash
Потому что пачкой их меняешь и они чуть ли не в один час начинают дохнуть сразу
жюн
л2арк в душу любил
2/17 попадания в него, он в пыль быстрее сотрётся, чем импакт покажет
Xash
Конечно это не по теме. Но как мне было страшно, когда я как то сделал growfs на mdadm и увидел 1 мес до окончания. Только бекапы.
riv
Только что посмотрел. У меня даже 850е есть и им сука 8 лет. До этого базы убивали диски максимум за пару лет чисто по смарту алярмы. Уже год работают. 11% износ, а был год назад 7%. Полностью оправданна цена
За 100к рублей можно купить новый серверный optane на 400ГБ, вы получите неубиваемые 500 000 iops. Или же за 50 000 рублей можно купить 900ГБ бытовых геймерских optane бу, они тоже выдают 500 000 iops и точно устойчивее по записи всех серверных ssd
Xash
И к ним как раз те SSD в одном массиве.
Xash
Хоть какой у тебя массив, хоть золотой, хоть платиновый - без бекапа это все хождение по лезвию
riv
У optane есть принципиальное приимущество относительно даже самых круных серверных nvme - десятикратно ниде латентность, кроме того, одно дело средняя латентность, когда изредка запросы могут тупить и 100мс и больше но на среднее это не влияет, т.к. происходит редко , другое дело ootane где нет таких выбросов.
Y
Хоть какой у тебя массив, хоть золотой, хоть платиновый - без бекапа это все хождение по лезвию
а кто-то говорит что нет бэкапа ? ясно что 100500 терабайт фильмов в торрентов бэкапить дорого (дешевле в кинотятре жить)
Xash
а кто-то говорит что нет бэкапа ? ясно что 100500 терабайт фильмов в торрентов бэкапить дорого (дешевле в кинотятре жить)
В том то и прикол, что бекапить HDD тяжко. Скорость отвратная. Параллельно с отправкой снапшота и работой тяжкое.
жюн
Да все что угодно может быть. Слишком много геморроя.
слыхали мы историю о бэкапах вытаскиванием диска из миррора
Александр
Повторюсь: рейд - это рейд, бекап - это бекап.
Причем не разнесенный географически бэкап - не бэкап а макет в натуральную величину
Бу...
Причем не разнесенный географически бэкап - не бэкап а макет в натуральную величину
Кстати, про бекапы. ssd (особенно затертый до дыр, т.е хорошим пробегом) любит забывать биты и байты, будучи обесточенным длительное время (как и любой носитель информации, основанный на накоплении заряда). Т.е. под холодное хранение ssd мимо.
Vladislav
Достаточно быстрый процесс восстановления иногда быстрее, чем молиться пару часов или дней, что не умрёт зеркало/второй диск
Бу...
Достаточно быстрый процесс восстановления иногда быстрее, чем молиться пару часов или дней, что не умрёт зеркало/второй диск
Просто решение подбирают под задачу, а не наоборот. Потому есть место и для ssd, есть место и для hdd (и последние еще долго не покинут корпоративный рынок).
Vladislav
Просто решение подбирают под задачу, а не наоборот. Потому есть место и для ssd, есть место и для hdd (и последние еще долго не покинут корпоративный рынок).
Конечно, видеонаблюдение/бэкапы, если бэкапы и в очень крупных переходят на ссд, чтобы в окно копирования уложиться - то видеонаблюдение никто на ссд тащить не будет
Vladislav
Оптан же все по моему. Они свернули эту историю, нет?
свернули, но остались ещё запасы склада
Vladislav
Они их продают всё ещё
Xash
Точно, я читал. Из за того, что бессмысленно дорого. Мне хватает и нормальных ссд.
Rodion
Всем привет! Сетап: RockyLinux 9, ZFS из его репозитория. Сделал пул командой zpool create -m /opt/datapool datapool /dev/sdb из под root, пул появился в системе. В системе есть сервис, который работает из-под своего пользователя (user_svc), и делает sudo /sbin/zfs create datapool/store1 , потом sudo mkdir /opt/datapool/store1/folder1, и копирует туда данные, что-то с ними делает, в логах сервис всё ок. Любой другой пользователь делает ll /opt/datapool/store1/ - А ТАМ ПУСТО!! du -hs /opt/datapool/store1/ тоже ПУСТО zfs list показывает, что данные в datapool/store1 есть и их столько сколько и ожидается. После reboot все видят все папки и данные в datapool/store1 как положено. Подскажите, пожалуйста, что это за подземный стук, всю голову уже сломал....
Vladislav
Так, вот это пример правильного запроса
Vladislav
И не включён ли selinux
Rodion
И не включён ли selinux
cat /etc/selinux/config SELINUX=disabled
Rodion
Версию zfs ещё И ядро
ядро 5.14.0-362.18.1.el9_3.0.1.x86_64 zfs zfs-2.1.14-2.el9.x86_64
Vladislav
Копирование как происходит?
Rodion
А если ручками - всё ок, если бинарь сервиса запустить в ssh сессии от его юзера - тоже всё ок. Если сервис запущен как сервис - то никто ничего не видит.
Rodion
Копирование как происходит?
scp с удалённой машины.
Rodion
точнее, сервис внутри себя запускает scp
Rodion
Не видит до перезапуска, так?
Именно так, после reboot всё ок.
Vladislav
Именно так, после reboot всё ок.
И он sudo scp делает? С учеткой nologin в группе судо?
Vladislav
Попробуйте сделать 777 права на папку и путь до неё
Vladislav
Хотя бы поймём проблема прав ли это
Vladislav
И работает ли это если маунт делать в корне?
Rodion
И он sudo scp делает? С учеткой nologin в группе судо?
Он делает это через python'овский paramiko.SSHClient ftp_client.get
Vladislav
И если после записи сделать zpool export --> import, файлы появляются?