Олег
а питание окулинка елочкой?
riv
Концепт прикольный у гигабита был
Нарисовать то что угодно можно. Но с другой стороны, м.2 тонеькие, компактные пластиночки. Напрашивается их большое количество. А даже в серённых материнках, максимум 6 oculink. Может и больше есть, но это экзотика. А значит либо надо како-то нестандартный переходник и pci subdivision (когда в один слот x16 через пассивный переходник втыкается, например 4 x4 ) на материнке, тогда совместимость ограничена. Если же поставить туда pci-e swich то очень дорого получится, и скорость не ахти и могут быть косяки с каким-то материнскимиплатами. В общем производство такой корзины представляется затруднительным.
Олег
c m2 столкнулись что 1 слот не тянет 2 плашки, нужно повозиться в выходные с BIOS, мать дишманская
riv
а питание окулинка елочкой?
У меня сейчас они через переходники подключены, там molex как на старых ide-дисках, есть такие-же с сsata-питанием. но существую корзины в 5''- отсеки.
Олег
весь сервер в 200т/р
Олег
а выход из строя одного и сервер раком?
Олег
Ну один на два-три
Олег
молексы нормальные еще поискать
Олег
в dell совсем ад они)))
riv
Ну один на два-три
А... у меня хватает штатных линков от БП.
Олег
там не предусмотрено
Олег
2u
Олег
но чую наращивать окулинками
Олег
там и так и сяк можно
Олег
сейчас +2TB нужно
Олег
пока на паузе изза неясности биоса
Олег
конечно этов се не прод решения....
Олег
наколеночно все
riv
ну у меня серверный
Я по нищебродски на базе корпусов intel и advantech сделал. Но чем больше в поисках оборудования, тем больше просвещаюсь. Оказывается и БП есть с резервированием и у китайцев, какого только изврата нет для майнеров в основном. Они такие схемы питания там собирают...
Δαρθ
Это такая спекулятивная тема. Дело в том, что синтетика часто не соответствует рабочим нагрузкам. По этому мерять попугаи не очень верно. А ещё если вдруг ext4 работает быстрее, это достигается возможностью потери данных при сбое. Включите sync=disable и у вас хотя бы неконсистентных данных не будет после сбоя. А скорость станет буквально космической. Я сравниваю решения по другому: достаточно или нет вот под данную рабочую нагрузку. ZFS медленнее ext4, если их грузить условно, час по максимому, и значительно превзойдёт по записи при не полной загрузке и sync=dissbled. Важен экономический аспект. Что дешевле? Например, на сервере резервного копировпния под dedup vdev я использую пару s3700 и это даёт скорость записи около 100 мегабит сжатого трафика. Зато коэфициент дедупликации около 2.5-х в 2 с половиной раза делают дешевле нжмд часть хранилища. А пара оптайнов даст уже около гигабита на запись. Имеет смысл если у вас 50 почти одинаковых виртуальных машин.
у меня тут вышло, чтл зфс (0.8.0 из убунты) оказалось в 10+ раз медленнее btrfs :)
Олег
у меня тут вышло, чтл зфс (0.8.0 из убунты) оказалось в 10+ раз медленнее btrfs :)
бртфс не требователен к процу и ОЗУ но и потерять на нем данные не сложно
Олег
не даром его на синолоджи ставят
Олег
на атомы
Олег
5 летние
Δαρθ
А в каком сценарии? Или просто по тестам?
чтение всех файлов типичного рутового раздела с холодными кешами
Δαρθ
т.е. echo 3>/proc/sys/vm/drop_caches
Олег
т.е. echo 3>/proc/sys/vm/drop_caches
задолюала комманда))
Δαρθ
задолюала комманда))
ну я загрузку компа так имитировал
Олег
ну я загрузку компа так имитировал
на zfs с дедупликацией удалите мильон мелких файлов)))
Олег
вот где боль
Δαρθ
ну у меня не продакшн )
Δαρθ
зфс под хранение архивов наметил пока
riv
чтение всех файлов типичного рутового раздела с холодными кешами
Вполне возможно. Но, как написали выше, потерять данные легко. Я несколько раз проверял. Но, как я писал выше, zfs надо подстраивать под каждый сценарий. Например вынос метаданнных на ssd я считаю musthave. Будет очень быстро файлы и читать.
Олег
но рост есть данных
Олег
я больше в <20% упираюсь
Олег
там тюниги бессмысленны
Олег
при 10% свободного одна боль
riv
на zfs с дедупликацией удалите мильон мелких файлов)))
optane на dedup vdev и ssd под special и беолее-менее будет. На самом деле тут ведь проблемы 2: - то что это миллион файлов, даже если это 100 000 больших фалов от этого не легче, т.к. метаданные лопатить надо. От этого спасает special - то что они дедуплицированы и в процессе дулаения нужно перелопатить таллицу дедупликации и внести в нее очень много мелких правок. Тут только optane или SSD для баз данных, но на них будет весьма медитативно.
Олег
RAID 50 70TB
Олег
HDD онли
Олег
но в купе с проблемами NFS совсем грустно
Олег
сейчас расширюсь
Олег
вообще NFS боль, тот же SAMBA сильно быстрее
Олег
но проц грузит ад Samba
riv
HDD онли
Настоятельно рекомендую добавить psecial. Только учтите, что special надо даобавлять до записи данных в пул. У меня бул был на raiz1 на 32ТБ, ох я с ним намучался, пока не подключил special. Все вновь записанные данные, просто нормально удалялись переносились и т.д. а вот старые, пока не поренес или заново не перезалили так и тормозили.
Олег
1TB?
Δαρθ
riv
RAID 50 70TB
В вашем случае, гигов 300-400 надо суммарный размер special
Олег
Δαρθ
Олег
почему?
я не нашел конечной причины, все тюнинги, perf и прочее
Олег
делаете проксмокс, делаете директорию и NFS разница скоростей - разы
Олег
естественно sync
Олег
async наталкивались на опу такую что аж...
Олег
хотя и async не сильно помогает
Олег
для виртов iscsi и Saamba нужна
Олег
аж передергивает от выбора
Олег
или запас скоростей иметь немеренный
Олег
+ 3-5 порядков
riv
оптаны? или любой долгоживущий?
под special любой долго живущий. Нагрузки там не запредельные. У меня в режиме бекапа примерно 1/4 iops падает на special и примерно так-же или ближе к 1/3 по объему перезаписываются данные на special от тех которые записываются на НЖМД. А вот под dedup однозначно optane, там на zpool iostat получается, что на dedup vdev падает раз 10 больше по объему перезаписи, чем на основные устройства пула.
Δαρθ
по записи тормозила нфс?
Олег
3 года - новый
Олег
так себе перспектива
Олег
чет понадежнее нужно
riv
ну 1TB samsung pro за год на 30% просел по SMART
SATA S3700 800ГБ сейчас можно купить на avito тысяч за 13-15. Я купил в самом начале скачка цен 4 шт по 7 000 руб.
riv
Износ от 1 до 6%
riv
И на special в течении полугода я не заметил какого-то изменения этой цифры.
riv
чет понадежнее нужно
Берите бу серверные, там совсем другие порядки наджности. Ве эти десктопные мало того что сдохнут задолго до приблежения износа к 100%, так еще и тупить могут _сильнее_ чем НЖМД! когда буфер заканчивается они тупят адски. Даже S3700 могут подтупливать, если их часов 20 гурзить случаный вводом. И скорост ьу них падает по мере длитеьного простоя под такими нагрузками. Но стоит им дать постоять не долго и снова норм. А я раз в год еще и security erase им делаю, после него они вообще как новые работают.
Олег
От кеша много смысла может не быть, один мульт 60GB может быть
Олег
линейное чтение