Animal
и вообще когда делаю снап на таком системном пуле он их создает вообще или это "видимость" ? тк zfs lit -t snapshot в принципе показывает что снап существует
central
LordMerlin
А как же.. а как ... а ... ну ладно....
Fedor
все и так консистентно всегда
LordMerlin
Вы не понимаете. зато восстановить что-то можно))))))))))))))))))))))))))))
Алексей
Судя потому что у него на переднем плане wd green можно понять что у них за клиенты
Алексей
Какие 100тб вы о чём
LordMerlin
Как какие. Которые за нажатия в Рстудио платят десятки тыщщ
LordMerlin
У нас тут одно время кидалы акивничали. Компьютерные услуги.
Типа винда переустановить, продуть пыль, драйвера поставить...
ИТОГО с вас .... и рандом от 3 до 40 тыщ))))
Вадим
Вадим
Простите за оффтоп
https://www.youtube.com/watch?v=HMFHfbiOMGQ
LordMerlin
Вот и у нас оказалась организация такая.
Пока нормальные не собрались, не вызвали по вызову одного такого и не отпиздохали.
Потом в ментуру сдали и всю шайку накрыли.)))
Станислав
LordMerlin
Нет))
Pavel
Y
Y
Y
Комрады, какие потери "на формат" у 10+2 против 8+2 (ashift=12)
Art
Сообщается, что система хранения Frontier носит название Orion. Она состоит из 50 шкафов с накопителями суммарной вместимостью приблизительно 700 Пбайт. Эти устройства хранения распределены по трёхуровневой схеме, включащей SSD, HDD и другие энергонезависимые решения, на базе которых разврёнуты ФС Lustre и ZFS. Данные возрастом более 90 дней автоматически перемещаются в архив.
Art
central
Art
Сообщается, что система хранения Frontier носит название Orion. Она состоит из 50 шкафов с накопителями суммарной вместимостью приблизительно 700 Пбайт. Эти устройства хранения распределены по трёхуровневой схеме, включащей SSD, HDD и другие энергонезависимые решения, на базе которых разврёнуты ФС Lustre и ZFS. Данные возрастом более 90 дней автоматически перемещаются в архив.
Один из уровней, производительный, объединяет 5 400 NVMe SSD, обеспечивающих ёмкость 11,5 Пбайт. Пиковые скорости чтения и записи информации достигают 10 Тбайт/с. Показатель IOPS (количество операций ввода/вывода в секунду) при произвольном чтении и записи превышает 2 млн. Второй уровень содержит 47 700 жёстких дисков (PMR). Их общая вместимость равна 679 Пбайт. Максимальная скорость чтения массива — 4,6 Тбайт/с, скорость записи — 5,5 Тбайт/с. В состав третьего уровня включены 480 устройств NVMe суммарной ёмкостью 10 Пбайт для работы с метаданными.
В целом, архитектура соответствует той, что была запланирована изначально. Однако теперь представитель ORNL подтвердил правильность выбранного гибридного подхода к хранению информации, отметив, что одна из выполняемых на суперкомпьютере задач генерирует 80 Пбайт в день и что ему не хотелось бы, чтобы из-за недостаточно быстрого хранилища столь мощная машина простаивала без дела.
Ivan
Один из уровней, производительный, объединяет 5 400 NVMe SSD, обеспечивающих ёмкость 11,5 Пбайт. Пиковые скорости чтения и записи информации достигают 10 Тбайт/с. Показатель IOPS (количество операций ввода/вывода в секунду) при произвольном чтении и записи превышает 2 млн. Второй уровень содержит 47 700 жёстких дисков (PMR). Их общая вместимость равна 679 Пбайт. Максимальная скорость чтения массива — 4,6 Тбайт/с, скорость записи — 5,5 Тбайт/с. В состав третьего уровня включены 480 устройств NVMe суммарной ёмкостью 10 Пбайт для работы с метаданными.
В целом, архитектура соответствует той, что была запланирована изначально. Однако теперь представитель ORNL подтвердил правильность выбранного гибридного подхода к хранению информации, отметив, что одна из выполняемых на суперкомпьютере задач генерирует 80 Пбайт в день и что ему не хотелось бы, чтобы из-за недостаточно быстрого хранилища столь мощная машина простаивала без дела.
интересно как посчитали максимальную скорость. это просто сумма каналов носителей или же то что реально может массив выдать ?
Art
George
Ext4 многое из ldiskfs впитал)
George
George
Отсюда её плюсы и минусы)
Art
George
У lustre как раз надобность в больших пулах на одной ноде под нет, zfs оч много их проблем решает
George
и fsck на ребуте не будет часами фс восстанавливать
Art
George
Draid тоже под люстру пилился с их большими пулами
Alexander
Главный минус lustre на zfs - оно медленнее, чем на ldiskfs. Особенно если приложение работает с маленькими блоками.
А про fsck (lfsck для lustre) правда, но в последних версиях его существенно ускорили, так что часами ждать не надо..
Fedor
Михаил
простой нубский вопрос
хочу в zfs raid10 добавить еще 2 диска
просто делаю zpool add %poolname% mirror sdX sdY
или еще какая магия нужна?
Ivan
интересно, а есть какие-то балансеры данных для случая когда к старому raid10 добавил дисков ?
Fedor
со временем распределится, если данные постоянно меняются
Fedor
если нет - только перезапись данных
Михаил
George
даже виртуалка не обязательна, если что, но почему бы и нет
George
в тему non-ecc памяти с zfs - запостил несколько своих баек:) https://zfsonlinux.topicbox.com/groups/zfs-discuss/T7a9eefcf4ffcb321-Mc595bf3ea69d4369df0f5b53
Artem
George
Y
R
Y
сам пул выживал, да, данные по понятным причинам новые ещё до zfs бились
хм... у меня таки данные записывались правильно, а вот читались нет , собственно я это заметил когда скопировал что-то нужно и решил хеш сверить - была ошибка, я даже файлы побайтово потом сравнивал - таки ошибка каждый раз в разных местах была...
только тогда решил на сам НАС лезть сомтреть что к чему...
плашку когда поменял - те файлы что записывал с битой таки оказались целыми (хеш сошелся)....
Y
Комрады, сколько в zfs-зеркале может быть максимум дисков ?
Fedor
Fedor
Там вроде куда больше двух можно
Алексей
Да куда уж больше
Alexandr
Egor
подскажите, если мы создаём пул поверх gpt-раздела:
zpool create -o ashift=12
нам же не важно выравнен раздел для 4к или нет?
Egor
что-то только сейчас об этом задумался
central
Egor
Почему не должно быть важно?
https://groups.google.com/g/zfs-fuse/c/Dq5kZ6otWT8
здесь ответ нашёл (важно и смещение раздела и ashift zfs)
Egor
теперь вопрос: как я могу на линухе добавить к разделам gpt-метку и создать на них пул?
Egor
во FreeBSD и создание разделов и добавление метки делается с помощью gprart, в линухах какой-то бардак по-моему
Shaker
Да, некоторый бардак есть.
Shaker
Сам удивился, когда увидел, на разных хранилках, где-то есть разделы, а где-то нет.
Разные версии ZFS, и видно по команде
lsblk --output NAME,PARTUUID,FSTYPE,LABEL,UUID,SIZE,FSAVAIL,FSUSE%,MOUNTPOINT
что некоторые диски добавлены в zfs без разделов, хотя все делалось одним скриптом.
Fedor
Почти все современные фс выравнивание производят автоматом
Fedor
Вопрос, выровнен ли нижний слой, если диск виртуализирован
Shaker
Еще вопрос, какой он, идеальный cpu для 96 дисков в зеркале zfs + nfs ?
Ivan
Shaker
Думаешь в частоте дело ?
Shaker
Все пишут , что нужно больше ядер
Vladislav
Нет, односокетная мать потому что не нужно насиловать мозг с тем, что скорость падает из-за обращения памяти CPU2 к PCIe на CPU1
Georg🎞️🎥