Так что значительно оно не повлияет

А вот потребление памяти и других ресурсов заставит решать задачу в оригинальном желании дописать в начало

Чего не сохранить-то?

Проблема...

Ну, винты по 10 ТБ уже есть. На SAS-шину можно сколько там, 64к дисков повесить?

https://ru.wikipedia.org/wiki/ZFS#.D0.A0.D0.B0.D0.B7.D0.BB.D0.B8.D1.87.D0.BD.D1.8B.D0.B5_.D1.80.D0.B0.D0.B7.D0.BC.D0.B5.D1.80.D1.8B_.D0.B1.D0.BB.D0.BE.D0.BA.D0.B0 Если сжатие включено, используются переменные размеры блока. Интересно, эту глупую ошибку когда-нибудь исправят?

Ну, винты по 10 ТБ уже есть. На SAS-шину можно сколько там, 64к дисков повесить?

Ой можно ссылку на цифру?

https://en.wikipedia.org/wiki/Serial_Attached_SCSI No. of devices 65,535

Тока провод 100 метров оптики...

Тогда скорее "если самолёт летает вперёд, то почему бы ему не летать назад"

Тока провод 100 метров оптики...

Откуда в SAS взялась оптика?

Откуда в SAS взялась оптика?

Меди меньше

и оно, конечно, не работает на линуксе -> нах не сдалось широким массам

copy_file_range

Меди меньше

SAS вообще не умеет в оптику. То уже FC.

и оно, конечно, не работает на линуксе -> нах не сдалось широким массам

reflink

100pb один хрен не сохранить на одном сервере

нуу... https://www.reddit.com/r/zfs/comments/46cyrw/our_new_zs44/?st=j7gpfw6a&sh=c1ac0ba0

а по домашнему http://louwrentius.com/category/zfs.html

18tb

800tb

Не 100Pb

1. Берём корпусы Bitblaze на дохуя дисков; 2. Забиваем под завязку дисками по 10Т; 3. Набираем корзин достаточно для 100 Пб; 4. Ставим хуеву тучу SAS-экспандеров; 5. ???; 6. PROFIT!

Зачем? Средненький кластер Яндекса + ggate на одну машину

100pb один хрен не сохранить на одном сервере

Постановка задачи - один сервер.

А это один сервер

Кластер != сервер, не надо тут.

По sata диски подключены или ethernet никакой разницы

Кластер != сервер, не надо тут.

В современном мире уже давно ==

https://en.wikipedia.org/wiki/Server_(computing)

https://en.wikipedia.org/wiki/Computer_cluster

Да ну?

Ты ещё букварь мне покажи

Ну да

А про что тут сраться-то? Просто пытаться применять закостенелые определения из прошлого века на то что отличается только протоколом интерконнекта - глупость

Не только. В дисковой полке нет материнской платы, а в узлах кластера - есть. Дисковая полка не требует наличия ОС для работы, а узел кластера - требует. И т.д. Не надо извращать определения, это бессмысленно. Они сами изменятся, когда придёт время.

Бессмысленны сами определения. Плата есть в любом накопителе, как ты её ни назови, и прошивка есть

В современном мире уже давно ==

чушь какая

Аргументировано

ну штопаделать, если даже википедия не доходит

если совсем коротко, у сервера общая память, у кластера раздельная

https://twitter.com/rzezeski/status/906001828512333828

so?

если совсем коротко, у сервера общая память, у кластера раздельная

Мимо. rdma с одной стороны, и numa с другой

и оба не в кассу

программная модель разная, и это ключевое

Никакой разницы

Даже не на нуме а на обычном десктопном железе задачи прибиваются к ядру потому что кэши разделённые, вот тебе и кластер в одном корпусе

По другому хайлоуд не пишут

ыыы... не, с таким уровнем аргументирования серьезной дискуссии не выйдет

А уж на одном кристалле эти ядра или в разных дц никого не волнует

А я согласен. Я говорю как оно работает, а они что там лампочки разных цветов и википедия

бгг, это напоминает старый прикол, еще до-фидошный даже, кажется - про ПЕКТОПАХ

ну буковки ж точно так же выглядят, чо!

Так это, получается, если я запущу Ведьмака 3 на Sunway TaihuLight - у меня будет OVER9000 FPS? ?

главное к ядрам прибить не забудь! :D

Ну, это долго будет, всё-таки их там около 10 лямов... надеюсь, прибивать не обязательно руками.

наука требует жертв!

Я уж лучше в пектопах зайду. Лишь бы голубой воды не было.

да-да, а то потом придется ПЕМОХТ делать!

Вы опять считаете часть задачи

И снова городите теоретику

Предлагаю запросить у любого поставщика спеку

На такой сервер

Уверен есть другие технические ограничения почему это не получится сделать в рамках одного сервера

менаджор штоле?!

ERROR: S client not available

мы про код, а он про поставщика железа :D

вы не про код а про абстракцию.

я предлагаю убрать абстракцию

и реализовать в конкретном part number

успехов

https://phys.org/news/2011-08-petabytes-ibm-largest-storage-array.html Ну вот говорят, что 6 лет назад построили на 120 ПБ.

storage array

не сервер

Это с каких пор корпус с материнкой + кучей дисковых полок перестал быть сервером?

с тех пор когда туда нельзя поставить операционную общего назначения

и такие массивы не расчитаны на хранения одногофайла

как правило дисковые массивы на более чем 10Pb это объектные хранилки

которые не могут быть блочными.

так что придется реализовывать что то типа блочного устройства поверх объектного хранилища. уверен это поднимет сложность реализации еще на несколько порядков.

впрчем кажется они есть.

так что думаю что задача о хранении такого фалй будет довольно умозриетельной по крайней мере еще 5-10 лет.

100 ПБ - 10 000 дисков. https://www.broadcom.com/products/storage/host-bus-adapters/sas-9305-24i - 1024 диска на контроллер. https://www.supermicro.nl/products/motherboard/Xeon/C600/X10QBI.cfm - 11 слотов PCI-E https://www.supermicro.nl/products/chassis/4U/847/SC847DE1C-R2K04JBOD - корзина на 90 дисков

но мы начале с того что хотим дозаписать этот файл в начало так ведь ?

Покупай, собирай. Память и процы выбери сам, на дисках запилишь ZFS.

zfs постребует памяти для такого объема. сколько ?

1. Up to 12TB of DDR4 (128GB 3SDS LRDIMM) in 96 DIMM slots Хватит?

не уверен

я плохо знаком с потреблением памяти zfs-ом

Ежели dedup не юзать - то памяти и не нужно. А 10000 vdev уж как-нибудь влезут в 12 тер оперативы.

но нам как раз нужен дедуп.

ибо если его нет то надо удвоить емкость

Dedup - ну тут уж от характера данных зависит потребление памяти. Впрочем, у нас есть 11-й, свободный PCI-E слот, в который можно воткнуть ещё один HBA и впердолить 1024 SSD, если вдруг памяти не хватает.

847DE1C-R2K04JBOD 112 штук

тоесть потребуются комуты

значит sas-9305-24i не подходят

Это ещё почему?

11 стоек только под диски.