« Rev
@ru_zfs   443
Fwd »


Vladislav
Rdma поддерживается на адаптерах?
Mikhail
Rdma поддерживается на адаптерах?
Не знаю что это такое. Но это ж все меньше гигабита в секунду:)))
Vladislav
Это не совсем про решение вашей проблемы с iscsi, но подход с другой стороны RDMA - remote direct memory access Вместо iscsi можно просто включить iser и посмотреть на его реакцию
Vladislav
Учитывая, что у вас all flash, то iscsi выглядит как... Очень интересный bottleneck
Vladislav
Iser или nvme-over-tcp/nvme-over-rdma выглядит как куда более интересное решение
Mikhail
Iser или nvme-over-tcp/nvme-over-rdma выглядит как куда более интересное решение
Я все порываю обвинить во всем ядро, и заменить на freebsd. Но пока держусь ибо не имею доказательств.
Vladislav
Я все порываю обвинить во всем ядро, и заменить на freebsd. Но пока держусь ибо не имею доказательств.
Тут уже скорее к более серьезным спецам вопрос, я был близок к тому чтобы получить конечный стенд с rdma и 8тб nvme, но цена скаканула и стенд пришлось свернуть, поэтому в тонких настройках не помогу
Mikhail
Да, под рукой perf, debian. На материнке два процессора xeon bronze. Памяти что то типа 64gb.
Mikhail
Numa со всеми нюансами...
Могло бы быть, но upi каналы свободны, там ещё далеко до saturation-а. На сервере никакой сторонней нагрузки нет. Писать в чужую память даже в один поток можно раз в 100 быстрее :)))
Mikhail
Да, cpu тоже не загружен, от слова совсем.
Mikhail
Основной вопрос - почему так интенсивно создаются новые ядерные нити. Как бы это запрофилироват
Mikhail
kthread_run/create попробую как доберусь домой.
Aleksey
Ещё интересное наблюдение для новичков в коэффициенте сжатия не учитываются файлы с нулями. Они сохраняются разреженными и это не считается сжатием. В этом примере коэффициент сжатия х2 по факту намного больше, почти х5 т.к. 100мб нулей и файл 66 из нулей с допиской пары символов фактически места не занимают.
Fedor
Обычно пустое место это вроде 0хFF?
Aleksey
Обычно пустое место это вроде 0хFF?
Я делал копированием из /dev/zero файл
Fedor
Обычно пустое место это вроде 0хFF?
С точки зрения блочника
Fedor
Я делал копированием из /dev/zero файл
Очень хороший эксперимент. Я прям приятно удивлён результатом.
Fedor
А если цепочка нулей разделена данными, поведение сохраняется?
Aleksey
А если цепочка нулей разделена данными, поведение сохраняется?
Такое не пробовал, пробовал файл из символа "1" повторяющегося много раз это файл 1.txt на скрине, вот он просто сжался. И учитывается правильно.
Murmuring
Здравствуйте. А zfs научили работать с smr дисками ? Массив не разваливается при задержках ?
Vladislav
Сервер ZFS 645 ТБ. Dual Intel Gold 5222, 512 ГБ оперативной памяти, 60 отсеков, 6 nvm. Зверь, который является резервным сервером, хотя и быстрее, чем продакшн 😂
central
пару автоматчиков в комплект не входят?
Vladislav
А хз, думаю у дата центра есть охрана
Egor
А поставят туда небось убунту с мдадм, лвм и ext4 )
Fedor
Сервер ZFS 645 ТБ. Dual Intel Gold 5222, 512 ГБ оперативной памяти, 60 отсеков, 6 nvm. Зверь, который является резервным сервером, хотя и быстрее, чем продакшн 😂
Вот нравится такое размещение дисков. Видел варианты на 2.5, там и по иопсам, и по остальному получается просто зверь.
Fedor
Те, что умеют в сас
Fedor
Чаще всего они серверные
Fedor
интересно, сколько там выходит температура дисков?
Там такая ветродуйка внутри, что дискам норм)
Vladislav
Это фото не мое, с группы
Fedor
Слышал когда-нибудь полки со скази дисками? Примерно вот так)
Fedor
Почти как самолёт шумит 😁
Δαρθ
ну а температуру-то они какую репортят в смарте? )
Василий
ну а температуру-то они какую репортят в смарте? )
У меня дома колхоз из 20 дисков обдувается вентилятором на 120мм на невысокой скорости, температура не больше 40 Так что думаю тут вообще без проблем, учитывая что вопрос шума тут не стоит
Aleksey
А на ssd пока не переходят профи? Почему в таких дорогих серверах все ещё механика медленная и хрупкая?
central
А их нужно будет 65 по самому оптимистичному прогнозу
central
Nvme ЕМНИП вообще в принципе в таких количествах невозможно подключить
Aleksey
Я просто думал может ещё какие-то соображения например может они считаются недостаточно надежными и долговечными. А так запас скорости не повредит. Плюс энергоэффективно.
Aleksey
Яндекс облако предлагает на выбор ССД или hdd под виртуалки. И там тарифы разные.
Aleksey
central
Яндекс облако предлагает на выбор ССД или hdd под виртуалки. И там тарифы разные.
Холодное хранилище ни черта ни одно и то же что и системой диск
Vladislav
Если добавить переподписку, потому что nvme pcie 3.0 можно посадит на через экспандер на 2 линии 4.0 вместо 4, то ~100 штук реально. Просто такая штука будет упираться в CPU
central
Иопсы же
толку если не сможешь утилизировать
Egor
Если нужно постоянно читать терабайты рандомных мелких файлов, то видимо смогу. У яндекса подобная задача была они обеспечили отдачу 40 ГБ/с одним серваком с помощью zfs (изменили размер блока фс до 10МБ) и кучи ssd
Egor
Презентация на эту тему была, сейчас ссылку уж не найти
central
терабайты можно и в ОЗУ запихать, а выше сервак был не с парой не даже сдесятком а 650 ТБ, я хз для каких целей может понадобиться горячее хранилище таких обьемов
central
да есть кучу сценариев когда нужно использовать ссд, но пока что никто не назвал ни одной причины заменять hdd на ssd
Egor
1с файловая сильно ускоряется на 1 ссд ))
Ivan
Про яндекс и zfs не слышал но 10мб блок это поточка :)
наверно при определенном количестве рамы на полке такой блок весьма хорош и для вм.
Mikhail
Может это не про яндекс, а про конфу ruBSD.14 и доклад Славы про ZFS? Там действительно было про 40Gbps и ZFS для видеостриминга.
Roman
Видеостриминг мало похож на случайный доступ к мелким файлам
Mikhail
Логично
Mikhail
Вопрос - никто не встречал ZFS+iscsi при котором iscsi поток уже несёт сжатые данные? Если бы было 4 порта по 40Gbps, то не спрашивал бы. У меня к сожалению только 1 порт на 10Gbps и ZFS-ка из 10 NVMe.
George
наверно при определенном количестве рамы на полке такой блок весьма хорош и для вм.
На самом деле блок больше 1мб только в сжатии помогает немного, по перформансу в 99% случаев хуже
riv
Сервер ZFS 645 ТБ. Dual Intel Gold 5222, 512 ГБ оперативной памяти, 60 отсеков, 6 nvm. Зверь, который является резервным сервером, хотя и быстрее, чем продакшн 😂
Что за корпус? Вообще кто-нибудь знает доступные по цене корпуса для подобного размещения дисков. Не обязательно в hot-swap-карзинах, но обязательно с бекпленом.
riv
А на ssd пока не переходят профи? Почему в таких дорогих серверах все ещё механика медленная и хрупкая?
На порядок дешевле. На большой емкости при наличиее ssd-метеладнных, ssd-кэша и ssd-лога, основную массу холодных данных лучше хранить на дисках.
riv
Вопрос - никто не встречал ZFS+iscsi при котором iscsi поток уже несёт сжатые данные? Если бы было 4 порта по 40Gbps, то не спрашивал бы. У меня к сожалению только 1 порт на 10Gbps и ZFS-ка из 10 NVMe.
10 NVME тут напрашивается iser https://en.wikipedia.org/wiki/ISCSI_Extensions_for_RDMA Я чисто теоретически про это узнавал. По тому, что латентность обычного iscsi такая, что nvme не очень то и надо, тем более 10 шт.
Василий
Что за корпус? Вообще кто-нибудь знает доступные по цене корпуса для подобного размещения дисков. Не обязательно в hot-swap-карзинах, но обязательно с бекпленом.
Все что до этого видел в новостях, все было американское и нефига не дешёвое, что в условиях санкций превращает его в мифическое на территории рф
Roman
БУ
Roman
https://www.supermicro.com/en/products/system/4u/6048/ssg-6048r-e1cr60l.cfm
Roman
Прикольные железки https://www.supermicro.com/en/products/top-loading-storage
Vladislav
Мопед не мой, я только разместил обьяву!
Vladislav
10 NVME тут напрашивается iser https://en.wikipedia.org/wiki/ISCSI_Extensions_for_RDMA Я чисто теоретически про это узнавал. По тому, что латентность обычного iscsi такая, что nvme не очень то и надо, тем более 10 шт.
iSER вещь прекрасная, сейчас у меня крутится, но к нему нужно либо sds что умеет в него, либо ручками делать (debian+LIO)/(FreeBSD+scst)+ZFS
Vladislav
Прикольные железки https://www.supermicro.com/en/products/top-loading-storage
Ага. То ли депо, то ли аквариус, когда получили их аж отдельную презентацию делали где хвалились конструкцией
Vladislav
Я на секунду даже зауважал их, а потом коллеги смеясь показали супермикро 2015/16 года с этой конструкцией
« Rev
@ru_zfs   443
Fwd »