Я не про один сервер я под цев сделаю 10 допустим серверов по 16 дисков - но 3 миллиарда файлов тогда как будет работать на этом ?

нормально

то есть перефразирую 10 серверов по 20 тер 300 миллионов файлов на zfs тормозит а на 10 серверах этих же но уже цеф + сервера под мониторы и уже будет летать?

а почему у тебя зфс тормозит?

Почему не знаю - места свободного достаточно, памяти тоже, ставил два ssd под кеши разные не помогает

в top куча процесссов уходит под 100% и иногда из такого состояния пару дней не выходит помогает ребут только

нет

папок и подпапок навалом

a la как?

мостро папок если и есть то единицы например из этих же 300 миллионов есть пару десятков папко в которых в одной может быть парочку миллионов

что la как ?

начнем с какая ось?

Load average

ось debian jessie - фришку не хочу под это юзать - цель юзать популярную систему

ну вот ошибка уже тут

LA большой потому что zfs ные процессы по 100% жрут не понятно чего

если сервер - только бекап, то для этого есть, например, чудесная смартос

второй вопрос - зфс то до последней версии обновлен?

ext4 на этом же сервере тестил от 300 миллионов переходит в такие веселые глюки не считая fsck после перезагруки что тоже не вариант

а то у меня еще год назад попытка поюзать зфс под линуксам через раз тупо приводила к кернелпаник

третий вопрос - у ехт4 к такому тупняку приводит журнал. У зфс тоже есть крутилки на эту тему

второй вопрос - зфс то до последней версии обновлен?

28 версия пула

ну и четвертое - миллионы файлов на обычных дисках - это, простите, в общем случае, ссзб. Даже без всякого журнала вообще это будет тлен и печаль

LA большой потому что zfs ные процессы по 100% жрут не понятно чего

При зависании какой la

я не про версию пула, а про зфсонлинукс

При зависании какой la

такой как на скриншоте

я не про версию пула, а про зфсонлинукс

zfsonlinux 8 версия

дело не в ерунде а в том что сервер не доступен становится вообще когда zfs становится плохо

эээ

8ая версия - это что?

ну и четвертое - миллионы файлов на обычных дисках - это, простите, в общем случае, ссзб. Даже без всякого журнала вообще это будет тлен и печаль

то есть думаешь в дропбокс все на ssd сделано ?

вот http://zfsonlinux.org/ - тут релиз от 3 февраля - он стоит?

0.6.5.7-8-jessie

то есть думаешь в дропбокс все на ssd сделано ?

а в дроп бокс не одна фс на всё

у них они поделены

в дропбоксе, помните, в начале все было сделано на svn

однажды они поняли свою ошибку )

то есть если я на 1 сервере сделаю на 300 миллионов 100 фс на ext4 сразу все полегчает ? :))

0.6.5.7-8-jessie

а последняя - 0.6.5.9

в дропбоксе, помните, в начале все было сделано на svn

о_О а можно ссылку?

погуглите сами

по запросу "dropbox svn"? смешная шутка.

там были тормоза и куча факапов, они писали прессрелиз про то что все переделали

а последняя - 0.6.5.9

у меня эти тормоза с более древних версих идут и не думаю что при обновлении до 0.6.5.9 они пропадут

ок

Ник у меня такая же по сути задача как и у тебя хранить на бекап сервере(рах) миллионы файлов без тормозов, но под бекап выделять ssd мне кажется маразм

zfs тянет лучше чем ext4 - на последнем возникали ф файловой система какие-то прикольный файлы которые не удалялись даже через дебаг :)) правда и жить не мешали кроме того что папку с таким файлов удалить нельзя было, причем глюки возникали даже когда не было сбоев в работе сервера ни рибутов ни ресетов ничего и хоп файл с абаракадарба именем неудаляемым ни как ни по inode ни по имени ни через дебаг

zfs хоть глюки не собрает кроме того что иногда тупить жестко начинает

btrfs думал юзать но боюсь вот и начал думать может под бекапы ceph юзать

@xolseg и так достаточно пиздеца в чате

Ник у меня такая же по сути задача как и у тебя хранить на бекап сервере(рах) миллионы файлов без тормозов, но под бекап выделять ssd мне кажется маразм

а у нас вот бекапы несколько лет лежали на ссд )

почему не лежАТ?

@xolseg и так достаточно пиздеца в чате

Вот видишь, он уже думал об этом. 😉

мне кажется, все ключевые слова я уже сказал

два года назад игрались с админов с цеф но железо у нас было тогда для теста разношерстное потом время конфилось так и закончили играться с ним

я, конечно, ни разу не гуру зфс и вообще больше о нем читаю, чем использую...

цеф - это, конечно, то, что ни в коем случаея не надо использвать для бекапов, по крайней мере ближайшие пару лет

цеф - это, конечно, то, что ни в коем случаея не надо использвать для бекапов, по крайней мере ближайшие пару лет

ололо

цеф - это, конечно, то, что ни в коем случаея не надо использвать для бекапов, по крайней мере ближайшие пару лет

Почему?

как бы, уж если рассматривать как вариант цеф, то бесплатный scaleio дат больше скорости

Почему?

потому что это пока не та штука, которую воткнул и она просто гарантированно работает

потому что это пока не та штука, которую воткнул и она просто гарантированно работает

Да? Ну ладно.. люди то поди и не знают об этом)

А цеф же наверное больше не под бекапы, а под ha, или я чего не понимаю?

именно

Да? Ну ладно.. люди то поди и не знают об этом)

у нас за последний год сколько публично известных случаев, когда всё пропало? Вот когда их не будет, хотя бы публично известных.. Смысл хранить бекапы в том, что может бекапы потерять?

In computing, Ceph, a free-software storage platform, implements object storage on a single distributed computer cluster, and provides interfaces for object-, block- and file-level storage. Ceph aims primarily for completely distributed operation without a single point of failure, scalable to the exabyte level, and freely available. (с) wiki

у нас за последний год сколько публично известных случаев, когда всё пропало? Вот когда их не будет, хотя бы публично известных.. Смысл хранить бекапы в том, что может бекапы потерять?

Ну давай начнём с того что бэкапы что угодно может потерять

у нас за последний год сколько публично известных случаев, когда всё пропало? Вот когда их не будет, хотя бы публично известных.. Смысл хранить бекапы в том, что может бекапы потерять?

ну то есть когда админ делает рм -рф это тоже технология виновата?)

или дёргает два диски из рейд5 на 4х дисках

ну то есть когда админ делает рм -рф это тоже технология виновата?)

Миш ну не передёргивай

ок, второй комент

или дёргает два диски из рейд5 на 4х дисках

Дадада, такое бывает кстати) Как минимум 2 случая таких знаю

и закончим на том, что чтобы переваривать журнальные операции при удалении миллионов файлов - дисков в цефе потребуется в несколько раз больше.

и закончим на том, что чтобы переваривать журнальные операции при удалении миллионов файлов - дисков в цефе потребуется в несколько раз больше.

а можно еще раз по русски?

тупит там всё из-за журнала

именно при удалении миллиона файлов

А как это понял что тупит? И что именно?

тупит там всё из-за журнала

из-за какого журнала?)

кстати

Sergey а вы чем бекапитесь?