спать иди, опять завтра на работу опоздаешь
Начальство не опаздывает 😊
Pavel
Anonymous
а кто цеф разрабатывает - поддерживает?
Anonymous
это опен соурс продукт ?
Anonymous
понятно
Anonymous
шапка мутит
Александр
красношляпы, на счет опенсоурс хз
✠ FLASh ✠
опенсорс проект жиж
✠ FLASh ✠
цеф
Denis
есть ощущения что шапка предлгает хоронить свифт
Roman
А какие есть способы снизить нагрузку на сеть? SSD сравнительно дешёвые, в отличие от 10g карт и коммутаторов
10g карточки стоят копейки.
Denis
там вон рекспейс его переписал почти на го )
Denis
зачм такое хоронить )
Sergei
зачм такое хоронить )
затем, что он кладет файлы в файле. или в hummingbird поправили?
у меня свифт сложился как карточный домик, когда число объектов перевалило за 50М
Denis
затем, что он кладет файлы в файле. или в hummingbird поправили?
у меня свифт сложился как карточный домик, когда число объектов перевалило за 50М
там всё тож самое, просто чуть оптимизировали протоколы взаимодействия object серверов.
А что ты имешь ввиду под "файлы в файле" ?
Sergei
1 объект хранится в одном файле на нижележащей фс
Denis
а. это да.
Sergei
и там выпилили sqlite?
а то в случае опять же, десятков миллионов объектов в одном контейнере, все становится экстремально печально.
Sergei
становилось*
Denis
а он же всё это в мемкеш тащит
Denis
поему печально ?
Roman
фс - крайне плохое хранилище для большого числа объектов.
Denis
фс - крайне плохое хранилище для большого числа объектов.
спорное утверждение. Конкретные фс плохи, да.
Denis
запись очень медленная
я постараюсь собрать метрику, у нас пока парамилионов в тестовом кластере.
Anonymous
😒
Anonymous
zfs
Nikita
😐
Anonymous
ненаю , не пробовал
Anonymous
назовите те, которые хороши.
Anonymous
разве цеф не использует фс ?
Anonymous
btrfs
Anonymous
или че там у него
Denis
что, zfs нормально переживёт 50 млн файлов в 1 каталоге? )
погодите, ну если мы говорим про свифт, он не хранит всё в одном каталоге.
Anonymous
а он написал что хранит
Anonymous
файл в файле
Anonymous
типа все в одном файле
Denis
нет, они имели ввиду то свифт на каждый объект создаёт в структуре фс файл, аля nginx cache
Anonymous
Denis
и они чем то правы, что xfs проигрывает ext4 в работе с большим кол-вом файлов, но выигрывает по random access доступу вроде.
Но нам нужен Roman, он за фс может рассказать.
Anonymous
Александр
сейчас вон многие btrfs стали юзать
Кто многие? Почему нет конкретных примеров и кейсов, ты заебал уже..
Александр
Многие юзали ext4
Roman
и они чем то правы, что xfs проигрывает ext4 в работе с большим кол-вом файлов, но выигрывает по random access доступу вроде.
Но нам нужен Roman, он за фс может рассказать.
вот это всё надо тестить. ext4 - это фс из 90х
Александр
и они чем то правы, что xfs проигрывает ext4 в работе с большим кол-вом файлов, но выигрывает по random access доступу вроде.
Но нам нужен Roman, он за фс может рассказать.
xfs для больших файлов норм,.. не кол-во, а объём
Denis
вот это всё надо тестить. ext4 - это фс из 90х
вроде много было бенчей, на том же форониксе, но xfs же обновляется и улучшается, поэтому возможно за последние пару лет потеряли актуальность
Denis
сейчас вон многие btrfs стали юзать
мне кажется если заглянуть на лор 2010го года, она как тогда так и сейчас "уже вот вот готова для прода"
Александр
мне кажется если заглянуть на лор 2010го года, она как тогда так и сейчас "уже вот вот готова для прода"
Эм... нет, там высказывания разнятся, от "вот вот", "ещё чуть чуть", "готовлю в прод" и "у меня в проде заебись", "зря поставил в прод"
Roman
вроде много было бенчей, на том же форониксе, но xfs же обновляется и улучшается, поэтому возможно за последние пару лет потеряли актуальность
не надо воспринимать тесты похороникса всерьёз.
Александр
Polnoch
пока они бубунту не сменят на rhel точно
эффект регрессий в ядре можно уменьшить тестами на разных версиях дистрибутива
Polnoch
Убунта LTS нормальная серверная система. Лучше Дебиана (хотя лично я предпочитаю Центос, но не понимаю красноглазия)
Polnoch
лучше хотя бы временем поддержки
Roman
real 0m2.681s
user 0m2.301s
sys 0m0.307s
Roman
это ls в каталоге где 1млн файлов на ext4
Roman
real 0m1.892s
user 0m1.553s
sys 0m0.112s
Roman
то же самое на xfs.
Roman
фс в файле на tmpfs.
Anonymous
я уею с вашего цефа
Anonymous
оно например не позволит создать OSD с журналом, если 0 OSD - bluestore
Anonymous
ceph-disk тупо проверяет это так: 'ceph-osd --check-allows-journal -i 0 --cluster ${CLUSTER}'
Anonymous
т.е. если 0 OSD журнал не поддерживает - фиг вам, а не создать OSD с другим типом бэкенда на потестировать :)
Anonymous
ну еще да, '--check-allows-journal', '--check-wants-journal', '--check-needs-journal'. Это уже почти как ready, willing and able :)
Roman
бггг
Roman
ext4 тупо упирается в число inodes и дальше жопа ))