𝚔𝚟𝚊𝚙𝚜
например только вчера сравнивал iscsi таргет расположенный на zvol и на raw-partition, zvol по скорости выйграл
Andor
Для контейнеров
𝚔𝚟𝚊𝚙𝚜
памяти жрет больше - это факт, но все в пределах разумного
Andor
например только вчера сравнивал iscsi таргет расположенный на zvol и на raw-partition, zvol по скорости выйграл
Вангую неправильное измерение
𝚔𝚟𝚊𝚙𝚜
что такое правильное? fio в ручки и погнали :)
𝚔𝚟𝚊𝚙𝚜
но кстати nfs на ext4 на zvol и nfs на ext4 на raw-partiton быстрее оказался на raw-partiton
𝚔𝚟𝚊𝚙𝚜
И не очень понятно нафиг оно надо в контексте кубера
в случае если у вас не persistent данных на дисках, то согласен нах не нужен, но в обратном случае позволяет достичь очень гибких конфигураций
𝚔𝚟𝚊𝚙𝚜
Это красиво. Так, а как линуксоиды решили проблему с лицензией? Там же cddl?
да, меня тоже этот вопрос интересовал, но походу все норм, потому как внутри пакета он все так же поставляется отдельным .ko
𝚔𝚟𝚊𝚙𝚜
А еще есть такая штука как Linstor, оно умеет ZFS в качестве бэкенда
Andor
в случае если у вас не persistent данных на дисках, то согласен нах не нужен, но в обратном случае позволяет достичь очень гибких конфигураций
А если есть персистент данные на дисках, и хочется максимально доступной скорости, то zfs опять становится не нужен
𝚔𝚟𝚊𝚙𝚜
Погоди-ка а как же отказоустойчивость и хваленный raidz с коррекцией ошибок?
Andor
То есть других способов сделать рейд нету?
𝚔𝚟𝚊𝚙𝚜
есть mdadm и харверные решения - но ты хочешь сказать что они чем-то лучше?
Andor
Меньше жрут памяти например
Andor
Не гигабайты
Andor
Скорость работы не тестировал лично, но зфс вроде никогда не был быстрее чем хфс/ехт4
𝚔𝚟𝚊𝚙𝚜
XFS never again
𝚔𝚟𝚊𝚙𝚜
да не так уж он много и жрет ес честно
𝚔𝚟𝚊𝚙𝚜
главное не использовать дедупликацию :)
𝚔𝚟𝚊𝚙𝚜
ext4 быстрее - да, но ext4 хорош там где нужна просто файловая система, безо всяких там излишеств.
𝚔𝚟𝚊𝚙𝚜
ну и к тому же ничто не мешает тебе сделать ZVOL в ZFS и форматнуть его в ext4
𝚔𝚟𝚊𝚙𝚜
при этом сохранить raidz и возможность снапшотов например
Andor
Но зачем, если у тебя кубернетисы и прочие микросервисы?
Andor
Для чего тебе снапшоты зфс?
Andor
ну и к тому же ничто не мешает тебе сделать ZVOL в ZFS и форматнуть его в ext4
Интересно кстати насколько оно плохо будет работать
Andor
Я кстати с выходом убунты 16.04 запускал докер+зфс на ней и там слои путались
Andor
Ваще каша какая-то получалась
𝚔𝚟𝚊𝚙𝚜
Интересно кстати насколько оно плохо будет работать
отлично работает кстати, это дефолтный способ организации виртуальных дисков в классичиеской виртуализации
𝚔𝚟𝚊𝚙𝚜
Для чего тебе снапшоты зфс?
снапшоты могут быть использованны для создания бекапов:
1 - ты получаешь всегда консистентный бекап за определенный промежуток времени
2 - ты можешь делать инкрементальные бекапы (копировать только дельту между снапшотами)
3 - ты можешь использовать их как замену более частым бекапам, например слышал что делать снапшот каждый час - это нормальная практика для zfs (сам не проверял)
𝚔𝚟𝚊𝚙𝚜
Но зачем, если у тебя кубернетисы и прочие микросервисы?
ну как я сказал выше, даже если у тебя микросервисы данные надо где-то хранить
𝚔𝚟𝚊𝚙𝚜
Я кстати с выходом убунты 16.04 запускал докер+зфс на ней и там слои путались
у меня таких проблем не наблюдается, может ты докер какой-то неправильный использовал ^^
𝚔𝚟𝚊𝚙𝚜
кстати как ни странно containerd и docker работают с zfs по разному
𝚔𝚟𝚊𝚙𝚜
первый создает zvol с индексами имаджей, а docker с хэшем
Andor
ну как я сказал выше, даже если у тебя микросервисы данные надо где-то хранить
Надо, ага. Где-то с максимальной производительностью обычно
𝚔𝚟𝚊𝚙𝚜
ну везде приходится искать компромисы
Andor
Например тот же постгрес бэкапить зфс ваще мало поможет
𝚔𝚟𝚊𝚙𝚜
почему?
𝚔𝚟𝚊𝚙𝚜
ну везде приходится искать компромисы
где-то это производительность, где-то надежность, а где-то конечная стоимость решения.
Andor
Потому что там снапшоты уровня фс не сильно нужны
𝚔𝚟𝚊𝚙𝚜
@SinTeZoiD
𝚔𝚟𝚊𝚙𝚜
@Andorka а вы в качестве стораджа что используете?
Vadim
Это красиво. Так, а как линуксоиды решили проблему с лицензией? Там же cddl?
Никак лол. Убунта включает и шлёт пуристов из FSF лесом
𝚔𝚟𝚊𝚙𝚜
под виртуалки/персистентные данные если не храните ничего в контейнерах
Andor
Ext4
𝚔𝚟𝚊𝚙𝚜
То есть просто на raid?
Andor
Угу, на железных рейдах
Andor
От железных я не в восторге, но в случае с деллами вариантов не очень много
Михаил
Logan
Никак лол. Убунта включает и шлёт пуристов из FSF лесом
То есть у них свой lkm? И в upstream это не идёт?
Vadim
То есть у них свой lkm? И в upstream это не идёт?
нет, там свой модуль. Убунтовское ядро вообще довольно далеко от апстрима - свой apparmor, например
Igor
/report
Михаил
ну как я сказал выше, даже если у тебя микросервисы данные надо где-то хранить
храни в базе и только её и бекапь
Sebor▂▅▇█▓▒░
Микросервисы - микроданные!
𝚔𝚟𝚊𝚙𝚜
храни в базе и только её и бекапь
Здравый подход, и я его поддерживаю, но к сожалению не все в базу данных запихнуть можно
Михаил
Здравый подход, и я его поддерживаю, но к сожалению не все в базу данных запихнуть можно
А вы там храните? Статика s3 или аналоги
𝚔𝚟𝚊𝚙𝚜
Нет, мы преимущесивенно на фс все храним. S3 - интересен, но насколько логично его использование для миллионов маленьких файлов?
Михаил
𝚔𝚟𝚊𝚙𝚜
Ну допустим php-скрипты, картинки прочая шебурда. Хостинг короче
Sergey
Ну допустим php-скрипты, картинки прочая шебурда. Хостинг короче
а фсе остальное держать в S3
𝚔𝚟𝚊𝚙𝚜
+ нужно предоставить прозрачный интерфейс для пользователя (ftp)
𝚔𝚟𝚊𝚙𝚜
Серьезно?
𝚔𝚟𝚊𝚙𝚜
Прикольно, а в чем храните?
Михаил
Ну у нас там и так статики много
Михаил
Картинки
𝚔𝚟𝚊𝚙𝚜
Хм, в принципе для статики ceph наверное и правда не плох
𝚔𝚟𝚊𝚙𝚜
С чтением у него все в порядке. Понял, покурю на счет S3 на досуге
Михаил
Хм, в принципе для статики ceph наверное и правда не плох
Можно посмотреть minio, но я не знаю сколько миллионов в него влезет)
Andor
Минио слишком хипстерно имхо
Andor
Но для дев-среды годится
Sergei
Sergei
если 10 кб - ок.
если 5 б - не ок
blkmrkt
Чтоб не хардкодить в конфигах, как можно динамически получать список доверенных прокси? Другими словами, как получить список внешних ип всех нод?
У меня фронт ставит X-Forwarded-For, вот нужно его игнорить если он прилетел извне.