И не очень понятно нафиг оно надо в контексте кубера

а зочем?

Как ни странно на штатном ядре у меня были были некоторые проблемы с комбинацией SR-IOV и KVM на определенном оборудовании, а на Proxmoxовом ядре все работат как часы, позже мы начали zfs использовать и теперь вообще не вижу смысла использовать обратно стоковое. Proxmox team постоянно допиливают его и оптимизируют под свои нужды. В итоге имеем всегда самое стабильное и новое ядро.

Но медленный же

это смотря как использовать и с чем сравнивать

ext4 + overlayfs

например только вчера сравнивал iscsi таргет расположенный на zvol и на raw-partition, zvol по скорости выйграл

Для контейнеров

памяти жрет больше - это факт, но все в пределах разумного

например только вчера сравнивал iscsi таргет расположенный на zvol и на raw-partition, zvol по скорости выйграл

Вангую неправильное измерение

что такое правильное? fio в ручки и погнали :)

но кстати nfs на ext4 на zvol и nfs на ext4 на raw-partiton быстрее оказался на raw-partiton

И не очень понятно нафиг оно надо в контексте кубера

в случае если у вас не persistent данных на дисках, то согласен нах не нужен, но в обратном случае позволяет достичь очень гибких конфигураций

Это красиво. Так, а как линуксоиды решили проблему с лицензией? Там же cddl?

да, меня тоже этот вопрос интересовал, но походу все норм, потому как внутри пакета он все так же поставляется отдельным .ko

А еще есть такая штука как Linstor, оно умеет ZFS в качестве бэкенда

в случае если у вас не persistent данных на дисках, то согласен нах не нужен, но в обратном случае позволяет достичь очень гибких конфигураций

А если есть персистент данные на дисках, и хочется максимально доступной скорости, то zfs опять становится не нужен

Погоди-ка а как же отказоустойчивость и хваленный raidz с коррекцией ошибок?

То есть других способов сделать рейд нету?

есть mdadm и харверные решения - но ты хочешь сказать что они чем-то лучше?

Меньше жрут памяти например

Не гигабайты

Скорость работы не тестировал лично, но зфс вроде никогда не был быстрее чем хфс/ехт4

XFS never again

да не так уж он много и жрет ес честно

главное не использовать дедупликацию :)

ext4 быстрее - да, но ext4 хорош там где нужна просто файловая система, безо всяких там излишеств.

ну и к тому же ничто не мешает тебе сделать ZVOL в ZFS и форматнуть его в ext4

при этом сохранить raidz и возможность снапшотов например

Но зачем, если у тебя кубернетисы и прочие микросервисы?

Для чего тебе снапшоты зфс?

ну и к тому же ничто не мешает тебе сделать ZVOL в ZFS и форматнуть его в ext4

Интересно кстати насколько оно плохо будет работать

Я кстати с выходом убунты 16.04 запускал докер+зфс на ней и там слои путались

Ваще каша какая-то получалась

Интересно кстати насколько оно плохо будет работать

отлично работает кстати, это дефолтный способ организации виртуальных дисков в классичиеской виртуализации

Для чего тебе снапшоты зфс?

снапшоты могут быть использованны для создания бекапов: 1 - ты получаешь всегда консистентный бекап за определенный промежуток времени 2 - ты можешь делать инкрементальные бекапы (копировать только дельту между снапшотами) 3 - ты можешь использовать их как замену более частым бекапам, например слышал что делать снапшот каждый час - это нормальная практика для zfs (сам не проверял)

Но зачем, если у тебя кубернетисы и прочие микросервисы?

ну как я сказал выше, даже если у тебя микросервисы данные надо где-то хранить

Я кстати с выходом убунты 16.04 запускал докер+зфс на ней и там слои путались

у меня таких проблем не наблюдается, может ты докер какой-то неправильный использовал ^^

кстати как ни странно containerd и docker работают с zfs по разному

первый создает zvol с индексами имаджей, а docker с хэшем

ну как я сказал выше, даже если у тебя микросервисы данные надо где-то хранить

Надо, ага. Где-то с максимальной производительностью обычно

ну везде приходится искать компромисы

Например тот же постгрес бэкапить зфс ваще мало поможет

почему?

ну везде приходится искать компромисы

где-то это производительность, где-то надежность, а где-то конечная стоимость решения.

Потому что там снапшоты уровня фс не сильно нужны

@SinTeZoiD

@Andorka а вы в качестве стораджа что используете?

Это красиво. Так, а как линуксоиды решили проблему с лицензией? Там же cddl?

Никак лол. Убунта включает и шлёт пуристов из FSF лесом

@Andorka а вы в качестве стораджа что используете?

Где?

под виртуалки/персистентные данные если не храните ничего в контейнерах

Ext4

То есть просто на raid?

Угу, на железных рейдах

От железных я не в восторге, но в случае с деллами вариантов не очень много

Как ни странно на штатном ядре у меня были были некоторые проблемы с комбинацией SR-IOV и KVM на определенном оборудовании, а на Proxmoxовом ядре все работат как часы, позже мы начали zfs использовать и теперь вообще не вижу смысла использовать обратно стоковое. Proxmox team постоянно допиливают его и оптимизируют под свои нужды. В итоге имеем всегда самое стабильное и новое ядро.

Может хватило бы просто свежего ядра?

Никак лол. Убунта включает и шлёт пуристов из FSF лесом

То есть у них свой lkm? И в upstream это не идёт?

То есть у них свой lkm? И в upstream это не идёт?

нет, там свой модуль. Убунтовское ядро вообще довольно далеко от апстрима - свой apparmor, например

Может хватило бы просто свежего ядра?

Неа, ванильное и hwe имеют тот же баг

Неа, ванильное и hwe имеют тот же баг

А вот с ceph оно похоже не очень)

/report

ну как я сказал выше, даже если у тебя микросервисы данные надо где-то хранить

храни в базе и только её и бекапь

Микросервисы - микроданные!

храни в базе и только её и бекапь

Здравый подход, и я его поддерживаю, но к сожалению не все в базу данных запихнуть можно

Здравый подход, и я его поддерживаю, но к сожалению не все в базу данных запихнуть можно

А вы там храните? Статика s3 или аналоги

Нет, мы преимущесивенно на фс все храним. S3 - интересен, но насколько логично его использование для миллионов маленьких файлов?

Нет, мы преимущесивенно на фс все храним. S3 - интересен, но насколько логично его использование для миллионов маленьких файлов?

Что есть малые файлы?

Ну допустим php-скрипты, картинки прочая шебурда. Хостинг короче

Ну допустим php-скрипты, картинки прочая шебурда. Хостинг короче

а фсе остальное держать в S3

+ нужно предоставить прозрачный интерфейс для пользователя (ftp)

Ну допустим php-скрипты, картинки прочая шебурда. Хостинг короче

Отлично заходит

Серьезно?

Серьезно?

Ну у нас микростатика css js etc отлично заехали

Прикольно, а в чем храните?

Прикольно, а в чем храните?

Ceph )

Ну у нас там и так статики много

Картинки

Хм, в принципе для статики ceph наверное и правда не плох

С чтением у него все в порядке. Понял, покурю на счет S3 на досуге

Хм, в принципе для статики ceph наверное и правда не плох

Можно посмотреть minio, но я не знаю сколько миллионов в него влезет)

Минио слишком хипстерно имхо

Но для дев-среды годится

Минио слишком хипстерно имхо

У него есть ограничение по максимуму дисков вроде

Нет, мы преимущесивенно на фс все храним. S3 - интересен, но насколько логично его использование для миллионов маленьких файлов?

смотря насколько маленьких

если 10 кб - ок. если 5 б - не ок

У него есть ограничение по максимуму дисков вроде

Ага, 32 вроде, у них в доке написано

Чтоб не хардкодить в конфигах, как можно динамически получать список доверенных прокси? Другими словами, как получить список внешних ип всех нод? У меня фронт ставит X-Forwarded-For, вот нужно его игнорить если он прилетел извне.

Кто на каком драйвере minikube пускает?

коллеги, кто нибудь operos в продакшене крутил? https://www.paxautoma.com/operos/

Друзья, спасибо всем, кто был! Было супер-круто! ? Фотографии, видеозапись и слайды, а также анонс следующего митапа будет опубликован в канале https://t.me/kubernetesMSK - подписывайтесь!

А кто-нибудь пробовал активировать промо от mail.ru?

Кто на каком драйвере minikube пускает?

xhyve

Кто на каком драйвере minikube пускает?

И kvm

Просто потрогать сойдёт

там inotify работает из хостовой машины?