Ceph поверх ZFS поверх vmdk поверх vSAN поверх SAN block storage 👍🏻

вот. Саня! тру решение

Ваше мнение очень ценно для бизнеса, разумеется :)

😁👍

ESXi зарекся использовать, так же как Windows сервера.

про есх расскажи? ЗЫ: а винда чем тебе уже не угодила?

вот. Саня! тру решение

Только VMWare мне еще не хватало. Тогда уж внутри нее запустить HyperV и внутри S2D, на котором создавать ZFS пулы.

Сколько времени я потратил на все эти VMWare, HyperV и т.п. :( Надо будет взять на заметку как вариант платного сервиса для мелкого бизнеса - миграция со всех этих технологий на KVM и SunOS.

По опыту. Есхи ведёт себя очень стабильно в продуманных решениях, никакие проксмокс с ней не сравнятся. Для бизнеса - самое оно.

Я знаю, как ведет себя ZFS при "проблемах" (скорее всего искусственных) с оборудованием, не хочу тратить время на эксперименты с CEPH в этом плане.

так они все с контрольными суммами, чем зфс тут уникальный?

Сколько времени я потратил на все эти VMWare, HyperV и т.п. :( Надо будет взять на заметку как вариант платного сервиса для мелкого бизнеса - миграция со всех этих технологий на KVM и SunOS.

Ну так брал бы большие бабки за настройку - профит

Так не поверх, а наоборот снизу цефа предлагаю.

так я о том, что цеф тоже не хочет, что бы его поверх чего то ставили. такие же требования как и у зфс

так они все с контрольными суммами, чем зфс тут уникальный?

Так ZFS не только отслеживает, но еще и обладает фантастической живучестью.

так я о том, что цеф тоже не хочет, что бы его поверх чего то ставили. такие же требования как и у зфс

Просто я боюсь, что после первых же помех в сети питания незащищенного объекта у CEPH накроются одновременно сразу же все узлы, собственно на этом все и закончится :(

Только VMWare мне еще не хватало. Тогда уж внутри нее запустить HyperV и внутри S2D, на котором создавать ZFS пулы.

ну вмваре внутри винды с вмваре на которой хакинтош с айфоном, запускали )

Так ZFS не только отслеживает, но еще и обладает фантастической живучестью.

это про то как он монтироваться отказывается?)

Так ZFS не только отслеживает, но еще и обладает фантастической живучестью.

еще раз. урони кирпич на сервер

это про то как он монтироваться отказывается?)

Пул ZFS живет неделю после атаки и позволяет вычитать данные. Сколько проживет CEPH? Одну секунду?

Пул ZFS живет неделю после атаки и позволяет вычитать данные. Сколько проживет CEPH? Одну секунду?

Инструментально сможешь доказать?

еще раз. урони кирпич на сервер

HA как раз для преодоления последствий окирпичивания отдельно взятого сервера?

HA как раз для преодоления последствий окирпичивания отдельно взятого сервера?

Не совсем

HA как раз для преодоления последствий окирпичивания отдельно взятого сервера?

в том числе

Ха это когда один из серверов может быть штатно выведен из эксплуатации

Инструментально сможешь доказать?

У меня есть dd копия пула, она помирает после нескольких скрабов. Могу продемонстировать на новом исправном оборудовании.

Ха это когда один из серверов может быть штатно выведен из эксплуатации

Тоже очень полезно для меня, замена запчастей, апгрейды, профилактика пылесосом и т.п.

Учитывая, на каком оборудовании ты это все делаешь, подозреваю, что дело совсем не в атаках.

Ха это когда один из серверов может быть штатно выведен из эксплуатации

ну при ха, при окирпичивании, или вообще ничего не произойдет или перезапуск на другом ресурсе автоматом

ну при ха, при окирпичивании, или вообще ничего не произойдет или перезапуск на другом ресурсе автоматом

Да

Учитывая, на каком оборудовании ты это все делаешь, подозреваю, что дело совсем не в атаках.

Однако после того, как я возвел нынешний бастион защиты, почему-то "старое никуда негодное" оборудование с Авито перестало глючить. А кстати до него ведь было другое более современное, так оно глючило еще сильнее еще и с проявлениями удаленного доступа даже без Ethernet кабеля.

Ха это когда один из серверов может быть штатно выведен из эксплуатации

если ничего не путаю, то у сферы есть Proactive HA при котором, любой сервер можно с розетки вырубить и ничего не произойдет, но там ограничений и накладных расходов столько, что этим никто не пользуется

ну да, виноват конечно есх)))

от хуеруких инженеров в ПФР спасёт только пистолет, всё об этом говорит

от хуеруких инженеров в ПФР спасёт только пистолет, всё об этом говорит

В KVM я не видел никаких сбоев. С SunOS к сожалению очень мало знаком и опыта нет, но судя по отзывам это как раз самый правильный "ESXi", если смотреть в сторону SmartOS. Даже @Asgoret упоминал, что VMWare - сырой продукт.

если ничего не путаю, то у сферы есть Proactive HA при котором, любой сервер можно с розетки вырубить и ничего не произойдет, но там ограничений и накладных расходов столько, что этим никто не пользуется

Ну само собой. Одна девятка - 10 и больше прибавка к стоимости владения решением

от хуеруких инженеров в ПФР спасёт только пистолет, всё об этом говорит

👍

Блокировки, сэр

Блокировки, сэр

Какие блокировки?

В KVM я не видел никаких сбоев. С SunOS к сожалению очень мало знаком и опыта нет, но судя по отзывам это как раз самый правильный "ESXi", если смотреть в сторону SmartOS. Даже @Asgoret упоминал, что VMWare - сырой продукт.

Ты свое железо hcl конечно же не проверял?)

Ты свое железо hcl конечно же не проверял?)

Сервер X3690 не проверял, но очень похожие сервера только в 2 раза толще шли сертифицированными под датацентры. Но на нем я видел только один розовый экран, другой на Blade S, и еще один на Kraftway.

ну если тебе так хочешься зфс, поставь цепф в виртуалке на зфс

linstor+zfs вполне вариант

linstor+zfs вполне вариант

ой зря ты это сказал...

если что kvaps всем поможет )

Однако после того, как я возвел нынешний бастион защиты, почему-то "старое никуда негодное" оборудование с Авито перестало глючить. А кстати до него ведь было другое более современное, так оно глючило еще сильнее еще и с проявлениями удаленного доступа даже без Ethernet кабеля.

из-за тебя фольга дорожает

из-за тебя фольга дорожает

он еще не знает, что когда он спит - подвергается атаке попобавы

В KVM я не видел никаких сбоев. С SunOS к сожалению очень мало знаком и опыта нет, но судя по отзывам это как раз самый правильный "ESXi", если смотреть в сторону SmartOS. Даже @Asgoret упоминал, что VMWare - сырой продукт.

То есть вы внимаете советам какого-то васяна, который в эти технологии ни в зуб ногой?

Стораджа, для вирт-машин

На говнопалках под залог своей жопы — не, я бы лучше предложил бизнесу тырпрайзное. Если есть возможность, лучше всё же HA через приклад.

он еще не знает, что когда он спит - подвергается атаке попобавы

попобавы?

Да, попобавы

То есть вы внимаете советам какого-то васяна, который в эти технологии ни в зуб ногой?

Он вроде бы как в Сбере девопсит? И не рядовой сотрудник, модератор DevOps чата.

Да, попобавы

Такая: https://lurkmore.to/%D0%9F%D0%BE%D0%BF%D0%BE%D0%B1%D0%B0%D0%B2%D0%B0 ? А я то думаю, что за Hollywood мне кино показывает по ночам, а оказывается это бэтмен.

если еть кеш на запись, то можешь и потерять

L2ARC безопасно.

если еть кеш на запись, то можешь и потерять

Если предварительно сделать zpool remove, то SLOG переместится обратно на vdev ZIL? После этого что мешает удалить устройства бывшего SLOG?

Сначала посмотреть: zpool status Потом: zpool remove pool_name device_name

Да.

А вообще-то SLOG из всего одного устройства - это не самая лучшая идея. И потом под SlOG отдано в 4 раза больше, чем под L2ARC, - совсем неправильно. Под SLOG достаточно и одного гига.

SLOG - это logs, нужно использовать зеркала, потому что если одиночный слог помрет, то будет как минимум потеря данных за несколько последних секунд работы системы. Раньше при потери слога пул вообще не импортировался, но это давно уже решили.

Тогда проще вообще sync=disabled?

Зеркало SLOG влияет отрицательно по сравнению с одиночным SLOG и тем более по сравнение с sync=disabled.

По крайне мере внутри FS датасетов современной ZFS не должно. Василий упоминал, что другие структуры данных поверх zvol могут и безвозвратно пострадать по крайне мере их текущая версия, а не старые снэпшоты. Но у меня на рабочей станции одна виртуалка прекрасно работает в таком режиме и ни разу еще не померла даже в текущем состоянии, а старые то снэпшоты и их реплики уж точно никуда не денутся. Но у меня UPS, и очень стабильная baremetal система для рабочей станции, которая почти не виснет неделями и месяцами: Devuan 2.0 ASCII + Libre ядро 4.19.latest без блобов + ZFS 0.8.6. Причем она супер стабильна даже с десктопом и кучей разных виртуалок и браузеров изнутри и снаружи, MS Office и всякие дев тулзы в WINE и т.п. И это всего лишь на Core2 с 6 гигами рамы и таким же объемом zswap на SSD (в сумме внутри и снаружи KVM), вообще удивительно. Щас еще добавил KVM виртуалку с гостевой SunOS (OmniOS) в прикольном KVM TUI под названием NEMU, даже не почувствовал какого-то замедления работы. Хотя снаружи занята уже половина zswap-а на SSD. Причем данные пулов на обычных HDD с SSD кэшированием. А вот если аналогично попытаться запустить в KVM OpenBSD FuguIta, то она ужасно тормозит у себя внутри в гостевухе :(

С л2арк данные не потеряешь, но ИО на момент отключения может встать.

Товарищи, а разъясните, пожалуйста такую вещь. Вот я поставил скраб scan: scrub in progress since Sun Jul 25 09:08:10 2021 1.77T scanned at 31.3G/s, 16.3M issued at 288K/s, 32.2T total 0B repaired, 0.00% done, no estimated completion time что означает scanned и issued? В чем отличие?

pool: test3 state: SUSPENDED status: One or more devices are faulted in response to IO failures. action: Make sure the affected devices are connected, then run 'zpool clear'. see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-HC scan: scrub in progress since Sun Jul 25 16:53:57 2021 0B scanned at 0B/s, 0B issued at 0B/s, 7.17G total 0B repaired, 0.00% done, no estimated completion time config: NAME STATE READ WRITE CKSUM test3 UNAVAIL 0 0 0 insufficient replicas sde UNAVAIL 0 0 0 sdf UNAVAIL 0 0 0 sdg UNAVAIL 0 0 0 errors: List of errors unavailable: pool I/O is currently suspended

как бы у тебя диски отвалились

как бы у тебя диски отвалились

Ну хорошо, пусть отвалились, как мне убрать пул из списка?

Может я хочу переподключить диски и создать на них новый пул с таким же именем test3.

Ну хорошо, пусть отвалились, как мне убрать пул из списка?

на девуане ?

на девуане ?

Разве это зависит от дистра?

Разве это зависит от дистра?

возможно от версии ядра. вообще в линуксе встречаются подвисания из-за пропажи блочных устройств. фс тут бывает бессильна. посмотри есть ли процессы с флагом D.

возможно от версии ядра. вообще в линуксе встречаются подвисания из-за пропажи блочных устройств. фс тут бывает бессильна. посмотри есть ли процессы с флагом D.

Линукс не висит, висит только сессия bash. Это ладно сейчас диски отвалились, понятно, что пул недоступен. А ведь на 0.7.12 такое встречалось и во время resilvering после глюка одного контроллера на бэкап сервере, когда отваливалась половина зеркала.

Линукс не висит, висит только сессия bash. Это ладно сейчас диски отвалились, понятно, что пул недоступен. А ведь на 0.7.12 такое встречалось и во время resilvering после глюка одного контроллера на бэкап сервере, когда отваливалась половина зеркала.

ну это как с отвалившимся nfs весь линукс не умирает, но что-то висит.

Т.е. для создания нового пула с именем test3 - только reboot? Наверно лучше использовать ZOL для каждого пула в отдельной KVM гостевухе? Тогда можно легко отщелкивать мертвые виртуалки с suspended пулами?

Т.е. для создания нового пула с именем test3 - только reboot? Наверно лучше использовать ZOL для каждого пула в отдельной KVM гостевухе? Тогда можно легко отщелкивать мертвые виртуалки с suspended пулами?

как всегда спонсор хитрых юзкейсов.

После переполнения свободного места на ext4 контейнерами докера и потом частичной очистки через docker rmi ext4 ушла в состояние R/O во время первого же очередного билда: fsck -f /dev/zvol/temp/docker_vol fsck from util-linux 2.33.1 e2fsck 1.46.2 (28-Feb-2021) /dev/zd0: recovering journal Superblock needs_recovery flag is clear, but journal has data. Run journal anyway<y>? yes fsck.ext4: Input/output error while recovering journal of /dev/zd0 fsck.ext4: unable to set superblock flags on /dev/zd0 /dev/zd0: ********** WARNING: Filesystem still has errors ********** scrub ничего не находит "супернадежная" ext4?

Откатился на старый снэпшот, ext4 сама не хочет чиниться.

Еще и вся виртуалка зависла :(

An issue affecting the physical host this Linode resides on has been detected. We are working to resolve the issue as quickly as possible and will update you as soon as we have more information. Your Linode will return to its previous state once the issue is resolved. Thank you for your patience and understanding.

Походу линода сдохла от моих докер билдов с гиговыми контейнерами.

После переполнения свободного места на ext4 контейнерами докера и потом частичной очистки через docker rmi ext4 ушла в состояние R/O во время первого же очередного билда: fsck -f /dev/zvol/temp/docker_vol fsck from util-linux 2.33.1 e2fsck 1.46.2 (28-Feb-2021) /dev/zd0: recovering journal Superblock needs_recovery flag is clear, but journal has data. Run journal anyway<y>? yes fsck.ext4: Input/output error while recovering journal of /dev/zd0 fsck.ext4: unable to set superblock flags on /dev/zd0 /dev/zd0: ********** WARNING: Filesystem still has errors ********** scrub ничего не находит "супернадежная" ext4?

[/troll mode] Супернадёжный докер [/troll mode]

И что, теперь срочно переходить на SmartOS Triton ?

/stat@combot

Total messages: 31733