George
бизнес принял риски, что называется
Василий
если приложение не распределённое, да и внешних потребителей нет, то почему бы и не отключить
у меня vcenter несколько раз отказывался грузиться на системе с отключенным синком
Василий
после "поверофа"
Василий
Штатного?
Нет конечно.
Штатно все ок. Но тут многие считают, что насос не распределенная система, то все будет ок
Василий
А фс внутри сыпится совершенно автономно
Николай Орлов
Друзья подскижите с чем может быть связана такая ошибка zpool list
bash: zpool: command not found zfs установлен на debian 10
Николай Орлов
произошло ни с того ни с сего
Владимир
Друзья подскижите с чем может быть связана такая ошибка zpool list
bash: zpool: command not found zfs установлен на debian 10
С тем что ты не умеешь авторизоваться под рутом
Fedor
С тем что ты не умеешь авторизоваться под рутом
Нет, там с энвами и патхами нюанс, судя по симптомам.
Николай Орлов
С тем что ты не умеешь авторизоваться под рутом
Владимир любит тыкать носом в такие дела, не все вокруг такие, стал бы я писать если бы до этого больше года все было норм
Fedor
Пройдёт со временем, как говорится.
Fedor
Из под сюдо так же не в патхах?
Fedor
Сами бинари в системе есть же?
Fedor
Во всяких /usr/bin или sbin
Василий
Друзья подскижите с чем может быть связана такая ошибка zpool list
bash: zpool: command not found zfs установлен на debian 10
а она, команда, хоть ищется поиском?
Николай Орлов
Сами бинари в системе есть же?
Да все есть, при этом через плагин вебмина все работает
Василий
Да все есть, при этом через плагин вебмина все работает
еще вопрос: если зайти в папку где zpool и запустить через точку, что пишет? (./zpool
Fedor
Да все есть, при этом через плагин вебмина все работает
Тогда в патхи не попали.
В дебиане такое иногда бывает - особо даже не разбирался, почему.
Надо добавить в баш профиль у рута недостающие директории
Николай Орлов
Спасибо всем
Николай Орлов
Попробую
Николай Орлов
Отпишусь
Николай Орлов
Так я так и авторизуюсь ))
Ivan
Тогда странно)
Николай Орлов
Вот и я о чем
Николай Орлов
Работало как часы, а тут бац и ошибки
Ivan
bash: zpool: command not found - Unix & Linux Stack Exchange
https://unix.stackexchange.com/questions/354481/bash-zpool-command-not-found
Ivan
Вроде тут что-то пишут полезное...
Владимир
Работало как часы, а тут бац и ошибки
Посмотри где располагается бинарник в пакете, и проверь его наличие
Николай Орлов
проблема решена, всем спасибо. Почему-то из $PATH исчез путь на /usr/sbin
Николай Орлов
еще вопрос, появились вот такие точки монтирования
Николай Орлов
Николай Орлов
это нормально?
Ivan
Ivan
надо было для /var/lib/docker отменить автоснапшоты
Николай Орлов
аааа, понял
Николай Орлов
спасибо
Николай Орлов
поудалять можно же?))
Ivan
да
Николай Орлов
спасибо
Nikolay
https://aliexpress.ru/item/4001062620708.html?sku_id=10000013986640620&spm=a2g2w.productlist.0.0.70e17ceaj6jBUZ
Норм же как hba адаптер под zfs ? раньше использовал 9110, но они кончились на алике )
Валя has been banned! Reason: CAS ban.
Qwerty
https://aliexpress.ru/item/4001062620708.html?sku_id=10000013986640620&spm=a2g2w.productlist.0.0.70e17ceaj6jBUZ
Норм же как hba адаптер под zfs ? раньше использовал 9110, но они кончились на алике )
Нормальный. Я правда раньше за эти деньги покупал 71605.
riv
А вот кто знает, чем объяснить такое расхождение в свободном месте на пуле и корневого датасета?
riv
riv
Квот и резервирований нет
riv
ты берешь надежную фс и отключаешь синк (который как бы для целостности придуман). не, базара ноль, зфс не помрет... а вот данные
И данные не помрут, самое худшее откатятся на 5 секунд назад к другому консистентному состоянию.
Δαρθ
И данные не помрут, самое худшее откатятся на 5 секунд назад к другому консистентному состоянию.
данные консистентны с т.з. ФС, но не факт что с т.з. приложения
riv
данные консистентны с т.з. ФС, но не факт что с т.з. приложения
Данные не кривого приложения будут конситентны если соблюден порядок их записи на диск. Это зфс обеспечит. В какой бы момент времени вы не прервали запись, не завершенная транзакция откатится таким образом, что все будет выглядеть как будто бы, данные сразу записывались на диск и были прерваны в произвольный (но более ранний) момент времени.
В чем опасность writeback? в том что буфер переупорядочивает данные при записи для ускорения этой самой записи и это приводит к краху. Но в zfs writeback работает через транзакции, по этому, будет либо одно консистентное состояние, либо другое.
Конечно нельзя исключить, что приложение написано криво. но такое приложение будет падать и на системе которая вообще работает полностью в синхронном режиме, просто от неожиданного отключения.
Еще один случай, который надо учитывать - приложение которое обмениватеся состоянием с другой внешней системой, которая не может обработать откат состояния приложения на 5 секунд назад. Ну тут уж сами думайте, кроме вас никто не знает с чем взаимодействет ваше приложение.
Например, файловая 1С взаимодействует с бухгалтером. При неожиданном отключении света, бухгалтер проверит сохранился ли последний введенный документ. По этому sync=disable хорошо. Active directory тоже переживет откат на 5 секунд назад одним из контроллеров домена. Затрудняюсь привести конкретный пример,когда sync=disable является явным злом.
riv
Autumn
Ни у кого нет идей? Сталкиваюсь постоянно. Если zfs заполнить на 100% то на vdev-ах всегда остаётся ощутимо много свободного места, в больших пулах больше 1ТБ, при этом на самом zfs уже строго 0
уже обсуждалось некоторое время назад, это связано с тем что zfs специфически считает занятое свободное место
Autumn
где-то тут
Autumn
https://t.me/ru_zfs/27114
Autumn
это если я правильно понял Ваш вопрос
riv
https://t.me/ru_zfs/27114
Спасибо за ссылку.
А то я поиском до 2019 года просмотрел и ничего не нашел.
Autumn
Спасибо за ссылку.
А то я поиском до 2019 года просмотрел и ничего не нашел.
да незачто, там ничего особенного, кроме мыслей основанных на доке, где сказано что zfs специфически считает место
riv
Я понимаю пару гигабайт туда-сюда. Но когда разница на терабайты - это уже напрягает.
Autumn
Ну я просто смотрю что о свободном пространстве говорит zfs и не заполняю датасет более чем на 80-85%, а в остальном данные выдаваемые zfs/zpool сильно зависимы от условий сборки/эксплуатации пула. Корректнее смотреть занятое/свободное место через zfs, потому что zpool считает данные с учетом parity данных. Так что просто поглядывайте в zfs list =)
Autumn
Там где-то в парити и "спрятался" ваш терабайт да служебные данные самой zfs =)
George
George
https://docs.google.com/spreadsheets/d/1tf4qx1aMJp8Lo_R6gpT689wTjHv6CGVElrPqTA0w_ZY/edit?pli=1#gid=2126998674
Василий
Василий
Причём было несколько раз такое. Но не было ни разу на дисках с синком
Василий
Там где-то в парити и "спрятался" ваш терабайт да служебные данные самой zfs =)
Кстати, вот тоже наблюдал стпанную картинку потери места на зфс
Причём на трунасе
Поставил солярис, все место сразу стало доступно.
Это прямо при разметке.
Что-то типа 12 дисков по 4тб в z2, трунас писал, что будет доступно чуть больше 30 тб и не гребет
Δαρθ
Данные не кривого приложения будут конситентны если соблюден порядок их записи на диск. Это зфс обеспечит. В какой бы момент времени вы не прервали запись, не завершенная транзакция откатится таким образом, что все будет выглядеть как будто бы, данные сразу записывались на диск и были прерваны в произвольный (но более ранний) момент времени.
В чем опасность writeback? в том что буфер переупорядочивает данные при записи для ускорения этой самой записи и это приводит к краху. Но в zfs writeback работает через транзакции, по этому, будет либо одно консистентное состояние, либо другое.
Конечно нельзя исключить, что приложение написано криво. но такое приложение будет падать и на системе которая вообще работает полностью в синхронном режиме, просто от неожиданного отключения.
Еще один случай, который надо учитывать - приложение которое обмениватеся состоянием с другой внешней системой, которая не может обработать откат состояния приложения на 5 секунд назад. Ну тут уж сами думайте, кроме вас никто не знает с чем взаимодействет ваше приложение.
Например, файловая 1С взаимодействует с бухгалтером. При неожиданном отключении света, бухгалтер проверит сохранился ли последний введенный документ. По этому sync=disable хорошо. Active directory тоже переживет откат на 5 секунд назад одним из контроллеров домена. Затрудняюсь привести конкретный пример,когда sync=disable является явным злом.
вопрос в том, меняет ли порядок и группировку по транзакциям сабж если приложение не делает sync. если меняет то вполне может оказаться так что приложение записало A затем Б, а в транзакцию ушло только A
Δαρθ
или хуже -- ушло Б, а А потерялось
Василий
вот. тоже задавлся этим вопросом, есть ли там фиксация последовательности, оно тупо буфер флешит как попадет
Василий
я вообще, удивлен, что сановцы этот режим сделали, видимо совсем жопа со скоростью заставила
Δαρθ
я вообще, удивлен, что сановцы этот режим сделали, видимо совсем жопа со скоростью заставила
ну ваще апдейтить агромадное дерево метаданных которое само по себе разбросано по всему диску, а потом еще и суперблок и его копии которые тоже по всему диску -- это медленно, да. потому они и сделали журнал, который апдейтить быстрее, а потом если что можно его в дерево влить, т.к. при старте время некритично
riv
Расскажите это вуентру, который отказался грузиться, после включения света.
По подробнее, что за коефигурация?
riv
вот. тоже задавлся этим вопросом, есть ли там фиксация последовательности, оно тупо буфер флешит как попадет
Моё понимание и опыт эксплуотации, говорят, что последовательность сохраняется. Там ещё есть "барьеры" - команда которая гарантирует, что данные до неё будут записаны раньше, чем босле нее. Некий асинхранный аналог синка )
Лично я не сталкивался с крахом. Но, нтфс обнаруживает "некорректное" отключение. А ещё в вирт машинах источником неприятностей может быть гибернизированный буфер writeback ос. Я имею в виду быстрый старт винды.
Василий
По подробнее, что за коефигурация?
солярка по NFS раздает диски для двух нод ESX. это домашняя игрушка, поэтому синк дисейлед. при пропадании света в двух случаях вцентр не стартанул. один раз помогло fsk, во втором пришлось откатиться на старый снапшот
Міхаіл So