Aleksandr
сейчас попробую поискать в логах dmesg
Ivan
сейчас попробую поискать в логах dmesg
там скорее всего буде ошибка /dev/sdX
Aleksandr
грепнул по error https://pastebin.com/raw/Qi2EtFCw в косоль кидало сообщения типа blk_update_request: I/O error, dev sdb, sector 3223151624 op 0x0:(READ) flags 0x700 phys_seg 32 prio class 0
Aleksandr
значит это не глюк zfs
смущает чо это на двух нодах происходит
Ivan
на одной ноде замените ссд, а на другой контроллер )
Aleksandr
вы хотели сказать все ссд?
Aleksandr
и встречный вопрос, если менять контроллер, какой посоветуете брать?
Ivan
и встречный вопрос, если менять контроллер, какой посоветуете брать?
у меня под zfs разнообразные lsi - вродь проблем не возникает.
Alexander
у меня под zfs разнообразные lsi - вродь проблем не возникает.
В ПФР на бэкап сервере был как раз новенький LSI HBA с 2015 года, 2 года отработал идеально образцово показательно. В 2017 посыпались чексуммы, я сначала подумал контроллер сдыхает. Переключил диски на SATA порты матплаты. Чек суммы продолжали сыпаться причем на разных дисках. Одновременно гигабитный линк хранилища на другом сервере стал самовольно падать до 100мбит, я заменил Ethernet кабель на самый толстый дорогой и брэндовый, какой был в наличии. Стало немного лучше, но все равно были провалы. На бэкап сервере несколько раз пробовал менять SATA кабели на подобные новые, ничего не помогало. Потом уже заменил SATA кабели на более короткие и появление новых ошибок прекратилось.
Alexander
и линк падать перестал?
Линк на другом сервере, с чего бы он перестал падать. Самый прикол был, когда в конце 2019 полностью пропал линк на почтовом сервере. Я бегом домой за USB карточкой, прилетаю обратно на такси, втыкаю, 2 минуты есть линк и потом опять как обрезало. Причем хитрая ситуация, прикрывающаяся глючным хабом, на нем выгорело уже несколько портов, с помощью ноута нашли еще один порт, ноут линк видит, а почтовый сервер не видит ни встроенной картой, ни USB, которая вот только что работала. Поставили другой системник в стороне от стойки, воткнули в тот же самый порт хаба, линк появился. Начальник в бешенстве, почему твой сервер проработал 10 лет нормально, а тут не дает мне вовремя получать и отправлять письма, мол ты надо мной издеваешься чтоли ... Дома аналогично была просадка Ethernet до 100 мбит и даже PCI шина не работала нормально, USB контроллеры не могли быстрее v2, и иногда сваливались в v1 или вообще не видели устройства. Это пипец, когда ничего не работает, к чему раньше привык. Да что там, вот вчера 13 числа рабочая станция зависла наглухо 3 раза даже без включенного индикатора HDD активности, такого еще ни разу не было, чтобы висло не из-за активного диска под влиянием помех. Отключил Ethernet локалки, виснуть перестало. Добавил модуль грозозащиты с планарным разделительным трансформатором, и работает до сих пор, никаких зависаний. Вообще по 13 числам они регулярно отлаживают какую-нибудь свою очередную новую ху***ю, проверяют мою изобретательность. Месяц спокойствия, и потом опять надо пережить этот день.
Василий
Линк на другом сервере, с чего бы он перестал падать. Самый прикол был, когда в конце 2019 полностью пропал линк на почтовом сервере. Я бегом домой за USB карточкой, прилетаю обратно на такси, втыкаю, 2 минуты есть линк и потом опять как обрезало. Причем хитрая ситуация, прикрывающаяся глючным хабом, на нем выгорело уже несколько портов, с помощью ноута нашли еще один порт, ноут линк видит, а почтовый сервер не видит ни встроенной картой, ни USB, которая вот только что работала. Поставили другой системник в стороне от стойки, воткнули в тот же самый порт хаба, линк появился. Начальник в бешенстве, почему твой сервер проработал 10 лет нормально, а тут не дает мне вовремя получать и отправлять письма, мол ты надо мной издеваешься чтоли ... Дома аналогично была просадка Ethernet до 100 мбит и даже PCI шина не работала нормально, USB контроллеры не могли быстрее v2, и иногда сваливались в v1 или вообще не видели устройства. Это пипец, когда ничего не работает, к чему раньше привык. Да что там, вот вчера 13 числа рабочая станция зависла наглухо 3 раза даже без включенного индикатора HDD активности, такого еще ни разу не было, чтобы висло не из-за активного диска под влиянием помех. Отключил Ethernet локалки, виснуть перестало. Добавил модуль грозозащиты с планарным разделительным трансформатором, и работает до сих пор, никаких зависаний. Вообще по 13 числам они регулярно отлаживают какую-нибудь свою очередную новую ху***ю, проверяют мою изобретательность. Месяц спокойствия, и потом опять надо пережить этот день.
цикада 3011 не про тебя фильм?
Okhsunrog
Есть старый ноут на AMD Athlon 64 X2. 2 ядра по 1.9 ГГц. 4 ГБ DDR2. SSD на 120 Гб (работает только в режиме SATA II, до 300 МБ/с). Вопрос: какой будет разница в производительности по сравнению с ext4? Используется как обычный десктоп, никаких баз данных нет
A1EF
На такую машинку zfs лучше вообще не ставить
Okhsunrog
Остаться на старой доброй ext4?
A1EF
Конечно. Если нет веских причин на иной вариант
Okhsunrog
А так хочется снэпшоты иметь)
A1EF
На счет btrfs не скажу — я предвзят, ибо сталкивался с проблемами. А zfs требует оперативки, так что на 4ГБ явно мало
Okhsunrog
А сколько ей оперативки нужно?
Alexander
На такую машинку zfs лучше вообще не ставить
На Core2 6GB RAM работает прекрасно в качестве десктопа. Devuan без systemD, Trinity DE. На бэкап серверах вообще по 2GB RAM, тоже все ОК, еще и 1 гиг обычно свободен. IceWM. Главное, чтобы был L2ARC на SSD иначе тормоза.
Міхаіл So
скорее никакой
A1EF
На Core2 6GB RAM работает прекрасно в качестве десктопа. Devuan без systemD, Trinity DE. На бэкап серверах вообще по 2GB RAM, тоже все ОК, еще и 1 гиг обычно свободен. IceWM. Главное, чтобы был L2ARC на SSD иначе тормоза.
По опыту: фильм в качестве fullHD тормозит при чтении с диска. Какой-то corei5 и 8ГБ оперативки. Для десктопа признать "отличным" вариант отказа от всего сколько-то жрущего память в пользу zfs никак не могу
Okhsunrog
У меня Gentoo, тайлинговый оконный менеджер, без systemd. Оперативки очень мало используется
A1EF
Arch Linux, но там zfs с шифрованием
Okhsunrog
На Core2 6GB RAM работает прекрасно в качестве десктопа. Devuan без systemD, Trinity DE. На бэкап серверах вообще по 2GB RAM, тоже все ОК, еще и 1 гиг обычно свободен. IceWM. Главное, чтобы был L2ARC на SSD иначе тормоза.
"Главное, чтобы был L2ARC на SSD иначе тормоза." Так у меня всего один SSD и есть в системе. Никакого RAID или кэша на отдельном накопителе не предусматривается
A1EF
Так это не для игрулек, а для безопасности и помехозащищенности.
Выключи комп — тогда вообще никакие помехи будут не страшны:)
Alexander
Okhsunrog
А до ресурсов процессора zfs насколько жадная?
A1EF
Если сжатие gzip-9 не врубать (и шифрование), то как раз процессор не так существенен
Alexander
Даже при сжатии важно количество ядер, а не их производительность. Load average может зашкаливать в некоторых случаях, но проц при этом простаивает. Шифрование может сильно загрузить старые процы.
Mikhail
Arch Linux, но там zfs с шифрованием
ну тоже bsd с шифрованием. Фильм уже точно не должен тормозить. Я на raidz2 до 100МБ в секунду умудряюсь по сети с диска гонять при свободном ядре. Чтото другое тормозит, не zfs.
A1EF
А что там с оперативкой?
Mikhail
А что там с оперативкой?
ARC ограничен в 200МБ. Всего 1GB.
Mikhail
системник покупал в 2006 году
George
Есть старый ноут на AMD Athlon 64 X2. 2 ядра по 1.9 ГГц. 4 ГБ DDR2. SSD на 120 Гб (работает только в режиме SATA II, до 300 МБ/с). Вопрос: какой будет разница в производительности по сравнению с ext4? Используется как обычный десктоп, никаких баз данных нет
работать будет отлично, а вот разницу с ext4 нужно мерять вручную на конкретных нагрузках. Для домашнего использования разницу особо не заметите, мб даже лучше будет есть ssd дохлый, можно выставить sync=disabled и ARC дадут буст относительно ext4, ну и сжатие конечно
Alexander
l2arc на таком объёме и количестве озу точно не нужен)
Так хотя бы несколько гиг L2ARC уже будет лучше, если бы не SSD для всего пула.
George
На sync=disabled даже HDD с ссдшным L2ARC или с очень большим ARC (что бывает редко) работает со скоростью как будто весь пул на SSD.
вообще просто посмотрите стату попадания в l2arc, зависит от нагрузки но обычно считается что лучше ОЗУ набить по максимуму сначала
Alexander
вообще просто посмотрите стату попадания в l2arc, зависит от нагрузки но обычно считается что лучше ОЗУ набить по максимуму сначала
Всетаки L2ARC по объему получится на порядок больше, а разница в скорости по сравнению с RAM невелика, если для ускорения рандомности на HDD.
George
часто лучше иметь ещё немного ОЗУ
George
но не спорю, есть кейсы когда l2arc хорош
George
особенно когда он стал персистентным
Fedor
больших
Fedor
сначала - озу до максимума.
Fedor
потом считать - хватит ли озу чтоб добавить нужного размера л2арк
Fedor
иначе станет даже медленнее, чем было без л2арк
Δαρθ
btrfs тоже, я так понимаю?
а вот бтрфс может и ускориться относительно ехт4 особенно если сжатие подобрать (примерно zstd:2..5)
A1EF
О, а ZFS уже поддерживает?
A1EF
Я lz4 обычно врубаю
A1EF
Хех, после выхода 0.8 напрасно я не читал чейнжлогов:)
Ilya
Есть старый ноут на AMD Athlon 64 X2. 2 ядра по 1.9 ГГц. 4 ГБ DDR2. SSD на 120 Гб (работает только в режиме SATA II, до 300 МБ/с). Вопрос: какой будет разница в производительности по сравнению с ext4? Используется как обычный десктоп, никаких баз данных нет
Очевидно, боттлнеком будет сата. Дома веб(nextcloud, который, говорят, не очень легок по памяти)+смб сервер с 1 ядром 4ггц и 4 ГБ RAM работает вполне неплохо. Но сата3, конечно.
central
А все же задам еще раз, для zfs еще не создано теста который позволит протестировать влияение сжатия на систему? или единственый вариант это самому вручную замерять?
Alexander
видимо, у тебя не было опыта эксплуатации л2арк.
Бывает, что нет возможности увеличить ОЗУ, которого и так всего 12 гиг, - увеличиваешь L2ARC хотя бы до 100-200 Гб. L2ARC отъедает от ОЗУ на порядок меньше. И база данных начинает работать с приемлемой скоростью.
Alexander
иначе станет даже медленнее, чем было без л2арк
В случае с HDD хранилкой для базы данных важен объем SSD кэша, если нет возможности добавить столько же ОЗУ. Тем более сейчас с появлением persistent кэш L2ARC стал еще актуальнее, чтобы кэш был прогрет сразу же на старте, на ОЗУ такого не сделаешь, даже если у тебя его до дури - сотни гиг. Кроме того L2ARC можно сделать настолько большим, чтобы писать в него даже последовательные чтения, не знаю, есть ли такая опция для ARC. Тогда почти все недавние чтения потом будут читаться из L2ARC, что для HDD пула вообще прекрасно.
Alexander
Кстати интересно, кто-нибудь пробовал увеличить время до сохранения данных в HDD пул с 5 секунд до например 30-60 секунд или вообще до нескольких минут 5-10 минут. SSD SLOG (зеркало конечно) ведь обычно почти не занят, так хоть будет задействован более менее не только по количеству операций, но еще и по занятому на нем пространству. Но в таком случае наверно нужно и немало ОЗУ аналогично sync=disabled, чтобы оно вмещало в себя столько же, насколько будет занят SLOG, ведь ZFS не копирует SLOG в пул в обычном штатном режиме до внезапной перезагрузки. Будет ли в таком случае повышение скорости работы HDD пула для СУБД нагрузки без потери надежности? Мне кажется, что такой конфиг должен сгладить пиковые всплески записи и снизить лаги, зависящие от текущей утилизации HDD? Т.е. как бы сделать HDD пул очень эластичным по записи. По нагрузке на HDD чем-то походит IMHO на sync=disabled, но при этом без потери надежности честного сохранения всех синхронных транзакций.
Владимир
Кстати интересно, кто-нибудь пробовал увеличить время до сохранения данных в HDD пул с 5 секунд до например 30-60 секунд или вообще до нескольких минут 5-10 минут. SSD SLOG (зеркало конечно) ведь обычно почти не занят, так хоть будет задействован более менее не только по количеству операций, но еще и по занятому на нем пространству. Но в таком случае наверно нужно и немало ОЗУ аналогично sync=disabled, чтобы оно вмещало в себя столько же, насколько будет занят SLOG, ведь ZFS не копирует SLOG в пул в обычном штатном режиме до внезапной перезагрузки. Будет ли в таком случае повышение скорости работы HDD пула для СУБД нагрузки без потери надежности? Мне кажется, что такой конфиг должен сгладить пиковые всплески записи и снизить лаги, зависящие от текущей утилизации HDD? Т.е. как бы сделать HDD пул очень эластичным по записи. По нагрузке на HDD чем-то походит IMHO на sync=disabled, но при этом без потери надежности честного сохранения всех синхронных транзакций.
Это такая себе идея, я вообще ставлю принудительно синх если хранилище медленное, а записи много, потому что если оно не успевает писать, то поднимется ла и всё зависнет
Владимир
При редких записях в пул растет LA? Т.е. на многоядерном сервере все же можно?
Да синх и при редких не стоит отключать, лучше оставлять в standard
Alexander
Да синх и при редких не стоит отключать, лучше оставлять в standard
Так я не предлагал отключать честную синхронизацию пула в целом, моя идея была оставить sync=standard для SSD SLOG, но при этом снизить частоту принудительных записей на HDD vdevs до нескольких минут.
Владимир
Не готов такое комментировать), тестируй
Alexander
Кстати LA вероятно можно побороть, если переместить ZFS внутрь KVM виртуалки с большим количеством виртуальных ядер, раз сам ZFS не умеет по нитям, чтобы сильнее загрузить проц? Или это не снизит LA?
Alexander
Вообще интересно, позволяет ли большое количество виртуальных ядер снижать LA снаружи, когда проц почти простаивает, а LA зашкаливает?