Fedor
Вроде бы очевидное вполне
Vladislav
Может не флудить самому?
Не могу пройти мимо сообщения адресованного мне)))))
Sergey
Конкрэтно Владислав каждый раз строит из себя ментора, хотя советы дает банальные, уровня "посмотри доки". Он тут не админ, не основатель, можно просто игнорить
Vladislav
Это *общий* чат
Vladislav
А не личная беседа
Fedor
Давайте общаться чуть более корректно, в общем.
Vladislav
Гугл открывали? Что пишет по запросу *zfs autoimport pool on file*?
Игорь точно также мог спокойно игнорировать меня начиная с этого
Vladislav
Давайте общаться чуть более корректно, в общем.
Иными слова - ничего не меняется
Vladislav
Так игнорируйте))))
Всё равно в этом чатике за последние полгода мало кто пишет что-то сильнее уровня *я не умею читать документацию*
Vladislav
Кроме последней ситуации у @FreeKopcap, в чём я желаю ему успешного восстановления
Vladislav
Давайте общаться чуть более корректно, в общем.
Кстати, а можно на некоторое время сделать группу из привата публичной, чтобы бот мог посчитать статистику?
Vladislav
/stat@combot
Combot
Total messages: 68265
Fedor
Группа публичная - свободный вход по ссылке)
Ivan
@DanteAvalon А вы сами то своим советам следуете? Не похоже
Vladislav
Группа публичная - свободный вход по ссылке)
Вот сейчас яркий пример, когда человек игнорирует призывы перейти во флуд и продолжает необходимость писать Поэтому точно ли ко мне должны быть адресованы претензии про флуд?))
Vladislav
Группа публичная - свободный вход по ссылке)
Интересно почему тогда бот не может считать стату
Vladislav
Вроде показал - 68к сообщений)
Там есть наиболее активные
Fedor
Может, прикрыл настройками это. Самый активный - ты.
Vladislav
@DanteAvalon А вы сами то своим советам следуете? Не похоже
Как слышали, воздержитесь от продолжения флуда или воспользуйтесь @sds_flood
Vladislav
Вроде показал - 68к сообщений)
Нужно забанить топ-3 самых активных и тогда в канале станет тихо. сарказм
Владимир
арендовать серв с 90тб? :) я сомневаюсь, что это в бюджете товарища. Хотя могу и ошибаться, но там будет уже недалеко до купить новый сервер
Бюджет на такие сервера не такой уж и кусачий, особенно когда речь идёт о то м что тебе надо восстановить данные и можно встрять в итоге куда сильнее
Vladislav
у хетзнера там может быть сноска с лимитом траффика
Владимир
у хетзнера там может быть сноска с лимитом траффика
кстати дельное замечание)), я просто никогда не нуждался в таких больших объёмах, потому не втыкался в такие лимиты)), в прочем 100мбит после окончания трафика там всё равно же будет)
Vladislav
кстати дельное замечание)), я просто никогда не нуждался в таких больших объёмах, потому не втыкался в такие лимиты)), в прочем 100мбит после окончания трафика там всё равно же будет)
у мня OVH на бюджетном сервере режет скорость с 100Мбит в 20 я открываю тикет, прикладываю скрины, они неделю мурыжат, поднимают ненадолго скорость до пакетных, репортуют, что отклонений скорости не замечено и закрывают тикет. Через пару дней скорость опять же возвращается в 20Мбит.
Alex
Бюджет на такие сервера не такой уж и кусачий, особенно когда речь идёт о то м что тебе надо восстановить данные и можно встрять в итоге куда сильнее
ээ! дьявол в деталях =) А сколько будет стоить с 90Тб трафика ? :) Ведь придется заливать данные с "внешки". Ну либо делать это 10 месяцев.
Vladislav
Напиши робота, который завалит их тикетами)
для замера скорости, нужны тесты в риск режиме. автоматизировать можно, но там винту 65к часов , как бы ему не поплохело от ребутов
Fedor
Иперф
Vladislav
Иперф
они требуют iperf3 в риск режиме
Владимир
ээ! дьявол в деталях =) А сколько будет стоить с 90Тб трафика ? :) Ведь придется заливать данные с "внешки". Ну либо делать это 10 месяцев.
аредовать дешманскую виртуалку и с ней сделать общий влан, по серому ip у них нет лимитов)) и закачать через виртуалку))
Alex
ну там по факту у него 60Тб
имхо, проще раскошелиться на диски. Ну штук 200 придется выложить, но всё равно же пул восстанавливать
Alex
"unlim анлимом, а совесть надо иметь" - не просто так появилось
Владимир
нет лимитов? =)) ну ну. А вы проверяли?
я не сказал что их там нет, но ты можешь хоть каждые 5 минут новую виртуалку брать, а старую удалять))
Владимир
нет лимитов? =)) ну ну. А вы проверяли?
ну и если говорить именно про серую сеть, то там реально нет лимитов
Vladislav
А то что будет?
а то будут излишне мониторить траффик
Vladislav
Кто?
фуражки
Кот Матроскин
фуражки
Им пофиг.
Vladislav
90 тер по инету лить ?😱реально ??
S3 +rclone или sanoid - вполне себе
Georg🎞️🎥
S3 +rclone или sanoid - вполне себе
Ну если у вас гигабит есть инета :(((
Mikhail
/report
Vladislav
встретил еще одну багу ZFS в 14-RELEASE при непонятных условиях процесс [kernel{arc_prune}] начинает кушать 100% одного ядра проца....связано это с тем, что ARC не может выгрузить кеш вот баг репорт https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=275063
Nikita
/report
Nikita
эммм.... sudo /report ?
Free
Нууууу, я бы на Вашем месте куда-нибудь слил данные, ибо следующий шаг - дёргать диск на котором растёт Slow
Ну вот приедут все заказанные диски - попробую сливать. А пока развивается следующим образом: Попробовал, выключив север, убрать возможную проблему контактов: переприсоединил SATA Data к тому диску, который помечен SLOW. После перезагрузки сервера (опять только со второй попытки - первая висела более получаса 😞 ) состояние zpool status изменилось: https://pastebin.com/9UjVABw3 То есть тот диск, который был SLOW, перестал (?) быть медленным. Более того, ресилверинг на нем прекратился (на двух других дисках ресиверинг как будто продолжается)! Зато статус SLOW получил совсем другой диск. Оставил пул вчера в этом состоянии. Сегодня, спустя более 30 часов, процент ресилвенга не изменился, прогноза времени его завершения нет. То есть как будто все зависло. Файловая система не совсем мертва: некоторые команды ls показали содержимое некоторых папок, но довольно быстро дошел до папки, на которой ls опять подвесил терминал (который был отрыт через ssh). Так что спасти данные копированием пофайловым точно не получится, и что-то мне кажется, что и send/receive не получится. Но завтра, не дожидаясь получения дисков для всего пула, попробую send/receive какого-нибудь одного датасета.
Vladislav
Ну вот приедут все заказанные диски - попробую сливать. А пока развивается следующим образом: Попробовал, выключив север, убрать возможную проблему контактов: переприсоединил SATA Data к тому диску, который помечен SLOW. После перезагрузки сервера (опять только со второй попытки - первая висела более получаса 😞 ) состояние zpool status изменилось: https://pastebin.com/9UjVABw3 То есть тот диск, который был SLOW, перестал (?) быть медленным. Более того, ресилверинг на нем прекратился (на двух других дисках ресиверинг как будто продолжается)! Зато статус SLOW получил совсем другой диск. Оставил пул вчера в этом состоянии. Сегодня, спустя более 30 часов, процент ресилвенга не изменился, прогноза времени его завершения нет. То есть как будто все зависло. Файловая система не совсем мертва: некоторые команды ls показали содержимое некоторых папок, но довольно быстро дошел до папки, на которой ls опять подвесил терминал (который был отрыт через ssh). Так что спасти данные копированием пофайловым точно не получится, и что-то мне кажется, что и send/receive не получится. Но завтра, не дожидаясь получения дисков для всего пула, попробую send/receive какого-нибудь одного датасета.
send receive не трогает ведь файлы, поэтому он вероятнее сможет сработать, чем тот же rsync Но даааа, 5900 RPM диски конечно...
Alex
Это к слову, о тех кто типо не любит читать и самостоятельно разбираться))
красота какая =) прям хоть заморачивайся с амазоном.. Хотя к НГ уже не успеет доехать до страны медведей :\
Free
красота какая =) прям хоть заморачивайся с амазоном.. Хотя к НГ уже не успеет доехать до страны медведей :\
Лучше не заморачиваться 😊. Из Озона за 3-4 дня доедут https://www.ozon.ru/product/freebsd-mastery-zfs-153445416/ https://www.ozon.ru/product/freebsd-mastery-advanced-zfs-152295857/
riv
На 32ГиБ блоков выходит 48ГиБ меты... ~# zfs create -nPV 32G -o volblocksize=512 rpool/ext/test Warning: volblocksize (512) is less than the default minimum block size (8192). To reduce wasted space a volblocksize of 8192 is recommended. create rpool/ext/test property volsize 34359738368 property volblocksize 512 property refreservation 51558481920
Это не 48ГБ меты, это каждый блок 512 размещен в начале минимального блока vdev 8К, а остальное - пустота, т.е. 0.5К занимают 8К, создавайте zvol с volblocksize не меньше 8К, тогда не будет такого оверхеда. 512б приимуществ не даст, т.к. ваши vdev не могут менеше 8К. Операции ввода вывода всеравно идут по 8К. 0.5к не имеет смысла.
Станислав
Это не 48ГБ меты, это каждый блок 512 размещен в начале минимального блока vdev 8К, а остальное - пустота, т.е. 0.5К занимают 8К, создавайте zvol с volblocksize не меньше 8К, тогда не будет такого оверхеда. 512б приимуществ не даст, т.к. ваши vdev не могут менеше 8К. Операции ввода вывода всеравно идут по 8К. 0.5к не имеет смысла.
Ваши знания работы ФС смешались в кашу. По такой логике, если 512б занимают сектор блок 8к, то данные должны занимать в 16 раз больше положенного, т.е. 512Гб. А 32Гб+48Гб даже близко не равны 512Гб. К тому же у меня блок vdev не 8к, а 4к, но всё равно 32+48≠256
Станислав
У вас mirror vdev?
Да, а у Владислава Raid10
riv
У вас mirror vdev?
У него used 232Гб в то время как volsize 32, ну так это не в 16 раз больше, а почти в 8. Я не туда смотрю? Как раз модходит для ashift=12
riv
Вероятно, что-то удалено вызовом trim и часть места освободилась
Станислав
У него used 232Гб в то время как volsize 32, ну так это не в 16 раз больше, а почти в 8. Я не туда смотрю? Как раз модходит для ashift=12
Так ваше правило либо работает, либо нет. Работает "не до конца" тут не подходит. Если должно быть 256, знать не меньше ( + мета, в любом случае должна быть и её много, т.к. volblock маленький). Trim здесь вообще не к месту, это не разреженный том
Станислав
И Вы изначально отвечали на моё сообщение, про 48Гб, где Ваша математика даже "близко" не работает :) Считаю, что достаточно намекнул, что это неверная теория и смысла её обсуждать не вижу
riv
И Вы изначально отвечали на моё сообщение, про 48Гб, где Ваша математика даже "близко" не работает :) Считаю, что достаточно намекнул, что это неверная теория и смысла её обсуждать не вижу
Ну так может роясните в чем дело, вам то, как я вижу известно. Я не вижу противоречий. Контрольные суммы ~ половина от 30Гб, том всетаки разряженный. Вообще в выводе zfs постоянно путаются десятисные и двоичные гигабайты и строгого соответствия я никогда не видел. Тем не менее, очевидно volblocksize надо делать не меньше чем на подлежащем vdev, по видимому 4К. И не надо мне намекать. Если знаешь, то скажи прямо.
Maksym
Померял зависимость величины блока датасета, скорости записи данных и их места на диске. В данном случае использовал 4 ГБ фоток с диска ссд. Почему то, когда на него наводишь мышку, то показывает 4 гб, а когда смотришь в пропертис то 6.23 ГБ
Nikolay
#Вопрос: а это норма когда на log device (sdj + sdk в зеркале) столько запросов на запись падает время от времени ? Это получается столько синхронных запросов на запись идёт на пул ?
Nikolay
А можно вас попросить показать вывод и zpool get sync```
sync не получается, это точно дял пула ?