Алексей
Потому что как ведёт себя зфс я представляю и без поверх
Vladislav
так переписывай вопрос :)
Алексей
А в чём я не прав
Алексей
Да пофиг специально для тебя добавил)))
George
Мене интересует если внутри ntfs или ext
у zvol скорость записи уже аллоцированного блока и не аллоцированного отличается, но не драматично. Т.е. для перформанса имеет смысл вызывать trim изнутри vm регулярно
George
просто забейте zvol на 100% и потестите скорость перезаписи аллоцированных блоков
George
у меня были адекватные цифры, но точно замеров не вспомню уже
Алексей
Трим не выйдет, там будет забито всё и удаляться самое старое
George
Трим не выйдет, там будет забито всё и удаляться самое старое
ну главное размер блока подберите, чтобы rmw не было
Алексей
16М конечно же))
Ivan
ахах
Алексей
И txg timeout 120
Konstantin
сегодня на проксмокс вышло обновление для zfs 0.8.4-pve2, в changelog пишут что добавили systemd-unit for importing specific pools
Konstantin
что за специфик пулс такие?
riv
что за специфик пулс такие?
Как я понимаю английский, имеется в виду некий, каким-то образом указанный пул, а не все подряд. Т.е Это не special pool а specific, т.е. выбранный, указанный
Konstantin
вот тут на 4 шаге в 11 пункте оно?
riv
вот тут на 4 шаге в 11 пункте оно?
Ну тут жестко захордкоженый в юнит, а не специфик. А специфик, как я себе это представляю, это типа такого: systemctl enable zfs-import@bpool и чтобы оно само находило этот пул и сервис создавало. Но я не знаю как там на самом деле устроено, не смотрел.
Ivan
А что происходит при полном заполнении special ?
riv
А что происходит при полном заполнении special ?
Ничего страшного, просто пишет в обычные vdev пула, снижая быстродествие до обычного уровня.
Ivan
спасибо
Nikita
Под горячую руку - можно ли "на горячую" без потери данных делать для пула destroy cache, log, spetial?
Konstantin
Ну тут жестко захордкоженый в юнит, а не специфик. А специфик, как я себе это представляю, это типа такого: systemctl enable zfs-import@bpool и чтобы оно само находило этот пул и сервис создавало. Но я не знаю как там на самом деле устроено, не смотрел.
да не, это понятно, я просто к тому что это подобным же образом сделано? у меня просто сейчас по данному мануалу стоит прокс на шифрованом rpool, и я несколько опасаюсь из-за этого ставить обновление
Konstantin
надо на гите прокса порыться найти что именно они сделали
riv
да не, это понятно, я просто к тому что это подобным же образом сделано? у меня просто сейчас по данному мануалу стоит прокс на шифрованом rpool, и я несколько опасаюсь из-за этого ставить обновление
Ну, лишний бекап никогда не повредит 😊 Но как я понимаю, они просто добавили юнит, который можно использовать, а можно не использовать указанным образом. Надо просто поискать этот юнит и посмотреть на его код.
Konstantin
ага, нашёл
Konstantin
59 +[Unit] 60 +Description=Import ZFS pool %i 61 +Documentation=man:zpool(8) 62 +DefaultDependencies=no 63 +Requires=systemd-udev-settle.service 64 +After=systemd-udev-settle.service 65 +After=cryptsetup.target 66 +After=multipathd.target 67 +Before=zfs-import.target 68 + 69 +[Service] 70 +Type=oneshot 71 +RemainAfterExit=yes 72 +ExecStart=@sbindir@/zpool import -N -d /dev/disk/by-id -o cachefile=none %I 73 + 74 +[Install] 75 +WantedBy=zfs-import.target
Konstantin
главное что не поломает мне ничего )
George
Под горячую руку - можно ли "на горячую" без потери данных делать для пула destroy cache, log, spetial?
l2arc и slog можно без каких-то рисков отключать, special - т.к. это по сути обычный vdev только со спец правилами на запись, то на него распространяются те же правила, что и на обычные vdevы при vdev removal (работает, только если в пуле НЕТ raidz)
George
и то я бы не рекомендовал просто так использовать vdev removal, там есть пенальти по перформансу небольшое
Nikita
Ну, пенальти по перфомансу в таком случае не страшно, главное, чтобы данные остались на месте.
riv
Ну, пенальти по перфомансу в таком случае не страшно, главное, чтобы данные остались на месте.
но нельзя их отключать нештатно, т.е. если special отвалится целиком (а это болжет быть mirror), то о данных можно забыть, впрочем как и любой другой обычный vdev
George
но нельзя их отключать нештатно, т.е. если special отвалится целиком (а это болжет быть mirror), то о данных можно забыть, впрочем как и любой другой обычный vdev
при полной потере vdev пул должен перейти в suspended, если vdev вернуть, то с последнего txg можно импортнуться. Но при полной потере да, пулу хана, достать можно только обрывки того, что осталось на других vdevs. Но т.к. данные эффективно размазываются, то достать можно именно куски файлов. А потеря special, да, без меты хрен что достанешь по идее. Интересно проверить))
Nikita
Не, я рассматриваю именно сценарий замены физических носителей, используемых под spetial. Т.е. сейчас пара sata SSD, хочу заменить на пару nvme ssd
Nikita
Очень волнительно
George
добавляешь 3й диск в миррор, как ресильвер пройдёт удаляешь старый, повторяешь со вторым
George
или сразу два
George
главное именно zpool attach
Nikita
Со spetial-девайсами та же схема?
George
https://openzfs.github.io/openzfs-docs/man/8/zpool-attach.8.html
Nikita
Нет нюансов? (Я просто ленюсь гуглить прям сейчас, сорри)
George
Со spetial-девайсами та же схема?
да, кроме спец правил на запись это самые обычные vdevы. Для спокойствия на файликах пул создай потренируйся
riv
special - это примерно 1,2% от размера данных в пуле. Лучше конечно оставить небольшой запас для его увеличения, но и лишний запас не нужен.
nanomechanic
пинаем провайдеров со всех сторон. Попробовали другого прова - там вообще 60Мбит )) при заявленном 1Гбит канале ))) Боль и печаль ((
net.ipv4.tcp_congestion_control = bbr чудеса творит (посредством резкого увеличения ретрансмитов). Погугли про BBR
nanomechanic
И еще - на обоих концах FreeBSD 12.1
хмм, BBR значит не получится. У меня такая проблема была, с дефолтным cubic window size не разгонялись больше 20-30кб на openvpn линках, лол. С 40мс раундтрипом это пиздец.
Dmitry
там 100% где-то в серединке сидит шейпер, сцука
Dmitry
только никто не признается
nanomechanic
у нас хуево работают каналы из двух ДЦ в СПБ до хетцнера. По РФ такой херни нет.
nanomechanic
причем тормозит именно аплоад спб->hetzner. Просто если iperfом без VPN тестить все не так печально, как с openvpn
riv
причем тормозит именно аплоад спб->hetzner. Просто если iperfом без VPN тестить все не так печально, как с openvpn
Кстати, от частных подключений тоже тормоза сильные на upload в hetzner, во всяком случае, в Нижнем новгороде: Например, при заявленной скорости 500Мбит, по России доступно 300-400, а в hetzner только 10.
nanomechanic
причем, в одном Спб ДЦ больше тормозит аплоад в нюрнбергский ДЦ, а в другом в хельсинский.
riv
самое смешное, если socat-ом сделать редирект, в московском selectel, то скорость намного лучше, около 200мегабит, но тоже не фонтан, конечно. Кстати, я переносил данные между ДЦ hetzner HEL1-DC2 -> FSN1-DC4 и тоже было не быстро, в районе 200 мегабит, тогда как обычно, скорость за 500-700.
riv
а про сокат можно подробнее?
socat TCP4-LISTEN:8080 TCP4:123.456.789.12:80 тоже самое можно через dnat сделать или ,например nc -l -p 8080| nc 123.456.789.12 80 смысл в том что мы конектимся к селектелу, а хост селектела конектится в hetzner и перебрасывает пакеты в это новое соединение.
riv
А еще проще и привычнее: ssh -> selecle -> hrtzner
Dmitry
надо socat попробовать
Dmitry
именно zfs передавать через socat пробовали?
Dmitry
ага, я тогда попробую порт mbuffer прокинуть и посмотреть как оно будет
nanomechanic
помониторить tcp windows size у потока. если сильно меньше 1мбайт, то и будет тормозить
riv
надо socat попробовать
Вообще, первый раз когда я столкнулся в "затухающими" соединениями, это на частном подключении в гостях на провайдере дом.ру хотел игру на ПК поставить из стима, а она гигов 50. И вот на подключении в 100 мегабит, скорость держится первые 5 минут, а потом 50Мегабит, 20 мегабит, 10 мегабит, 2 мегабита, и 0.5 Мегабит. В результате игра так за 2 часа и не поставилась. Для сравнения, на нормальном провайдере, она же скачивается за 15 минут примерно. Я считаю, что это не ошибка а такая "оптимизация" от админов некоторых провайдеров. Они думают, что никто не заметит. возможно и на магистральных что-то похожее началось?
Dmitry
Но в цепочке все отнекиваются, у всех все отлично и шейпера нет
nanomechanic
tcpdump -vvv host <IP> and port <PORT>
nanomechanic
оно там win пишет
nanomechanic
iperf3 просто показывает, какой был в среднем за sampling interval (на аплоад стороне)
nanomechanic
дефолтный режим у iperf в режиме клиента это upload. Чтобы в обратном направлении ключ -R
Dmitry
дефолтный режим у iperf в режиме клиента это upload. Чтобы в обратном направлении ключ -R
ага, спасибо. Я просто в таком случае делал сервер на другом конце, но с ключом удобнее ))
Dmitry
очень много incorrect checksum
nanomechanic
win 2053
надо смотреть что там клиент и сервер в wscale в хендшейке друг другу передали
nanomechanic
win*2^wscale
Dmitry
cksum 0x86b6 (incorrect -> 0x95cd), seq 1, ack 52785392, win 16361
Dmitry
все инкорректы с таким win идут