идею понял, конечно, но у нас вряд ли реализуемо. Отправляющая сторона не будет на такое заморачиваться

Зато так можно на физических дисках перевезти. Давно известно, что самая большая пропускная способность у грузовика груенного жесткими дисками 😊

Зато так можно на физических дисках перевезти. Давно известно, что самая большая пропускная способность у грузовика груенного жесткими дисками 😊

думали уже )) расстояние большое )) туда сюда только на доставку дней 10 уйдет, проще уж дождаться через инет

думали уже )) расстояние большое )) туда сюда только на доставку дней 10 уйдет, проще уж дождаться через инет

А вы внутри России пересылаете?

Или за кордон?

внутри

Москва - Сибирь

Я заметил, что между некоторыми ДЦ или частными подключениями, скорость напрямую постепенно снижается. Но если пробросить VPN например через вирт. машину в selectel а из selectel в например hetzner то средняя скорость в десятки раз выше. vpn - это условно. Можно просто релей делать на nc или socat.

ну вот у меня в одно тцп идет 150 мбит. Запускаю иперф - оно фигачит еще 150мбит

mbuffer на отправляющей стороне пишет что в буфере что-то копится? Не связано ли это со скоростью zfs send?

На отправляющей стороне нет смысла смотреть, ясно, что zfs send быстрее чем любое ваше подключение (ну если у вас не 10G или не 100) - это нормально. Я там всегда ставлю -q тобы он ничего не писал, а лучше поставить после zfs send сразу pv —size и у вс будет красивый прогресс бар + ожидаемое время завершения. А вот если на принимающей стороне копится, то скорости приёма не зватает: декомпрессия медленная, сомпрессия или дедупликация медленные или диски не успеывают (фрагментация?). Но у меня ,если не использовать дедупликацияю, нормально работает с zfs receive -o gzip-9 даже на гигабитных линках.

mbuffer на отправляющей стороне пишет что в буфере что-то копится? Не связано ли это со скоростью zfs send?

на отправляющей стороне 100% заполненности буфера, уточняли

Даже lz4c -z - очень быстрая компрессия почти не нагружающая проц, выигрыш по времени может составить в разы!

На отправляющей стороне нет смысла смотреть, ясно, что zfs send быстрее чем любое ваше подключение (ну если у вас не 10G или не 100) - это нормально. Я там всегда ставлю -q тобы он ничего не писал, а лучше поставить после zfs send сразу pv —size и у вс будет красивый прогресс бар + ожидаемое время завершения. А вот если на принимающей стороне копится, то скорости приёма не зватает: декомпрессия медленная, сомпрессия или дедупликация медленные или диски не успеывают (фрагментация?). Но у меня ,если не использовать дедупликацияю, нормально работает с zfs receive -o gzip-9 даже на гигабитных линках.

неа, zfs send может сильно временами просаживаться, это нормальное явление т.к. фрагментация, холодный кеш и тд

А если там EPYC2 можно pbzip2 -9 использовать 😊

на отправляющей стороне 100% заполненности буфера, уточняли

гуд, тогда и правда в коннекте дело

неа, zfs send может сильно временами просаживаться, это нормальное явление т.к. фрагментация, холодный кеш и тд

ну у отправителя 20*1.92Тб SATA SSD )

неа, zfs send может сильно временами просаживаться, это нормальное явление т.к. фрагментация, холодный кеш и тд

Речь идет про заполненный буфер mbuffer-а.

ну у отправителя 20*1.92Тб SATA SSD )

гуд, тогда и правда в коннекте дело

думаем тоже самое, проблема в том чтобы в цепочке провов от них до нас найти кто виноват и еще заставит это исправить - задача сродни подвигу Геракла

думаем тоже самое, проблема в том чтобы в цепочке провов от них до нас найти кто виноват и еще заставит это исправить - задача сродни подвигу Геракла

У вас какая средняя скорость устанавливается в соеденении? Можно померить поставив pv перед mbuffer, т.е. после компрессии. или косвенно по нагрузке на интерфейс

И какая должна быть по тарифу?

149,96Мбит/сек, смотрю за сутки

пинаем, конечно провайдеров с обеих сторон, ибо на одном конце 2Гб/с на втором 1Гб/с но толку пока 0

а провайдеров посередине тоже пинаете?

А должна быть гигабит?

а провайдеров посередине тоже пинаете?

ну не сами, наши провайдеры, ну, мой точно ))

А должна быть гигабит?

да

а провайдеров посередине тоже пинаете?

там дело не провайдерах, как я думаю, скорее всего dpi от Мизулиной. Во всяком случае, между некоторыми ДЦ, даже иностранными и нашими, таких проблем нет. Как приятно по европе пересылать подобные объемы, скорость при заявленном 1ГБит, 700-800Мбит. У нас вот 150, а бывает и меньше. Более того, некоторые клиенты жаловались на отвалы RDP при коннекте к hetzner, я поставил редирект в selectel и дал им селектеловский адрес, все стало хорошо!

у провайдера везде минимум 10Г линки, нагрузку на них проверили, все норм

там дело не провайдерах, как я думаю, скорее всего dpi от Мизулиной. Во всяком случае, между некоторыми ДЦ, даже иностранными и нашими, таких проблем нет. Как приятно по европе пересылать подобные объемы, скорость при заявленном 1ГБит, 700-800Мбит. У нас вот 150, а бывает и меньше. Более того, некоторые клиенты жаловались на отвалы RDP при коннекте к hetzner, я поставил редирект в selectel и дал им селектеловский адрес, все стало хорошо!

ну у нас все внутри России

думаем тоже самое, проблема в том чтобы в цепочке провов от них до нас найти кто виноват и еще заставит это исправить - задача сродни подвигу Геракла

ну так в цепочке между точками много провайдеров может оказаться. Возможно кто-то шейпит такие нагрузки чтобы не выжрали полосу.

там дело не провайдерах, как я думаю, скорее всего dpi от Мизулиной. Во всяком случае, между некоторыми ДЦ, даже иностранными и нашими, таких проблем нет. Как приятно по европе пересылать подобные объемы, скорость при заявленном 1ГБит, 700-800Мбит. У нас вот 150, а бывает и меньше. Более того, некоторые клиенты жаловались на отвалы RDP при коннекте к hetzner, я поставил редирект в selectel и дал им селектеловский адрес, все стало хорошо!

DPI на внутренний трафик (на магистралях) ставить не имеет смысла и губительно. Ставят на пограничных роутерах, либо ближе к клиенту.

да

Если хотите, можете проверить к моей машине iperf-ом root@htz-vm00 ~ # iperf3 -c msk-fw.v-node.ru Connecting to host msk-fw.v-node.ru, port 5201 [ 5] local 195.201.10.79 port 55096 connected to 109.71.8.66 port 5201 [ ID] Interval Transfer Bitrate Retr Cwnd [ 5] 0.00-1.00 sec 32.1 MBytes 269 Mbits/sec 0 3.50 MBytes [ 5] 1.00-2.00 sec 41.2 MBytes 346 Mbits/sec 11 2.45 MBytes [ 5] 2.00-3.00 sec 42.5 MBytes 357 Mbits/sec 0 2.45 MBytes [ 5] 3.00-4.00 sec 42.5 MBytes 357 Mbits/sec 0 2.45 MBytes [ 5] 4.00-5.00 sec 30.0 MBytes 252 Mbits/sec 20 899 KBytes [ 5] 5.00-6.00 sec 21.2 MBytes 178 Mbits/sec 0 964 KBytes [ 5] 6.00-7.00 sec 23.8 MBytes 199 Mbits/sec 0 1012 KBytes [ 5] 7.00-8.00 sec 23.8 MBytes 199 Mbits/sec 0 1.02 MBytes [ 5] 8.00-9.00 sec 25.0 MBytes 210 Mbits/sec 1 742 KBytes [ 5] 9.00-10.00 sec 18.8 MBytes 157 Mbits/sec 0 805 KBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.00 sec 301 MBytes 252 Mbits/sec 32 sender [ 5] 0.00-10.04 sec 299 MBytes 249 Mbits/sec receiver Это, например из германии, машина в selectel

Кстати, тоже снижается....

DPI на внутренний трафик (на магистралях) ставить не имеет смысла и губительно. Ставят на пограничных роутерах, либо ближе к клиенту.

По видимому, dpi между частными подключениями и локальными ДЦ не везде стоит.

Повоторил, картина лучше root@htz-vm00 ~ # iperf3 -c msk-fw.v-node.ru Connecting to host msk-fw.v-node.ru, port 5201 [ 5] local 195.201.10.79 port 55100 connected to 109.71.8.66 port 5201 [ ID] Interval Transfer Bitrate Retr Cwnd [ 5] 0.00-1.00 sec 33.5 MBytes 281 Mbits/sec 0 3.50 MBytes [ 5] 1.00-2.00 sec 43.8 MBytes 367 Mbits/sec 0 3.50 MBytes [ 5] 2.00-3.00 sec 43.8 MBytes 367 Mbits/sec 0 3.50 MBytes [ 5] 3.00-4.00 sec 45.0 MBytes 377 Mbits/sec 0 3.50 MBytes [ 5] 4.00-5.00 sec 43.8 MBytes 367 Mbits/sec 0 3.50 MBytes [ 5] 5.00-6.00 sec 43.8 MBytes 367 Mbits/sec 0 3.50 MBytes [ 5] 6.00-7.00 sec 43.8 MBytes 367 Mbits/sec 0 3.50 MBytes [ 5] 7.00-8.00 sec 43.8 MBytes 367 Mbits/sec 0 3.50 MBytes [ 5] 8.00-9.00 sec 43.8 MBytes 367 Mbits/sec 0 3.50 MBytes [ 5] 9.00-10.00 sec 43.8 MBytes 367 Mbits/sec 0 3.50 MBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.00 sec 429 MBytes 359 Mbits/sec 0 sender [ 5] 0.00-10.04 sec 428 MBytes 357 Mbits/sec receiver

ну не сами, наши провайдеры, ну, мой точно ))

а есть возможность придти к местному Ростелекому и включиться напрямую в их сеть двумя точками? Там вероятнее всего проблем не будет и свои гарантированные 1гбит/с вы получите

а есть возможность придти к местному Ростелекому и включиться напрямую в их сеть двумя точками? Там вероятнее всего проблем не будет и свои гарантированные 1гбит/с вы получите

неа, там волокно тянуть придется, плюс у моего уже есть 10Г в ростелек. Завтра еще попробуем 500Мбит от другого прова, когда они поменяют оборудование на узле плюс промежуточный один обещался что-то у себя сделать. Будем посмотреть

DPI на внутренний трафик (на магистралях) ставить не имеет смысла и губительно. Ставят на пограничных роутерах, либо ближе к клиенту.

Более того на межоператорские стыки это требование не распространяется)

Более того на межоператорские стыки это требование не распространяется)

всё верно, иначе это будет ужас-ужас))

Более того на межоператорские стыки это требование не распространяется)

И слава богу!

Да и большие весь траффик через dpi не гонят, я думаю тут скорей задержки влияют, внутри соседних областей тоже как в европе будет быстро

Почитайте про тюнинг tcp стека под большую лейтенси и скорость, но это есть смысл только на обеих сторонах делать

Почитайте про тюнинг tcp стека под большую лейтенси и скорость, но это есть смысл только на обеих сторонах делать

спасибо, может поделитесь ссылками, если есть?

спасибо, может поделитесь ссылками, если есть?

честно говоря не сохранял, но встречал не раз, там гуглить по tcp congestion control high latency

Может, узкое место в дисках?

mbuffer на больших пингах мне не удалось заставить работать быстро

Применимо к zfs send

Лью прям в открытый порт обычно

Может, узкое место в дисках?

Точно нет, скорости там более чем достаточные

mbuffer на больших пингах мне не удалось заставить работать быстро

Большие это сколько?

Больше 20 мс

Делаю так:

on receiving  nc -lvp 4242 | zfs receive poola/subvol-202-disk-0 on the sending side: zfs send poola/subvol-202-disk-0@first | nc host07 4242

И да, это самое если сендишь обычно он сначала чето очень долго вычитывает и шлет по копейке, потом разгоняется, может быть ты просто не дождался

И да, это самое если сендишь обычно он сначала чето очень долго вычитывает и шлет по копейке, потом разгоняется, может быть ты просто не дождался

Сутки норм?))

Больше 20 мс

Т.е. при ртт 50~60мс мбуффер лучше не использовать ?

Да

Хотя я не сильно старался его разогнать

Но минут 15 гуглил усиленно

Сутки норм?))

Ну на 18тб может быть и нет

Я больше 4 не тягал

Будем пробовать, спасибо. Отпишусь

Т.е. при ртт 50~60мс мбуффер лучше не использовать ?

Лучше использовать его только как буфер. Через сеть данные передаются не равномерно, zfs их тоже порциями выдает. Я использую mbuffer и nc - так быстрее всего. Шифрование (aespipe) и сжатие и другие ресурсоемкие опервции с данными нужно делать до буфера. Сжатие до шифрования

Лучше использовать его только как буфер. Через сеть данные передаются не равномерно, zfs их тоже порциями выдает. Я использую mbuffer и nc - так быстрее всего. Шифрование (aespipe) и сжатие и другие ресурсоемкие опервции с данными нужно делать до буфера. Сжатие до шифрования

А вот до этого я не догадался. Гениально

Лучше использовать его только как буфер. Через сеть данные передаются не равномерно, zfs их тоже порциями выдает. Я использую mbuffer и nc - так быстрее всего. Шифрование (aespipe) и сжатие и другие ресурсоемкие опервции с данными нужно делать до буфера. Сжатие до шифрования

А как он еще может использоваться? В какой тогда последовательности их использовать ? lz4 mbuffer nc?

А вот до этого я не догадался. Гениально

Ну не генеально конечно, но тему pipe-ов я действительно "прохавал", часто пользуюсь. Ещё раз напишу, что есть lz4 арх ватор (liblz4-tool) он почти не нагружает проц и может сжимать потоки на г габитных скоростях. Даже он даёт большой выигрышь по вре ени. Но если у вас очень много ядер (amd epyc например), можно исполтзовать pbzip2 -9 - это дас экономию в разы. Шифровприе musthave

На том конце какой-то ксеон v4 вроде, у меня пара 2660v2

Гениально гениально, не преуменьшайй

Насчет шифрования - там не секретных данных никаких вообще

Кому надо пусть смотрит ))

send | lz4 | mbuffer | nc так?

mbuffer с блоком 128к и размером 1Гб?

В общем проблемы скоростей из за SSD которые на дедике сидят. думал скоростные а нет - так себе. Consumer пошустрее будут на EX61 На AX61-NVME стоят https://www.samsung.com/semiconductor/ssd/datacenter-ssd/MZQLB1T9HAJR/ такие - и при нагрузке температура до 73 градусов поднимается и скорее начинают Throttling...

А зачем мерять на датасете 1гб? Кэш протестировать ?

Я так понял шифрование чтобы целостность данных обеспечить

Но там же запаковаано лз4? Хммм

А зачем мерять на датасете 1гб? Кэш протестировать ?

Это был быстрый тест, запись больше интересовала, при 8 гигах картинка чуть другая но все равно не то что на samsung evo 970

send | lz4 | mbuffer | nc так?

Если быть точным: ...send | pv --size 20G | lz4c -z | aespipe | mbuffer -q | nc -lp 10555 -q 1 На приемнике ` nc source_host 10555 -q 1| mbuffer | aespipe l lz4c -d | zfs receive ...

Этот тест ничего не покажет. Точнее нужного. Весь этот гиг ляжет в кэш контроллера ssd

Этот тест ничего не покажет. Точнее нужного. Весь этот гиг ляжет в кэш контроллера ssd

Так я о том и говорю, при размере в 8г картинка яснее

32