Не я беру в микроскоп и жалуюсь что херово забивает.

но к чему эти придирки?

Придирки? Их есть у меня 8)

была поставлена задача, а потом найдено оптимальное решение, нет, обязательно надо буквоедством заниматься

Ща будут, раз уж говоришь.

лучше скажи, как сделать это быстрее и удобнее, чем rsync-ом

Прежде чем гнать на либу не думал файлы в архив упаковать?

вот той либой с asio, например

они уже упакованы

В 600 файлов???

а если бы не были, то можно было бы использовать -z

Таки на соединения то время тратится.

упаковка в 1 файл и передача кусками в N мотоков

точнее как, там есть упакованные логи и упакованные upx сэмплы

+

упаковка в 1 файл и передача кусками в N мотоков

и какой прирост производительности это даст?

файлы небольшие, их немного

для нескольких сотен я трачу 5-10 секунд, если с архивом будет 5-7, то смысл?

проще уж как раз -z использовать, как я и делаю для сэмплов

Кстати, если надо рсинком много файлов, посмотрите parasync. Это по м-оему скрипт на Perl, который пытается использоваться GNU parallel (или меня глючит, но что-то в этом духе). А если надо держать две директории in-sync, посмотрите программу unison. Это отличная программа на языке OCaml, написанная пару десятилетий назад, и притом еще и рабочая!

и какой прирост производительности это даст?

зависит от массы фактов

в цедом свой rsync писать задолбаешься.

задачу я озвучил, 100-600 файлов в среднем по 50-80 кб каждый

Проблема высосана из пальца.

проблема в том, что paramiko очень медленно работает

причём неожиданно

ты не читаешь что я пишу.

ты считаешь, что она и должна так тормозить?

Ты работаешь в 1 поток и пофайлово.

Тормоз тут ты, а не либа.

Лей в n потоков

Олег про то, что конкарренси, асинкио, и вот это все.

Утилита rsync использует алгоритм, разработанный австралийским программистом Эндрю Триджеллом, для эффективной передачи структур (например, файлов) по коммуникационным соединениям в том случае, когда принимающий компьютер уже имеет отличающуюся версию этой структуры.

И конечно про алгоритм.

для нескольких сотен я трачу 5-10 секунд, если с архивом будет 5-7, то смысл?

Можно сразу сделать так, чтобы в будущем, когда задача изменится, у тебя уже будет решение идеальное или почти идеальное в текущих условиях.

Свой такой за разумное время не сделать.

Олег про то, что конкарренси, асинкио, и вот это все.

это понятно, но он не предлагает другую либу или нормальные методы использования paramiko, а критикует не совсем по делу

Можно сразу сделать так, чтобы в будущем, когда задача изменится, у тебя уже будет решение идеальное или почти идеальное в текущих условиях.

Надо тебе это или нет, конечно, решать тебе. Но почему нет?

Можно сразу сделать так, чтобы в будущем, когда задача изменится, у тебя уже будет решение идеальное или почти идеальное в текущих условиях.

согласен, что можно, и мне интересно как

это понятно, но он не предлагает другую либу или нормальные методы использования paramiko, а критикует не совсем по делу

Он предложил тебе рабочий вариант же, нет?

Ты от ssh канала и медленности самого ssh никуда не денешься.

в mc файлы можешь копировать и обвинять mc таким же макаром.

http://asyncssh.readthedocs.io/en/latest/

Можешь на ее осоове накодить

Спасибо, это норм решение

лучше, чем потоки

Но пока канал ssh и нет алгоритма бодрого для экономии трафика это все погоня за несущественными улучшениями.

А теперь объясни почему не rsync.

https://www.scaleway.com/instantcloud/

free

rsync - хорошее решение пока задача несложная (получение файлов с сервера без сложных условий и обработки)

ну и пока серверов относительно немного

rsync vs scp - Поиск в Google https://www.google.ru/search?q=rsync+vs+scp&newwindow=1&client=ms-android-wileyfox&prmd=vin&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjxlrv_kMDUAhWiBZoKHeNhD7IQ_AUICigC&biw=360&bih=512#imgrc=akTdlPUErBbvwM:

free

на 15 минут

мало

на 15 минут

ну ты секс гигант)

Посмотри картинку и прекрати наезжать на paramiko не по делу.

scp нативный сосет почему?

Потому что paramiko.

я не знал, что paramiko можно нормально использовать с несколькими потоками

и про asyncssh

Я поражаюсь тому как народ ставит диагнозы от балды не потратив и 5 минут на гугл.

Дамы и господа, прежде чем задавать вопросы и тем более ставить диагнозы, не поленитесь погуглить.

и сразу многие вопросы станут решаемыми, а мир не таким плохим.

я не знал, что paramiko можно нормально использовать с несколькими потоками

https://serverfault.com/questions/18125/how-to-copy-a-large-number-of-files-quickly-between-two-servers

ERROR: S client not available

https://github.com/ronf/asyncssh/blob/master/tests/test_sftp.py

В общем если нет желания делать свой дропбокс, то лучше не надо.

https://github.com/ronf/asyncssh/blob/master/tests/test_sftp.py

И? В чем посыл?

Можно вместо rsync-а относительно несложно закодить получение файлов через эту либу, если задача изменится и это будет необходимо

в examples там примеры готовые

Можно вместо rsync-а относительно несложно закодить получение файлов через эту либу, если задача изменится и это будет необходимо

Эм. А разве не поэтому я тебе советовал ее?

в examples там примеры готовые

не экзамплы, а юнит тесты

ну я для народа :-)

https://github.com/ronf/asyncssh/blob/master/examples/scp_client.py

я об этих

народ без твоих ссылок может посмотреть

Зачем кидать ссылку на одну и ту же либу 3 раза?

Все еще считаешь что я тогда придирался? 8) Если меня обвиняют в том, чего я не делал, то я имею право начинать это делать. 8)

ну в первый раз она была для в общем, потом был пример того, что её юзать легко, и очень даже надо, в некоторых случаях, а потом про юнит-тесты

Все еще считаешь что я тогда придирался? 8) Если меня обвиняют в том, чего я не делал, то я имею право начинать это делать. 8)

ну why not

вот вчера бессмысленный спор был, а сегодня и либа, и бенчмарки годные

ну в первый раз она была для в общем, потом был пример того, что её юзать легко, и очень даже надо, в некоторых случаях, а потом про юнит-тесты

Есть ссылка на либу дальше уже git clone и разбираешься. Транслировать каждый шаг и чих не надо.

git clone лучше не надо, в pip же есть

scp нативный сосет почему?

у rsync ы сравнении с scp в передаче/приеме мелких файлов существенный отрыв в скорости. Rsync качает по ssh с двух сторон трубы своим агентом, упаковывая кучу мелкого в один стрим

Как считать на видеокарте используя python? Есть какая-либо библиотека?

Гугл не помог

git clone лучше не надо, в pip же есть

Тебе же экзамплы нужны были. заканчивай умничать и делом займись. Толку больше будет.

Как считать на видеокарте используя python? Есть какая-либо библиотека?

opencl с байндингами на питоне

Спасибо

Дальше google: opencl + python

для видях 2 технологии: opencl и cuda

Opencl имхо пизже.

ребят, всем привет

вопрос века

кто-нибудь понимает (или делал ли когда-то) в серверах? а точнее - поднять примитивный сервер на каком-либо ip

как это делать - я знаю, но дальнейший вопрос касается именно этого)

если кто-то отзовётся и дальше выслушает идею, а даже не вопрос, буду очень рад