Ребят, пофрилансить по джанге никто не хочет?) На половину завтрашнего дня

это зависит

можно писать во временный файл, можно в память. Можно даже в AMQP по идее

но в Вашем случае, мне кажется, от джанги вообще избавиться надо

в том плане, что не надо доверять ей аплоад

я бы сделал так

для хранения загружаемых файлов завёл бы корзину в амазоне на s3

написал бы на джанге простую вьюху, которая бы принимала метаинформацию о файле, который будет загружаться (оригинальное имя загружаемого файла, его mime-тип и размер), генерила авторизационный токен для заливки в эту корзину и возвращала его;

клиент бы аплоадил файл сразу в S3, передавая эту подпись

Django will by default, put uploaded file data into memory if it is less than 2.5MB. Anything larger will be written to the server's /tmp directory and then copied across when the transfer completes.

итого получается, что файл загружается один раз, браузер сам шлёт его чанками, оперативку на бэкенде не забиваем

Django will by default, put uploaded file data into memory if it is less than 2.5MB. Anything larger will be written to the server's /tmp directory and then copied across when the transfer completes.

и чего?

а сколько примерно стоит S3 хранилка?

и чего?

ну того что можно по дефолту большие файлы, это норм

разве что обрыв ознаает перезаливку

вот аплоадите Вы гигабайт. Сначала от клиента он идёт на хост джанги, джанга этот гигабайт кидает в /tmp, потом оттуда же читает, чтобы кинуть в другое место

это просто лишние шаги, вот и всё

ну хорошо бы как торент. сразу занять место и туда писать чанками

потому и искал либу подходящую

может, сперва с путём решения определиться, а потом уже с либами? ?

https://www.dropbox.com/static/docs/opensource/Desktop_Client_FOSS_Notices.pdf вот тут например написано что дропбокс юзает библу librsync, но он вроде тоже темп использует, по крайней мере на стороне клиента, и так же режет файлик.

может, сперва с путём решения определиться, а потом уже с либами? ?

дык путь зависит от наличия инструментов

я предложил два способа ?

Сколько придется платить? За хранение каждого терабайта файлов нужно платить около 30 баксов в месяц. Кроме этого в 90 баксов обойдется каждый терабайт трафика.

учитывая объемы данных которые мне придется перекачивать это не очень комильфо на старте

ну, если исходные файлы не удалять, то грустно, конечно

мне предлагают гдето за 3к рублей кучу терабайт с безлимитным трафиком с админом на месте. я пока хочу это поюзать, но надо туда ставить своё приложение чтоб обслуживать заливку

хотя на первый год S3 вроде как бесплатный

а

кстати тоже вариант, я может оба варианта попробую для сравнить

ну в таком случае всё примено то же самое и будет

только вместо s3 можно использовать webdav

поставить его на существующие мощности. И точно так же, как написано выше, аплоадить файлы обычным хттп напрямую с клиента, минуя джангу

без джанги тоже можно конечно, если достаточно будет функционала

о, или можно туда вкатить minio и получить собственный s3

вебдав существует же! Можно взять чисто питоновскую реализацию, а можно просто настроить nginx

ничего сложного.

но вариант с minio мне сейчас больше нравится

вот про такие решения и спрашивал, правда с упором на джангу) но можно и без

minio - это такая тулза, которая поднимает standalone-хранилище, совместимое с amazon s3

можно в виде извращения и на джанге написать. Но в этом случае рационально использовать лишь FileSystemStorage, что лично мне кажется дичью какой-то

а в чем еще удобство minio? можно какойто функционал прикрутить дополнительно? эвенты есть? как можно вообще както влиять на него?

за эвенты не скажу

скорее всего нету

но если работать с хранилищем не асинхронно, то как-то от меня улетает осознание, зачем они могут понадобиться

мне надо например мониторить прогресс загрузки или факт окончания загрузки чтобы запустить какуюто проверку чтоли. ну както отслеживать процесс

https://github.com/minio/minio/tree/master/docs/bucket/notifications

охохо

надо же

мне надо например мониторить прогресс загрузки или факт окончания загрузки чтобы запустить какуюто проверку чтоли. ну както отслеживать процесс

зачем?

если аплоадом занимается клиент (мне кажется, это разумное предположение), то пусть он прогресс и считает

чтобы проверять ресурсы до фермы, потому что они погут разойтись на несколько компов и там проверяться несколько раз, а хорошо бы один раз сразу

а операци с хранилищем атомарная. Пока 100% не закачалась, он не создастся

ну это первый вариант который я рассматриваю, но ищу другие тоже. щас активный поиск чтобы потом отсеять лишнее) спрашиваю мнения

ну вот по ссылке выше оказалось, что таки да, есть у minio события. И я про них не знал даже

проверку можно делать конечно и на клиенте до заливки, пока что это самое приоритетное

а проверки делать лучше высчитыванием контрольной суммы на клиенте

и её, контрольную сумму (и метаинфу о файле) можно уже и в базу писать

нет, проверка не суммы а того что там пытаются залить

сам файл, понятно, для этого не нужен

нет, проверка не суммы а того что там пытаются залить

а зачем?

чтоб чо лишнего не залили, типа скриптов например. ну то есть есть ограничения на типы файлов

всё сложно) упрощать буду попозж

но до первых строчек кода конечно

если речь идёт о веб-приложении, я бы прям настоятельно рекомендовал

заливать файл напрямую на хранилище (не в джангу), используя javascript file api

нет, десктоп клиент питонский

ERROR: S client not available

веб тоже будет но не для заливки а для мониторинга

им же, кстати, можно проверять mime-тип и не позволять аплоадить что-то отличное от разрешенных файлов. Но надо понимать, что жто не защита, а так, средства для удобства пользователя

нет, десктоп клиент питонский

зачем тогда вообще париться?

можно отказаться от хттп и хоть торрент использовать

ну тип можно и подделать. хотя там есть жесть и посильнее, но о ней потом

я хотел фтп просто использовать но это както слишком влоб и безконтрольно. хотя вариант еще остается

я-то думал, что речь об веб-морде. А в Вашей задаче джанга вообще не нужна, а не только как хранилище

залить на фтп и на тот же сервер сообщить что залито

заливка асинхронная?

я-то думал, что речь об веб-морде. А в Вашей задаче джанга вообще не нужна, а не только как хранилище

это да, тут он не нужен получается

ну тут я не совсем понял вопрос, потому что не до конца понимаю разницу)

что значит асинхронная?

это как в яваскрипте

когда вторая инструкция начинает выполняться сразу же, не дожидаясь окончания первой

висит клиент в трее, заливает потихому файлы по одному или в несколько потоков. вот и все дела

а питон сам по себе* - синхронный. пока первая операция не закончится, вторая не начнётся

ну что такое асинхрон я то знаю, в заливке файлов это что значит? учитыыывая что это не яваскрипт

ну заливка будет в тредах скорее всего

ничего это не значит

хотя на первый год S3 вроде как бесплатный

Он бесплатный до определенных лимитов

просто как по мне, если файл заливается в есколько потоков, то это просто пул тредов, и всё

Он бесплатный до определенных лимитов

Если превысить, будут забирать деньги и в первый год)

каждый тред сам по себе синхронный

ну тогда синхронная заливка в один поток, так как клиентов может быть несколько и чтоб както равномерно распределить нагрузку

может даже будут лимитировать количество подклчений

Если превысить, будут забирать деньги и в первый год)

отож)

Если превысить, будут забирать деньги и в первый год)

я знаю, почему и написал «вроде как». Плюс я недооценил масштабов бедствия

например если админ настроит мне 8 потоков на сетевухе то буду ограничивать до 8 за раз, условно говоря.

тогда я вообще не понял, где тут какие-то проблемы

> залить на фтп и на тот же сервер сообщить что залито

если всё синхронное.

тут или удалась заливка, или нет. Тртьего не дано