Multipart upload Трамп запретил?

вопрос по аплоаду в s3 - я с ним не работал плотно, только на мелких файлах, а разве s3 sdk не дает возможности грузить в мультипарте и механизма ретраев ? все это с фронта в обход бэка.

у вас есть файл на 5гб видео, как вы его надежно с учетом сбоев будете загружать с того места, где оборвалось, не написав кода поверх multiform/upload?

Так этот код уже написан и является частью SDK.

вопрос по аплоаду в s3 - я с ним не работал плотно, только на мелких файлах, а разве s3 sdk не дает возможности грузить в мультипарте и механизма ретраев ? все это с фронта в обход бэка.

не, это какая-то серверная шляпа. гонять петабайты через бэк это далеко не всегда хорошая идея, не всегда можно и т.д.

Сразу видно вкатун, увидел живых разрабов и пребываешь в глубоком удивлении 😀

про заливку на с3

В местах где я работал ,разрабы по майндсету схожи очень с некоторыми людьми которые здесь общаются в форме о которой я писал выше) интересно стало как в других местах обстоят дела

Так и обстоят. Иногда умеренно, иногда очень токсичные люди. Каждый убеждён, что он больше других понимает) А потому срач не умолкает) А если разраб не такой, то не какой он не разраб - ряженый с клавиатурой 😀

Главное чтобы срач на работу не влиял, а то у многих корона отрастает и потом очень сложно этих "незаменимых" образумить

да? если файл перестал грузиться (сеть упала на 5 сек), sdk возобновит загрузку? можно посмореть на примеры или ссылку на методы возобновления (resume) для uploading?

Для этого нужны толковые лиды

ну tusd позволяет заливать на машину, s3 один из стораджев если не хотите через сервер (как tusd делает), а сразу в s3, то на клиенте можете разорвать большой файл на куски, загрузить напрямую в s3 кусками, куски (их id) хранить на клиенте и потом (когда все куски загружены) — в s3 вызвать склейку, передав id кусков в порядке, в котором надо собственно tusd это и делает, просто еще берет работу на себя работу с кусками от фронта, храня данные состояния общей загрузки а tusd клиенты через сервер знают чего загрузилось и чего можно еще разорвать и надо ли в несколько чанков долбят tus-сервер писать самому или взять tusd — вопрос trade off

Это все делает s3manager сам.

да, выше кидал код, коорый tusd выполняет для склейки — он через MultipartUpload и склеивает но в доке что вы указали речь идет о parts которые вы туда загрузили, вопрос – как вы эти куски доставите и как проконтролируете, что куски загружены и в каком порядке?

Это все делает s3manager сам.

это ты еще до rust moment не дошел)

Поделишься ссылкой на растеров?

я кстати с s3 на gcp скорее перееду, и этот сторадж есть в tusd, что как бы облегчило из коробки работу мне (если коротко — 0 работы, один флаг заменить и апи-ключи к стораджу добавить), уж извините, что код не хочу писать на эту утилитарную штуку и пользуюсь готовым

Go-cloud поддерживает аналогичное поведение для gcp и для s3. И не нужен демон отдельный как в tusd.

можно пример как развернуть решение, которое загружает файл в 5Гб с обрывами? как клиент рвет его на чанки, и как эти чанки оркестрируются, чтобы склеить в нужном порядке через multipart и без бека, на s3 можно разве грузить напрямую с киента? я вот не ресечил этот вопрос в любом случае я спор не понял, я не буду переделывать готвоое решени, а tusd возник в обсуждении только из-за подхода к хукам

Смотря что за клиент. Я без понятия как там из браузера это обстоит.

Это не клиент определяет поведение, а сервер куда шлете. S3 бай дефолт умеет чанками. Значит и клиенты могут

Сразу да, но иногда нужна абстракция. Зависит от бизнеса и что у вас за бэк

у меня tus все делает, готовый resumable uplaod что предлагают — выглядит как отрывчатые размышления без погружения, но со строгой нотой критики tus подхода

Берите раз умеет) но на фронте есть либы что умеют так же

мысль о том, что если у тебя пофейлилась загрузка парта c айди X, то просто еще раз ее попытайся зааплоадить тебе не подходит?

нет. нельзя. сам ищи. апи там простой. инициируешь мультипарт загрузку. грузишь все части. обозначаешь что загрузка завершена. s3 все парты на своей стороне после этого склеивает и один файл.

у С3 просто HTTP запросы, что мешает в ручную отработать?

чем описанный выше алгоритм не устраивает? ты случайно не путаешь HTTP multipart запросы с MultipartUpload api в S3? Если не путаешь, то какие примеры тебе нужны? Такие, где http post обернут ловлей ошибок и повтором запроса? Или что?

Насколько я помню, в го в принципе мало чего готового, и нужное приходится самому крафтить

Насколько я помню, в го в принципе мало чего готового, и нужное приходится самому крафтить

Да тут беседа оказывается с самого начала была не про го а про браузерный файл аплоад. Расходимся.

разницы между запросами из голанга и из фронтовой js странички нет.

если все просто, почему нет примеров готовых клиентов и есть tusd? почему схема от AWS содержит столько точек взаимодействия? https://t.me/golang_jobsgo/111017 и по сути дублирует только без "протокола" работу tusd

чем тебе не устраивает диаграмма? Она валидная, просто замени их апи на S3 REST API и вауаля

Есть.

какая?

CORS надо на бакете иметь. Права на запись в бакет нужны из браузера. Сетевая доступность от браузера до бакета нужна. Разница ключевая.

Я вот недавно чтение из s3 делал, узнал про next_token - получил жизненный урок о том, что люди деньги зарабатывать хотят, а потому хер ты получишь всю выгрузку 😄

этот вопрос опущен. предполагается что эта сложность преодолена хз каким образом.

Да тут беседа оказывается с самого начала была не про го а про браузерный файл аплоад. Расходимся.

а можно задачу целиком? Чем этот tus не устривает? Зачем фронту хотите мороки с С3 и авторизациями добавить?

если уж на то пошло, то на фронт можно и aws\s3 либу затащить что умеет делать это все под капотом. Но опять, авторизация

угу, вопрос был - умеет ли фронтовый клиент лить напрямую большие файлы на с3. по идее с3сдк это должен уметь искаропки. но не щупал, лил только мелочь типа фоток, там это было не важно.

т.е. проблем с CORS никаких нет, конфигурирются эти дела в S3

а можно задачу целиком? Чем этот tus не устривает? Зачем фронту хотите мороки с С3 и авторизациями добавить?

если уж на то пошло, то на фронт можно и aws\s3 либу затащить что умеет делать это все под капотом. Но опять, авторизация

если уж на то пошло, то на фронт можно и aws\s3 либу затащить что умеет делать это все под капотом. Но опять, авторизация