у тебя процесс не влезает в память по всей видимости

файл на 2 гига, на жестком 15, оперативки 512 мб

☹️'

файл на 2 гига, на жестком 15, оперативки 512 мб

во-первых покажи код \ cmdline

возьми gzip

у него один из наименьших memory footprint

возьми gzip

gzip дает на выводе архивы, которые нельзя разархивировать обратно)

gzip дает на выводе архивы, которые нельзя разархивировать обратно)

ты шутишь что ли?

ты шутишь что ли?

нет, конкретно в этом случае

ошибок не выдает, но при попытке разархивации - ошибка. хоть на win, хоть в ubuntu 16.04

чем же твой конкретный случай такой особенный

какая ошибка?

неожиданный конец архива

тебе сколько файлов нужно заархивировать?

тысяч 7-8

как архивируешь? показывай подробности

сек

тысяч 7-8

глупый вопрос, ты их предварительно в tar упаковал?

глупый вопрос, ты их предварительно в tar упаковал?

'tar -zcvpf {} {}'.format(remotepath, site['ftp_directory'])

я первоначально делал tar.gz, потом обнаружил что все архивы нельзя разархивировать. решил, что видимо слишком мудрёно для меня, и поменял везде просто на zip. разархивировать можно, но получаю Killed, если сайт слишком большой :)

кто-нибудь сталкивался с тем что прекоммит под маком не хочет запускаться потому что не видит питон в вируталенв?

кто-нибудь сталкивался с тем что прекоммит под маком не хочет запускаться потому что не видит питон в вируталенв?

А что у тебя в прекоммите делается?

я первоначально делал tar.gz, потом обнаружил что все архивы нельзя разархивировать. решил, что видимо слишком мудрёно для меня, и поменял везде просто на zip. разархивировать можно, но получаю Killed, если сайт слишком большой :)

если прям все, то это очень странно и ты делаешь что-то явно не так

Напрямую из cmd оттуда вызвать. А вообще в PATH прописать наверное всего лишь надо было

Да все прописано было. Не работало. Но это не важно. У меня теперь питона нет, а винда думает что есть. Ни удалить ни установить

А что у тебя в прекоммите делается?

кажется оно не доходит до того чтобы что-то делать https://hastebin.com/agolinahoy.sql

если прям все, то это очень странно и ты делаешь что-то явно не так

ну, команду показал, паковал все в tar.gz. - ни один не могу распаковать. Mysql-ные gz файлы, которые архивировал через 'mysqldump -u{} -p{} {} | gzip > {}' - с ними все хорошо. А вот tar -zcvpf как-то прям не зашёл. Может быть важно, что я их потом загружаю на Google Cloud Storage, и Google их может как-то обрабатывать. Ибо я загружаю tar.gz, а на выходе мне выдает tgz, которые не распаковываются. А вот с zip все хорошо, но упираюсь (скорее всего) в память. И хз что делать :)

а ты перед тем как на GCS их загружать проверял что они распаковываются?

а ты перед тем как на GCS их загружать проверял что они распаковываются?

как раз сейчас откатываю коммит на tar-версию и буду проверять)

кажется оно не доходит до того чтобы что-то делать https://hastebin.com/agolinahoy.sql

Витруалэнв ругается, что нет такого 'python3. 6', попробуй просто python3

Витруалэнв ругается, что нет такого 'python3. 6', попробуй просто python3

а куда его попробывать? это вывод команды pre-commit run

как раз сейчас откатываю коммит на tar-версию и буду проверять)

как ты эти команды запускаешь? покажи код? ты уверен, что у тебя в путях, например, нет пробелов…

Да все прописано было. Не работало. Но это не важно. У меня теперь питона нет, а винда думает что есть. Ни удалить ни установить

Как это происходит? мб какие-то pycharm стоит и он за собой питон привез?

ты можешь точно так же сделать tar … | gzip, хотя рзаницы быть не должно

а куда его попробывать? это вывод команды pre-commit run

https://github.com/pyenv/pyenv/issues/856

error to run serverless using pyenv: python3.6: command not found · Issue #229 · UnitedIncome/serverless-python-requirements https://github.com/UnitedIncome/serverless-python-requirements/issues/229

error to run serverless using pyenv: python3.6: command not found · Issue #229 · UnitedIncome/serverless-python-requirements https://github.com/UnitedIncome/serverless-python-requirements/issues/229

Ого, попробую, спасибо

Не думал что это должно так работать

/rmkb@remkeybot

а тут можно спросить вопрос про зарплаты?

а ты перед тем как на GCS их загружать проверял что они распаковываются?

Проверил архив до загрузки на GCS - неожиданный конец данных. Конечная команда архивации (из логов): tar -zcpf bm-backups/site.ru_day_2018-10-29_19-0-7.tar.gz site.ru Скачиваю через обычное scp. На всякий случай скачал ручками с сервера через Filezilla (вдруг при скачивании что-то теряется), один фиг - неожиданный конец данных. То есть, проблема именно в tar -zcpf. Что может быть не так-то? :) Архивирую я на Linux (хз что именно на шареде стоит), разархивирую на Windows 10 через 7zip.

Проверил архив до загрузки на GCS - неожиданный конец данных. Конечная команда архивации (из логов): tar -zcpf bm-backups/site.ru_day_2018-10-29_19-0-7.tar.gz site.ru Скачиваю через обычное scp. На всякий случай скачал ручками с сервера через Filezilla (вдруг при скачивании что-то теряется), один фиг - неожиданный конец данных. То есть, проблема именно в tar -zcpf. Что может быть не так-то? :) Архивирую я на Linux (хз что именно на шареде стоит), разархивирую на Windows 10 через 7zip.

может нужно архивировать в каком-нибудь ascii режиме? или наоборот бинарном режиме?) теряюсь в догадках)

ключ c это же вроде бы create

а нужен x - extract

так я же создаю)

у меня проблема, что я по ssh делаю архив, качаю его на винду, а он битый.

а, ну да

если архивировать zip - все клево, но на больших папках шаред просто убивает процесс.

а tar выдает мне 100% битых архивов :)

я думал проблема в paramiko или Google Cloud Storage, а я тупо не могу сделать рабочий tar архив :)

у меня проблема, что я по ssh делаю архив, качаю его на винду, а он битый.

Как качаешь? Как понял что битый?

Как создаешь?

Как качаешь? Как понял что битый?

качаю и через scp, и через ftp файлзиллой. битый - unexpected eof

Как создаешь?

как создаю дал выше конкретную команду)

проверь чек-сумму

попробуй разархивировать там же на сервере

попробуй разархивировать там же на сервере

ок)

а тут можно спросить вопрос про зарплаты?

какие еще заплатки?

какие еще заплатки?

Поправил, зарплаты

ERROR: S client not available

Хз как 7з с опцией -p

попробуй разархивировать там же на сервере

проверил. Все упирается в размер архива - большие архивы (1 гб плюс) создают проблемы, то есть unexpected EOF сразу же - прямо на том же сервере при попытке разархивировать. Если взять маленькие архивы, по 20-50 мб - архивация/разархивация гладко, никакого eof.

попробуй разархивировать там же на сервере

то есть, создается ощущение, что gzip тоже Killed, просто менее вокально, обрывает процесс на середине.

tar \ gzip отрабатывает без ошибок?

еще одно глупое предположение, файловая система у тебя на хостинге какая?

tar \ gzip отрабатывает без ошибок?

юзаю "tar -zcpf bm-backups/site.ru_day_2018-10-29_19-0-7.tar.gz site.ru". архивация отрабатывается без ошибок. gzip куда нужно добавить?

никуда

а ты в /home сохраняешь?

а ты в /home сохраняешь?

да, все в папке пользователя

проверил. Все упирается в размер архива - большие архивы (1 гб плюс) создают проблемы, то есть unexpected EOF сразу же - прямо на том же сервере при попытке разархивировать. Если взять маленькие архивы, по 20-50 мб - архивация/разархивация гладко, никакого eof.

Файловая система? Свободное место? Квоты? Результат выполнения команды?

а тебя не смущает, что у тебя места нет свободного

в /home

это хитровыдуманный шаред, места еще 20 гигов, просто данные показываются криво.

Файловая система? Свободное место? Квоты? Результат выполнения команды?

файловые системы и место на скринах, квота в 512 мб по оперативной памяти, результат - никакого, созданныйй архив, успешное выполнение.

Файловая система? Свободное место? Квоты? Результат выполнения команды?

если делать архив через zip - выдает Killed. если tar, ошибку не выдает, но архив автоматически битый (unexpected EOF).

квоты на размер файла бывают

а тебя не смущает, что у тебя места нет свободного

тем более, я могу создать архив через интерфейс панели, rar например, и все будет ок. проблема именно при работе через ssh.

квоты на размер файла бывают

ааа. вот это не знаю, кстати. надо уточнить.

не факт что здесь оно, но чем чёрт не шутит

если делать архив через zip - выдает Killed. если tar, ошибку не выдает, но архив автоматически битый (unexpected EOF).

Хз что за killed. Результат выполнения команды - 0?

Я не помню логирует ли сам тар

Хз что за killed. Результат выполнения команды - 0?

Killed - это когда процесс убивается по Out-of-memory

не факт что здесь оно, но чем чёрт не шутит

ну, весьма похоже на самом деле. ибо дело всегда тупо в размере файла, проблемы с большими сайтами.

да

Killed - это когда процесс убивается по Out-of-memory

А. Ну да