ну вот иногда бвают такие аффтары

Народ подскажите curl --upload-file niklos.pem --url https://bbbb-lelixone.s3.amazonaws.com/develoddsdfffffffpment_blya.sql.gz?AWSAccessKeyId=AKIAIMWI6GHI5ZMJZXMQ Вот так заливается на s3 а вот если начинаю использовать mysqldump -u root -p development_blya | gzip -c | curl -T - --netrc "https://bbbb-lelixone.s3.amazonaws.com/develoddpment_blya.sql?AWSAccessKeyId=AKIAIMWI6GHI5ZMJZXMQ&Expires=1458296226&Signature=rakWGu3NbpofKCNUWsWuKQxJd9w%3D" Летит ошибка <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessDenied</Code><Message>Request has expired</Message><Expires>2016-03-18T10:17:06Z</Expires><ServerTime>2016-03-18T12:20:03Z</ServerTime><RequestId>DA86CD355252A50E</RequestId><HostId>yXyTgfZqb3ACQcHlaSFc2puvjKXHdCiwYaA3V0avXysBKG66ZR6mkt+wR9esLkxpwd5PEnnv6zc=</HostId></Error>mysqldump: Got errno 32 on write

AccessDenied

Ну, так двач на джанго и написан

пруфы?

--netrc убери

я понимаю, но я доступ разрешил убрал тоже самое

{ "Version": "2012-10-17", "Id": "Policy1458292446417", "Statement": [ { "Sid": "Stmt1458292434185", "Effect": "Allow", "Principal": "*", "Action": "s3:*", "Resource": "arn:aws:s3:::bbbb-lelixone/*" } ] }

пермишины в полиси на s3

--url во второй команде нет, а в первой есть.

mysqldump -u root -p development_blya | gzip -c | curl -T - --url "https://bbbb-lelixone.s3.amazonaws.com/develoddpment_blya.sql.gz?AWSAccessKeyId=AKIAIMWI6GHI5ZMJZXMQ&Expires=1458296226&Signature=rakWGu3NbpofKCNUWsWuKQxJd9w%3D" Warning: Using a password on the command line interface can be insecure. <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessDenied</Code><Message>Request has expired</Message><Expires>2016-03-18T10:17:06Z</Expires><ServerTime>2016-03-18T12:29:32Z</ServerTime><RequestId>C1016E5E8503170B</RequestId><HostId>tibsC5qzLTRDQaSNbn4AAtI+KnotPte7K9o50230dQtNXOdBE0K8m/BzTqO7B0o/01MPBfHDDRE=</HostId></Error>mysqldump: Got errno 32 on write

Request has expired два часа назад. <Expires>2016-03-18T10:17:06Z</Expires> <ServerTime>2016-03-18T12:29:32Z</ServerTime>

lelix@Optimus:~$ mysqldump -u root -p development_blya | gzip -c | curl -T - --url "https://bbbb-lelixone.s3.amazonaws.com/developmggggggent_blya.sql?AWSAccessKeyId=AKIAIMWI6GHI5ZMJZXMQ&Expires=1458307893&Signature=rzZ3lEOzeHU0qJwN8TkgYNGLuUs%3D" Warning: Using a password on the command line interface can be insecure. <?xml version="1.0" encoding="UTF-8"?> <Error><Code>NotImplemented</Code><Message>A header you provided implies functionality that is not implemented</Message><Header>Transfer-Encoding</Header><RequestId>1BDE2E86C219096C</RequestId><HostId>LXyYkwh0SQZl8NW159TElZbv5pG7WMWIR4SZJJnZmEovhbRzY4XdvA5Hr4gxH2Z3IUIepCioRw0=</HostId></Error>mysqldump: Got errno 32 on write

беда...

ага

я уже затрахался

решил проблему иным способом

но заказчику не нравится

вот пиздец, нужно стримить и хоть всрись

Павел идей больше нет?

вчера предлагали ещё варианты, кроме курла. Их ты уже посмотрел? в гугле "bash s3 upload stream" покопался?

у меня еёщ до хрена идей. Только учти, что я слабо представляю, как с3 работает и что он умеет.

о

смотри, варианты в гугле хорошие предлагают

и большая часть работает

но

Данил, тебе нужно лить файло на s3?

Данил, тебе нужно лить файло на s3?

sqldump стримить.

именно

я решил проблему с использованием драйвера fuse

маунтил сторейдж s3 в систему, лил туда дамп и umaunt

всё

awscli конечно знаешь, да?

Ес)

http://docs.aws.amazon.com/cli/latest/reference/kinesis/create-stream.html

типа того?

да

 static char fnames[MAX_LOG_NUM][128];

внимание, вопрос

это массив чего и какого размера?

а, да, это поле в классе

по логике это массив из MAX_LOG_NUM массивов по 128 байт, чтобы хранить там MAX_LOG_NUM имен файлов.

но по коду как-то наоборот

или я неправ?

таки неправ, код правильный

Хочу посоветоваться.  Есть некое приложение, оно выдирает кучу данных из базы и пишем в файл(csv). Там есть подзапросы. Оптимизировать - уже невозможно никуда, но хочет прирост производительности. Я вот думаю, а что если на обротку каждой строчки и подзапросы создать task.  И тупо в основном цикле, который идет по основным записям вызывать: for row in cursor.fetchall():      task.apply_async(args=[csv_writer_instance, row, ....]) И запустить например 4 воркера.  Будет реальный прирост производительности? 

Хотя нет

Файл - плохо. Надо в базу локальную загонять

https://habrahabr.ru/company/stepic/blog/278407/

Никто не встречался с ситуацией, когда при присвоении переменной, часть данных не заносястся? Например у меня есть класс: class Test: def __init__(self, test=None): self.data = test и при создании объекта, заношу данные: obj = Test({'a': 1, 'b': [{'c':3, 'd':4}]}) Но при выводе obj.data список 'b' пустой, т.е. получается: print(obj.data) »> {'a': 1, 'b':[]}

?

>>> class Test:     def __init__(self, test):         self.data = test          >>> obj = Test({'a': 1, 'b': [{'c':3, 'd':4}]}) >>> print(obj.data) {'a': 1, 'b': [{'d': 4, 'c': 3}]}

прям хз

а чё не так?

или сегодня день сортированных словарей на канале?

Сортировка тут не причем.

Сейчас скину картинки из кода.

Сортировка тут не причем.

а, я не увидел начальный вопрос.

ну я думаю что стоит глянуть на настоящий код

потому что в таком виде все должно быть корректно

?

Так точно будет работать, мб ты передаешь ссылку на объект и где-то его меняешь

Над все смотреть

Обратите внимание на related_resources

В первом случае он полный (есть элемент), а во втором случае - пустой

Значит где-то еще объект меняется

ERROR: S client not available

Убедись, что нигде не происходит чего-то типа a = [1, 2] b = {1: a} b Out: {1: [1, 2]} a.append(3) b Out: {1: [1, 2, 3]} a.clear() b Out: {1: []}

Вряд ли там что-то другое.

Хотя я просто присваюваю значение переменной и потом возвращаю объект

точнее не объект возвращаю, я просто передаю ссылку на него, для дальнейших действий.

та в том то и дело, что просто присваиваю значение от объекта переменной другого объекта и все. Дальше в объекте уже нет данных. А если поменять название переменной (например поставить data1), то все данные встанут правильно

Переменной скорее всего присваивается ссылка

точнее не объект возвращаю, я просто передаю ссылку на него, для дальнейших действий.

жмякай между первым и вторым куском кода на F7, пока не найдёшь, кто сделал transactions[0]['related_resoureces'].clear()

Вот тот же самый пример только название переменной я изменил на data1ю

жмякай между первым и вторым куском кода на F7, пока не найдёшь, кто сделал transactions[0]['related_resoureces'].clear()

Сейчас попробую

Или присваивай туда копию объекта :)

жмякай между первым и вторым куском кода на F7, пока не найдёшь, кто сделал transactions[0]['related_resoureces'].clear()

Ничего нового не выявил. Данные пропадают именно при присвоении переменной. До присовения - все данные верны.

распечатывай до присвоения и сразу после присвоения

распечатывай до присвоения и сразу после присвоения

До и после присвоения переменной - все в норме, т.е. данные правильные. Сейчас гляну после присвоения ссылки на объект

распечатывай до присвоения и сразу после присвоения

Спасибо за подсказку. Но интересно работает. Например появилась ошибка о том, что пустой список. После print'a, он уже не пустой, хотя я ничего не менял. Теперь вот ошибка о том, что OrderedDict object is not callable, хотя до этого он был вызываемым и я его подключил.

Чем дальше в лес, тем страшнее волки... Как-то так получается

А ты чей-то чужой проект дебажишь?

OrderedDict object is not callable, хотя до этого он был вызываемым OrderedDict был вызываемым - чего-чего???

Не был никогда

скорее всего, где-то в коде до этого он был функцией :)

удивительные превращения

Я имел ввиду, что при создании объекта OrderedDict писал ошибку, что OrderedDict is not callable, хотя до того, как начались проблемы с "потерей" данных, все было нормально и я ничего не делал в том куске когда, где создается объект OrderedDict

Когда всё так разваливается, по скриншотам ничего не сказать. Передохни с часик и со свежим взглядом в бой.

Ребят, подкиньте пару несложных модулей для питона на гитхабе

хочу посмотреть как файлы раскиданы

под какой фреймволрк

https://github.com/ntt/reverence - вот несложный

под какой фреймволрк

никакой, только requests из сторонних библиотек

https://github.com/ntt/reverence - вот несложный

спасибо

офигеть, 7 лет

ну там последние правки 7 месяцев назад