посоветуйте как оптимизировать следующую задачу: в базу делается запрос , ответ надо записать в csv файл. пользуюсь библиотекой csv. итоговый размер файла примерно 3 GB + . На данный момент циклом пробегаюсь по листу и записываю каждую строчку csvwriter.writerow(item) после цикла закрываю файл csvfile.close()

посоветуйте как оптимизировать следующую задачу: в базу делается запрос , ответ надо записать в csv файл. пользуюсь библиотекой csv. итоговый размер файла примерно 3 GB + . На данный момент циклом пробегаюсь по листу и записываю каждую строчку csvwriter.writerow(item) после цикла закрываю файл csvfile.close()

Pandas read_sql_query

посоветуйте как оптимизировать следующую задачу: в базу делается запрос , ответ надо записать в csv файл. пользуюсь библиотекой csv. итоговый размер файла примерно 3 GB + . На данный момент циклом пробегаюсь по листу и записываю каждую строчку csvwriter.writerow(item) после цикла закрываю файл csvfile.close()

Пиши в нормальную базу, делай оттуда дамп если надо csv

Потом спасибо скажешь

И еще csv файлы отлично пережимаются через gzip -9

Пиши в нормальную базу, делай оттуда дамп если надо csv

Это не дамп. Это COPY

Это не дамп. Это COPY

Со стороны сервера бд - дамп

Со стороны сервера бд - дамп

в самой бд команда copy есть

или утилита хз как обозвать

ты где ее надыбал

Купил в японии на амазоне. В смысле физически был в японии и заказал на амазоне с доставкой в ближайший супермаркет.

Купил в японии на амазоне. В смысле физически был в японии и заказал на амазоне с доставкой в ближайший супермаркет.

Где значок admin?

у меня он есть

О! Глюк какой-то на моей стороне

Привет! Я изучаю вопрос безопасности передачи строковых шаблонов форматирования ("".format()). Можете, пожалуйста, показать вариант эксплуатации с выводом значения глобальной переменной?

Привет! Я изучаю вопрос безопасности передачи строковых шаблонов форматирования ("".format()). Можете, пожалуйста, показать вариант эксплуатации с выводом значения глобальной переменной?

А документацию что мешает посмотреть?)

Ты тут дольше ответа будешь ждать чем сам в доках найдешь

А документацию что мешает посмотреть?)

Может мне ещё погуглить? Давайте сразу этот чат удалим, он же не для помощи

Я уже погуглил(интересует v3.6.6) и ничего существенного не нашёл

Может мне ещё погуглить? Давайте сразу этот чат удалим, он же не для помощи

Хороший вариант

Привет! Я изучаю вопрос безопасности передачи строковых шаблонов форматирования ("".format()). Можете, пожалуйста, показать вариант эксплуатации с выводом значения глобальной переменной?

http://lucumr.pocoo.org/2016/12/29/careful-with-str-format/

Может мне ещё погуглить? Давайте сразу этот чат удалим, он же не для помощи

обычно так и делают, потом если непонятно или нет ответа приходят и спрашивают

обычно так и делают, потом если непонятно или нет ответа приходят и спрашивают

Уточняя при это что непонятно, угу

/me - вредный, может просто прийти и спросить что-то такое, что гуглить дольше, чем ответить. Как вчера про datetime

Меня вариант со строками интересовал, но тут надо финты ушами сделать что бы object поискать)

в 3.6 наверно можно через f-строки как-то схулиганить

/kekme

гхм.... я немного не согласен, да этот вопрос таки гуглится, но он точно не описан явно в документации. поэтому в сей раз я встану на защиту новичка.

в 3.6 наверно можно через f-строки как-то схулиганить

как раз таки f-строки безопасны, так как ими могут быть только строковые литералы

а форматированная строка может прийти из небезопасного источника

ок

а, то есть предполагается, что кто-то сконструячил что-то хитрое, а мы ему вызываем .format

Угу, оно самое

а, то есть предполагается, что кто-то сконструячил что-то хитрое, а мы ему вызываем .format

ну это единственный вариант (насколько мне известно), при котором формат может быть небезопасен

https://www.python.org/dev/peps/pep-3101/

в документации ссылка на этот пеп

я не вижу там чего-то страшного, но может быть можно как-то добраться до кишков того словаря, который передается в format

и через него выбраться наружу

Меня вариант со строками интересовал, но тут надо финты ушами сделать что бы object поискать)

да, но если бы эта проблема лежала наповерхности, разработчики ее давно бы уже закрыли.

собственно в том же си printf уязвим через отсутствие проверки _числа_ аргументов, что позволяет нахватать аргументов со стека

я не вижу там чего-то страшного, но может быть можно как-то добраться до кишков того словаря, который передается в format

посмотри статью, что я скинул

вот, да, я про это

Угу, оно самое

а от чего обезопаситься?

то есть из форматной строки в питоне доступ только до того, что в нее передано

а от чего обезопаситься?

Просто хочу закрепить на практике. А так обезопаситься от пользовательского ввода можно через string.Template

а от чего обезопаситься?

от доступа к приватной информации.

Присылайте ваши приватные ключи

>>> class X: ... def p(self): ... print("hello, world") ... >>> "{0.p}".format(X()) '<bound method X.p of <__main__.X object at 0x7f022646b588>>' >>> "{0.p()}".format(X()) Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'X' object has no attribute 'p()'

до полей добраться можно, но ни один метод вызвать нельзя

__globals__ бы какой-то дёргнуть

по-моему все внутренние поля закрыты

__dict__ пустой

а, не, __doc__ нормально отдается

что-то отдается, что-то нет

Python 3.7.0 (default, Sep 18 2018, 18:47:22) [Clang 9.1.0 (clang-902.0.39.2)] on darwin >>> SECRET = 'secret_key' >>> class X: ... def __init__(self): ... pass ... >>> x = X() >>> '{0.__init__.__globals__[SECRET]}'.format(x) 'secret_key'

что-то отдается, что-то нет

ну ты понял

>>> class X: ... "test" ... def p(self): ... print("hello, world") ... >>> "{0.__class__.__dict__}".format(X()) "{'__module__': '__main__', '__doc__': 'test', 'p': <function X.p at 0x7f022645fb70>, '__dict__': <attribute '__dict__' of 'X' objects>, '__weakref__': <attribute '__weakref__' of 'X' objects>}"

а зачем пользовательский ввод в формат засовывать вообще?

у меня не отдает

а зачем пользовательский ввод в формат засовывать вообще?

Ну на пример в боте приветствие, но можно риплейсом, не спорю.

у меня не отдает

ты что-то делаешь не так

>>> "{0.__init__.__globals__['_SECRET']}".format(X()) Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'method-wrapper' object has no attribute '__globals__'

а, надо метод init

а зачем пользовательский ввод в формат засовывать вообще?

возможно кому-то захотелось иметь самый примитивный вариант шаблонов

>>> "{0.p.__globals__}".format(X()) "{'__name__': '__main__', '__doc__': None, '__package__': None, '__loader__': <class '_frozen_importlib.BuiltinImporter'>, '__spec__': None, '__annotations__': {}, '__builtins__': <module 'builtins' (built-in)>, 'X': <class '__main__.X'>, '_SECRET': 'XXX'}" >>> "{0.p.__globals__['_SECRET']}".format(X()) Traceback (most recent call last): File "<stdin>", line 1, in <module> KeyError: "'_SECRET'"

ну т.е. это весьма полезно знать, что str.format небезопасен

интересно - если словарь целиком печатать, ключ есть. Если явно ключ - нету

интересно - если словарь целиком печатать, ключ есть. Если явно ключ - нету

кавычки убери вокруг _SECRET

@deluxoft от моего сервака, есле найдешь?

а, ок

>>> "{0.p.__globals__[subprocess].Popen}".format(X()) "<class 'subprocess.Popen'>"

вайкрастота

возможно кому-то захотелось иметь самый примитивный вариант шаблонов

просто валидация делать

Проще урезаную форматилку прикрутить. Ну через строку походу нельзя вылезти

просто валидация делать

да ну

Проще урезаную форматилку прикрутить. Ну через строку походу нельзя вылезти

согласен, string.Template или mako куда проще чем крутить валидацию

более того в той статье Армина, что я скинул в самом начале описана возможная реализация безопасных строковых шаблонов

согласен, string.Template или mako куда проще чем крутить валидацию

ну дак это нельзя назвать валидацией ?

никакой "валидации" вкорячивать не нужно, да и я слабо представляю как ты будешь ее делать.

mustache

ну дак это нельзя назвать валидацией ?

эм... нет, это использование другого (безопасного) движка для шаблонов. при чем тут валидация?

эм... нет, это использование другого (безопасного) движка для шаблонов. при чем тут валидация?

ну дак этот движок и занимается безопасностью вводных данных это не валидация?

ну дак этот движок и занимается безопасностью вводных данных это не валидация?

мы же говорим о безопасности шаблона, и о том что из шаблона можно выйти наружу.

кстати mako небезопасен, а в jinja2 эта проблема была явно решена

Ребят, а где почитать про нюансы использования тех или иных "конструкций"? Например, что лучше использовать - list(filter(lambda x: x > 5, [3, 4, 5, 6, 7])) или [x for x in [3, 4, 5, 6, 7] if x > 5] и в каких случаях?

Ребят, а где почитать про нюансы использования тех или иных "конструкций"? Например, что лучше использовать - list(filter(lambda x: x > 5, [3, 4, 5, 6, 7])) или [x for x in [3, 4, 5, 6, 7] if x > 5] и в каких случаях?

Ну конкретно здесь лучше первое.