Добрый день! Есть ли способ подключиться к SQL-БД и выгружать результаты запроса по частям?

ну смотря что за бд и их функционал, есть всякие сервер сайд курсоры, которые именно будут отдавать запрос по частям. можно простыми offset и limit обойтись

Почему print(data, type(data)), но в консольке сначала класс, а потом словарь?

да это руками писал, местами перепутал

Как в селениуме запускать хром в хэдлесс режиме (в одну строку)

?

да это руками писал, местами перепутал

ты запускаешь один код, а показываешь нам другой код. не надо так

а читаешь как?

а читаешь как?

Создаю объект в main модуле database и cache, потом их передаю в set_cache и set_database

Как здесь

не вижу тут чтения полей Logic

магия какая-то

магия какая-то

а вызываешь одинаково?

Этот код происходит уже внутри корутины

а вызываешь одинаково?

да, на фронте банально: $.ajax({ type: "POST", url: "http://backend:8081/setbl", dataType: "json", contentType: "application/json", data: JSON.stringify({"number": $("#phone").val()}), success: (e) => {console.log(e)} });

? загадочно

ну можно подебажить в консольке хрома, один и тот же реквест ли отправляется

в хроме в консольке оно сначала говорит 500 (internal server error) а потом сразу ругается на CORS, но подозреваю, что это следствие

с хедерами, с вот этим всем

что это? Что ткое тут cls? Давай уже целиком код

в хроме в консольке оно сначала говорит 500 (internal server error) а потом сразу ругается на CORS, но подозреваю, что это следствие

нет, CORS — это же вообще другая фигня

что это? Что ткое тут cls? Давай уже целиком код

У меня проблема - это всё в разных файлах(

У меня проблема - это всё в разных файлах(

ну выложи куда-нибудь

ну да, если не делать print(data['number']) - ругани на корс нет, т.к. оно обрабатывается на бэке

https://t.me/roboxv/30 Пользуясь случаем. =)

чет не вижу разницы

в том и прикол

CORS хуком обрабатывается: @app.hook('after_request') def enable_cors(): response.headers['Access-Control-Allow-Origin'] = 'http://frontend' response.headers['Access-Control-Allow-Methods'] = 'GET, POST, OPTIONS' response.headers['Access-Control-Allow-Headers'] = 'Origin, Accept, Content-Type, X-Requested-With, X-CSRF-Token'

ну смотря что за бд и их функционал, есть всякие сервер сайд курсоры, которые именно будут отдавать запрос по частям. можно простыми offset и limit обойтись

Я использую psycopg2 для подключения к PostgreSQL-базе. Сейчас почитаю про сервер сайд курсоры, спасибо за наводку) У меня порядка 90кк строк, которые получаются из join'а двух таблиц. Я хотел бы сохранить результат всего запроса в несколько csv для дальнейшего анализа. Но результат запроса через connection + pandas.read_sql(chunksize=1 000 000) сохраняется в оперативную память, а уже потом делится на чанки, насколько я понимаю

Я использую psycopg2 для подключения к PostgreSQL-базе. Сейчас почитаю про сервер сайд курсоры, спасибо за наводку) У меня порядка 90кк строк, которые получаются из join'а двух таблиц. Я хотел бы сохранить результат всего запроса в несколько csv для дальнейшего анализа. Но результат запроса через connection + pandas.read_sql(chunksize=1 000 000) сохраняется в оперативную память, а уже потом делится на чанки, насколько я понимаю

а что, fetchone сделать нельзя?

https://t.me/roboxv/30 Пользуясь случаем. =)

есть ощущение, что человек не очень понимает какую проблему решает cors

Это main.py файл, который запускается https://pastebin.com/JxCSUdpF Это файл core/logic/api.py, в котором класс с логикой хранится https://pastebin.com/J8phYqTd

есть ощущение, что человек не очень понимает какую проблему решает cors

Кто?

Как посмотреть какие модули питона установленны? centos 7.6 python 27

Кто?

автор

автор

Это я. Можешь высказывать.

а что, fetchone сделать нельзя?

http://initd.org/psycopg/docs/usage.html#server-side-cursors When a database query is executed, the Psycopg cursor usually fetches all the records returned by the backend, transferring them to the client process. If the query returned an huge amount of data, a proportionally large amount of memory will be allocated by the client. оно всё в память клиента прилетит

Это я. Можешь высказывать.

Там пример про инстаграм какой-то странный. CORS не для борьбы с тем чтобы сайты не размещали у себя инфу с других сайтов. CORS нужен чтобы сторонний js не мог получить приватные данные пользователей

Всем привет! Немного не в тему, но может кто знает.. Можно ли запустить оконное приложение под линуксом написанное на питоне с помощью pyqt5 сразу после иксов без оконного менеджера?

Там пример про инстаграм какой-то странный. CORS не для борьбы с тем чтобы сайты не размещали у себя инфу с других сайтов. CORS нужен чтобы сторонний js не мог получить приватные данные пользователей

Как по мне, оба варианта верны.

http://initd.org/psycopg/docs/usage.html#server-side-cursors When a database query is executed, the Psycopg cursor usually fetches all the records returned by the backend, transferring them to the client process. If the query returned an huge amount of data, a proportionally large amount of memory will be allocated by the client. оно всё в память клиента прилетит

0_о

http://initd.org/psycopg/docs/usage.html#server-side-cursors When a database query is executed, the Psycopg cursor usually fetches all the records returned by the backend, transferring them to the client process. If the query returned an huge amount of data, a proportionally large amount of memory will be allocated by the client. оно всё в память клиента прилетит

не знал, прикольно

Всем привет! Немного не в тему, но может кто знает.. Можно ли запустить оконное приложение под линуксом написанное на питоне с помощью pyqt5 сразу после иксов без оконного менеджера?

можно

Всем привет! Немного не в тему, но может кто знает.. Можно ли запустить оконное приложение под линуксом написанное на питоне с помощью pyqt5 сразу после иксов без оконного менеджера?

можно даже без иксов

починил ?

дело таки было в cors

ебись они конём :(

можно даже без иксов

Можно поподробнее? Может мануал есть какой-нибудь

Можно поподробнее? Может мануал есть какой-нибудь

https://doc.qt.io/qt-5/embedded-linux.html

Как по мне, оба варианта верны.

нет, т.к. same origin policy относится только к ajax-запросам. Воровать контент вставляя ссылки на другой сайт никто не мешает

ну и загружать на стороне бэкенда тоже никто не мешает

Можно поподробнее? Может мануал есть какой-нибудь

https://doc.qt.io/qt-5/qpa.html и вот это

нет, т.к. same origin policy относится только к ajax-запросам. Воровать контент вставляя ссылки на другой сайт никто не мешает

Речь не про воровство контента, а про полноценный third party клиент. Скажешь, CORS этому не помеха?

ну и загружать на стороне бэкенда тоже никто не мешает

Только в таком случае этот бекенд легко забанить. В моем посте об этом есть.

Речь не про воровство контента, а про полноценный third party клиент. Скажешь, CORS этому не помеха?

помеха только в том случае, если этот third party клиент работает в браузере поддерживающим same origin policy

помеха только в том случае, если этот third party клиент работает в браузере поддерживающим same origin policy

А какой не поддерживает из актуальных?

Только в таком случае этот бекенд легко забанить. В моем посте об этом есть.

легко забанить только до тех пор пока твой контент не начинают парсить ботнеты

А какой не поддерживает из актуальных?

Приложение своё, например

Приложение своё, например

+

помеха только в том случае, если этот third party клиент работает в браузере поддерживающим same origin policy

И не имеет своего сервера

Вот бы обсуждать CORS в контексте не браузеров.

Типичный кейс: аджакс посылается на свой сервер, а тот уже лезет на сторонний

Типичный кейс: аджакс посылается на свой сервер, а тот уже лезет на сторонний

Об этом есть и в статье, и в обсуждении выше.

Угу

Не читал

https://doc.qt.io/qt-5/qpa.html и вот это

бомба ???Спасибо!

легко забанить только до тех пор пока твой контент не начинают парсить ботнеты

Third party client через ботнет проксей? Случай маловероятный. И даже в этом случае это не та задача, которую должен решать CORS.

Third party client через ботнет проксей? Случай маловероятный. И даже в этом случае это не та задача, которую должен решать CORS.

Third party client через ботнет проксей? Да, крупные сайты так и парсят И даже в этом случае это не та задача, которую должен решать CORS. Ну собственно same origin решает только проблему получаения пользовательских данных (требующих пользовательской cookie). Проблему размещения у себя на сайте ворованного контента он не решает

Third party client через ботнет проксей? Да, крупные сайты так и парсят И даже в этом случае это не та задача, которую должен решать CORS. Ну собственно same origin решает только проблему получаения пользовательских данных (требующих пользовательской cookie). Проблему размещения у себя на сайте ворованного контента он не решает

Ты опять пытаешься пропихнуть в обсуждание парсинг, про который я вообще нигде ничего не говорил.

Ты опять пытаешься пропихнуть в обсуждание парсинг, про который я вообще нигде ничего не говорил.

ты говорил что один сайт берет данные с другого сайта и показывает пользователю, напихав туда рекламы

ты говорил что один сайт берет данные с другого сайта и показывает пользователю, напихав туда рекламы

Говорил про third party client. Это, все же, не решается парсингом через ботнет.

Говорил про third party client. Это, все же, не решается парсингом через ботнет.

т.е. пользователь вводит туда свои логин/пароль и получает свои пользовательские данные через third party клиент?

имхо какой-то сферический пример в вакууме

мы все понимаем зачем нужна Same Origin Policy

Наверное, надо пояснить, что под клиентом здесь я имею в виду полноценное приложение, а не сайт с пизженным контентом.

и какие задачи безопасности она решает

т.е. пользователь вводит туда свои логин/пароль и получает свои пользовательские данные через third party клиент?

Да.

Да.

ну так same origin никак не помешает в этом third party сделать запрос с бэкенда

у него все необходимое для доступа есть

собственно CORS всего лишь позволяет добавить легальное исключение для этого правила, чтобы разнести свои сервисы на разные домены.

ну так same origin никак не помешает в этом third party сделать запрос с бэкенда

Зачем ты мне это объясняешь? Я в курсе. Это бекенд, это сервер и с этим что-то можно пытаться сделать. Без same origin + cors с этим в принципе невозможно было бы ничего сделать.

при этом обеспечив защиту от 3rd party сайта, который пробует сделать Cross-Origin запрос, не важно зачем.

при этом обеспечив защиту от 3rd party сайта, который пробует сделать Cross-Origin запрос, не важно зачем.

да, и предназначено это для того чтобы никто не мог получить доступ к пользовательским данным без его ведома

у него все необходимое для доступа есть

Давай с начала. Ты говоришь, что пример плохой. Почему? Разве там что-то неправильно?

Единственное мое упущение — в терминологии напутано. Надо было упомянуть про same origin. С этим соглашусь.

да, и предназначено это для того чтобы никто не мог получить доступ к пользовательским данным без его ведома

да

Давай с начала. Ты говоришь, что пример плохой. Почему? Разве там что-то неправильно?

Давай так: без same origin была бы возможна атака, которая похищает/изменяет данные пользователя на другом ресурсе без его ведома. Если пользотель сам отдал свой пароль стороннему приложению, то считай что приложение уже получило доступ к пользовательским данным, и никакой same origin тут уже ничем не поможет

Давай так: без same origin была бы возможна атака, которая похищает/изменяет данные пользователя на другом ресурсе без его ведома. Если пользотель сам отдал свой пароль стороннему приложению, то считай что приложение уже получило доступ к пользовательским данным, и никакой same origin тут уже ничем не поможет

Ну я все это не оспариваю. Но вопрос был про пример. А ты рассказываешь про другой кейс.

Ну я все это не оспариваю. Но вопрос был про пример. А ты рассказываешь про другой кейс.

`Пользователь открывает Васин веб-клиент по адресу plesnigram.com, веб-клиент шлёт запросы на api.instagram.com. Можно гребсти бабло лопатой, паразитируя на чужой инфраструктуре. А инстаграм сидит и локти на ногах кусает — никак Васин клиент не заблокируешь же. У его пользователей айпишники-то разные. А больше никакой инфы и нет в request. ` CORS это тот механизм защиты, который не даёт Васям писать подобные клиенты без разрешения инстаграмма. Вот пример сводится к тому, что same origin это способ защититься от написания thrird party клиентов

А больше никакой инфы и нет в request. вообще-то есть: referer

по referer'у можно даже вставление всякой статики блокировать

А больше никакой инфы и нет в request. вообще-то есть: referer

Который контроллируется на клиенте?

Который контроллируется на клиенте?

в браузере?

в браузере?

Ну да. Разве нет?

https://stackoverflow.com/questions/6817595/remove-http-referer

https://stackoverflow.com/questions/6817595/remove-http-referer

ну там только про то, что можно не отправлять его