Почему странная? Временные данные, нужно вбросить в БД для быстрого анализа и больше они не нужны

После инсерта селект для анализа и всё, конец сессии

После инсерта селект для анализа и всё, конец сессии

Ну это точно в одной сессии? Ну и если так уж не катит, ну возми обычную таблице и удаляй после анализа данные руками. В pk добавь идентификатор серверного процесса если будет много таких сессий

Ну это точно в одной сессии? Ну и если так уж не катит, ну возми обычную таблице и удаляй после анализа данные руками. В pk добавь идентификатор серверного процесса если будет много таких сессий

Пока и пришлось на обычных оставить, завтра буду снова смотреть перепроверю в одной ли сессии. Спасибо! ??

Пока и пришлось на обычных оставить, завтра буду снова смотреть перепроверю в одной ли сессии. Спасибо! ??

Добавь просто в ещё одно поле spid и всё увидишь. Я только забыл как spid в оракуле называется...

Добавь просто в ещё одно поле spid и всё увидишь. Я только забыл как spid в оракуле называется...

SID называется. Завтра проверю, спасибо!

Добавь просто в ещё одно поле spid и всё увидишь. Я только забыл как spid в оракуле называется...

В общем, косяк был всё-таки мой,- инсертил в одной сессии, а селектил из другой ??‍♂️? Хз как так вышло,- перепроверял сотню раз, но... ? Спасибо за идею с SID,- сразу всё и прояснилось ?

проезд и проживание оплачивается?

> Призовой фонд хакатона - 135 000 рублей Сколько призовых мест предусмотрено? Как это огромный фонд будет распределён между призовыми местами?

>стать частью команды ГАЗа А если к вам устроиться, можно по цехам на газельках кататься?

вопрос к знатокам asyncio у меня предстоит проектик, где нужно будет с ftp забирать ZIP-нутые XML файлы, парсить их и спарсеную информацию складывать в БД. Файлов может быть очень много и они могут быть довольно большими. Я правильно понимаю, что у меня не получится часть кода написать синхронным, а, например, парсинг XML и запись в БД асинхронным? Насколько я понял из документации, всё приложение нужно будет строить вокруг event-loop. Писать буду на 3.7

Можно ж поидее ждать окончания тасок, типа джойнить их, а потом синхронно писать

(но это в шарпах)

Надо чего-нибудь пописать с асинкио на питоне, а то я чот как лох

Я правильно понимаю, что asyncio в данном случае позволит только полнее утилизировать IO? Задачу не удастся значительно ускорить т.к. распаковка и парсинг в одном процессе очень долго будет выполняться.

так а запись в бд же делается асинхронной и без asyncio

так а запись в бд же делается асинхронной и без asyncio

нет, запись в бд синхронная по умолчанию, но я планирую использовать асинхронный драйвер

Я правильно понимаю, что asyncio в данном случае позволит только полнее утилизировать IO? Задачу не удастся значительно ускорить т.к. распаковка и парсинг в одном процессе очень долго будет выполняться.

а вот хз, как по мне, чтение и парсинг xml - это как раз-таки IO операция, которая хорошо ложиться на асинхронную модель

psycopg2.connect(dsn=None, connection_factory=None, cursor_factory=None, async=False, **kwargs)

у меня clickhouse будет

чтение это IO, распаковка и парсинг это уже CPU

а сколько, кстати, данных и за какое время датасет за 1 день скачивается (если он по дням разбит)?

данные разбиты не по дням

за первый проход нужно будет скачать все файлы(несколько тысяч)

потом ходить и смотреть, не появились ли новые

Что-то знакомые какие-то данные. Госзакупки поди?

дада)

так какой общий размер этих тысяч файлов?

общий размер не знаю, в каждом zip архиве может лежать по несколько xml файлов в 20-40 kB

я сейчас похожей задачей занимаюсь, там за сутки может быть 30Гб сжатых данных. Т.е. если за неделю выкачивать, то будет до ~200Гб

и на чём пишете?

пока просто python без asyncio

а вот хз, как по мне, чтение и парсинг xml - это как раз-таки IO операция, которая хорошо ложиться на асинхронную модель

>парсинг xml нет, это cpu-bound

мде

т.е. выигрыша большого от asyncio не будет

>парсинг xml нет, это cpu-bound

хотя вот тут https://docs.python.org/3/library/asyncio-dev.html#running-blocking-code есть кусок про это

можно синхронный код асинхронно запустить

но CPU то у тебя от этого меньше на нагрузится

ERROR: S client not available

всё верно, но можно будет распараллелиться

тогда и asyncio не нужен

короче, надо тестить. Есть ещё варик с go, но там свой гемор с unmarshal

вопрос к знатокам asyncio у меня предстоит проектик, где нужно будет с ftp забирать ZIP-нутые XML файлы, парсить их и спарсеную информацию складывать в БД. Файлов может быть очень много и они могут быть довольно большими. Я правильно понимаю, что у меня не получится часть кода написать синхронным, а, например, парсинг XML и запись в БД асинхронным? Насколько я понял из документации, всё приложение нужно будет строить вокруг event-loop. Писать буду на 3.7

качай силами asyncio/gevent/twisted/curio/trio/tornado, а парсить/распаковывать - используя пул процессов или вообще celery

т.е. выигрыша большого от asyncio не будет

Выигрыш может быть только в сетевых задачах

я там выше написал, есть возможность запустить блокирующую задачу в отдельном треде через asyncio loop

вечером дома потестирую как оно будет работать

всё верно, но можно будет распараллелиться

Какую часть работы хочется параллелить?

парсинг xml файлов

я там выше написал, есть возможность запустить блокирующую задачу в отдельном треде через asyncio loop

Это ничего не даст, потому что gil. Только процессы.

парсинг xml файлов

Они же в zip

unzip + parse

unzip + parse

Обе задачи cpu bound

мне вот интересно, планировщик работает с задачами через run_in_executor

в моём понимании, это обёрточка над блокирующей задачей для запуска её в неблокирующем режиме

в моём понимании, это обёрточка над блокирующей задачей для запуска её в неблокирующем режиме

угу

Всем привет!!! 27 октября планируется проведение PyData. И нам очень нужен ещё один докладчик!!!

Что-то не очень интуитивно работает round() в Python 3. >>> round(0.5) 0 >>> round(1.5) 2 >>> round(2.5) 2 >>> round(3.5) 4 Оказалось: rounding is done toward the even choice https://docs.python.org/3/library/functions.html#round И этот тип округления «до ближайшего чётного» используется по умолчанию в IEEE 754. https://en.wikipedia.org/wiki/Rounding#Round_half_to_even