Потому что слип тормозит поток, в котором обрабатывается?

я образно про слип. можно пустить цикл обработки к примеру

нет

Что нет, когда да) asyncio.sleep нет

Что нет, когда да) asyncio.sleep нет

мне не сон нужен, а синхронная обработка данных

Лучше написать "включены в релиз" или что-то вроде такого

или зарелизены

я чот не понял в чем проблема

если есть корутина, после окончания которой надо вызвать обработку, почему бы это просто не сделать?

мне не сон нужен, а синхронная обработка данных

В твоём примере только одна "асинхронная" функция - process_request. Всё остальное - это синхронка, несмотря на то что там стоит async. Потому что нигде нет вызова await.

я чот не понял в чем проблема

если внутри асинк функции затянется обработка данных, то нужно "уведомить", а call_later не отрабатывается так как луп заблокирован синзронной обработкой

Что нет, когда да) asyncio.sleep нет

ты неправ что в случае потоков, что в случае asyncio

И потому не понятно чего ты ждёшь

и проблема вообще не в этом

алярм можно поставить

что именно надо сделать, когда таймаут пройдет?

мне не сон нужен, а синхронная обработка данных

если у тебя функция тяжелая синхронная будет ожидаться, то единственный выход - run_in_executor()

В твоём примере только одна "асинхронная" функция - process_request. Всё остальное - это синхронка, несмотря на то что там стоит async. Потому что нигде нет вызова await.

если я внутри some_long_fun сделаю await другой функции, внутри которой "долгое" исполнение - результат будет тем же если внутри будет работа, например, с тем же aiohttp, то, вероятно, он не будет блокировать луп. но тут задача же обработать любой случай

алярм можно поставить

вот и думаю сигналом сделать

если я внутри some_long_fun сделаю await другой функции, внутри которой "долгое" исполнение - результат будет тем же если внутри будет работа, например, с тем же aiohttp, то, вероятно, он не будет блокировать луп. но тут задача же обработать любой случай

Оно должно быть не просто "долгим" оно должно быть по настоящему асинхронным

Оно должно быть не просто "долгим" оно должно быть по настоящему асинхронным

см выше :)

Т.е. должно делать какие то асинхронные IO операции например

Т.е. должно делать какие то асинхронные IO операции например

ага, понимаю

У тебя loop блочится в функции some_long_fun, и пока она не завершится - ничего другого выполняться не будет

У тебя loop блочится в функции some_long_fun, и пока она не завершится - ничего другого выполняться не будет

да я догнал уже. вот думаю прикручивать ли таймер

может тогда просто треды взять?

может тогда просто треды взять?

не хочу миксовать с asyncio

Если тебе для "теста", для "эмуляции" - то юзай await asyncio.sleep(). Либо используй executor

да я догнал уже. вот думаю прикручивать ли таймер

не поможет тебе таймер тут

а с сигналами хочешь

не хочу миксовать с asyncio

тогда у тебя нет вариантов для запуска долгих функций

Всем привет, ребяки подскажите CVSReader pip пакет для чтения больших файлов

Лучше написать "включены в релиз" или что-то вроде такого

спасибо! идеально!

Всем привет, ребяки подскажите CVSReader pip пакет для чтения больших файлов

CVS или CSV?

да да CSV сорян

да да CSV сорян

тогда pandas

Эммм другой вариант есть еще

это самый продвинутый

Хм, тогда в Питоне все печально

что тебе именно нужно?

Хм, тогда в Питоне все печально

наоборот, это отличная штука, которую все датасаентисты используют

сейчас сек

чесгря не заморачивался, потому что когда вдруг по какой-то ссылке я попадаю на порнхаб, я закрываю вкладку, а не баннер

подколол))

А стандартный разве не умеет большие построчно читать?

Всем привет, ребяки подскажите CVSReader pip пакет для чтения больших файлов

А в чём проблемы с чтением у встроеного в питон? Он тебе любой прочитает, последовательно. А вот куда ты будешь прочитанные данные запихивать, хранить и обрабатывать - это наверное не забота "читалки" csv-файла.

А стандартный разве не умеет большие построчно читать?

построчно и не нужно, это дико медленно

Хм, тогда в Питоне все печально

для дебиков - да

динамическая типизация - вот шо печально

@Enchantner разобрался проблема была lineterminator='\n' параметре pandas.read_csv я поставил lineterminator='\r' из-за этого он вис, мой косяк. Спасибо, то откликнулись на помощь

@Enchantner разобрался проблема была lineterminator='\n' параметре pandas.read_csv я поставил lineterminator='\r' из-за этого он вис, мой косяк. Спасибо, то откликнулись на помощь

не за что, приходи еще

построчно и не нужно, это дико медленно

В каком смысле медленно? А как какая то другая читалка будет по другому парсить CSV? Разобъёт текст на строки и запустит 10 потоков, что бы они параллельно распарсили этот список? Боюсь на обычном HDD скорость чтения с диска будет сильно медленее, чем сам парсинг строк.

В каком смысле медленно? А как какая то другая читалка будет по другому парсить CSV? Разобъёт текст на строки и запустит 10 потоков, что бы они параллельно распарсили этот список? Боюсь на обычном HDD скорость чтения с диска будет сильно медленее, чем сам парсинг строк.

mmap в память и чтение поблочно?

Я не думаю что питон читает данные с диска с точностью до байта. Всяко где то есть буффер, который вычитывает минимум сразу целый сектор с диска или даже больше

Так, что получается примерно тоже самое - блочное чтение с диска

Я не думаю что питон читает данные с диска с точностью до байта. Всяко где то есть буффер, который вычитывает минимум сразу целый сектор с диска или даже больше

согласен, но ты ж не будешь спорить, что чтение с разбиением по строкам генератором гораздо медленнее, чем чтение большого блока в память, а потом поиск в нем переносов строк?

"чтение" это тот же самый поиск переносов, но еще и копирование в "результат"

Не знаю как в питоне сделано. Но вполне оптимально делать как просто чтение потока данных, с одновременной разбивкой на колонки и "отсечением" строк когда приходит, например, символ "\n"

И не надо ничего сначала вычитывтаь в память, а потом что то в ней искать

Только если не требуется распараллеливание по ядрам проца

это не в питоне, это вообще на уровне операционки скорее

Ну врятли операционка парсит CSV ?

но я могу только про линукс сказать

не, я про файл в целом

ERROR: S client not available

Файл по строкам - скорее всего выплёвывает тоже какой то код внутри питона (возможно что написанный на С)

ты хочешь открыть файл и где-то отмечается, что в такой-то части адресного пространства системы этот файл целиком должен быть. Ты читаешь, идет обращение к этой памяти, пэйдж фолт и страница подгружается с диска

мемори мап всего лишь маппит эти страницы дискового кэша тебе в адресное пространство процесса

И что будет дальше процесс делать с этим блоком? Всё равно ведь последовательно проходить его символ за символом, находя "начало" и "конец" колонок и каждой строки.

а это уже вопрос к процессу 8)

файл в памяти

или точнее заявлен - реально уже будет подкачиваться по мере обращения

и выгружаться если вдруг физическая память начинает кончаться

два чаю этому господину

Поточная обработка - это самый оптимальный вариант (если в один поток), т.к. надо только один раз пройти по всему блоку, что бы выдать все результаты. А раз у нас всё равно идёт "поточная" обработка - то самому парсеру совершенно филетово мапится память на диск или нет. Он перекладывает эту "боль" оптимизации чтения с диска на операционку.

@Enchantner еще такой вопрос работали ли вы с pypy транслятором и есть ли смысл переходить на него при работе с Django, flask дает ли он сущетвенный прирост??

ну просто нашли о чем спросить человека, специализирующегося на эмбеддед и операционках

@Enchantner еще такой вопрос работали ли вы с pypy транслятором и есть ли смысл переходить на него при работе с Django, flask дает ли он сущетвенный прирост??

с django и flask я бы не морочился

профита будет не очень много, а гемора по отладке может получиться немало

я с торнадой пробовал, вроде профит был

с торнадой да, может быть

и с gevent

Поточная обработка - это самый оптимальный вариант (если в один поток), т.к. надо только один раз пройти по всему блоку, что бы выдать все результаты. А раз у нас всё равно идёт "поточная" обработка - то самому парсеру совершенно филетово мапится память на диск или нет. Он перекладывает эту "боль" оптимизации чтения с диска на операционку.

он может попросить операционку подгрузить блоки заранее. пока один разбираем, следующий вкачается. операционка может быть достаточно умной и это предугадать, но у нас есть явный контроль

Нужен обменник для телеграмма

Нужен обменник для телеграмма

@botoid

Код надо

@ru_python_beginners

@ru_python_beginners

спс

На гите нашёл пару но запустить не получается

На гите нашёл пару но запустить не получается

@botoid

@Enchantner еще такой вопрос работали ли вы с pypy транслятором и есть ли смысл переходить на него при работе с Django, flask дает ли он сущетвенный прирост??

На асинхронщине будет прирост, так как дорогая диспетчеризация оптимизируется, с синхронщиной не так заметно, но зависит от того, что делаешь - драйвер базы и json и без этого на си/ситон написаны

@ru_python_beginners

Вполне себе вопрос для этого чата

Вполне себе вопрос для этого чата

судя по уровню, на котором он задан, - не очень

На асинхронщине будет прирост, так как дорогая диспетчеризация оптимизируется, с синхронщиной не так заметно, но зависит от того, что делаешь - драйвер базы и json и без этого на си/ситон написаны

@En Спасибо за информацию