Это не имеет смысла жи.

Если ты про gil то не имеет.

или погоди, я гоню. не треды. процессы. форк, вот это все.

я не проснулся, сорян.

Это не имеет смысла жи.

Он наверное ошибся - дефолтное поведение вроде бы как раз создавать процессы, а не треды. Хотя могу ошибаться т.к. давно просто копи-пастаю настройки celery из проекта в проект.

процессы-процессы, это я объебался

процессы-процессы, это я объебался

Угу. Я подумал, что авторы селери ебанаты

или погоди, я гоню. не треды. процессы. форк, вот это все.

Точно треды, я не знаю как между процессами курсор делить ?

Или connection

Ну если неудачно так форкнуть процесс после создания конекта, то может случится какая то бяка ?

Ну если неудачно так форкнуть процесс после создания конекта, то может случится какая то бяка ?

+

о том и речь.

BTW: Треды кстати, незаменимы для файлового IO в asyncio. А у ядра (Linux/Mac/BSD) есть встроенный thread pool для асинхронной работы с файлами. Я даже когда-то модуль для asyncio писал на эту тему.

Ну если неудачно так форкнуть процесс после создания конекта, то может случится какая то бяка ?

Не, ты гонишь. Бяка не случится.

Не, ты гонишь. Бяка не случится.

Ну наверное зависит от базы данных и питонячего адаптера.

Например pymongo ругается на форк созданого конекта

ну будешь ты один и тот-же файловый дескриптор использовать. Драйвер от такого или корку отложит, или будет материтиься.

Например pymongo, если его конектить к нескольким репликам, запускает в отдельном треде мониторинг этих реплик. В треде само собой есть локи всякие, для синхронизации. И вот эти локи замечательно так форкаются, что можно просто напороться на deadlock на этом питонячем локе.

ну будешь ты один и тот-же файловый дескриптор использовать. Драйвер от такого или корку отложит, или будет материтиься.

Он просто с ума сходит, начиная выбрасывать невообразимые эксепшны и артефакты. Причем каждый раз разные.

Это да.

DataError: (psycopg2.DataError) invalid byte sequence for encoding "UTF8": 0xff например

Вообще все форкается замечательно.

при том, что если явным образом приказать celery "только 1 форк" (читай --concurrency=1) то все ок.

а на >1 начинаются артефакты.

Лучше всего форкается после socket.bind

это если общий коннект

http://stackoverflow.com/questions/17317344/celery-and-sqlalchemy-this-result-object-does-not-return-rows-it-has-been-clo

во

и вот такое было

psycopg2 всё таки не любит форкания конектов http://initd.org/psycopg/docs/usage.html#thread-and-process-safety libpq connections shouldn’t be used by a forked processes, so when using a module such as multiprocessing or a forking web deploy method such as FastCGI make sure to create the connections after the fork.

BTW: Треды кстати, незаменимы для файлового IO в asyncio. А у ядра (Linux/Mac/BSD) есть встроенный thread pool для асинхронной работы с файлами. Я даже когда-то модуль для asyncio писал на эту тему.

щито?

Вопрос неясен

какой такой встроенный тредпул?

io_submit

крутая хуита но очень платфмозависимая

линупс аио онли, гм

угу

гдето я видел инфу что оный аио нифига не а

а вообще - файловое ио не может быть неблокирующим, поэтому нужен тред пул, но хз про тред пул во всех осях

а вообще - файловое ио не может быть неблокирующим, поэтому нужен тред пул, но хз про тред пул во всех осях

фрибсд не согласна

а именно?

там есть честный ядреный асинк именно для файлового и/о

по крайней мере из того что я гуглил на тему

aio_ glibc'шный вроде не тру аио, а io_submit - да

Asynchronous I/O requests for raw disks are queued directly to the disk device layer after temporarily wiring the user pages associated with the request. These requests are not serviced by any of the AIO daemon pools.

это aio(4) от фри

ну так io_submit как будето не так же работает

http://ftp.naist.jp/pub/linux/kernel/people/suparna/aio-linux.pdf

в общем вот

В любом случае кто-то должен сходить на диск, чтобы узнать что там ничего нет, поэтому тру асинк невозможен как факт

Ой

Тру нонблок

презентация несколько невнятная, но похоже что они сделали пачку итераций

https://lwn.net/Articles/671649/ всё плохо в общем

Фрибсд никому не интересна и про нее не пишут такие статейки?

тоже не понимаю повального дроча на фряху сейчас

ну, то есть, не повального, конечно

ват

Сейчас?

какой такой встроенный тредпул?

смотри aio.h

да когда я последний раз на это всё смотрел - этих апи еще не было

https://pypi.python.org/pypi/aiofile

Там тоже говна наберется, просто он не так известен

BTW: Треды кстати, незаменимы для файлового IO в asyncio. А у ядра (Linux/Mac/BSD) есть встроенный thread pool для асинхронной работы с файлами. Я даже когда-то модуль для asyncio писал на эту тему.

ты гонишь. нет у ядра встроенного thread pool.

io_submit

нет там пула тредов )

ты гонишь. нет у ядра встроенного thread pool.

Ты же про bsd или linux?

ну так io_submit как будето не так же работает

нет. то что сейчас есть - нельзя назвать работает и я полностью согласен с Линусом, что сделанный сейчас aio - это уродливый кусок говна.

aio.h смотри реализацию.

Ты же про bsd или linux?

в первую очередь про linux.

Там точно нет.

aio.h смотри реализацию.

http://lxr.free-electrons.com/source/include/linux/aio.h

оно?

оно?

Это хедер вроде, не реализация.

с каких пор хедеры стали реализацией?

нет. то что сейчас есть - нельзя назвать работает и я полностью согласен с Линусом, что сделанный сейчас aio - это уродливый кусок говна.

Линус сказал что апи тяжело в использовании, а не что это нерабочее говно

с каких пор хедеры стали реализацией?

вот и я спрашиваю

Линус сказал что апи тяжело в использовании, а не что это нерабочее говно

И API кстати не такое уж и плохое. Я видел и хуже.

в общем гоните вы тут, а лучше бы использовали

линус предложил запилить совершенно другой апи

это всё что вам нужно знать про текущий

AIO is a horrible ad-hoc design, with the main excuse being "other, less gifted people, made that design, and we are implementing it for compatibility because database people - who seldom have any shred of taste - actually use it". But AIO was always really really ugly. ... So I would seriously suggest: - how about we add a true "asynchronous system call" interface

https://lwn.net/Articles/671657/ исходник

AIO is a horrible ad-hoc design, with the main excuse being "other, less gifted people, made that design, and we are implementing it for compatibility because database people - who seldom have any shred of taste - actually use it". But AIO was always really really ugly. ... So I would seriously suggest: - how about we add a true "asynchronous system call" interface

Угу

это всё что вам нужно знать про текущий

уверен? там в конце отвечают что хуй в этой жизни будет заимплементен новый АПИ

недаром это апи живет с 2.5?

да поебать. красноглазики должны страдать!11

ты придумал про страдания

мне просто нравится травить любителей асинка

особенно тех, которые лепят его куда попало и бездумно

хз про пихать куда попало, а обсуждение здесь было что во фре есть настоящий асинк, а в линупсе он не настоящий)

выяснили что они там одинакого настоящие, но у линупса плохое апи

АЗАЗАЗАЗ ФРЯХА ВАН ЛАВ

make love not war

http://pyparallel.org/ вотафак...

котики

у вас тут прям так уютно!

особенно тех, которые лепят его куда попало и бездумно

а нужно не бездумно лепить?

посоны

какие вопросы задают джуниор питон погромистам?