run_in_executor сделан для того чтобы использовать старый код в asyncio

уф, GIL отпускается на l/O-bound вызовах (именно про асинхронный вэб), CPU-bound операции не интересны, их не так много и они все решаются в обход GIL

Это все понятно, только в стандартной библиотеке дофига кода, который не имеет отношения к io, но который при этом надо как-то дергать

Примеры кода и кейсов, когда run_in_executor спасает. Впрочем, ты же уверен, что всегда?

любой сетевой вызов

Это все понятно, только в стандартной библиотеке дофига кода, который не имеет отношения к io, но который при этом надо как-то дергать

приведи пример CPU-bound кода нужного в асинхронном вебе из нее

любой сетевой вызов

Почти любой сетевой вызов в современном питоне не требует создания треда. Давай ещё.

приведи пример CPU-bound кода нужного в асинхронном вебе из нее

Рендеринг картинки

Почти любой сетевой вызов в современном питоне не требует создания треда. Давай ещё.

а чего он требует? использования фреймворка левого да?

а чего он требует? использования фреймворка левого да?

Нет, пишется в том же лупе в asyncio обычно

Рендеринг картинки

ну мне не придет в голову делать это в питоне

Нет, пишется в том же лупе в asyncio обычно

если библиотека работает с сетью и не поддерживает asyncio то все, ставить celery?

ну мне не придет в голову делать это в питоне

Правильно, то есть ты будешь дергать внешний сишный код. Можно поток, согласен, если либа хорошо написана. Но это не всегда так.

у меня по умолчанию везде докер, докерклиент для питона использует requests, он блокирующий, мне нужно делать несколько сот запросов одновременно. сто процессов да?

если библиотека работает с сетью и не поддерживает asyncio то все, ставить celery?

Если у тебя библиотека-клиент умеет делать только долгие синхронные блокирующие вызовы во внешний api - то да, придётся это выносить. Не celery, наверное, но отдельный процесс.

Правильно, то есть ты будешь дергать внешний сишный код. Можно поток, согласен, если либа хорошо написана. Но это не всегда так.

я буду рендерить их и раздавать вне интерпретатора

у меня по умолчанию везде докер, докерклиент для питона использует requests, он блокирующий, мне нужно делать несколько сот запросов одновременно. сто процессов да?

Нет, хватит нескольких по числу ядер

Если у тебя библиотека-клиент умеет делать только долгие синхронные блокирующие вызовы во внешний api - то да, придётся это выносить. Не celery, наверное, но отдельный процесс.

нет, для этого потоки

нет, для этого потоки

Нет, потоки тут ни при чем. Ты не знаешь, где в той либе блокирующий код и сколько в ней говнокода в принципе

По базовой логике процесс гораздо удобнее в таких условиях

Нет, хватит нескольких по числу ядер

потоков на ядро для i/o-bound нужно создавать от 5N до 10N, чтение с сетевых устройств давно уже делается в обход CPU

Нет, потоки тут ни при чем. Ты не знаешь, где в той либе блокирующий код и сколько в ней говнокода в принципе

знаю, я умею читать код, а еще метод от корутины отличить можно на раз два

Как вы в этом разбираетесь? Бррр

потоков на ядро для i/o-bound нужно создавать от 5N до 10N, чтение с сетевых устройств давно уже делается в обход CPU

Вот чтобы не создавать воркера на каждый чих и нужна очередь

потоков на ядро для i/o-bound нужно создавать от 5N до 10N, чтение с сетевых устройств давно уже делается в обход CPU

Как у тебя правила фильтрации в ядре и парсинг сетевых пакетов будет в обход cpu делаться?

Вот чтобы не создавать воркера на каждый чих и нужна очередь

и накладные расходы в пару сотен раз, норм

и накладные расходы в пару сотен раз, норм

То есть ты не в курсе, что в линухе разница между созданием потока и процесса не такая уж большая?

Как у тебя правила фильтрации в ядре и парсинг сетевых пакетов будет в обход cpu делаться?

DMA

DMA

Как доступ к памяти тебе распарсит пакеты? Святым духом?

То есть ты не в курсе, что в линухе разница между созданием потока и процесса не такая уж большая?

я в курсе что у меня одно адресное пространство в памяти и что чтение из памяти побыстрее немного через общение через сетевую очередь. а еще я пишу сервисы работающие не на одной машине а на произвольном количестве серверов, поэтому я учитываю и ценю каждую миллисекунду

я в курсе что у меня одно адресное пространство в памяти и что чтение из памяти побыстрее немного через общение через сетевую очередь. а еще я пишу сервисы работающие не на одной машине а на произвольном количестве серверов, поэтому я учитываю и ценю каждую миллисекунду

Вот именно поэтому и странно слышать о потоках в питоне о человека, который знает, что такое горизонтальное масштабирование и изоляция

Как доступ к памяти тебе распарсит пакеты? Святым духом?

парсинг пакетов в бинарных протоколах не дает значительноц нагрузки, только на L7, если там json например

парсинг пакетов в бинарных протоколах не дает значительноц нагрузки, только на L7, если там json например

Ну так для парсинга l7 тебе cpu внезапно не нужен стал штоле?

Ну так для парсинга l7 тебе cpu внезапно не нужен стал штоле?

а у меня на l7 я хозяин, там все бодрячком, не нужен там cpu мне

То-то japronto выехал на picohttpparser помимо всего прочего

пико все используют

Который парсит http на sse-инструкциях хитрых

пико все используют

Опять неправда, да что ж такое

Пико крут, но не особо стабилен и платформозависим

Поэтому, опять же, в ядре того же питона ему никогда не быть

Ты понимаешь, что всей этой херни бы не было, если бы ты просто взял и форкнулся?

Поэтому, опять же, в ядре того же питона ему никогда не быть

само собой, зато там быть дырявому openssl

Не нужны были бы примитивы синхронизации, не нужна была бы общая память

само собой, зато там быть дырявому openssl

Всё так, да. Всё говно, но это лучшее говно, что у нас есть

ты можешь дать линк на Селиванова где он про uvloop говорит? Я в твиттере у него видел обратные смыслы

https://youtu.be/2ZFFv-wZ8_g

Там в конце прямой вопрос про uvloop

Примерно 26 минута

Примерно 26 минута

жаль, конечно, значит придется таскать кастомной зависимостью

но питон по реализации async/await конечно недостижим, настолько круто все

но питон по реализации async/await конечно недостижим, настолько круто все

йо. спасибо за пакет node-machine-id

йо. спасибо за пакет node-machine-id

а где используешь?

а где используешь?

в ноде) нужен был айдишник системы получить удобным образом

это пока что самый удобный интерфейс

в ноде) нужен был айдишник системы получить удобным образом

а задачу какую решаешь?

лицензионный модуль

лицензионный модуль

во, для этого и делал, делись подводными камнями если что

во, для этого и делал, делись подводными камнями если что

хорошо =)

хорошо =)

там непроверенные кейсы с апгрейдом ОС и сбросом id

там непроверенные кейсы с апгрейдом ОС и сбросом id

а это знаю, поменял местами ОЗУ и все сбросилось

ну т.е новый ид стал

по крайне мере в Linux так

ну это норм, пусть нам звонят и спрашивают что не так)

поменяют что-то - invalid license

а это знаю, поменял местами ОЗУ и все сбросилось

вот это недокументировано, там кто во что горазд, тут надо дополнительные критерии выбирать

ну это норм, пусть нам звонят и спрашивают что не так)

да, тоже верно

спасибо за отзыв)

и тебе за офигенский модуль. сэкономил день )

ERROR: S client not available

Всем привет, можете посоветовать хорошего программиста по Битриксу? Или есть знакомые. В лс плиз))

Всем привет, можете посоветовать хорошего программиста по Битриксу? Или есть знакомые. В лс плиз))

Толсто

это как 1с, просто смешно

Так это и есть 1с

я про 1с предприятие и 1с битрикс, назначения разные

я подразумевал 1

Почему в бегинерсах забанен?

Почему в бегинерсах забанен?

за все признаки систематического троллинга.

Где троллинг? Вы совсем что ли?

Где троллинг? Вы совсем что ли?

я не верю, что человек, который называет себя аналитоком, не может знать про такие вещи, как sql, возможности машинного обучения и программирования. Впорчем, если это искренняя тупость, то могу и снять бан, не вопрос.

я не верю, что человек, который называет себя аналитоком, не может знать про такие вещи, как sql, возможности машинного обучения и программирования. Впорчем, если это искренняя тупость, то могу и снять бан, не вопрос.

Еще раз. Я финансовый аналитик

Что непонятно??

я не верю, что человек, который называет себя аналитоком, не может знать про такие вещи, как sql, возможности машинного обучения и программирования. Впорчем, если это искренняя тупость, то могу и снять бан, не вопрос.

А вот оскорблять не надо

вкладываться в биток?

xD

Тупость - оскорблять новичка и считать что аналитики бывают только системные

Не рискуй, а то вдруг он такой фин. аналитик как и в ИТ

Ну так финансовый аналитик должен уметь анализировать затраты времени, сил и нанимать персонал.

Я не эй чар чтобы нанимать персонал. Ты в своем уме?

Что еще расскажешь? Разбан требую

Тупость - оскорблять новичка и считать что аналитики бывают только системные

тактактак

кто такие системные аналитики?

чем они занимаются?

Эй чар..

char(a)

Просто чувак решил власть так пощупать и рандомно забанил

Просто чувак решил власть так пощупать и рандомно забанил

интернет вообще несправедливая хуйня

удивлен, что этот чувак не бот

Что еще расскажешь? Разбан требую

Вам, раз вы новичок, стоит понимать уровень ваших знаний и не делать заявлений типа "sql это прошлый век" и не рассказывать что вы там что-то забацаете на "си два плюс". Раз новичок - уточняйте вообще каждую деталь и уточняйте свои знания, хотя бы гуглом. А подобные громкие заявления во-первых бесят, во-вторых меняют к вам отношения как к специалисту в худшую для вас сторону Это конечно круто что вы хотите вырасти из экселя, но делать это нужно последовательно, а не сходу замахиваться на технологии о которых вы даже понятия не имели.

Вам, раз вы новичок, стоит понимать уровень ваших знаний и не делать заявлений типа "sql это прошлый век" и не рассказывать что вы там что-то забацаете на "си два плюс". Раз новичок - уточняйте вообще каждую деталь и уточняйте свои знания, хотя бы гуглом. А подобные громкие заявления во-первых бесят, во-вторых меняют к вам отношения как к специалисту в худшую для вас сторону Это конечно круто что вы хотите вырасти из экселя, но делать это нужно последовательно, а не сходу замахиваться на технологии о которых вы даже понятия не имели.

Я не специалист по комп наукам. И давайте я сам решу что и как изучать? Длинный пост был лишним

Ну так финансовый аналитик должен уметь анализировать затраты времени, сил и нанимать персонал.

А вдруг он делает это по своей инициативе и отдельно от основной работы?