Когда тестим скорость получения строки из базы, в процесс включается много лишнего

синтетические тесты дают хорошее представление о размере оверхеда, который добавляется фреймворком => логики должно быть по минимуму а дальше уже каждый прикидывает, сколько логики он сможет засунуть в этот фреймворк

ктонить работал с Marshmallow + SQLAlchemy плотно?

Кто может объяснить потоки в питоне и как работать с бд в торнадо - она ж будет блокировать

?

есть motor - асинхронный аналог pymongo

а потоками в питоне лучше не увлекаться )

Почему?

и дело не только в GIL, но и в планировщике

потому что планировщик питоновских потоков имеет свое мнение о том, какой поток должен отработать следующим, очень часто это идет вразрез с мнением ОС - в этом случае планировщик переключает потоки, пока не запустится нужный - соотно производительность с ростом числа потоков падает как минимум линейно попробуй запусти 100 busy-потоков и открой htop - там большая часть полоски CPU будет красной

Ну как бы да, всякая хренатень про 10-20к rps - это просто выдать строчку "Hello world" без какой либо логики. Как только в дело вступает работа с базой данных - похер на скорость работы веб-сервера (фреймворка)

Niet

потому что планировщик питоновских потоков имеет свое мнение о том, какой поток должен отработать следующим, очень часто это идет вразрез с мнением ОС - в этом случае планировщик переключает потоки, пока не запустится нужный - соотно производительность с ростом числа потоков падает как минимум линейно попробуй запусти 100 busy-потоков и открой htop - там большая часть полоски CPU будет красной

Не надо использовать потоки для cpu-bound

Не надо использовать потоки для cpu-bound

и для не CPU-bound тоже, если их много )

Я правильно понял что поток выполняется в один момент только один?

если я устрою sleep то заснут ваще все

?

и для не CPU-bound тоже, если их много )

Ну, с диска почитать - самое оно

если я устрою sleep то заснут ваще все

Нет

Я правильно понял что поток выполняется в один момент только один?

Да

Ага, активен в один момент времени только один поток, но если он чего то ждет (чтения с диска) - будет выполняться второй?

Ага, активен в один момент времени только один поток, но если он чего то ждет (чтения с диска) - будет выполняться второй?

Именно

А как мне понять что такая то фия заставит питон выполнять второй поток а не будет тупо ждать пока чтение или че нить еще закончится?

он не будет тупо ждать. он не будет блокировать исполнение других

оба "не"?

янхнп

А как мне понять что такая то фия заставит питон выполнять второй поток а не будет тупо ждать пока чтение или че нить еще закончится?

если там есть вызов, который блокируется на I/O или на сети, или sleep, то поток заблокируется, а ОС отдаст управление другому

а потоками в питоне лучше не увлекаться )

Задача: вычитать с удаленного сервера постгреса овер 5 000 000 рекордов. Решение: делим 5 000 000 на n потоков, каждому потоку определяем правильный диапазон рекордов стар:стоп. Не заметил чтобы 20 потоков работали быстрее 40

правда в top не смотрел

.... а вообще причем тут ОС? Я имел ввиду другой питоновский поток

питоновский поток=\

Я думал этим питон должен рулить

Кто работал с tornado - как в нем лезть в базу данных или читать с диска, если (если я все правильно понял) нельзя блочить Handler?

так у торнадо есть event loop вроде как

Задача: вычитать с удаленного сервера постгреса овер 5 000 000 рекордов. Решение: делим 5 000 000 на n потоков, каждому потоку определяем правильный диапазон рекордов стар:стоп. Не заметил чтобы 20 потоков работали быстрее 40

если тупо вычитать, то много потоков норм

Я не въеду в чем соль с потоками в питоне

много потоков threading.Thread() &

?

соль в том что они криво работают

или не работают

если тупо вычитать, то много потоков норм

согласитесь что утверждение не увлекатся потоками для человека, который первый раз столкнулся с темой звучит как брось все и беги

Как именно криво?

не то чтобы я особо прям разбирался с потоками... но врое все всегда было просто и очевидно в той же яве и шарпе. Не напарывался. Стал читать про питон - ваще не понятно в чем загвоздка

Как именно криво?

да нормально там все с потоками. Берите и делайте. Будут проблемы - тогда будете фиксить. Главное не спешить

например, мне нужно было напилить одновременно в N потоков запрос к опенстеку. Используя threading.Thread() я добился 2.2к примерно запросов в секунду. А используя eventlet.GreenPool() добился 5к. Как это может быть?

А что вы с Thread делали?

Может мало задач было на один тред?

=\

например, мне нужно было напилить одновременно в N потоков запрос к опенстеку. Используя threading.Thread() я добился 2.2к примерно запросов в секунду. А используя eventlet.GreenPool() добился 5к. Как это может быть?

попробуйте тоже самое с нативным ThreadingPool

Я думал этим питон должен рулить

Планированием исполнения занимается ос

просто интересно

например, мне нужно было напилить одновременно в N потоков запрос к опенстеку. Используя threading.Thread() я добился 2.2к примерно запросов в секунду. А используя eventlet.GreenPool() добился 5к. Как это может быть?

Время переключения между потоками, например

ну я сча уже не могу, нет того окружения у меня

так-то да, может и время переключения

Кто работал с tornado - как в нем лезть в базу данных или читать с диска, если (если я все правильно понял) нельзя блочить Handler?

если между двумя yield-пойнтами быстро-быстро сделать все блокирующие вызовы, то норм )

но по нормальному должна быть одна хорошая реализация многопоточности

и все

попробуйте тоже самое с нативным ThreadingPool

а не вот это "может лучше это или то"

а потом и с мультипроцессинговым пулом )

не то чтобы я особо прям разбирался с потоками... но врое все всегда было просто и очевидно в той же яве и шарпе. Не напарывался. Стал читать про питон - ваще не понятно в чем загвоздка

Прочитайте про gil.

теста ради уже :D

теста ради уже :D

нема тоог окружения к сожалению(

не получится у меня сейчас

например, мне нужно было напилить одновременно в N потоков запрос к опенстеку. Используя threading.Thread() я добился 2.2к примерно запросов в секунду. А используя eventlet.GreenPool() добился 5к. Как это может быть?

Потому что i/o bound

ERROR: S client not available

но я так для примера вбросил что происходит с потоками в питоне

а при чем тут i/o bound в этих двух случаях?

Кто работал с tornado - как в нем лезть в базу данных или читать с диска, если (если я все правильно понял) нельзя блочить Handler?

для чтения с диска есть пул потоков и run_on_executor (google it) для некоторых баз есть асинхронные клиенты - для редиса и монги точно для хттп-запросов есть асинхронный клиент

а при чем тут i/o bound в этих двух случаях?

Потому что у тебя все уперлось в сеточку, а не в процессор.

Так поток будет один в один момент времени или че?

Так поток будет один в один момент времени или че?

да

и как оно уперлось в сеточку?

поток всегда один в один момент времени для одного процесса

там 10 гигабит сеточка если шо

если это как-то поможет

и как оно уперлось в сеточку?

на питоне даже 1 гбит не оч. просто прокачать )

и как оно уперлось в сеточку?

если б не в сеточку, то такой бы разницы не было

о расскажите тогда как жить с сетью и потоками

молча

Так поток будет один в один момент времени или че?

Мьютекс. Потоков много, но исполняется только один. Gil отпускается на всяком i/o и сишных расширениях если они не лезут в питон

ну может и в сеточку, просто я хочу понять что тут камень предкновения в том и том случае

о расскажите тогда как жить с сетью и потоками

uvloop )

если все железки одинаковые

на питоне даже 1 гбит не оч. просто прокачать )

На самом деле легко :)

Так.. понятно. А почему в торнадо тогда нельзя блочить?

Если оно де факто не будет блочиться?

ну может и в сеточку, просто я хочу понять что тут камень предкновения в том и том случае

ну так навскидку - сколько открытых коннектов сервер может держать ?

ну может и в сеточку, просто я хочу понять что тут камень предкновения в том и том случае

Сколько тредов ты создал?

На самом деле легко :)

даже c парой тысяч соединений? )

я уточню задачу - я дергаю кистоун на предмет получения токена чтобы понять сколько одновмеренно этих самых токенов я могу получить. Так вот трединг мне выдал чуть больше двух тысяч и потом посыпались ошибки, а евентлет 4.5 (я писал 5 но сча нашел запись что 4.5 тыс)

Так.. понятно. А почему в торнадо тогда нельзя блочить?

потому что там евент луп, обработка других событий заблокируется, тебе это врядли надо

сетка 10 гигабит пропускает спокойно

я уточню задачу - я дергаю кистоун на предмет получения токена чтобы понять сколько одновмеренно этих самых токенов я могу получить. Так вот трединг мне выдал чуть больше двух тысяч и потом посыпались ошибки, а евентлет 4.5 (я писал 5 но сча нашел запись что 4.5 тыс)

nofile сколько?

Так.. понятно. А почему в торнадо тогда нельзя блочить?

В гугле "event loop"

даже c парой тысяч соединений? )

Да. Для меня 10к коннектов - это норма, а питоном я отдаю почти десятку

nofile сколько?

А оно тут причём?