Pavel
Он же лучше чем куча тредов)
В разных ситуациях по-разному
Bogdan (SirEdvin)
разве что в cpu задачах, когда вы gil снимаете
Pavel
разве что в cpu задачах, когда вы gil снимаете
В cpu задачах гил не снимается
Tishka17
Bogdan (SirEdvin)
Ну, бенчмарки так же это доказывают ... :)
Pavel
numba.nogil?
Это отдельный модуль, который еще не всегда может скомпилировать код
Tishka17
Ну, бенчмарки так же это доказывают ... :)
плохо помню ваши бенчмарки. Там, кажется, были особенности
Pavel
разве что в cpu задачах, когда вы gil снимаете
Вот с синхронным апи асинк вообще не сдался
Alex
@Tishka17 что у вас опять asyncio-срач?
Alex
твой бенчмарк — говно =)
Bogdan (SirEdvin)
Ну, расходы памяти больше, затраты на переключение больше. Разве что legacy или магия с gil логокий
Alex
Вот с синхронным апи асинк вообще не сдался
потому что под коробкой будет все тот же пул из потоков ага
Sergey K
Ну, расходы памяти больше, затраты на переключение больше. Разве что legacy или магия с gil логокий
Сколько потоков нужно запустить, чтобы ощутить проблемы с памятью?
Aragaer
ну а твоя регулярка матчит только одно слово
Tishka17
Ну, бенчмарки так же это доказывают ... :)
Выложи уже полноценные бенчмарки, которые покажут, что asynсio лучше. Вот тебе примеры что можно протестить: 1. Скачивание 100 файлов размером 100 метров каждый 2. 1000 конкурентных HTTP запросов, каждый со случайной задержкой от 0.1 до 1 секунд 3. 1000 конкурентных групп HTTP запросов. В каждой группе 5 поседовательных запросов, каждый со случайной задержкой от 0.1 до 1 секунд 4. 1000 конкурентных запросов с PostgreSQL с выгребанием 50 сущностей с сортировкой по дате из таблицы с разным смещением. Половина ещё с фильтром по какому-то полю Все должно выполняться в двух вариантах машины: машина с 1 ядром и машина с 4 ядрами. Количество процессов и потоков должно быть подобрано так, чтобы максимизировать каждый из измеряемых показателей, а не просто взято наобум. (при необходимости проверяется несколько конфигураций заточенных под нужный показатель) В постгресе ограничение 200 одновременных коннектов. Что измеряем: 1. Среднее время выполнения задачи (скачиванием файла, отдача данных из постгреса, обработка группы http запросов) 2. Пиковое потребление памяти 3. Время на выполнение всех задач
Alex
Сколько потоков нужно запустить, чтобы ощутить проблемы с памятью?
@Kdanylov а у тебя есть опубликованные результаты бенчмарков где-нибудь? знаю ты занимался этим вопросом.
koder
У меня на 64гб 50к потоков примерный лимит. После него уже новые не заводились
Pavel
Выложи уже полноценные бенчмарки, которые покажут, что asynсio лучше. Вот тебе примеры что можно протестить: 1. Скачивание 100 файлов размером 100 метров каждый 2. 1000 конкурентных HTTP запросов, каждый со случайной задержкой от 0.1 до 1 секунд 3. 1000 конкурентных групп HTTP запросов. В каждой группе 5 поседовательных запросов, каждый со случайной задержкой от 0.1 до 1 секунд 4. 1000 конкурентных запросов с PostgreSQL с выгребанием 50 сущностей с сортировкой по дате из таблицы с разным смещением. Половина ещё с фильтром по какому-то полю Все должно выполняться в двух вариантах машины: машина с 1 ядром и машина с 4 ядрами. Количество процессов и потоков должно быть подобрано так, чтобы максимизировать каждый из измеряемых показателей, а не просто взято наобум. (при необходимости проверяется несколько конфигураций заточенных под нужный показатель) В постгресе ограничение 200 одновременных коннектов. Что измеряем: 1. Среднее время выполнения задачи (скачиванием файла, отдача данных из постгреса, обработка группы http запросов) 2. Пиковое потребление памяти 3. Время на выполнение всех задач
Случайные задержки не будут давать воспроизводимых результатов
koder
Но уже от 10к на 6 аппаратных ядрах начинается такой джиттер латентности, что смысл теряется
koder
О нет, еще один чувак у которого асин быстрее потоков
koder
Я отказываюсь опять в этом учавствовать ))
Vjačeslavs
как вообще асин может быть быстрее? Он же для другого
Vjačeslavs
это просто способ выполнить задачу Б, которая не зависит от задачи А, пока задача А ожидает выполнения чего-то ещё
Tishka17
как вообще асин может быть быстрее? Он же для другого
теоретически может за счет более редкого переключения задач. Но с таким успехом ещё быстрее будт последовательное их выполнение
koder
теоретически может за счет более редкого переключения задач. Но с таким успехом ещё быстрее будт последовательное их выполнение
За счет нехаотичного переключения задач может быть быстрее (плюс там феерично gil всплывает с ос потоками) но вот скорость работы питон обвязки всеубивае
Tishka17
В общем, я описал какой тест был бы более менее похож на реальность, жду результатов
Sergei Сhebotarev
#Ищу #Python #Удаленка #Вакансия #parttime #job #работа Ищу человечка в компанию «Project Point» на part time. О проекте: веб-приложение для автоматизации процесса учета договоров и планирования финансов. ЗП: от 700 до 1000 р/ч График работы: свободный, но желательно от 2-4 часа в интервалах с 10 до 16 и 20 до 23 Мск, чтобы было перекрытие. От 60 часов в месяц, чем больше на начальном этапе - тем лучше. В будущем можем рассмотреть переход на полную загрузку с оформлением по ТК РФ. Стек: • Linux; • Docker; • Python 3; • PostgreSQL (версия >= 11); • Redis; • Pyramid framework; • Jinja2; • React.js; • HTML 5, CSS; Команда - 4 человека. Более подробно готов рассказать в ЛС. @dobrkakbobr8
Sergey K
можно поднять количество до 100000
А что в потоках запускать?
Sergey K
?
Ну вот запустим 100к потоков, а что они делать должны? В сеть обращаться?
Tishka17
и это было не про 100к потоков, а про 100к задач
Sergey K
Не прочитал, да. Извиняюсь
koder
А ты что в потоках запускал?
Сервер, которого клиент пинговал через кучу соединений
EL84 💡
Привет. А подскажите пож, как задать переменную так, что-бы она не была несуществующей до её обьявления в функции и при этом, не перезаписывалась каждый раз при выполнении функции, т.е. в начале функции объявить её нельзя.
EL84 💡
ЧЗХ
Сек
Alex
> как задать переменную так, что-бы она не была несуществующей a = "value"
Alex
спасибо кэп)
не используй глобальные переменные
EL84 💡
Суть, есть телебот, надо запоминать одно значение, при выполнении условий if, НО, пока это условие не выполнено, телебот падает с ошибкой, т.к. переменной ещё не существует.
EL84 💡
А если объявить её глобально, тоже не работает. Объявлять каждый раз в начале функции, тоже не получается, т.к. нужно один раз записать данные в переменную.
Nikolay
☺️
djigit0s
этот код можно по короче написать? Может есть другой подход? Мне надо по значению получить имя переменой. class URLTypes(object): POST = 1 IGTV = 2 PROFILE = 3 STORIES = 4 HIGHLIGHTS = 5 def type_name(self, id): if id == self.POST: return 'POST' if id == self.IGTV: return 'IGTV' if id == self.PROFILE: return 'PROFILE' if id == self.STORIES: return 'STORIES' if id == self.HIGHLIGHTS: return 'HIGHLIGHTS'
djigit0s
попробую так
djigit0s
выглядит так будто ты тут хотел Enum
self.logger.info(f'Тип ссылки {self.url_type}') Мне нужно в логере записывать имя переменной, а то в логере получаются цифры и непонятно какой это тип. Попробую как подсказал Nikolay
Alex
отвратительно. на pastebin.
Puck
Добрый день, тут можно обсудить Jupyter Notebook?
ssv
Не с кем))
ssv
Юзай jupyter lab)
Puck
Юзай jupyter lab)
зачем? А ты доку имел ввиду
ssv
зачем? А ты доку имел ввиду
Чтобы не обсуждать notebook
EL84 💡
отвратительно. на pastebin.
? Можно детальней, ибо я чайник
Alex
? Можно детальней, ибо я чайник
1. убери отсюда свою портянку. 2. прочитай правила чата. 3. узнай о существовании https://pastebin.com/ и аналогов.
Alex
enum
хех, я ему об этом сразу написал
Sergiy
Какую базу данных учить для питона? Сейчас нужна для бота в телеграмме, но в будущем для джанго, ну и чтобы перспективная была.
Marat
datastore_set = [] if not datastore_set: datastore_set = [None] for ds in datastore_set: current_volume = None if ds is None else ds.current_volumeНормальная тема делать список с ноном, чтобы в цикл хоть раз зайти. Выглядит как говнокод😁😁
Alex
Какую базу данных учить для питона? Сейчас нужна для бота в телеграмме, но в будущем для джанго, ну и чтобы перспективная была.
Postgres, sqlite, mysql. Но в целом они не то чтобы прям как-то значительно различаются для кодера. А если еще и орм использовать (а ты в большинстве случаев будешь использовать орм, особенно в джанге) - то вообще разницы не заметишь.
Nikolay
psql
Anonymous
как экзелевский файл, только гугл таблицы