Aidar
Я к тому, что скидывать куда либо в быструю память, а потом разгребать воркерами
Ermac10k
А вы уверены что вам надо вот так писать в бд? Может есть вариант по другому сделать
Нет. Ценная инфа, которую важно трекать по статусам. База - не моя идея.
Tishka17
Нет, главный косяк, наверное.
Не база. Там может ответ как раз долго идти
Точно не база? Как измерял?
Nikolay Markov
Nikolay Markov
а вообще какой threading в 2к19, aiohttp же
Aidar
Нет. Ценная инфа, которую важно трекать по статусам. База - не моя идея.
Расскажи чуть подробнее, может подскажут как правильно сделать
Ermac10k
Я к тому, что скидывать куда либо в быструю память, а потом разгребать воркерами
Запись в бд - через очередь. Не привязана к реквестам
Ermac10k
Точно не база? Как измерял?
Косяк в том, что не измерял. На глаз только. И это, пожалуй, надо исправить
Ermac10k
Уже легче, а что тогда тормозит?
На глаз: ответы медленные. И хочется побольше запросов бы...
Aidar
Косяк в том, что не измерял. На глаз только. И это, пожалуй, надо исправить
Возьмите какой-нибудь профайлер, посмотрите распределение
Ermac10k
Но может правда, стоит нормально замерить сначала
Nikolay Markov
а переписать на го уже предлагали?
Nikolay Markov
или переписать на го
Tishka17
У тебя основное время треды спят
Tishka17
Можно довольно безопасно их количество увеличивать
Tishka17
Эмм, может вы повысите их количество? Но не сильно
Раз в 100, если в каждом процессе по треду
c
Ermac10k
В смысле, не задавал?
Полагаю, что косяк найден. Либо я не помню циферку.
Если не задать количество тредов, он сам до скольки создает?
Tishka17
Tishka17
Какой пул?
Tishka17
Я так и не понял, у тебя мультипроцессинг или мультитрединг
Aidar
Будут
Я к тому, что если переусердствовать, можно сделать хуже, профит не линейно должен рости с количеством
Ermac10k
Я так и не понял, у тебя мультипроцессинг или мультитрединг
В первую очередь мультитрединг. Мультипроцессингом можно пренебречь
Aidar
В первую очередь мультитрединг. Мультипроцессингом можно пренебречь
Так у вас есть возможность юзать процессы?
Ermac10k
Так у вас есть возможность юзать процессы?
Возможность - есть. Я и юзаю. 2. Каждый ветвится на потоки
Tishka17
В первую очередь мультитрединг. Мультипроцессингом можно пренебречь
from multiprocessing.pool import ThreadPool?
Tishka17
Или что там?
Tishka17
Конкретный класс скажи уже
Ermac10k
Multiprocessing.dummy.pool
Для потоков
Ermac10k
Dummy. Это потоки
Tishka17
Multiprocessing.dummy.pool
Для потоков
processes is the number of worker processes to use. If processes is None then the number returned by os.cpu_count() is used.
Tishka17
Ну в общем у тебя 2 потока
Tishka17
Видимо
Tishka17
Попробуй увеличить хорошенько так
Ermac10k
Ляяяяяяя
Туночка️
шо делать?
юзаю гет из реквестов
и супчик 4
Туночка️
пытаюсь парсить транскрипцию англ слов с сайта https://www.multitran.com
[hÉ\x99'lÉ\x99Ê\x8a,he-] получаю такую фигню
принтом такую hÉ'lÉÊ,he-
[hə'ləʊ,he-]
вот шо надо
Tishka17
🍁 Jaŭhien
В хэдере посмотри
Tishka17
Tishka17
Раз у тебя принт другое выводит
Туночка️
в интерактивном режиме консоли
Tishka17
А. Репр все таки
Туночка️
Connection
close
Content-Encoding
gzip
Content-Length
5475
Content-Type
text/html
Tishka17
В самом хтмл в начале должно быть написано в хэд секции
Туночка️
кодировки нема
Туночка️
charset=utf-8"
Tishka17
Так
Tishka17
А ты декодировал как?
Tishka17
Ээ
Tishka17
Чо?
Ermac10k
Tishka17
Винда раньше портила символы при копипасте за нефиг делать
Туночка️
Чо?
крч
я просто решил ручками строку создать с транскрипцией ничего не вылетает все работает
Туночка️
Tishka17
и щас
Так скажем будет она портить или нет зависит от того, откуда копируешь и куда вставляешь
Туночка️
self._page = get(PATH, params = params)
if not self._page.ok:
raise ValueError
self._html = BeautifulSoup(self._page.text)
self.transcription = self._html.select_one('td.gray')