@ru_python
Roman06.01.2017
16:17:05
16:17:05
В start выставить self.running = True, в воркере: while self.running
Dmitriy06.01.2017
16:17:07
16:17:07
Да, просто делать get - моветон и опасно
я удалил часть кода, чтобы паста короткая была
а так у меня есть обработка исключений :)
Pavel06.01.2017
16:17:30
16:17:30
Народ, я опять с потоками)
К примеру, у меня есть 1000 url, которые нужно обработать 5ю потоками. Как это сделать? Если я делаю 5 потоков - обработаются 5 ссылок, 10 - десять ссылок. Не могу допетрить как заставить потоки снова и снова обрабатывать весь список урлов.
from concurent.futures import ThreadPoolExecutor
with ThreadPoolExecutor(max_workers=5) as executor:
executor.map(processing_function, list_of_urls)Roman06.01.2017
16:17:50
16:17:50
Но т.к у тебя queue, то лучше магический таск, который завершает воркер
GoogleRoman06.01.2017
16:18:03
16:18:03
Dmitriy06.01.2017
16:18:33
16:18:33
причем нефиговый вариант)
спасибо
b0g3r06.01.2017
16:18:41
16:18:41
причем нефиговый вариант)
спасибо
если это задача на собеседе, то стоит начать читать "Python. К вершинам мастерства"там кстати подобная задачка тоже рассмотрена
Dmitriy06.01.2017
16:20:08
16:20:08
значит будем читать)
Pavel06.01.2017
16:20:34
16:20:34
Но мне кажется, что в 2017 сетевые прилады модно через асинхронщину поднимать
Dmitriy06.01.2017
16:21:29
16:21:29
имеешь в виду фреймворки?
Roman06.01.2017
16:22:07
16:22:07
Сергей
AndrewGoogle
Andrey06.01.2017
18:04:37
18:04:37
Видел я последние багфиксы в aiohttp, чет стремно на него переходить
Stanislav06.01.2017
18:06:27
18:06:27
всен норм
Andrey06.01.2017
18:08:45
18:08:45
что не так?
Есть подозрение, что не все детские баги там еще исправлены.
А масштабного тестирования юзерами еще не проводилось, поэтому эта либа может только для abc кейсов работаетStanislav06.01.2017
18:10:00
18:10:00
Есть подозрение, что не все детские баги там еще исправлены.
А масштабного тестирования юзерами еще не проводилось, поэтому эта либа может только для abc кейсов работает
не все баги сразу найти реально. Фиксят по мере нахождения. Главное что фиксятAndrey06.01.2017
18:13:01
18:13:01
Ну вот когда зафиксят, можно и в прод пускать )
Dmitriy06.01.2017
19:50:55
19:50:55
Сделал и так, и так
Ради интереса сделал замеры скорости
Почему так? С увеличением количества потоков скорость чуть-чуть увеличивается
Pavel06.01.2017
19:52:17
19:52:17
код покажи, пожалуйста.
Dmitriy06.01.2017
19:56:27
19:56:27
Ну мне вот интересно. Есть тривиальная задача. Распарсить дофига страниц. Сколько потоков оптимально надо выбирать для наибольшей скорости?)
arisu06.01.2017
19:57:13
19:57:13
1
Denis06.01.2017
19:57:15
19:57:15
Подбирается экспериментально для каждого сайта и для твоего соединения
У меня обычно штук 20 наибольшую скорость дают
Dmitriy06.01.2017
19:57:58
19:57:58
Denis06.01.2017
19:58:00
19:58:00
Если сайт не против
Nikolay06.01.2017
20:15:34
20:15:34
4 как 11, 11 как 4
Roman06.01.2017
22:07:16
22:07:16
GoogleRoman06.01.2017
22:07:46
22:07:46
Питон однопоточный
Stanislav06.01.2017
22:38:35
22:38:35
Питон однопоточный
https://www.youtube.com/watch?v=Obt-vMVdM8s
https://www.youtube.com/watch?v=MCs5OvhV9S4тут все сказано
смысл писать, лучше посмотри
Бизли фигню не говорит
b0g3r06.01.2017
23:10:23
23:10:23
Действительно :)
Roman06.01.2017
23:11:07
23:11:07
Человек хочет парсить. Парсинг - это чистый cpu bound.
Так что треды тут не помогут
b0g3r06.01.2017
23:12:20
23:12:20
Так может стоит говорить именно так, а не как было до этого?)
К чему эти колкости?
Roman06.01.2017
23:13:26
23:13:26
b0g3r06.01.2017
23:13:41
23:13:41
А ответ вышел уж больно общим)
Alex06.01.2017
23:36:51
23:36:51
Stanislav06.01.2017
23:41:05
23:41:05
scrapy никто не отменял
а так как он на twisted
потоки, процессы, хреначить реально
Roman06.01.2017
23:43:48
23:43:48
сморя какой парсинг, попробуй чтото крупное без тредов отпарсить
А что у нас уже есть многопоточный xml/html парсер?Denis07.01.2017
02:58:25
02:58:25
Человек хочет парсить. Парсинг - это чистый cpu bound.
Для того, чтобы распарсить страницу, нужно ее сначала загрузитьGoogleDenis07.01.2017
02:58:52
02:58:52
Это совсем не cpu-bound
Andrey07.01.2017
10:14:30
10:14:30
шел 2017-й год, в России продолжали парсить сайты...
Andrey07.01.2017
10:19:08
10:19:08
так может она и стоит так дешево, потому что ее лепят к ворованному контенту? )
игорь07.01.2017
10:19:49
10:19:49
Нет
от контента цены на услуги в реале не поднимутся и тогда в гугл адсенс и директе цены за клики не вырастут
не от контента зависит наш заработок
AdminERROR: S client not available
игорь07.01.2017
10:21:37
10:21:37
пока что
Andrey07.01.2017
10:24:52
10:24:52
реклама стоит дешево не из-за цен на услуги, а потому что столько готовы платить рекламодатели
потому что реклама плохо продает
а плохо продает она потому, что лепят ее куда попало
такая логика не работает?
игорь07.01.2017
10:25:38
10:25:38
А если контент будет норм, то где гарантии что люди станут вкладывать больше денег на рекламу ?
arisu07.01.2017
10:25:55
10:25:55
Ну да, проще слепить еще один говносайт
игорь07.01.2017
10:26:11
10:26:11
верно
игорь07.01.2017
10:26:30
10:26:30
хз я не делал, но понимаю их
и да они работают иначе наф время тратить на них ?
Roman07.01.2017
10:38:56
10:38:56
Denis07.01.2017
10:40:15
10:40:15
Ну как же не шло
GoogleDenis07.01.2017
10:40:15
10:40:15
http://pastebin.com/5mHYdTtp
Roman07.01.2017
11:38:29
11:38:29
Парсинг - это не выкачивание
Alex07.01.2017
11:41:13
11:41:13
шел 2017-й год, в России продолжали парсить сайты...
гхм уже каждый сайт выгружает свою базу в каком нибудь формате?arisu07.01.2017
11:43:52
11:43:52
а источник прибыли каков?
Artem07.01.2017
11:44:06
11:44:06
госзаказ!
arisu07.01.2017
11:47:55
11:47:55
И кто в здравом уме будет ссылки на мертвом сайте делать?
Alex07.01.2017
11:55:10
11:55:10
Какое сео?
оффтопить не хочется, для сео чтобы подняться, нужно много хороших беков, их и покупают, там траф пох, имеет значение другие параметрыНу так выкачивание отдельно, парсинг - отдельно
делается все вместе пачкой и парарелизируется, если речь про чтото крупное, типа выкачки вкRoman07.01.2017
11:56:36
11:56:36
делается все вместе пачкой и парарелизируется, если речь про чтото крупное, типа выкачки вк
Это не меняет постановку вопроса: у тебя по-прежнему две разные задачиAlex07.01.2017
11:57:37
11:57:37
Roman07.01.2017
12:06:17
12:06:17
Alex07.01.2017
12:07:24
12:07:24
Нет, а чем параллелить будешь? Речь про python
и я про питон, запускай кучу демонов каждому свой диапазон айдишников и пошел
Открыть в Telegram