Про прокси я молчу вообще.

А это на чём парсер?

На python

Я обычно беру requests и beautifulsoup

BS дерьмо

Это grab.spider + xpath запросы)

Вот я и спрашиваю

есть еще scrapy но мне не нравится

Да, это интереснее

есть еще scrapy но мне не нравится

есть еще pyspider, grab фигня

есть еще pyspider, grab фигня

why?

Task priority, retry, periodical, recrawl by age, etc...

хм, интересно

следующий проект попробую на нём запилить

Кстати есть тут ещё кто-то, кто парсеры пишет? Сколько за парсинг типового инет-магазина на 10-50к товаров берёте? С учетом грабинга картинок.

баксов 400

Кстати есть тут ещё кто-то, кто парсеры пишет? Сколько за парсинг типового инет-магазина на 10-50к товаров берёте? С учетом грабинга картинок.

я пишу

баксов 400

хм... какой-то же я индус; помню челу ~550k ~> csv делал за 550 (canada); щас это постоянный клиент; последнее что делал это 100k за сотку. ну капец я лошанулся

демпинг плохо; всё, буду спрашивать теперь с них

кек

ну я тут тоже 200 баксов возьму за этот сайт. клиент из ру, соответственно платежеспособность не оче.

работы на день.

точнее часов 5-6

400?

Сука, я год назад за 120 писал

Сука, я год назад за 120 писал

+

жиза

Ебать я лалка

есть еще pyspider, grab фигня

реальные проекты делал на нём? на чем там сетевой стек реализован?

лень щас в код лезть

нет, но хочу попробовать, пока сам не смотрел

просто на грабе я 100+ проектов написал и там есть определенные проблемы) например то что внутри multicurl который не умеет нормально работать с socks5 прокси

только http

приходилось велосипедить

есть json конфиг простой, там есть объект по настройке mysql коннета (нейм дб, хост, юзверь, пароль). как-то можно из sql взять эти данные и по ним создать юзера с нужными credentials ? че-т туплю похоже

ща кто-то конфигом эмакса поделится

просто на грабе я 100+ проектов написал и там есть определенные проблемы) например то что внутри multicurl который не умеет нормально работать с socks5 прокси

там еще и архитектура такая себе, scrapy адекватней

вопрос привычки и нежелания изучать новое наверное ?

ща кто-то конфигом эмакса поделится

vim

ЪI

vim

что-т я не проснулся еще походу

а кто-то и не ложился)

Я не ложился

Я тоже

вопрос привычки и нежелания изучать новое наверное ?

Зря зря

Всё, дописал парсер)

А у меня слетел дампер

На 6800 файле, сук

Всём надобранич

Переписываю снова, споки

Зато в приватбанке(даже в апи) светят что у них покупают-продают биткоины

Приват только курс показывает, но не продает / покупает.

Ребят помогите использую библиотеку tornadoredis, версия python 3.4. Пытаюсь реализовать listen/subscribe . Как пишут в туторах(вероятно устаревших) и, что удивительно в доках, что-то типа self.client.subscribe(self.channels) self.client.listen(fanc) после публикации сообщения, по задумке должна быть вызвана функция фанк, однако этого не происходит, кто сталкивался с такой проблемой подскажите, что делать

/time@mostproxy_bot

Посоны

помогите плз

есть 4 функции. надо запустить их в скрипте параллельно

общих данных у них нет

просто надо пустить в 4 одновременных треда

есть у кого кусок кода для примера?

import threading t = threading.Thread(target=func) t.start() t.join()

Не?

t1 = threading.Thread(target=myfun, args=("1")) t2 = threading.Thread(target=myfun, args=("2")) t1.start() t2.start() t1.join() t2.join()

t1.join() это что?

Андреи тащят

Ожидание пока завершит выполнение

ERROR: S client not available

t1.join() это что?

запуск треда

start это запуск

в этом itt треде я...

Разве не так?

я всегда воспринимал start как инициализацию и join как запуск

Да не

если убрать join() результата не будет

join(timeout=None) Wait until the thread terminates. This blocks the calling thread until the thread whose join() method is called terminates – either normally or through an unhandled exception –, or until the optional timeout occurs.

Потому что завершится программа и треды умрут

Но они попытаются начать работать после старт

Да, по сути это ожидание результата :)

чот вроде написал, но судя по логу оно стартует одно за другим как ни странно

А что странного?

чот вроде написал, но судя по логу оно стартует одно за другим как ни странно

так они стартанут по очереди, но работать будут паралельно)

а

да и вообще треды в пэтоне бесполезно как все знают

Если много io то норм

У multiprocessing интерфейс предельно похож на этот

У multiprocessing интерфейс предельно похож на этот

только оно наверное ресурсов больше жрет

Ну да, но будет истинно параллельно

Не люблю multiprocessing

В смысле не реализацию а вообще идею

да и вообще треды в пэтоне бесполезно как все знают

если ты про GIL то уже люди знают как можно обойти GIL :D

Что с ним не так?

Ну да, но будет истинно параллельно

ну и данные прокидывать там по-сложнее: сокеты-пайпы и тд

Ну усложняет взаимодействие между тредами

Да и зачем, система дала тебе нормальные треды

Да, gil..

Ну на самом деле для простого пользователя достаточно просто заюзать средства которые там даны

Надо из задачи исходить, а так это конечно ни о чём разговоры