recvfrom на сокете SOCK_DGRAM читает ровно один пакет транспортного уровня

фигасе, не знал

http://stackoverflow.com/questions/675812/successive-calls-to-recvfrom-loses-data

прям мой случай спасибо ?

да я сам для себя все это только сейчас открыл 8)

?

If the message is too long to pass atomically through the underlying protocol, the error EMSGSIZE is returned, and the message is not transmitted.

это кстати симметричное про отправку

отправлять тоже можно только одним куском или вручную дели на части

поэтому да, один к одному sendto-recvfrom

отправлять тоже можно только одним куском или вручную дели на части

я вручную буду делить

recvfrom на сокете SOCK_DGRAM читает ровно один пакет транспортного уровня

логично кстати ибо он дает еще и адресс отправителя

что-то не могу догнать как несколько сделать

нид хелп

http://www.regexprn.com/2010/05/killing-multithreaded-python-programs.html

Если воркеры не уходят в бесконечный луп, можно ждать завершения потока каждого воркера: def get_pages(self, urls): q = Queue.Queue() for url in urls: q.put(url) wait_for_threads = [] for i in xrange(self.thread_count): t = threading.Thread(target=self.parsing, args=(q,)) t.start() wait_for_threads.append(t) for thread in wait_for_threads: thread.join() q.join() return self.results

хитро, спасибо - попробую)

В таком случае скрипт вообще не завершается, а потоки не делают то, что мне нужно

считается ли плохим тоном использовать t.daemon = True?

Всем привет! Делаю одно сетевое приложение, все на UDP Протокол такой: хэдер 50 байт потом данные Когда писал через TCP читад хэдер, оттуда узнавал сколько байт надо еще считать Сейчас при втором recvfrom() программа блочиться Как быть?

Думать головой?

... кстати полезно знать, потому что мне после праздников предстоит плотно заниматься UDP

Тогда recvmmsg тебе в помощь

recvfrom вроде не пакеты читает а данные что пришли и я имел ввиду свой пакет который поверх UDP

Он тебе payload пакета вернет. Вместе с твоим заголовком. Но надо помнить про mtu, фрагменацию, потери и реордеринг

sys.exit?

не работает

Думать головой?

Сильно умный?

Мы уже разобрались выше

В таком случае скрипт вообще не завершается, а потоки не делают то, что мне нужно

попробуй убрать q.join(), на нем блочится и не выходит

Сильно умный?

Сильно. Стивенса читали?

@TrickOrTreat убрал, проблема осталась

Сильно. Стивенса читали?

Не читал, поэтому и пришел за помощью в чат

А ты task_done в воркере зовешь?

юзаю

Не читал, поэтому и пришел за помощью в чат

Прочитай. Сильно полезнее будет чем спрашивать тут. Еще советую "эффективное программирование tcp/ip"

Прочитай. Сильно полезнее будет чем спрашивать тут. Еще советую "эффективное программирование tcp/ip"

?

def worker(queue): ____while True: ________url = queue.get() ________some_code ________queue.task_done() как-то так у меня

def worker(queue): ____while True: ________url = queue.get() ________some_code ________queue.task_done() как-то так у меня

Из бесконечного цикла выходишь по завершению задачи?

@TrickOrTreat нет, не выхожу...

http://www.python-camelot.com/ кто-нибудь юзал?

@TrickOrTreat нет, не выхожу...

ну вот, все логично, поэтому воркеры и не завершаются)) нужно брякаться из цикла когда закончил работу

уже сделал, спасибо, все работает

немного офигел, когда сообщение твое прочел про бесконечный цикл))

def worker(queue): ____while True: ________url = queue.get() ________some_code ________queue.task_done() как-то так у меня

Либо глобальная переменная-флаг, либо спец-таск по получению которого воркер завершается

Остановился на варианте, что все треды кинуть в лист, а потом их все .join() Спасибо за помощь) До этого с флагом делал, но не понимал как сделать для нескольких тредов

Народ, я опять с потоками) К примеру, у меня есть 1000 url, которые нужно обработать 5ю потоками. Как это сделать? Если я делаю 5 потоков - обработаются 5 ссылок, 10 - десять ссылок. Не могу допетрить как заставить потоки снова и снова обрабатывать весь список урлов.

self.parsing в студию

Народ, я опять с потоками) К примеру, у меня есть 1000 url, которые нужно обработать 5ю потоками. Как это сделать? Если я делаю 5 потоков - обработаются 5 ссылок, 10 - десять ссылок. Не могу допетрить как заставить потоки снова и снова обрабатывать весь список урлов.

А почему бы просто каждому потоку не отдать сразу весь банч урлов? Да и вообще, есть же scrapy )

def parsing(queue): ____while True: ________url = queue.get() ________some_code ________queue.task_done() ________break

break убери

Ты после первого урла ливаешь

нужно сделать именно с потоками и именно с таким количеством потоков, которое юзер задаст

Народ, я опять с потоками) К примеру, у меня есть 1000 url, которые нужно обработать 5ю потоками. Как это сделать? Если я делаю 5 потоков - обработаются 5 ссылок, 10 - десять ссылок. Не могу допетрить как заставить потоки снова и снова обрабатывать весь список урлов.

Создаешь 16 воркеров и кормишь их задачами

Чо такое task_done?

нужно сделать именно с потоками и именно с таким количеством потоков, которое юзер задаст

дз в универе? ;)

break убери

проходили, если убрать - ничего не будет делаться

Чо такое task_done?

Это метод у Queue

@schetinnikov ну, типо того :D

Это метод у Queue

Зачем он тут нужен?

task_done нужен для очереди

ну чтобы показать, что один урл отработан

Я без него делал и все нормально было

Судя по докам, он тут не нужен

И break не нужен

окей, без него тоже работает) но вопрос несколько в другом) как заставить N потоков обработать >N ссылок

Надо только выход в конце сделать

ERROR: S client not available

Например, кинут в очередь 5 None

брейк нужен без него ни один url не отрабатывается

Зачем он тут нужен?

http://stackoverflow.com/questions/1593299/python-queue-get-task-done-question

брейк нужен без него ни один url не отрабатывается

Не верю

могу закомментить и раскомментить строчку и привести скрины

я днем уже задавал этот вопрос

окей, без него тоже работает) но вопрос несколько в другом) как заставить N потоков обработать >N ссылок

Сколько лет ты пишешь на python?

только что проверил

http://stackoverflow.com/questions/1593299/python-queue-get-task-done-question

В коде нет queue.join

@pragus это так важно?)

могу закомментить и раскомментить строчку и привести скрины

Весь код куда-то выложи

def parsing(queue): ____while True: ________url = queue.get() ________some_code ________queue.task_done() ________break

def parsing(queue): while True: url = queue.get() some_code queue.task_done() break Форматирование тут освой и не мучайся

http://pastebin.com/5mHYdTtp

@MarkEgorov учту, спасибо

20 и 21 удали

http://pastebin.com/5mHYdTtp

Неплохо бы наследоваться от object

И делай print при каждом гете

И полечить импорты

делаю, там нормально все

что с имортами не так?

Неплохо бы наследоваться от object

Если третий, смысла нет

http://pastebin.com/5mHYdTtp

break убери

20 и 21 удали

убрал, ничего не происходит, скрипт не завершает свою работу

импорт с try-except делал чтобы на 3й ветке тоже работал object не вставлял по этой причине

Наверно потому что ему надо дохрена урлов получить

ну окей, но хотя бы один обработаться да должен

разве нет?

Откуда ты знаешь, что он не обработался?

У тебя ничего не происходит в парсере

Да, просто делать get - моветон и опасно

Я бы завел методы start/stop, а в init завел self.running