@ru_python
Bulatbulat4825.08.2016
16:22:13
16:22:13
Основные парсинги сайтов это они
Сергей25.08.2016
16:22:47
16:22:47
текстовый файл с названием ресурса, а внутри ссыка на ресурс и ссылки для игнорирования страниц
под ресурсом ты понимаешь сайт?
Petr25.08.2016
16:22:59
16:22:59
да
GoogleСергей25.08.2016
16:25:52
16:25:52
Но проблему я не понял
/dev25.08.2016
16:28:30
16:28:30
Посоветуйте как лучше сделать. Есть скрипт для парсинга сайтов, я хочу сделать чтобы была возможность добавлять ресурсы во время работы. Есть папка resource в ней находятся текстовые документы в которых сслыки ресурса. Результат складывается в папку result/<имя_ресурса>. Есть вариант, создать отдельный поток который будет следить за изменением папки с ресурсами и добавлять в очередь для других потоков, но при этом не получается отследить текущий ресурс для его записи а папку с результатами. Или дожидаться когда все потоки закончат с текущим ресурсом и потом приступать ко второму, но при этом потоки будут простаивать
1 — без контроллера нормально не сделаешь
2 — чем Pool.imap (map 3.5) не угодил из multiprocessing/multithreading?Petr25.08.2016
16:37:03
16:37:03
У меня и так пул, у меня не получается сделать так чтобы потоки не простаивали, и при этом чтобы поток понимал из очереди с каким ресурсом он работает
Pavel25.08.2016
16:55:46
16:55:46
У меня и так пул, у меня не получается сделать так чтобы потоки не простаивали, и при этом чтобы поток понимал из очереди с каким ресурсом он работает
Не очень понятно, в каком месте вопрос. ) Что означает "отслеживать"? В качестве вброса: просто хранить в переменной почему не получается?Petr25.08.2016
16:57:03
16:57:03
будет плохо когда, 1 поток работает с одним ресурсом а второй уже к другому приступил
Если в элементах очереди хранить индитификатор ресурса: name|url на сколько это не красиво?
Pavel25.08.2016
17:44:01
17:44:01
Если в элементах очереди хранить индитификатор ресурса: name|url на сколько это не красиво?
я предпочитаю в таких случаях юзать namedtuple
from collections import namedtuple
QueueElement = namedtuple('QueueElement', ('name', 'url'))
queue.append(QueueElement(name='', url=''))
Vitali K.25.08.2016
17:57:10
17:57:10
у кого-нить есть друзья в пекине?
Artem25.08.2016
19:29:12
19:29:12
madmonday.ru25.08.2016
19:30:13
19:30:13
Как на cgi отдать файл, а потом отобразить мою html страницу?
Дима25.08.2016
19:58:50
19:58:50
Нужен кому-то Django стажёр?
Google
Romuald25.08.2016
20:37:00
20:37:00
Парни. Что такое рейт
Меня сейчас на вакансию опрашивают. Говорят что вопрос про рейт в силе. А я хуй знает
Stanislav25.08.2016
20:37:21
20:37:21
Оценка
Stanislav25.08.2016
20:37:48
20:37:48
Или рейтинг
EugeneRomuald25.08.2016
20:38:37
20:38:37
О жесть) Спасибо большое
Romuald25.08.2016
20:40:25
20:40:25
Отложил этот вопрос. Я еще так не работал
НА проектах в списке фулстек или только программинг?
Как же я далек от этих терминов
фулстек =)
madmonday.ru25.08.2016
20:45:06
20:45:06
Почему файл не отдаётся?
#!/home/e/e78690n4/.local/bin/python3
# -*- coding: UTF-8 -*-
import cgi
print("Content-Type: application/pdf\n")
print('Content-Disposition: attachment; filename="/home/e/e78690n4/mad/public_html/edu/file1.pdf"')
Romuald25.08.2016
20:45:09
20:45:09
Каким методом в 1С-Битрикс один раз загрузив изображение, получить его в трех размерах для вывода в сайдбаре сайта, в ленте новостей и на странице детальной новости?
что нафиг?
[Anonymous]25.08.2016
20:45:30
20:45:30
Это тебя спрашивают?
GoogleStanislav25.08.2016
20:46:08
20:46:08
Кикаем с питон чата, тут предатель
[Anonymous]25.08.2016
20:46:47
20:46:47
Romuald25.08.2016
20:47:13
20:47:13
Так я с битриксом и не работал)
Сайты то не нанем
В друпале есть такое дело
Кикаем с питон чата, тут предатель
Ты позже поймешь, что настоящий питоновец умеет все. И машину починить и товарища поддержать и Вордпресс перелопатить и црм на питоне написатьStanislav25.08.2016
20:50:59
20:50:59
Ааааа
Nikita25.08.2016
20:56:25
20:56:25
Шта ? Задница Одина хорошая вещь? Ты трезв ?
[Anonymous]25.08.2016
21:19:28
21:19:28
ЭТО Я КАК ДАУН С 7 КЛАССАМИ ОРАЗОВНИЯ ГОВОРЮ
Paul25.08.2016
21:42:38
21:42:38
грешно смеятся над больными людьми. А макаки есть везде. Самый макако-продуктивный язык - java. Лидирует с огромным отрывом
Google/dev25.08.2016
21:44:30
21:44:30
но всё же лучше червя-пидора, хуже его нет
Pavel25.08.2016
21:58:08
21:58:08
?
agic26.08.2016
05:37:40
05:37:40
https://habrahabr.ru/post/308554/
AdminERROR: S client not available
agic26.08.2016
05:46:36
05:46:36
ага
Марк26.08.2016
05:51:20
05:51:20
Не, пиздеж
Я — сын. А папа, к сожалению, совсем не разбирается в компьютерах…
Vadim26.08.2016
05:53:31
05:53:31
Он там в комментах написал, что его ошибки ему вычитали)
Марк26.08.2016
05:56:22
05:56:22
То что вычитали - понятно. Но в девять лет не все и без программирования такой текст напишут.
agic26.08.2016
06:00:41
06:00:41
https://wtf.jpg.wtf/700/ee/59/1472188941-ee59dac2021c1483a7931e33749205e1.png
Марк26.08.2016
06:04:49
06:04:49
Карочи, в чатике маркетолов предположили, что это форс курсов))))
Oleg26.08.2016
07:19:50
07:19:50
всем привет! Кто нибудь знает канал по Go?
Roman
Абу26.08.2016
07:20:49
07:20:49
Попоробуй найти в https://telegram.me/groupsguide
Artem26.08.2016
07:36:12
07:36:12
можно
Google
Sergey26.08.2016
07:46:20
07:46:20
тогда https://telegram.me/joinchat/Be4rsT5YtZgn9mUHL5BOiA
agic26.08.2016
09:02:39
09:02:39
наш девиз один больше говнокода
Skipper26.08.2016
09:03:19
09:03:19
Посоны, прохождение чекайо хорошая практика для нуба ?
Artem26.08.2016
09:07:34
09:07:34
ТЫ РАБОТАЕШЬ НА СЕБЯ
Vladimir26.08.2016
09:08:44
09:08:44
ПЛАТИНОВЫЙ ПРЕДПРИНИМАТЕЛЬ!
[Anonymous]26.08.2016
09:09:05
09:09:05
Нащёл его в одной конфе.
Skipper26.08.2016
09:10:31
09:10:31
Я про check.io
Открыть в Telegram