Почти что. try: conn = http.client.HTTPConnection("vk.com") conn.request("HEAD", "/") r1 = conn.getresponse() print (r1.status, r1.reason) except http.client.NotConnected as ex: print('сдохло') print(ex)

выдает ошибку

вот код import http.client conn = http.client.HTTPConnection("rutor.org") conn.request("HEAD", "/") r1 = conn.getresponse() print (r1.status, r1.reason,) try: conn = http.client.HTTPConnection("rutor.org") conn.request("HEAD", "/") r1 = conn.getresponse() print (r1.status, r1.reason) except http.client.NotConnected as ex: print('сдохло') print(ex)

Ошибка: Traceback (most recent call last): File "C:/Users/Admin/PycharmProjects/testpython/test.py", line 3, in <module> conn.request("HEAD", "/") File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 1083, in request self._send_request(method, url, body, headers) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 1128, in _send_request self.endheaders(body) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 1079, in endheaders self._send_output(message_body) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 911, in _send_output self.send(msg) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 854, in send self.connect() File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 826, in connect (self.host,self.port), self.timeout, self.source_address) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\socket.py", line 693, in create_connection for res in getaddrinfo(host, port, 0, SOCK_STREAM): File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\socket.py", line 732, in getaddrinfo for res in _socket.getaddrinfo(host, port, family, type, proto, flags): socket.gaierror: [Errno 11001] getaddrinfo failed

строки со второй по пятую лишние, очевидно.

Может это нужно прикрутить http.client.HTTPException

нужно код, котоырй может упасть, завернуть в try\catch. у тебя помирает в третей строке.

вот код import http.client conn = http.client.HTTPConnection("rutor.org") conn.request("HEAD", "/") r1 = conn.getresponse() print (r1.status, r1.reason,) try: conn = http.client.HTTPConnection("rutor.org") conn.request("HEAD", "/") r1 = conn.getresponse() print (r1.status, r1.reason) except http.client.NotConnected as ex: print('сдохло') print(ex)

ну ты завернул код в try/except, а такой же код зачем оставил выше? conn = http.client.HTTPConnection("rutor.org") conn.request("HEAD", "/") r1 = conn.getresponse() print (r1.status, r1.reason,)

то есть try/except.

всем привет

ну ты завернул код в try/except, а такой же код зачем оставил выше? conn = http.client.HTTPConnection("rutor.org") conn.request("HEAD", "/") r1 = conn.getresponse() print (r1.status, r1.reason,)

то бишь так должно быть? import http.client try: conn = http.client.HTTPConnection("rutor.org") conn.request("HEAD", "/") r1 = conn.getresponse() print (r1.status, r1.reason) except http.client.NotConnected as ex: print('сдохло') print(ex)

то бишь так должно быть? import http.client try: conn = http.client.HTTPConnection("rutor.org") conn.request("HEAD", "/") r1 = conn.getresponse() print (r1.status, r1.reason) except http.client.NotConnected as ex: print('сдохло') print(ex)

да

только у тебя будет отлавливаться ровно одно исключение, есть смысл заменить на http.client.HTTPException в except

Traceback (most recent call last): File "C:/Users/Admin/PycharmProjects/testpython/test.py", line 6, in <module> conn.request("HEAD", "/") File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 1083, in request self._send_request(method, url, body, headers) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 1128, in _send_request self.endheaders(body) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 1079, in endheaders self._send_output(message_body) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 911, in _send_output self.send(msg) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 854, in send self.connect() File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 826, in connect (self.host,self.port), self.timeout, self.source_address) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\socket.py", line 693, in create_connection for res in getaddrinfo(host, port, 0, SOCK_STREAM): File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\socket.py", line 732, in getaddrinfo for res in _socket.getaddrinfo(host, port, family, type, proto, flags): socket.gaierror: [Errno 11001] getaddrinfo failed

Ошибку выдает

добавь http:// к урлу

добавь http:// к урлу

тогда такая ошибка) Traceback (most recent call last): File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 775, in _get_hostport port = int(host[i+1?) ValueError: invalid literal for int() with base 10: '//rutor.org' During handling of the above exception, another exception occurred: Traceback (most recent call last): File "C:/Users/Admin/PycharmProjects/testpython/test.py", line 5, in <module> conn = http.client.HTTPConnection("http://rutor.org") File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 739, in __init__ (self.host, self.port) = self._get_hostport(host, port) File "C:\Users\Admin\AppData\Local\Programs\Python\Python35-32\lib\http\client.py", line 780, in _get_hostport raise InvalidURL("nonnumeric port: '%s'" % host[i+1?) http.client.InvalidURL: nonnumeric port: '//rutor.org'

conn = http.client.HTTPConnection(host="http://rutor.org", port=80)

попробуй так

только на одной строке все

rutor.org и не будет резолвится

НО если поменять Notconnection на InvalidURL то работает: сдохло nonnumeric port: '//rutor.org' Process finished with exit code 0

rutor.org и не будет резолвится

действительно, у меня не работает

поставь вместо rutor нормальны домен, яндекс там или ещё что.

поставь вместо rutor нормальны домен, яндекс там или ещё что.

а что у нас не отвечает?)

и добавь ещё один except с socket- ошибками, посмотри в документации, есть ли там иерархия.

а что у нас не отвечает?)

\задача проверит домены на недоступность?

\задача проверит домены на недоступность?

да

тогда ещё нужно обработать socket.gaierror и socket.timeout.

или перейти на requests, там всё проще с ошибками.

или перейти на requests, там всё проще с ошибками.

Как это сделать?

pip install requests import requests requests.head('http://rutor.org')

подробности - google "requests python"

pip install requests import requests requests.head('http://rutor.org')

а куда именно requests.head('http://rutor.org') это пихать?

вместо всей твоей возни с conn и getresponse,

вместо всей твоей возни с conn и getresponse,

Понял, спасибо

ребят, нужен ваш совет, сейчас пилю небольшой проектик, паршу новости. так сложилось, что мне во время парсинга нужно смотреть не парсил ли я эту новость раньше, айдишники новостей есть, решил смотреть в базу, допустим последние 20 айдишников. Так как парсеров много и они работают постоянно, то дергать базу считаю сильно затратно. в проекте уже используется редис в качестве паб\саб, думаю заюзать его как кеш для текущей задачи. при старте апликейшена загружать последние новости в редис, а во время парсинга уже работать с ним. и встал у меня вопрос, какую структуру в кеше сделать. пока что первое что пришло в голову это что-то типа news_source:[news_id1, news_id2...]. Но так как редис хранит байты, то прийдется этот лист постоянно пересоздавать из строки, например через ast.literal_eval(value.decode()). Возможно есть какието другие идеи?

а зачем только 20, а не все просмотренные?

может, класть в редис что-то типа 'AAA_BBB': 'yes', где ААА - это id парсера, а BBB - id новости?

а зачем только 20, а не все просмотренные?

в целях экономии памяти)

за день парсится где-то 10к новостей

1 Million small Keys -> String Value pairs use ~ 100MB of memory

на 64 битах такая арифметика. на 32 будет меньше.

хммм, тогда гуд, при текущей динамике это 100 мб оперативки за 3 месяца, тем более что можно легко провести мейнтенс ночью

а ещё можно хранить дату парсинга и иногда удалять старые записи.

нужно будет потестить еще гет на миллионе записай

хотя не думаю что у редиса с этим проблемы (=

о, что я нашёл. http://redis.io/commands/expire

оооо, вообще тогда сказка)

спасибо за помощь)

Привет, есть кто живой? Был помню бот в телеграме, который делил группы на комнаты, может кто помнит его название?

Добречко утречко

добрый вечер

добрый день

добрый вечер

Начинаем ежедневную перепись часовых поясов?

?

Начинаем ежедневную перепись часовых поясов?

а?

а?

Славная традиция есть, примерно в это время выяснять кто просыпается, кто обедает а у кого рабочий день к концу подходит.

аа :)

ну типа того да

ребят, а девушки есть в конфе?

поздравлять будем :D?

ребят, а девушки есть в конфе?

Была недавно студентка из Питера и давненько из Киева была ещё. Больше не помню.

Ребят ни кто трафик без рута на андроиде не ловил?

без рута никак, AFAIk

Ребят ни кто трафик без рута на андроиде не ловил?

для трафа рут и не нужен

нужен же

неа

ERROR: S client not available

вы про перехват трафика с вайфай?

вроде да

о, Хаос ты же есть в чате IPS

а как ты еще хочешь ?

че за IPS ?

чат про мониторы ?

IPS\do::(chat) что-то такое я оттуда ливнул в приступе депресняка пусть вернуь

я хз че за чат это

SMTech\Admin не помню точно название

не был в таком

там еще Алекс со своим лисоботом

был ты там вроже

SMTech\Admin не помню точно название

в чате с таким названием не был, у Алекса спроси

я ника его не помню ?

я ника его не помню ?

@weonn ?

ребят, а девушки есть в конфе?

@elena_afanasyeva @rabbitkate @axesympathy @Alyanka @tatianko @ela4ka и может быть еще @yui_meow

@elena_afanasyeva @rabbitkate @axesympathy @Alyanka @tatianko @ela4ka и может быть еще @yui_meow

Фига ?

@elena_afanasyeva @rabbitkate @axesympathy @Alyanka @tatianko @ela4ka и может быть еще @yui_meow

Ты их как будто как они заходят себе в отдельное место помечаешь

Всех присутствующих девушек с наступающим праздником!?

Ну чот ты рано

Крепитесь мужики

Ну чот ты рано

ну может у него в телеграме тоже выходной будет

ага, он по праздникам не работае

заходишь в телеграм, а тот тебе, вы что не видите, у нас обед :)

ну может у него в телеграме тоже выходной будет

Ненуачо ?

@elena_afanasyeva @rabbitkate @axesympathy @Alyanka @tatianko @ela4ka и может быть еще @yui_meow

А?

Причем тут вайфай

Мне надо больше

И 3G

И wifi

ты