понял, отдельно

как вариант - пиши в конце. Или два файла юзай. Или сначлаа вс епрочитай и потом думай

а не проще будет считать в лист а потом через коллекции. но тут вопрос - насколько большой список, влезет ли в память

список мал, около 100-150 ip адресов

можно ещё проще

listOfNums = list(set(listOfNums))

но я так, диски разгружаю

при перезагрузке скрипта вылетает из памяти же?

ну отфильтровал дубли, скинул на диск

Ребят,такой вопрос. Перестали работать модули,вообще все ...

Печалька

такой ещё вопрос по сокетам, я когда получаю данные s.recv(1000) как определить что последний полученный кусок является последним? потому как если после последнего слать ещё один запрос оно залипает в ожидании данных которых больше нет

listOfNums = list(set(listOfNums))

все, понял твою мысль) спасибо, пропробую

такой ещё вопрос по сокетам, я когда получаю данные s.recv(1000) как определить что последний полученный кусок является последним? потому как если после последнего слать ещё один запрос оно залипает в ожидании данных которых больше нет

Это надо парсить ответ и смотреть, пришел конец запроса или нет

такой ещё вопрос по сокетам, я когда получаю данные s.recv(1000) как определить что последний полученный кусок является последним? потому как если после последнего слать ещё один запрос оно залипает в ожидании данных которых больше нет

Это не вопрос по сокетам, а вопрос по протоколу HTTP

такой ещё вопрос по сокетам, я когда получаю данные s.recv(1000) как определить что последний полученный кусок является последним? потому как если после последнего слать ещё один запрос оно залипает в ожидании данных которых больше нет

Вдобавок слать запрос в тоже соединение, надо понять, оно вообще keeplive или нет, т.к. сервер мог закрыть соединение со своей стороны.

Это не вопрос по сокетам, а вопрос по протоколу HTTP

так вот как определить что это конец запроса? должны ж быть решения

Вдобавок слать запрос в тоже соединение, надо понять, оно вообще keeplive или нет, т.к. сервер мог закрыть соединение со своей стороны.

хмм попробую connection close

так вот как определить что это конец запроса? должны ж быть решения

Парсить http заголовки, потом тело. Открываем RFC по HTTP и читаем, что является признаком конца сообщения. Т.к. там может прилететь multipart, chunked и еще кучу всего интересного

В смысле у HTTP нету символа который обозначает конец сообщения.

В смысле у HTTP нету символа который обозначает конец сообщения.

выходит нет и универсального решения, потому как там может быть всё что угодно от хтмл до json

Да, будь бы SMTP, там четко прописано, что является признаком окончания сообщения

Можешь открыть исходники aiohttp и посмотреть, как это там разруливается или httplib (тут попроще, все-таки не асинхронный код). Но парсить http - то еще удовольствие

Ты хочешь написать http client свой?

выходит нет и универсального решения, потому как там может быть всё что угодно от хтмл до json

А еще может прилететь base64, бинарщина и одному богу известно, что еще...

я так парсил как то ссылки, читая заголовки. и наткнулся на один сайт с онлайн радио

долго тупил - почему нету таймаута)))

а у меня питон музыку "слушал"

И не всегда это будет сопровождаться заголовком Content-Length, а потом у где-нибудь произодёт вообще integer overflow и вообще там отрицательное число прилетит

Ты хочешь написать http client свой?

да мне нужен обычный парсер, но особенность сервера такая что надо килять соединения если ответ не вернулся по таймауту, а стандартные либы такого не позволяют, вот приходится разбираться с сокетами потому как там вроде такое можно

?

В смысле не позволяет?

https://docs.python.org/3/library/urllib.request.html#urllib.request.urlopen - вот 3 параметр timeout

https://docs.python.org/3/library/urllib.request.html#urllib.request.urlopen - вот 3 параметр timeout

так я привел пример, как ты там определишь таймаут? а прерывать надо

данные то есть на вход

В смысле не позволяет?

я сегодня уже в 9:09 описывал проблему, там есть нюанс

да мне нужен обычный парсер, но особенность сервера такая что надо килять соединения если ответ не вернулся по таймауту, а стандартные либы такого не позволяют, вот приходится разбираться с сокетами потому как там вроде такое можно

Хочешь более тонкой настройки, возьми pycurl, там можно каждый отдельный timeout задать, на resolve, на connect и т.д.

Хочешь более тонкой настройки, возьми pycurl, там можно каждый отдельный timeout задать, на resolve, на connect и т.д.

да я не программист, это у меня хобби такое, поэтому ищу решения попроще =)

вот, то есть можно принудительно даже при потоке данных рвать коннект? спасибо

Кинь ссылку на сообщение твоё с проблемой

вот, то есть можно принудительно даже при потоке данных рвать коннект? спасибо

Можно рвать коннект вообще в любое время.

Кинь ссылку на сообщение твоё с проблемой

https://t.me/ru_python/883894

Кинь ссылку на сообщение твоё с проблемой

https://t.me/ru_python/883907

Можно рвать коннект вообще в любое время.

ты его рвёшь в питоне, но по факту соединение продолжает висеть пока не дождётся ответа хотя скрипт уже давно может быть завершился

https://t.me/ru_python/883894

requests.session().close() ?

а есть какие-нибудь крупные тг каналы, где фронтендщики сидят?

requests.session().close() ?

неа, я всё уже перепробовал, и urllib2, пишут что только через сокеты реализуемо

Что? Как оно может висеть, если процесс умер и ОС гарантирует, что закроет все файлы.

Оно на сервере весит?

Это значит, что сервер не понимает, что с ним порвали соединения, у ОС есть настройка, что в случае определенно времени нету активности на сокете - она его закрывает

Что? Как оно может висеть, если процесс умер и ОС гарантирует, что закроет все файлы.

да, вот такая штука, висит и ждёт в снифере, и когда их скапливается прилично сервер начинает меня футболить, поэтому надо делать socket.shutdown

s.config['keep_alive'] = False - делай так

Один запрос - одно соединение

Это значит, что сервер не понимает, что с ним порвали соединения, у ОС есть настройка, что в случае определенно времени нету активности на сокете - она его закрывает

такая настройка может и есть, оно может и закрывает, но у меня сотни запросов в потоках, и на каждый секунд 5 не более надо

s.config['keep_alive'] = False - делай так

делал, не закрывает

?

Так, а что за сервре?

s.config['keep_alive'] = False - делай так

точнее так не пашет, там s.keep_alive = False вроде уже

Точно проблема не клиенте... Он может быть за каким-нибудь nginx спрятан?

Точно проблема не клиенте... Он может быть за каким-нибудь nginx спрятан?

не думаю, я давно замечал такую кухню у requests

Так а urllib?

Точно проблема не клиенте... Он может быть за каким-нибудь nginx спрятан?

https://stackoverflow.com/questions/5442291/close-urllib2-connection вот тут тип wjd пишет про это

Так, давай так, netstat с requests что говорит?

Он показывает эти соединения?

Или давай в личку

Или давай в личку

давай

Ребят вопрос по регуляркам. Я могу без lookahead запретить точки в конце, но разрешить в середине строки? Типа блабла.блабла катит, а блбабла... - нет.

Мне не для матча, а для поиска

наверное, можно что-то придумать

Ребят вопрос по регуляркам. Я могу без lookahead запретить точки в конце, но разрешить в середине строки? Типа блабла.блабла катит, а блбабла... - нет.

[^\.]+$

regex101.com не дает результата такой регуляркой

проверял на "sdfg.fsdgdsfgdsgdfs.." - Your regular expression does not match the subject string.

r"(?i)[a-z\.]+[^\.]$"

Ребят вопрос по регуляркам. Я могу без lookahead запретить точки в конце, но разрешить в середине строки? Типа блабла.блабла катит, а блбабла... - нет.

.*[^\.]$

Так мне для поиска подстроки

Под концом имел ввиду конец подстроки, а не оригинальной

Ну можно модифицировать оригинальную регулярку, чтобы в конце была не точка

А что у тебя есть?

Хотя вроде да, можно просто .+[^.]

Чёт туплю

Народ, подскажите с чего начать изучать питон если человек слабо знаком с миром программирования

Народ, подскажите с чего начать изучать питон если человек слабо знаком с миром программирования

Со знакомства с миром программирования :3

Попробуй stepik.org

Со знакомства с миром программирования :3

Ок. Тогда что посоветуешь?

Завтра ищешь в интернете книжку Dive into python. Похуй если ничего не поймешь. Затем идешь на python.org и изучаешь стандартную библиотеку от корки до корки. Потом зубришь, именно, сука, вызубриваешь конвенцию по написанию питоньего кода - PEP8, чтобы от зубов отскакивало. Когда напишешь свою первую имиджборду, по пути изучив верстку на html+css, скачиваешь и изучаешь любой питоний асинхронный вебсервер, рекомендую Tornado или Gevent. Как переделаешь имиджборду, чтобы выдавала по крайней мере 5 тысяч запросов в секунду, можешь идти дальше - тебя ждет увлекательный мир хайлоада. Apache Hadoop, сверхбыстрые асинхронные key-value хранилища, MapReduce. Отсос хиккующих выблядков / просто неудачников типа рейфага или сисярп/джава-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.

Попробуй stepik.org

Гляну что там есть, ок, может быть что-то полезное по питону будет.