и пытаешься уложиться в отведенное время для каждого события или работы

Добрый вечер, @zagrebelin

это чат для начинающих тимлидов

И тебе, @MarkEgorov

Кикните уже

Ну добрый же вечер, @serbernar

Кикните уже

После тебя,зая

Спасибо

Кого кикать?

Ну, я тут не при чем

Двух выше, зашли недавно

Стасика еще?

Не знаю, оба зашли, подозрительные

Если что: зовите, я не сплю

Налет неудался

Всё, пиздуйте в @pyflood

Пиздуй свою бабу ебать, задрот)

ENTRYPOINT это зачем в докере?

а есть какое нить научное определение для слова парсить? я тут просто курсач пишу где у меня парсер есть

а есть какое нить научное определение для слова парсить? я тут просто курсач пишу где у меня парсер есть

scrape ?

мне подсказали сканировать, думаю в курсовой на русском языке это более правильное слово будет

Ну вот, заходите говорит в флуд

scrape ?

как в сказке про колобка, где старуха по сусекам наскребла. напарсила муки на колобка, ну

Ну вот, заходите говорит в флуд

:D

Заходи

мне подсказали сканировать, думаю в курсовой на русском языке это более правильное слово будет

почему бы не использовать это слово как заимствованное?

Заходи

Не могу

почему бы не использовать это слово как заимствованное?

одним из критериев препода было чуть ли не перевод документации, думаю в рамках педа лучше указать это как сканирование, что бы не утруждать умы педагогов до мозга костей

одним из критериев препода было чуть ли не перевод документации, думаю в рамках педа лучше указать это как сканирование, что бы не утруждать умы педагогов до мозга костей

ну тогда и дай ему перевод. переводится это слово как "разбор" или "анализ".

анализ html страницы, а что, звучит неплохо, спасибо

Parser — объектно-ориентированный скриптовый язык программирования, созданный для генерации HTML-страниц на веб-сервере с поддержкой CGI. Разработан Студией Артемия Лебедева и выпущен под лицензией, сходной с GNU GPL.

так и напиши

под звездочкой

или под [1]

одним из критериев препода было чуть ли не перевод документации, думаю в рамках педа лучше указать это как сканирование, что бы не утруждать умы педагогов до мозга костей

Синтаксический разбор же.

или под [1]

Он программу "парсер" пишет

А не яп

Парсер (англиц. parser; от parse – анализ, разбор) или синтаксический анализатор

Он программу "парсер" пишет

программа бот, внутри которого есть модуль парсер

сложно в википедию зайти?

я забыл о ее существовании, каюсь

обычно сразу на хабр иду

А вот вспомнил бы про лексер - не было бы вопросов)

Парни, привет всем! Пожалуйста, подскажите мне как лучше решить задачу... Код, конечно приведу. Просто щас что-то туплю и не могу понять, как все-таки сделать открытие всех ссылок сайта..

ERROR: S client not available

Задача: Представьте, что у Вас есть сайт, состоящий примерно из 300-400 страниц. Напишите на Python скрипт, который будет анализировать сайт и выводить перечень ссылок, находящихся на страницах сайта и ведущих на несуществующие страницы. На входе программы - адрес сайта.

from bs4 import BeautifulSoup from requests import get from sys import argv from time import sleep def get_link_list(site): html = BeautifulSoup(get(site).text, "html.parser") return [x.get('href') for x in html.find_all("a")] def main(): links_with_404_status = [] if argv[1]: site = argv[1] for link in get_link_list(site): if get(link).status_code == 404: links_with_404_status.append(link) else: ... else: print("Вы не ввели адрес сайта.") if __name__ == '__main__': main()

Задача: Представьте, что у Вас есть сайт, состоящий примерно из 300-400 страниц. Напишите на Python скрипт, который будет анализировать сайт и выводить перечень ссылок, находящихся на страницах сайта и ведущих на несуществующие страницы. На входе программы - адрес сайта.

scrapy, зачем изобретать велосипед для 400 страниц

https://doc.scrapy.org/en/latest/

хотя может и скрапи тянуть не нужно

кстати еще ошибки 5xx, 4xx, 3xx - могут быть

на requests я думаю правильно, может что подскажут более опытные ребята

Спасибо)

У тебя же там только главную страницу оно дергает, а надо ходить по ссылкам и смотреть ещё внутри

Так что тут проще и быстрее scrapy

Либо самому сделать рекурсивный обход. Начать с главной страницы сайта, вытащить все ссылки по домену сайта. Для каждой ссылки повторить рекурсивно. Каждую обойденную ссылку добавлять в сет (можно добавлять пару (url, status_code))

Ну и обработанные ссылки исключать при дальнейших переходах

Да, проверять есть ли в сете

Аминь

Да удостоверься ты о наличии данного значения в сетеее, да не поймаешь ты баги замоооорские. Амииинь

хочу, чтобы на гитхаб не заливалсь служебные файлы. в .gitignore записано: *.gitignore *.gitattributes но .gitignore на github не заливается (как и должно быть), а .gitattributes заливается. почему?

в первый раз вижу, чтобы в .gitignore прописывали сам .gitignore

хочу, чтобы на гитхаб не заливалсь служебные файлы. в .gitignore записано: *.gitignore *.gitattributes но .gitignore на github не заливается (как и должно быть), а .gitattributes заливается. почему?

Ответ в твоем вопросе

я говорю гиту — не трогай *.gitattributes

а он трогает

в первый раз вижу, чтобы в .gitignore прописывали сам .gitignore

пока я не прописал в .gitignore его самого — он заливался на гитхаб

пока я не прописал в .gitignore его самого — он заливался на гитхаб

ну и пусть, в чём беда-то?