twisted.sonnet
попробуй python3-wheel
пробовал сегодня уже, он говорит, что wheel уже установлен, мне кажется тут дело в устанавливаемых либах скорее всего
Anonymous
как вам код?import requests from bs4 import BeautifulSoup from openpyxl import Workbook x = 0 def page_l(): global x URL = 'https://www.avito.ru/leningradskaya_oblast/avtomobili?p=1' HEADERS = { 'User-Agent' : 'Mozilla/5.0 (X11; Gentoo; rv:74.0) Gecko/20100101 Firefox/74.0' } response = requests.get(URL, headers = HEADERS) soup = BeautifulSoup(response.content, 'lxml') x = int(soup.find('div' , class_ = 'pagination-root-2oCjZ').text.split('.')[-2].split('С')[0]) return x def parse(page_l): i = 0 c = 1 wb = Workbook() ws = wb.active ws['A1'] = 'Name' ws['B1'] = 'Price' ws['C1'] = 'Link' while i < 2 : i = i + 1 URL = 'https://www.avito.ru/leningradskaya_oblast/avtomobili?p=' + str(i) HEADERS = { 'User-Agent' : 'Mozilla/5.0 (X11; NetBSD i686; rv:73.0) Gecko/20100101 Firefox/73.0' } response = requests.get(URL, headers = HEADERS) soup = BeautifulSoup(response.content, 'lxml') items = soup.findAll('div' , class_ = 'item__line') comps = [] for item in items: comps.append({ 'title' : item.find('a' , class_ = 'snippet-link').text, 'price' : item.find('span' , class_ = 'snippet-price').text.split('₽')[0], 'link' : 'https://www.avito.ru' + item.find('a' , class_ = 'snippet-link').get('href') }) for comp in comps: ws['A'+ str(c)] = f"{comp['title']}" ws['B'+ str(c)] = f"{comp['price']}" ws['C'+ str(c)] = f"{comp['link']}" c = c + 1 wb.save("sample.xlsx") page_l() parse(page_l)
twisted.sonnet
как вам код?import requests from bs4 import BeautifulSoup from openpyxl import Workbook x = 0 def page_l(): global x URL = 'https://www.avito.ru/leningradskaya_oblast/avtomobili?p=1' HEADERS = { 'User-Agent' : 'Mozilla/5.0 (X11; Gentoo; rv:74.0) Gecko/20100101 Firefox/74.0' } response = requests.get(URL, headers = HEADERS) soup = BeautifulSoup(response.content, 'lxml') x = int(soup.find('div' , class_ = 'pagination-root-2oCjZ').text.split('.')[-2].split('С')[0]) return x def parse(page_l): i = 0 c = 1 wb = Workbook() ws = wb.active ws['A1'] = 'Name' ws['B1'] = 'Price' ws['C1'] = 'Link' while i < 2 : i = i + 1 URL = 'https://www.avito.ru/leningradskaya_oblast/avtomobili?p=' + str(i) HEADERS = { 'User-Agent' : 'Mozilla/5.0 (X11; NetBSD i686; rv:73.0) Gecko/20100101 Firefox/73.0' } response = requests.get(URL, headers = HEADERS) soup = BeautifulSoup(response.content, 'lxml') items = soup.findAll('div' , class_ = 'item__line') comps = [] for item in items: comps.append({ 'title' : item.find('a' , class_ = 'snippet-link').text, 'price' : item.find('span' , class_ = 'snippet-price').text.split('₽')[0], 'link' : 'https://www.avito.ru' + item.find('a' , class_ = 'snippet-link').get('href') }) for comp in comps: ws['A'+ str(c)] = f"{comp['title']}" ws['B'+ str(c)] = f"{comp['price']}" ws['C'+ str(c)] = f"{comp['link']}" c = c + 1 wb.save("sample.xlsx") page_l() parse(page_l)
пощади плз
Anonymous
пощади плз
я подумаю
twisted.sonnet
pip3 пробуй писать
это не поможет
Tishka17
как вам код?import requests from bs4 import BeautifulSoup from openpyxl import Workbook x = 0 def page_l(): global x URL = 'https://www.avito.ru/leningradskaya_oblast/avtomobili?p=1' HEADERS = { 'User-Agent' : 'Mozilla/5.0 (X11; Gentoo; rv:74.0) Gecko/20100101 Firefox/74.0' } response = requests.get(URL, headers = HEADERS) soup = BeautifulSoup(response.content, 'lxml') x = int(soup.find('div' , class_ = 'pagination-root-2oCjZ').text.split('.')[-2].split('С')[0]) return x def parse(page_l): i = 0 c = 1 wb = Workbook() ws = wb.active ws['A1'] = 'Name' ws['B1'] = 'Price' ws['C1'] = 'Link' while i < 2 : i = i + 1 URL = 'https://www.avito.ru/leningradskaya_oblast/avtomobili?p=' + str(i) HEADERS = { 'User-Agent' : 'Mozilla/5.0 (X11; NetBSD i686; rv:73.0) Gecko/20100101 Firefox/73.0' } response = requests.get(URL, headers = HEADERS) soup = BeautifulSoup(response.content, 'lxml') items = soup.findAll('div' , class_ = 'item__line') comps = [] for item in items: comps.append({ 'title' : item.find('a' , class_ = 'snippet-link').text, 'price' : item.find('span' , class_ = 'snippet-price').text.split('₽')[0], 'link' : 'https://www.avito.ru' + item.find('a' , class_ = 'snippet-link').get('href') }) for comp in comps: ws['A'+ str(c)] = f"{comp['title']}" ws['B'+ str(c)] = f"{comp['price']}" ws['C'+ str(c)] = f"{comp['link']}" c = c + 1 wb.save("sample.xlsx") page_l() parse(page_l)
вижу глобальную переменную, фу
Maks
сталкивался с подобной проблемой, попробуй снести и заново поставить
Tishka17
как вам код?import requests from bs4 import BeautifulSoup from openpyxl import Workbook x = 0 def page_l(): global x URL = 'https://www.avito.ru/leningradskaya_oblast/avtomobili?p=1' HEADERS = { 'User-Agent' : 'Mozilla/5.0 (X11; Gentoo; rv:74.0) Gecko/20100101 Firefox/74.0' } response = requests.get(URL, headers = HEADERS) soup = BeautifulSoup(response.content, 'lxml') x = int(soup.find('div' , class_ = 'pagination-root-2oCjZ').text.split('.')[-2].split('С')[0]) return x def parse(page_l): i = 0 c = 1 wb = Workbook() ws = wb.active ws['A1'] = 'Name' ws['B1'] = 'Price' ws['C1'] = 'Link' while i < 2 : i = i + 1 URL = 'https://www.avito.ru/leningradskaya_oblast/avtomobili?p=' + str(i) HEADERS = { 'User-Agent' : 'Mozilla/5.0 (X11; NetBSD i686; rv:73.0) Gecko/20100101 Firefox/73.0' } response = requests.get(URL, headers = HEADERS) soup = BeautifulSoup(response.content, 'lxml') items = soup.findAll('div' , class_ = 'item__line') comps = [] for item in items: comps.append({ 'title' : item.find('a' , class_ = 'snippet-link').text, 'price' : item.find('span' , class_ = 'snippet-price').text.split('₽')[0], 'link' : 'https://www.avito.ru' + item.find('a' , class_ = 'snippet-link').get('href') }) for comp in comps: ws['A'+ str(c)] = f"{comp['title']}" ws['B'+ str(c)] = f"{comp['price']}" ws['C'+ str(c)] = f"{comp['link']}" c = c + 1 wb.save("sample.xlsx") page_l() parse(page_l)
и какие-то проблемы с отступами
Anonymous
вижу глобальную переменную, фу
луче её вставить в функцию?
Maks
что снести? систему?
можно и её, но в идеале PyTelegramBotAPI
Tishka17
как вам код?import requests from bs4 import BeautifulSoup from openpyxl import Workbook x = 0 def page_l(): global x URL = 'https://www.avito.ru/leningradskaya_oblast/avtomobili?p=1' HEADERS = { 'User-Agent' : 'Mozilla/5.0 (X11; Gentoo; rv:74.0) Gecko/20100101 Firefox/74.0' } response = requests.get(URL, headers = HEADERS) soup = BeautifulSoup(response.content, 'lxml') x = int(soup.find('div' , class_ = 'pagination-root-2oCjZ').text.split('.')[-2].split('С')[0]) return x def parse(page_l): i = 0 c = 1 wb = Workbook() ws = wb.active ws['A1'] = 'Name' ws['B1'] = 'Price' ws['C1'] = 'Link' while i < 2 : i = i + 1 URL = 'https://www.avito.ru/leningradskaya_oblast/avtomobili?p=' + str(i) HEADERS = { 'User-Agent' : 'Mozilla/5.0 (X11; NetBSD i686; rv:73.0) Gecko/20100101 Firefox/73.0' } response = requests.get(URL, headers = HEADERS) soup = BeautifulSoup(response.content, 'lxml') items = soup.findAll('div' , class_ = 'item__line') comps = [] for item in items: comps.append({ 'title' : item.find('a' , class_ = 'snippet-link').text, 'price' : item.find('span' , class_ = 'snippet-price').text.split('₽')[0], 'link' : 'https://www.avito.ru' + item.find('a' , class_ = 'snippet-link').get('href') }) for comp in comps: ws['A'+ str(c)] = f"{comp['title']}" ws['B'+ str(c)] = f"{comp['price']}" ws['C'+ str(c)] = f"{comp['link']}" c = c + 1 wb.save("sample.xlsx") page_l() parse(page_l)
лучше код на пастбин выкладывать
Tishka17
можно и её, но в идеале PyTelegramBotAPI
он у него не ставится даже
Maks
он у него не ставится даже
Successfully installed так то
twisted.sonnet
он у него не ставится даже
ставится, и работает, но спамит ошибку, скидывал скрин инсталяции ps: https://t.me/ru_python/1211465
twisted.sonnet
Successfully installed так то
дело в том, что это окружение, так что сносил... спамит... систему тоже чистую ставил т.к. не накладно было особо
Maks
вместе с sudo можешь попробовать pip3 install прописать, тож были подобные косяки, как то решилось
Maks
но решилось вроде после сноса и установки заново
Anonymous
Я юзаю дебиан, там свои косяки но по проще
Проксимов
Ооо, эксперты вылезли
Anonymous
Ооо, эксперты вылезли
Нет я не эксперт
twisted.sonnet
Я вот ещё таким вопросом задался. Почему в убунте 20.04 в питоне 3.8(который идёт в стоке) стоит requests по дефу. Его нельзя снести кстать. PermissionError
Tishka17
щас заценим
twisted.sonnet
а ну пофиг тогда
Та собсна все мои вопли были из принципа "хочу красиво ставить пакеты"
Tishka17
root@540e4d204174:/# python3 Python 3.8.2 (default, Apr 27 2020, 15:53:34) [GCC 9.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import requests Traceback (most recent call last): File "<stdin>", line 1, in <module> ModuleNotFoundError: No module named 'requests'
Julian 🏳️‍🌈
у меня не стоит
он как зависимость к чему-то подтянулся
Tishka17
он как зависимость к чему-то подтянулся
он говорит "по дефолту"
Julian 🏳️‍🌈
он говорит "по дефолту"
ну он не ставил, значит "по дефолту" :D
twisted.sonnet
он говорит "по дефолту"
Чистую бубенту ставил сегодня и первым делом пытался снести реквестс
twisted.sonnet
20.04 desktop
Tishka17
20.04 desktop
ну тут хз, я в докере
twisted.sonnet
глобально
Ну глобально он и у меня не спамит эту ошибку, только в окружениях
Tishka17
блин, уже вышел
Tishka17
ща
Tishka17
ну ставь тогда wheel в венв
alexcher
я так понимаю, пока что в питоне не сделать нормального многопотока, даже с си апи? чтобы запускать чисто питоний код в параллельных потоках
alexcher
нагуглил, что GIL per-process, а не per-interpreter. то есть ждать, когда сделают per-interpreter, или вдруг есть что-то?
Sergei GMT-7
Привет всем, если кто в дифф. уравнениях шарит напишите мне пож в личку(сори, что вопрос не по теме)
twisted.sonnet
ну ставь тогда wheel в венв
да это можно, но только придётся при каждом pip freeze > requirements.txt держать это в башке
alexcher
и да, нужны именно потоки. не процессы
twisted.sonnet
а хотя стоп, если заинсталлить во время разработки - он будет подтягиваться в reqs
Проксимов
Проксимов
Продолжение
twisted.sonnet
а хотя стоп, если заинсталлить во время разработки - он будет подтягиваться в reqs
а нееет, нихуя по хорошему тогда разрабы пакета должны в зависимости добавить, не?
Проксимов
я
А чем «я» обосновал свое решение?
alexcher
А чем «я» обосновал свое решение?
мне надо пинать vulkan, а у него контекст per-process. ну и пинать его я собираюсь в несколько потоков, чтобы побыстрее было)
Проксимов
Вулкан казино)?
alexcher
ну почти. graphics api
Nikolay
-)
alexcher
который для графики
alexcher
что значит "нормального многопотока"?
дальше написал, чтобы запускать чисто питоний кож параллельно
Tishka17
дальше написал, чтобы запускать чисто питоний кож параллельно
он прекрасно запускает, вопрос что тебе надо
alexcher
эм, ты про UI? зачем пинать UI не из UI потока?
не, не UI. вулкан - графический api, он поддерживает многопоток (его функции можно из разных потоков пинать). а другие потоки мне под мемори менеджмент, загрузку моделей
alexcher
можно упихивать и в 1 поток, но намного лучше в несколько
alexcher
он прекрасно запускает, вопрос что тебе надо
чтобы GIL не мешал нескольким потокам параллельно работать. не попеременно, а именно параллельно
Tishka17
окей, про вулкан понял
Julian 🏳️‍🌈
GIL он только на питонячий код же, нет?
alexcher
GIL он только на питонячий код же, нет?
угу. а мне его и надо запускать параллельно)
Admin НУРЕRPC
всем приветы. кто может на писать скрипт для игры в дайс на wixiplay.io?
alexcher
то есть вполне можно было бы создать интерпретаторов через си апи на каждый поток
Руслан
Всем привет. Как можно создать некий токен, который выглядит подобный образом FKRF-TYH5-EO02-4HVD? (Символы рандомятся), дошел только до этапа, где символы не разделены дефисами