Андрей
Metadata.NodeMetadata у тебя так py файлы названы?
maxlunar
Евгений
Tishka17
ребзи, кто может подсказать почему ошибка
MetadataKonf.py
from Metadata.NodeMetadata import NodeMetadata
class MetadataKonf(NodeMetadata):
....
Metadata.NodeMetadata.py
from Metadata.MetadataKollection import MetadataKollection
class NodeMetadata:
....
def xxx(self):
result = MetadataKollection(param)
Metadata.MetadataKollection.py
from Metadata.NodeMetadata import NodeMetadata
class MetadataKollection(NodeMetadata):
....
мол:
AttributeError: module 'Metadata.NodeMetadata' has no attribute 'NodeMetadata '
не надо никогда называть файлы в CamelCase. Только маленькие буквы и черточки
Олег
не надо никогда называть файлы в CamelCase. Только маленькие буквы и черточки
но не из за этого же ошибку выдает
Андрей
ты что запускаешь? Metadata\MetadataKollection ?
Андрей
Anonymous
допустим у тебя есть
post = Post.objects.get(pk=1)
получить имея обект список комментариев:
comments = post.comment_set.all()
чувак. это сработало. загвозда была в том, что migration не создаёт новый столбец в таблице.
и это сработало прям строчка в строчку.
Smith
Народ что использовать для получения данных по сокету?...twisted, tornado? Asyncio? Самый быстрый что? Данных куча...15-20 запросов в секунду
Anonymous
Может поможет кто? https://stackoverflow.com/questions/56295571/is-there-a-way-to-forward-already-bytes-to-another-function
Олег
😔
Anonymous
tpouuhk
Ребят, как я могу задать диапозон в int числах?
Допустим:
a = 60
if a == ОТ 40 ДО 70,
....
if i in range(40, 70+1)
elessar
tpouuhk
и статья почему это плохо
Fargo
Господа, вынужден обратиться к вам за помощью в виде совета, какие то хулиганы которые работают в авито банят IP из за моего безобидного парсинга, посоветуйте как бы избежать такой досадной ситуации? Установить задержку между запросами? или поколдовать ещё с headers ?
🤔
🤔
если оно есть
Fargo
попробовать пользоваться API?
посмотрю API но маловероятно что они бесплатно позволят парсить данные, ведь на их сайте это как услуга продаётся
Fᴏʀᴅᴇɴ
Проксимов
Artemii
И как?
🤔
номера телефонов поди
Artemii
Для начала поставь там все заголовки как у браузера
Artemii
И рандомизируй user-agent
Artemii
И еще прикрути тор, раз в несколько минут обновляй IP
🤔
не поможет
Artemii
Лучше так, конечно
Artemii
Просто sleep со случайным значением секунд в определенном пределе
Fargo
Просто sleep со случайным значением секунд в определенном пределе
буду пробовать, пока эксперементируюю боюсь окончательно забанять мой ip, может через прокси лучше делать?
Artemii
буду пробовать, пока эксперементируюю боюсь окончательно забанять мой ip, может через прокси лучше делать?
Я же написал, что через тор
Artemii
И обновляй identity
Artemii
С тором работать просто — это прокси localhost:9050
Artemii
А для управления есть порт специальный
Artemii
Под питон есть уже либа готовая, разберешься
Fargo
С тором работать просто — это прокси localhost:9050
никогда этим не пользовался пойду гуглить про тор =)
Artemii
Лол, не знать про тор в 2019
Artemii
Даже школьники знают
Je
Господа, вынужден обратиться к вам за помощью в виде совета, какие то хулиганы которые работают в авито банят IP из за моего безобидного парсинга, посоветуйте как бы избежать такой досадной ситуации? Установить задержку между запросами? или поколдовать ещё с headers ?
хулиган здесь только ты и парсить сайты в 2019, не инвестируя в техники обхода - это такое себе, пойди и купи доступ к API
Fargo
хулиган здесь только ты и парсить сайты в 2019, не инвестируя в техники обхода - это такое себе, пойди и купи доступ к API
ну не будьте так категоричны, должен же я где то практиковатся в парсинге =)
Je
Я же написал, что через тор
exit nod’ы это ограниченное множество, в конечном счете они и их забанят тоже, и это плохой совет
Anonymous
ну не будьте так категоричны, должен же я где то практиковатся в парсинге =)
блин, а потом из-за таких как Вы, я не могу ставку на фрилансе сделать)
Fargo
блин, а потом из-за таких как Вы, я не могу ставку на фрилансе сделать)
в смысле? как я вам мешаю?
Artemii
Fargo
UPD: у них все exit-ноды заблочены, походу, я сейчас чекнул
Artemii
У меня есть теперь другое предложение
Artemii
Придётся тебе использовать мобильный интернет
Fargo
Fargo
UPD: у них все exit-ноды заблочены, походу, я сейчас чекнул
Я выслушую любые варианты =)
Artemii
Суть в том, что у операторов IP каждый раз новый выдается при регистрации в сети
Je
это мамкиных хакиров чат теперь?
Artemii
Используй телефон в режиме тетеринга по USB, скриптом через adb можешь передергивать режим полёта, чтобы перерегистрироваться в сети и получить новый IP
Anonymous
в смысле? как я вам мешаю?
я хочу зарабатывать парсингом, ибо я школота и мозгов на большее не хватит, вы парсерщик и я парсерщик, хоть еще и не работаю пока, это значит, что есть конкуренция, есть конкуренция - сложнее работу найти
Artemii
Я так регулярно обхожу баны
Fargo
Anonymous
вы все тут такие умные, я ниче не шарю, даже стьдно стало)
Fargo
я хочу зарабатывать парсингом, ибо я школота и мозгов на большее не хватит, вы парсерщик и я парсерщик, хоть еще и не работаю пока, это значит, что есть конкуренция, есть конкуренция - сложнее работу найти
так конкуренция всегда и везде есть неволнуйтесь так я тоже только учусь =)
Anonymous
Fargo
она нарастает)
да пусть нарастает как хочет, программировать могут многие а хорошо кодить еденицы, быдлокодеры сами отсеятся
Anonymous
да пусть нарастает как хочет, программировать могут многие а хорошо кодить еденицы, быдлокодеры сами отсеятся
парсинг не относится к тяжелым задачам, я думаю
Artemii
Есть интересная идея — поставь себе user-agent гуглобота
Anonymous
так что , чем больше людей в этой сфере, тем сложнее в ней зарабатывать,
Anonymous
а на freelancehunt вообще заказов на 2 страницы
🍁 Jaŭhien
Artemii
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Fargo
Есть интересная идея — поставь себе user-agent гуглобота
я видел в видео по php чел просто куки в header добавил из браузера и всё заработало но я не очень понял как