Slam!
Нет:)
Бегом знакомится!
Anonymous
Нет:)
Аббревиация ?
Mykola
Аббревиация ?
Не совсем понял что ты хотел сказать, но пробелы в знаниях есть, конечно же.
Anonymous
Аббревиатура ORM
Mykola
Аббревиатура ORM
Object relational mapping ?
Mykola
То есть сначала классы, потом бд?
Slam!
То есть сначала классы, потом бд?
А, ты и с ООП ещё не знаком?
Mykola
А, ты и с ООП ещё не знаком?
С ООП знаком, вроде как
Slam!
То есть сначала классы, потом бд?
Орм похожа на то, что тебе нужно
Mykola
Орм похожа на то, что тебе нужно
Уже читаю. Из личного опыта, какую ORM посоветуете?
Mykola
SQLAlchemy, Peewee
Slam!
Первое
Mykola
Окей, спасибо:)
Slam!
Остальное - пародии. Порой, жалкие
Tishka17
Угу. Иногда они экономят секунд 10 набора кода, но в перспективе может чего-то не хватить
Tishka17
Это очередная в которой модели должны знать как подключиться к базе?
Tishka17
Когда понадобится с двумя коннектами одновременно работать, вспомни меня. Может быть не скоро произойдёт
Tishka17
Автор с сингл респонсибилити не знаком?
Ну тут скорее нарушение причинно следственной связи, хотя single responsibility тоже
Tishka17
И глобальные переменные :))
Slam!
И глобальные переменные :))
Там вся орм одна сплошная глобальная переменная
Tishka17
Хз как оно будет работать в сложных кейсах, когда у тебя куча тредов и надо между ними модели шарить или несколько соединений гонять в одном
Tishka17
Там вся орм одна сплошная глобальная переменная
Ну не. Все таки к модели привязывается
Tishka17
Просто в алхимии вот есть деление на declarative base и session maker. Первый нужен для определения набора моделей - фактически состава базы. Второй - как конкретно лазить в базу. А дальше ты это комбинируешь как хочешь. В том числе есть механизмы работы с моделями без соединения или передачи между разными
Some
Добрый день, пытаюсь написать парсер для сайта. Хочу ограничится requests или requests-html (который умеет исполнять javascript) Но вот не могу обойти защиту. Даже когда запускаю вручную браузер, открываю странцу, на ей значение показывается: <div class="quality j-quality-rate-wrapper hide"><b></b>Процент довольных качеством: <span class="j-quality-rate">100%</span></div> Процент довольных качеством: 100% А вот когда щелкаю мышкой по этой странице и жму посмотреть исходный код, то там уже: <div class="quality j-quality-rate-wrapper hide"><b></b>Процент довольных качеством: <span class="j-quality-rate"></span></div> Процент довольных качеством: Единственное пока что помогает, это парсинг с помощью selenium. Но это очень медленная скорость и много жрет ресурсов компа. Сталкивался кто нибудь с такой проблемой?
Alexey
Добрый день, пытаюсь написать парсер для сайта. Хочу ограничится requests или requests-html (который умеет исполнять javascript) Но вот не могу обойти защиту. Даже когда запускаю вручную браузер, открываю странцу, на ей значение показывается: <div class="quality j-quality-rate-wrapper hide"><b></b>Процент довольных качеством: <span class="j-quality-rate">100%</span></div> Процент довольных качеством: 100% А вот когда щелкаю мышкой по этой странице и жму посмотреть исходный код, то там уже: <div class="quality j-quality-rate-wrapper hide"><b></b>Процент довольных качеством: <span class="j-quality-rate"></span></div> Процент довольных качеством: Единственное пока что помогает, это парсинг с помощью selenium. Но это очень медленная скорость и много жрет ресурсов компа. Сталкивался кто нибудь с такой проблемой?
Была подобная проблема, ограничился на тот момент селениумом. Также можешь попробовать такую штуку как Scrapy, вроде как она с js умеет работать
Kel0
Добрый день, пытаюсь написать парсер для сайта. Хочу ограничится requests или requests-html (который умеет исполнять javascript) Но вот не могу обойти защиту. Даже когда запускаю вручную браузер, открываю странцу, на ей значение показывается: <div class="quality j-quality-rate-wrapper hide"><b></b>Процент довольных качеством: <span class="j-quality-rate">100%</span></div> Процент довольных качеством: 100% А вот когда щелкаю мышкой по этой странице и жму посмотреть исходный код, то там уже: <div class="quality j-quality-rate-wrapper hide"><b></b>Процент довольных качеством: <span class="j-quality-rate"></span></div> Процент довольных качеством: Единственное пока что помогает, это парсинг с помощью selenium. Но это очень медленная скорость и много жрет ресурсов компа. Сталкивался кто нибудь с такой проблемой?
Почему не получается бсом это потому что requests не прогружает жс. Смотри в сторону скрапи, у него была репа в Гите которая позволяла жс рендерить
Some
Почему не получается бсом это потому что requests не прогружает жс. Смотри в сторону скрапи, у него была репа в Гите которая позволяла жс рендерить
Scrapy как понял это целый фреймворк для парсинга. Не хуже селениума он AJAX рендерит? Потому что пробовал Requests-HTML, который тоже рендерит жс, но не так хорошо, значение нужные не появлись, как например в селениуме
Wqw
Всем привет) На сколько легально использовать фото для Инстаграма для обучения нейронной сети?
Mikhail
И все будет легально
Wqw
Ты главное никому не говори)
А с точки зрения закона ?
Mikhail
А с точки зрения закона ?
Люди, выкладывают фото в общий доступ
Mikhail
Это их проблемы, не думаю что это незаконно
Wqw
Люди, выкладывают фото в общий доступ
Люди много что выкладывают в общий доступ. Может это нарушение авторских прав или не?
Dmytro
Люди много что выкладывают в общий доступ. Может это нарушение авторских прав или не?
Прочитай лицензию под которой выкладываются фотки в инстаграмм.
Dmytro
Скорее всего нельзя распространять, использовать в коммерческих, некоммерческих целях и т.д.
Misha
А с точки зрения закона ?
В целом если тебе нужно использовать изображения для обучения/исследования то это должно подпадать под Fair Use. Тут в целом про копирайт в инсте написано - https://help.instagram.com/126382350847838?helpref=page_content
Valerii
Привет, народ. Подскажите пожалуйста нормальную либу для Instagram API За полтора дня поисков мне удалось найти только https://github.com/OlegYurchik/pyInstagram , но там не пашет аутентификация, а без неё мне прока особо от этой штуки и нет
Dmytro
Могу подсказать не связываться с инстаграммом, если не хочешь страдать. У них нет публичного апи, только парсинг сайта)
Valerii
Могу подсказать не связываться с инстаграммом, если не хочешь страдать. У них нет публичного апи, только парсинг сайта)
Это я уже успел понять. Но всё-таки хотелось бы награбить оттуда фоточек для датасет
Dmytro
Долго грабить будешь🤔 Там лимиты жесткие Возьми с открытых датасетов лучше.
Valerii
Там настоящая кладезь
Dmytro
Ты уже второй хочешь ограбить Инстаграм на датасеты. Что у вас за контора?
Kel0
Это я уже успел понять. Но всё-таки хотелось бы награбить оттуда фоточек для датасет
в гите же есть уже предобученные модели или как они там называются
Dmytro
в гите же есть уже предобученные модели или как они там называются
Зачем давать советы если не знаешь всей ситуации? :)
Valerii
Модели обученные есть, но дообучится все-таки надо на своем датасете
Vadzim
Там настоящая кладезь
так напиши сам парсер. Либо вот: https://github.com/wb-08/build-a-image-dataset
Slam!
Имеет ли смысл хотеть какую-то определенную последовательность выполнения тестов или каждый тест должен быть независимым от других? Например, в первом тесте тестируется сначала первая строка тестируемой функции, а в остальных - последующие. На последнем тесте я уже уверен, что никаких неожиданностей не произойдет, т.к. все, что используется внутри тестируемой функции к последнему тесту, уже протестированно
Tishka17
Без соединения? Для тестов может подойти?
Ну квери по ним не сделаешь, а сами экземпляры создать можно
Tishka17
Но в целом, раз оно все независимо, то первого/последнего теста быть не может
Тут скорее речь о том, что каждый проверяет свою часть. Есть тесты которые проверяют базовые вещи, есть которые считают что базовые уже проверены в другом месте
Slam!
Тут скорее речь о том, что каждый проверяет свою часть. Есть тесты которые проверяют базовые вещи, есть которые считают что базовые уже проверены в другом месте
Что значит "считают что базовые проверены в другом месте"? Как такой тест, который может быть запущен первый, может надеяться на прошедшие проверки?
Tishka17
Тест сложения чисел не проверяет их создание
Tishka17
Тест функции sum не проверяет оператор +, но может юзать
Tishka17
Тест создания покупки на сайте авторизуется, но не тестирует авторизацию
Philipp
Ребят, а можно тип пользовать Optional[str, int], в смысле с несколькими значениями? Или надо через Union?
Philipp
Жаль, было бы удобно.
Alex
Union с None в перечне типов либо Optional[Union[...]]
Philipp
Union с None в перечне типов либо Optional[Union[...]]
Эммм, второй вариант же не подходит по смыслу
Philipp
первый да, так и пользую сейчас