Anonymous
Щас взорвемся
Tishka17
Если тебе надо все прочитать в память, то никак. Если не надо - ну так опиши, что надо
HR
Нужно считывать по 1000 строк и отправлять их в api vk
Сергей
Нужно считывать по 1000 строк и отправлять их в api vk
Ну сохрани куда-нибудь в оперативку эту тыщу строк, отправь, сохрани следующую тыщу
HR
А как это правильно реализовать что бы не грузить весь файл в память?
Сергей
HR
Тебе выше ответили, читай по одной строке
Не совсем понимаю что такое do_smth
Alexander
Не совсем понимаю что такое do_smth
это любой метод, который ты напишешь для обработки строки сокращение от do_something
OLD
do_smth это ничего
OLD
типо ты можешь делать что то там с переменной line
OLD
это просто обозначение, типо ты можешь дальше работать с переменной как нибудь
OLD
do_smth это сокращение от do_something, а это переводится как "делать что нибудь"
HR
Разобрался, спасибо А можно как-то реализовать не построчную обработку, а сразу по несколько строк?
Anonymous
Логинюсь на сайте сессия куки гет запрос - респонс . цель получить json и я получаю. Из него айдишники отбираю , но их количество в 2 раза меньше чем если бы я в адресной строке делал гет запрос Будучи авторизованным. Если в браузере в дев тулс вручную скопировать куки и вставить в питон скрипт , то все норм я получаю нужное количество json'а . Вопрос как автоматом чтоли брать куки из браузера или что сделать ?
RUHALOV
Передать гетом ВСЕ то что передает браузер
Anonymous
Так а как питоном сделать?
Anonymous
Я session.get делаю
Anonymous
И не выходит
RUHALOV
requests.session.get(headers=хедеры, cookies=куки, data=данные)
Anonymous
Хэдеры пробовал нет
RUHALOV
Скорее всего чего-то сайту не хватает чтобы сформировать тебе респонс с полным джсоном, без кода можно только гадать
Anonymous
Скину код тогда позже
Anonymous
Я думаю стоит посмотреть в документации на апи сайта
Не через апи делаю. Его как такого нет . Я в темную
Anonymous
как отключить отключить проверку ssl сертефиката в модуле cloudscraper, если она не предустмотрена там? пробовал редактировать сами модули requests и urllib3, но всегда вылазит исключение /usr/lib/python3.8/ssl.py in verify_mode(self, value) 718 @verify_mode.setter 719 def verify_mode(self, value): --> 720 super(SSLContext, SSLContext).verify_mode.__set__(self, value) 721 722 ValueError: Cannot set verify_mode to CERT_NONE when check_hostname is enabled
Anonymous
для откладки-проксирования нужно отключить чтобы смотреть запросы
Anonymous
Код покажи с проблемой
https://repl.it/repls/MagnificentDramaticSuperuser
Vic
Есть задача: ИИ модель на Pytorch задеплоить как чатбот. Как лучше сделать, дайте ссылку на гитхаб лучших решений chat widget. Важно, чтобы в чатботе уже было готово работа с сессиями разных юзеров (чтобы чатбот на ИИ понимал контекст разговора с каждым юзером отдельно). Я нашел решения, хочу спросить мнения. Пока сделал так: задеплоил на flask рест апи, и в него из react виджета чатбота шлю запросы и получаю ответы. То есть сделать сначала: 1) деплой https://pytorch.org/tutorials/intermediate/flask_rest_api_tutorial.html 2) и юзать чат-виджет вроде популярного https://github.com/Wolox/react-chat-widget Но не охота возиться кроме питона еще и с реактом, нет опыта. В общем: нужен React чат виджет, чтобы он получал от юзера сообщение, отправлял мне на сервер в модель, модель обратно отвечала в чате юзеру.
MRY
Всем привет. Никто не подскажет чем можно поймать NonType [ERROR] AttributeError: 'NoneType' object has no attribute 'get' ??? AttributeError не ловит. ((( except AttributeError: do_something() Возникает ситуация когда приходит дикт но тело не всегда содержит нужные ключи. Думал насчет итерации по дикту с записью всех возможных ключей в лист а потом просмотра есть или нет нужный ключ, но это как то монструозно получается.
MRY
нет с нестами
Vlad🍁
нет с нестами
Это как предложение
MRY
if not None где то потерялся...
Пробовал… не та ситуация
Nikita
Пробовал… не та ситуация
Это как оО У вас строки кода ограничены?
MRY
Это как оО У вас строки кода ограничены?
Долго описывать… грубо говоря в этой ситуации не работает.
MRY
Просто было бы идеально поймать эсепшн и обработать
Nikita
Тогда вам выше посоветовали, defaultdict, если ни так ни так не получается - проблема в вас :)
Vlad🍁
defaultdict юзай
MRY
Так то я могу через колекцию возможных ключей пройти… но хотелось бы более лаконично
Vlad🍁
В чем проблема-то, серьезно. Сделал условие на ключ и все, у тебя ошибки не будет никогда
MRY
Ок гляну
MRY
Спасибо
Vlad🍁
Так то я могу через колекцию возможных ключей пройти… но хотелось бы более лаконично
Зачем проходить по коллекции ключей? Тогда у тебя сложность будет O(n) вместо О(1)
MRY
там возможный n не такой большой… на производительность не повлияет
MRY
Но я попробую как вы сказали
Nikita
там возможный n не такой большой… на производительность не повлияет
Пока приложение не разрастается, сделайте сразу правильно, так будет проще :)
MRY
спасибо
Vlad🍁
Думаю с default будет лаконичнее выглядеть и удобнее код читать другим людям
Alexander
Гайс, книжка "Грокаем алгоритмы" для питониста мастхэв или как полезное дополнение?
Alexander
Зачем она тебе
Я и спрашиваю, нужна ли
Anonymous
Я и спрашиваю, нужна ли
Там вода пиздец
Anonymous
https://repl.it/repls/MagnificentDramaticSuperuser
Логинюсь на сайте сессия куки гет запрос - респонс . цель получить json и я получаю. Из него айдишники отбираю , но их количество в 2 раза меньше чем если бы я в адресной строке делал гет запрос Будучи авторизованным. Если в браузере в дев тулс вручную скопировать куки и вставить в питон скрипт , то все норм я получаю нужное количество json'а . Вопрос как автоматом чтоли брать куки из браузера или что сделать ?
Nikita
Что-то типа, делаю гет запрос на сервис после авторизации и без, получаю разные данные, как мне авторизоваться правильно, учитывая что нет csrf токенов на странице, и подставление кукис работает
Nikita
И внезапно, в 90% правильного вопроса вы получите ответ на первой ссылке поиска Гугла :)
Буйный
Anonymous
С браузера достаю больше айдишников чем с питона
John
Смысл его вопроса в том, что тело ответа с разным количеством данных приходит в зависимости от того, как аутентификация проходит
Nikita
С браузера достаю больше айдишников чем с питона
Ну, очевидно что вы из браузера (предполагаю там работает js) получаете ещё какие то параметры (куки), соответственно будет круто их сетнуть перед запуском скрипта, я обычно в таких случаях использовал selenium и просто брал куки после авторизации (90% сайтов работает)
Anonymous
Пробовал другую прогу подобие селениума и тоже нет пока вручную не скопировал куки из вкладки Нетворк браузера
Sabir
как не выключая гуникорн добавить в него воркеров?
std::mpa 🇺🇦
как не выключая гуникорн добавить в него воркеров?
https://docs.gunicorn.org/en/stable/faq.html#how-can-i-change-the-number-of-workers-dynamically
Sabir
ооо кайф от души
Lex
народ, PyCharm частично видит Flask в линтере, что делать ?
Lex
типа я пишу db. он выдает это. Но тех же Column или типов не видит
Alex
народ, PyCharm частично видит Flask в линтере, что делать ?
во-первых не в линтере. во-вторых может и не видеть, это нормально, т.к. db строится в рантайме.
Alex
это ведь Flask-SQLAlchemy у тебя да?
Lex
Но почему тех же db.Integer не видит ?
Alex
Но почему тех же db.Integer не видит ?
потому что они создаются динамически