Dogma
Как же близко, но в то же время так же далеко
Anonymous
Какие у тебя инъекции будут когда у пользователя нет прав ни на что кроме select'a
Кривым селектом можно ушатать скуль - он в зависимости от настроек выжрет всю оперативу, а потом его кильнет ядро.
Ruslan
всем привет, подскажите как реализовать поведение js const {a, b} = {a:1, b:2} // a присвоили 1, b присвоили 2 на python d = {"a": 1, "b": 2} a = d["a"] b = d["b"] хотелось бы получить что-то похожее, но не работает [a, b] = d
Алевтина
Anonymous
Всем добрый день! Не подскажете, как разметить данные для нейросети? Данные - заголовки постов на html страницах.
Aragaer
a, b = map(d.get, ("a", "b"))
Anonymous
Сколько данных, что разметить нужно?
Пара тысяч сет сможем разметить. Задача - на html страницах (с любых сайтов), нейросетью находить заголовок поста.
Zi
Ребят, кто с ребитом работал, в частности с пикой. У меня есть такой скрипт. По логике, когда дисконект - должно переподключатся. Но на деле, реконекта не происходит. В ошибку принтит пустую строку. Помогает только перезапуск файла с скриптом. Что я мог тут упустить? while True: credentials = pika.PlainCredentials(LOGIN, PASSWORD) parameters = pika.ConnectionParameters(RABBIT_URL, 5672, '/', credentials, heartbeat=30) connection = pika.BlockingConnection(parameters) channel = connection.channel() channel.basic_consume(callback, queue=RABBIT_QUEUE, no_ack=True) channel.start_consuming() try: channel.start_consuming() except Exception as e: print(e) channel.close() connection.close() time.sleep(10)
Влад 🇺🇦
Всем привет, нужен хелп, есть pytest, на нем запускаються тесты, недавно переместил их на другую площадку и они начали падать из за проблем с кодировкой, хотя на прошлой площадке все запускаеться норм и у тестировщика на локальном компе тоже все ок, сама ошибка : UnicodeDecodeError: 'charmap' codec can't decode byte 0x8d in position 2: character maps to <undefined> errors = 'strict' input = <memory at 0x7f429cab0288> self = <encodings.cp1252.Codec object at 0x7f429cadb898> venv/lib/python3.5/encodings/cp1252.py:15: UnicodeDecodeError суть в том что на этом этапе тесты пытаються декодировать данные из базы mysql
Влад 🇺🇦
база в кодировке UTF8, но питон почему то выбирает для этого cp1252.py, как исправить?
Влад 🇺🇦
def db_server(setup): engine = create_engine("mysql+mysqldb://{}:{}@{}/{}".format(setup.db.login, setup.db.password, setup.db.host, setup.db.name), encoding='utf-8', echo=True)
Влад 🇺🇦
в тестах все ок, не хотелось бы их менять, проблема в окружении
Влад 🇺🇦
@pytest.fixture(scope='session') def db_server(setup): engine = create_engine("mysql+mysqldb://{}:{}@{}/{}".format(setup.db.login, setup.db.password, setup.db.host, setup.db.name), encoding='utf-8', echo=True) Session = sessionmaker(bind=engine) db_session = Session(autocommit=True) # return db_session try: yield db_session finally: db_session.close()
Tishka17
трейс
Влад 🇺🇦
venv/lib/python3.5/site-packages/sqlalchemy/orm/query.py:2645: in all return list(self) venv/lib/python3.5/site-packages/sqlalchemy/orm/query.py:2797: in iter return self._execute_and_instances(context) venv/lib/python3.5/site-packages/sqlalchemy/orm/query.py:2820: in _execute_and_instances result = conn.execute(querycontext.statement, self._params) venv/lib/python3.5/site-packages/sqlalchemy/engine/base.py:945: in execute return meth(self, multiparams, params) venv/lib/python3.5/site-packages/sqlalchemy/sql/elements.py:263: in _execute_on_connection return connection._execute_clauseelement(self, multiparams, params) venv/lib/python3.5/site-packages/sqlalchemy/engine/base.py:1053: in _execute_clauseelement compiled_sql, distilled_params venv/lib/python3.5/site-packages/sqlalchemy/engine/base.py:1189: in _execute_context context) venv/lib/python3.5/site-packages/sqlalchemy/engine/base.py:1396: in _handle_dbapi_exception util.reraise(*exc_info) venv/lib/python3.5/site-packages/sqlalchemy/util/compat.py:186: in reraise raise value venv/lib/python3.5/site-packages/sqlalchemy/engine/base.py:1182: in _execute_context context) venv/lib/python3.5/site-packages/sqlalchemy/engine/default.py:469: in do_execute cursor.execute(statement, parameters) venv/lib/python3.5/site-packages/MySQLdb/cursors.py:209: in execute res = self._query(query) venv/lib/python3.5/site-packages/MySQLdb/cursors.py:317: in _query self._post_get_result() venv/lib/python3.5/site-packages/MySQLdb/cursors.py:352: in _post_get_result self._rows = self._fetch_row(0) venv/lib/python3.5/site-packages/MySQLdb/cursors.py:325: in _fetch_row return self._result.fetch_row(size, self._fetch_type) _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ self = <encodings.cp1252.Codec object at 0x7f429cadb898> input = <memory at 0x7f429cab0288>, errors = 'strict' def decode(self,input,errors='strict'): > return codecs.charmap_decode(input,errors,decoding_table) E UnicodeDecodeError: 'charmap' codec can't decode byte 0x8d in position 2: character maps to <undefined> errors = 'strict' input = <memory at 0x7f429cab0288> self = <encodings.cp1252.Codec object at 0x7f429cadb898> venv/lib/python3.5/encodings/cp1252.py:15: UnicodeDecodeError ---------------------------- Captured stdout setup ----------------------------- 2019-11-27 16:40:29,768 INFO sqlalchemy.engine.base.Engine SHOW VARIABLES LIKE 'sql_mode' 2019-11-27 16:40:29 - sqlalchemy.engine.base.Engine - [INFO] - log.py: SHOW VARIABLES LIKE 'sql_mode' 2019-11-27 16:40:29,774 INFO sqlalchemy.engine.base.Engine ()
Влад 🇺🇦
это?
Tishka17
угу
Влад 🇺🇦
так, а сам мускул как-то настраивал?
да, конечно skip-external-locking init_connect='SET collation_connection = utf8_general_ci' init_connect='SET NAMES utf8' character-set-server=utf8 collation-server=utf8_general_ci skip-character-set-client-handshak
Anonymous
А искать <h*> с наименьшим номером задачу не решает?
Нет. Везде абсолютно разная верстка. Была идея. Делать скрин сайта, и искать как на картинке. Человек же понимает где заголовок. Вот тут также сделать. Но переводить язык кода в картинку выглядит как-то тупо.
Anonymous
Нет. Везде абсолютно разная верстка. Была идея. Делать скрин сайта, и искать как на картинке. Человек же понимает где заголовок. Вот тут также сделать. Но переводить язык кода в картинку выглядит как-то тупо.
Можно наверное попробовать и так разметить. Но я вот не знаю какой инструмент для такой разметки юзать. С простыми картинками в папках понятно как, а что делать с областью на картинке. Не секу.
Anonymous
Можно попробовать архитектуру для NER использовать. Правда, ей нужно будет много данных для обучения
Ок, а может есть готовые инструменты? Какие-то надстройки над tensorflow например. Берешь датасет размечаешь, потом тренируешь и юзаешь)
Артем
Нету знатоков?
зачем start_consuming вне try блока? попробуй убрать
Zi
а если сделать все таки не print(e), а logging.exception(e) ?
На проде так и есть. Тестирую пока - принтами в консоль вывожу
Nikolay
https://pastebin.com/zFKhn68s
Попробуй грязный костыль воткнуть https://pastebin.com/Q5axP1we
Tishka17
Anonymous
или куда?
Nikolay
в ./urllib3/connection.py?
Прямо в начало своего скрипта, до того момента, где импортится либа, которая падает
Tishka17
ходи просто по HTTP, а не по HTTPS
Anonymous
зачем?
чтобы смотреть запросы через митм-прокси
Tishka17
эм. это твой код, смотри в коде
Tishka17
или заверни на свой сервер по HTTP и посмотри что ходит
Tishka17
или установи в систему корневой сертификат от твоего прокси
Anonymous
эм. это твой код, смотри в коде
код не мой, код модуля cloudscrape
Denis
https онли с кривым сертификатом?
Tishka17
как это поможет?
он будет доверенным
Anonymous
он будет доверенным
как об этом узнает urllib3?
Tishka17
как об этом узнает urllib3?
а по твоему ullib3 откуда сертификаты узнает?
Anonymous
🤔
Tishka17
он как бы юзает openssl встроенный в твой питон, а тот наверняка юзает системные сертификаты
K2
Всем привет. Подскажите по работе с файлами возможнf ли запись в файл без буферизации, чтобы данные в файл попадали сразу а не после метода close()
Denis
Можно делать flush()
K2
спасибо
Aragaer
а впрочем лучше у обычного open задать правильный buffering
Aragaer
buffering is an optional integer used to set the buffering policy. Pass 0 to switch buffering off (only allowed in binary mode), 1 to select line buffering (only usable in text mode), and an integer > 1 to indicate the size in bytes of a fixed-size chunk buffer.
Aragaer
если считать, что "буферизация делается с целью оптимизации", то да, отключение буферизации может помешать этой оптимизации
Anonymous
Ну сколько там надо под оптимальный варик? писать по 4кб вроде.
Anonymous
А так он будетнулями забивать сектора.
Aragaer
на ссд печально будет
Aragaer
хотя тут еще вопрос, что именно считать за буферизацию
Anonymous
У опена буферизация в пейдж кеше
Aragaer
по-моему там разные флаги - одно дело буфер файловой системы - когда мы записали в файл, оно хранится в оперативке, все остальные процессы тоже сразу видят это же (из оперативки), а на носитель еще ничего не записано
Anonymous
У фопена в юзерспейсе