Tishka17
ну хз тогда
Vasiliy (Alexis)
ещё такой момент - если запускаю именно этот файл, то всё работает, а если вызываю из другого - нет
Tishka17
эээ
Vasiliy (Alexis)
сам в шоке
Danil
как из другого файла вызываешь? тоже мультипроцессингом?
Vasiliy (Alexis)
нет, просто вызов функции
Danil
ну как вариант на коннекте к бд зависает просто
Vasiliy (Alexis)
А можно это как-то проверить?
Danil
логирование добавь и узнай что там происходит в функциях
Vasiliy (Alexis)
что там в функции происходит?
вот функция def store(unit): list = { тут собираю данные} try: existing = session.query(Unit).filter(Unit.id == unit['id_lokalId']).one() if existing.registration_from < dateutil.parser.parse(unit['registreringFra'], ignoretz=True): session.bulk_update_mappings(existing, list) except NoResultFound: model = Unit(**list) session.add(model) session.commit()
Tishka17
хмхм
Tishka17
ну если коннект тут же открываешь, то хз.
Tishka17
остается только сбор данных, это вроде ок
Vasiliy (Alexis)
остается только сбор данных, это вроде ок
но тогда бы падало с ошибкой, разве нет?
Tishka17
а хз
Tishka17
если там какой-то общий ресурс юзается, может все что угодно быть
Vasiliy (Alexis)
нет, там чисто разбирается приходящий json
Tishka17
может тупо конкурентные апдейты одних и тех же данных?
Vasiliy (Alexis)
тут session.bulk_update_mappings(existing, list) ?
Tishka17
угу
Vasiliy (Alexis)
вариант интересный, но не объясняет, почему при прямом запуске файла всё работает....
Tishka17
а вот про прямой запуск и не прямой непонятно
Vasiliy (Alexis)
прямой - просто запускаю файл не прямой - подключаю в другом файле и вызываю функцию
Noblesse
Ребят как в aiogram прописать автоматическое удаление пользователя из базы данных при блокировке бота Бот пытается отправить сообщение пользователю, у которого остается активная подписка, но при этом бот заблокирован, из-за этого выпадает ошибка: aiogram.utils.exceptions.BotBlocked: Forbidden: bot was blocked by the user Как исправить?
Андрей
1 btc
Anonymous
1 btc
Отказываю
Anonymous
Где асинк..
Vasiliy (Alexis)
откуда ты session берешь?
db_string = DB_CONNECTION + '://' + DB_USERNAME + ':' + \ DB_PASSWORD + '@' + DB_HOST + ':' + DB_PORT + '/' + DB_DATABASE db = create_engine(db_string) base = declarative_base() Session = sessionmaker(db) session = Session() в models.py потом from models import *
Rin
подскажите как побороть? Использую selenium, если использовать options.add_argument('--headless') то вылетает это предупреждение, но скрипт продолжает работать.
Alex
db_string = DB_CONNECTION + '://' + DB_USERNAME + ':' + \ DB_PASSWORD + '@' + DB_HOST + ':' + DB_PORT + '/' + DB_DATABASE db = create_engine(db_string) base = declarative_base() Session = sessionmaker(db) session = Session() в models.py потом from models import *
ты можешь нормально код показать, тот участок где ты создаешь engine и сессию и тот участок где ты запускаешь этот код в пуле процессов?
Alex
давай я выскажу предположение, ты открываешь соединение в родительком процессе, которое наследуют дочерние процессы при fork() и потом твои дочерние процессы пытаются работать с одним и тем же соединением к базе.
Alex
в смысле не обрывок кода
Vasiliy (Alexis)
сейчас сделаю гист
Vasiliy (Alexis)
в смысле не обрывок кода
https://gist.github.com/vperminov/74a74309e07931aec713aee81fbb64e1
Андрей
https://gist.github.com/vperminov/74a74309e07931aec713aee81fbb64e1
https://gist.github.com/vperminov/74a74309e07931aec713aee81fbb64e1#file-units-py-L9
Alex
https://gist.github.com/vperminov/74a74309e07931aec713aee81fbb64e1
конкретно в этом коде ты используешь глобальную сессию и глобальный engine.
Alex
исходя из этого кода, в теории в родительском процессе соединений открываться не должно, на практике хуй его знает, я не могу с уверенностью это утверждать.
Андрей
https://gist.github.com/vperminov/74a74309e07931aec713aee81fbb64e1#file-models-py-L19 тут
Alex
Разве оно не откроется еще в момент импорта?
нет. по-идее оно откроется когда будет первый раз запрошено соединение из пула.
Alex
а именно в момент обращения к сессии, а не в момент создания объекта сессии.
Anonymous
Всем привет! как сгенерировать адрес эфириум из сид фразы?
Vasiliy (Alexis)
а именно в момент обращения к сессии, а не в момент создания объекта сессии.
пробовал создавать сессию прямо в функции store, но результат был тот же
Alex
пробовал создавать сессию прямо в функции store, но результат был тот же
ты кроме этого кода еще где-нибудь engine используешь?
Alex
в основном процессе?
Alex
пробовал создавать сессию прямо в функции store, но результат был тот же
ок, тогда странно. просто сессия тут ни при чем. пул соединений хранит объект engine.
Vasiliy (Alexis)
А что в данном случае значит "не работает"?
значит обрабатывает 20-30 записей и дальше ничего не происходит. ни завершения процесса, ни падения с ошибкой
Tishka17
так, а в какой момент зависает?
Tishka17
в функцию store заходит и внутри виснет или как?
Vasiliy (Alexis)
в функцию store заходит и внутри виснет или как?
заходит и даже проходит несколько итераций
Tishka17
ну блин каждая итерация - отдельный заход
Vasiliy (Alexis)
Tishka17
а виснет где?
Vasiliy (Alexis)
а виснет где?
иногда на 19 заходе, иногда на 32.... когда как
Alex
к слову я не совсем понял какой смысл тут вообще в мультипроцессинге?
Tishka17
иногда на 19 заходе, иногда на 32.... когда как
да блин, где именно внутри функции виснет?
Alex
иногда на 19 заходе, иногда на 32.... когда как
сделай логирование, узнай в какой именно момент виснет
Vasiliy (Alexis)
Tishka17
Vasiliy (Alexis)
Tishka17
вообще не факт
Vasiliy (Alexis)
вообще не факт
в 5 раз, я замерял
Tishka17
в 5 раз, я замерял
по сравнению с чем?
Vasiliy (Alexis)
по сравнению с чем?
по сравнению со временем выполнения того же кода без мультипроцессинга
Tishka17
да блин
Tishka17
без мультпроцессинга - это как?
Alex
Народ а скажите что думаете: venv маст хев или и так сойдёт?
Tishka17
в цикле
в треды не пробовал?
Alex
Народ а скажите что думаете: venv маст хев или и так сойдёт?
смотря что ты с его помощью пытаешься делать
Alex
в общем случае "маст хев".