Slam!
Контекст сессии то нужно хранить где-то
Денис
подскажите народ как рiр библиотеки все перенести, да и самого его научить работать с новой версией пайтона, потому что он не видит саму новую версию 3,8, а до этого была 3,7 и он теперь жалуется на ра3ные имена папок пайтона
A̷N̷O̷I̷
Контекст сессии то нужно хранить где-то
Ну вообще в модуле requests есть функция session которая хранит в себе все куки
Alex
подскажите народ как рiр библиотеки все перенести, да и самого его научить работать с новой версией пайтона, потому что он не видит саму новую версию 3,8, а до этого была 3,7 и он теперь жалуется на ра3ные имена папок пайтона
pip freeze + pip install, но все же лучше нормальный requirements.txt с прямыми и нестрогими зависимостями, т.к. не обязательно те версии библиотек что ты использовал на 3.7 поддерживают 3.8
Alex
и эм > и он теперь жалуется на ра3ные имена папок пайтона кажется ты сделал херню
Alex
начни с изучения virtualenv
Slam!
Ну вообще в модуле requests есть функция session которая хранит в себе все куки
Это ты к чему? Речь идет о авторизации на веб морде. Браузер хранит сессию на диске, реквесты - в оперативе
Tishka17
браузер не хранит сессию
Tishka17
он хранит куки
Slam!
браузер не хранит сессию
Имеется ввиду куки
Tishka17
сессия в реквестс - чуть больше чем просто куки
Tishka17
сессия на сервере определяется по одной из кук
Tishka17
что значит "отсортировать словарь"?
Vadim
Используй key = attr
Slam!
Оо, добрый вечер
Slam!
key = lambda x: x[2]
Tishka17
зачем?
Tishka17
только ради принта?
Slam!
В консоль ну
Tishka17
а ради чего ещё?
Tishka17
ты же понимашеь, что словарь не предназначен для хранения сортированных данных
Denis
С 3.7 вопрос дискуссионный
Aragaer
если есть такое большое желание, то можно сделать жсон в котором ключи идут в нужном порядке
Aragaer
ну и да, есть OrderedDict
Alex
С 3.7 вопрос дискуссионный
по крайней мере это стало сложней объяснять новичкам.
Tishka17
С 3.7 вопрос дискуссионный
не дискусионный. То что он сохраняет порядок вставки не приводит к тому, что ты можешь переупорядочивать элементы
Aragaer
ну можно ж просто создать новый
Aragaer
teh_dict = {k: v for k, v in sorted(teh_dict.items, key=v[2])}
Andrew
Ну, пост, и что дальше?
А что угодно. Как правило кука
Anonymous
/index
Roman
Словарь не сохраняет порядок. Вам нужен модуль collections
Roman
А там есть ordereddict
Bogdan
привет, подскажите, куда копать пробую написать свой фреймворк, чтоб можно было через пип устанавливать знаю, что можно так pip install dvc[s3] [s3] - доустанавливает нужные библиотеки для работы с s3 как такое же реализовать? хочу написать две версии библиотеки - sync/async pip install mylib pip install mylib[async]
Roman
Народу меня вот такой вопрос. Есть сервис работающий с очередями. На вход чтото получаем запускаем cpubound задачу отдаем результаты в другую очередь. Сервис надо кластеризовать. А значит статус задания надо где то хранить. Например в бд. Но допустим в бд сделана запись о старте задания. Во время его выполнения он упал и не изменил статус в бд. Как быть другому участнику кластера, который думает что задание не завершилось? Время выполнения задания может быть разным.
Tishka17
А там есть ordereddict
А. Я думал ты там нашел словарь поддерживающий сортировку
Roman
Таймауты не очень хорошо. Я ж написал что время выполнения может быть разным.
Bogdan
Может при импорте различать?
тогда тянется весь код, и синхронный и асинхронный
Roman
Или в самом задании поставить чек времени и если превысил то перезапуск?
Roman
и как это поможет если задание "упало"?
Это поможет если точно будет известно что задание не может работат больше 1 часа например
Alex
у тебя должен быть компонент системы отслеживающий дохлые задания.
Sergey️
Что на самом деле происходит под капотом? https://gist.github.com/Kylmakalle/334660e8a1da9c0dd42c5a3c56e6ef8b
Roman
у тебя должен быть компонент системы отслеживающий дохлые задания.
Отслеживать должен сам же сервис который запускает задания. Он перед запуском чекает есть ли статус в бд что где то оно уже запущено.
Anonymous
Кто-нибудь использовал kthread (или любую другую реализацию эксплуатации ctypes для завершения треда)? Там не происходит неожиданностей? Меня несколько смущает этот комментарий: https://github.com/munshigroup/kthread/blob/master/kthread/__init__.py#L20
Alex
как минимум у тебя должен быть компонент системы отслеживающий состояние воркеров
Alex
воркеры могут слать хертбиты уведомляя о том что они еще живы с определенной периодичностью
Roman
а если этот сервис падает?
Он в кластере то есть работают 2 сервиса. Один выполняет задания. Второй ждет. Конда оба ждут, любой из них может зарустить задание.
Alex
падение воркера - гарантированная инвалидация всех работающих на нем заданий.
Roman
Да вот только когда воркер в cpubound задаче ему не хертбитов
Roman
И допустим он бац и упал изза переполнения памяти.
Roman
охуеть. вот это новость.
Ну ок. Тогда как он реализуется такой хертбит ? Учитыва что процесс занят вычислениями.
Alex
И допустим он бац и упал изза переполнения памяти.
и? не послал хертбиты в течение X времени - считается дохлым.
Tishka17
лучше в процессе вычислений посылать
Alex
да ну
это если логика позволяет
Tishka17
более контролируемо
Roman
В процессе вычислений никак
Tishka17
как рза если у тебя отдельный поток посылает хартбит, это не значит что твой основной не завис
Alex
таймауты на конкретную задачу никто не отменял
Tishka17
что воркер живой можно узнать по пиду
Alex
что воркер живой можно узнать по пиду
для этого должен быть все равно процесс мониторящий этот самый пид
Tishka17
или по состоянию соединения брокера с воркером
Tishka17
сорри, я начало дискуссии упустил
Alex
ну то есть тебе никуда не деться от супервизора над непосредственно выполняемой задачей
Alex
который к тому же может ее прибить по таймауту если она его привысила