👑OGURCHIK🖤
🤔 хранить данные
Tishka17
$ cat 1.py import pickle class B: pass class A: def __init__(self): self.b = B() with open("a.pickle", "wb") as f: pickle.dump(A(), f) $ cat 2.py import pickle class ClassB: pass class ClassA: def __init__(self): self.b = ClassB() with open("a.pickle", "rb") as f: a = pickle.load(f) почини
tfhx8
разделяют модули по их смыслу
тоесть подключать через import итп, кстати такая опция не сильно будет нагружать винт, если будет много rps?
Oleg
следующий запуск случайно может оказаться с другой версией кода и все подет нахуй
Полностью подтверждаю. Сам неоднократно наблюдал такие проблемы
Pavel
нельзя
Если ты код поменял, то не используешь никаких конфигов, с чистого листа все начинаешь
Tishka17
Если ты код поменял, то не используешь никаких конфигов, с чистого листа все начинаешь
это был пример двух разных версий проги. Отличаются только названиями класса
tfhx8
импорт делается один раз
тоесть в таком случае лучше делать конфиг в python чем в json? Json то он будет открывать каждый раз при обращении
Tishka17
как напишешь, так и будет
Tishka17
в любом случае конфг надо грузить один раз - при запуске, а не при импорте
Tishka17
можешь пример кинуть для различия?
def main(): config = config_loader.load("config.json")
tfhx8
def main(): config = config_loader.load("config.json")
при каждом обращении страницы оно разве не каждый раз вызываться будет?
tfhx8
если оно будет в связке с uwsgi
Tishka17
Tishka17
пздц
Pavel
это был пример двух разных версий проги. Отличаются только названиями класса
Это ты мне ответил? Как-то не похоже на ответ на мое высказывание
tfhx8
конечно можно это сделать до вызова точки входа в приложении, но потом если я сделаю изменении в конфиге, мне надо будет перезапускать uwsgi, а это не очень, если этот конфиг отрывать уже после точки входа, то оно будет выполняться при каждом вызове страницы
tfhx8
чо, это функция main, которая запускает твою аппу
ну если это учесть в контексте uwsgi
Tishka17
Это ты мне ответил? Как-то не похоже на ответ на мое высказывание
тебе. Вот ты сделал новую версию проги, в которой просто переименовал классы. Как бы так её запустить, чтобы пикл работал?
tfhx8
в json хотел сделать
Tishka17
ну если это учесть в контексте uwsgi
окей def app_factory(): config = config_loader.load("config.json") return app(config)
Pavel
тебе. Вот ты сделал новую версию проги, в которой просто переименовал классы. Как бы так её запустить, чтобы пикл работал?
Никак. Послать этот дамп, раз код обновился. Дампы будут храниться только в рамках одной версии
tfhx8
окей def app_factory(): config = config_loader.load("config.json") return app(config)
так ее же надо вызывать как app_factory() внутри main.py?
Tishka17
Никак. Послать этот дамп, раз код обновился. Дампы будут храниться только в рамках одной версии
ну а я что скзала: елси код планируется менять, это нихуя не работает. Ты сказал, что можно обойти - обойди
Ruslan
Подскажите аналог aiojobs, который переживёт рестарт. Может есть такое уже.
Tishka17
так ее же надо вызывать как app_factory() внутри main.py?
ты uwsgi указываешь как app получить
Alex
как же вы заебали.
Alex
ну понятно. Вообще бы тогда Pickle удалили из репазитория итп)
просто нехуй использовать модули не по назначению.
tfhx8
ты uwsgi указываешь как app получить
тоесть в конфиге uwsgi точку входа указывать app_factory и конфиг будет общий для всех?
Tishka17
в смысле, для всех?
Tishka17
app создастся один раз для воркера, а дальше будет работать посмтоянно и обрабтывать запросы
Pavel
ну а я что скзала: елси код планируется менять, это нихуя не работает. Ты сказал, что можно обойти - обойди
Просто не надо переносить межверсионные дампы. А дампы внутри одной версии использовать спокойно
Alex
Просто не надо переносить межверсионные дампы. А дампы внутри одной версии использовать спокойно
тред не читал. пикл не должен покидать пределов дерева процессов. точка.
tfhx8
app создастся один раз для воркера, а дальше будет работать посмтоянно и обрабтывать запросы
представим ситуацию, что конфиге нужны динамические. К примеру зашли на определенную страницу, должен загрузиться свой конфиг. Что в таком случае?) Тоесть конфигов может быть тысячи разных. И именно к одному из тысячи может быть много обращений, как это закешировать между тредами и процессами?)
Pavel
так код постоянно меняется
Смотря как часто релизы происходят
Tishka17
Смотря как часто релизы происходят
Ну давай возьмём сферический стартап. Каждый недельный спринт
tfhx8
Это уже не конфиг, а какая-то хрень
Ну пусть будет хрень. Но надо сделать так, чтобы к примеру загрузил он этот конфиг с файла, а далее чтобы при обращении имеенно к этому конфигу, он его с диска не брал, а браз с кеша, как то можно такое сделать без редиса? Тоесть к примеру сохранить это конфиг внутри всего воркера или воркеров?
tfhx8
тоесть сохранить конфиг и сделать его общим из треда как бы)
Tishka17
Опять же если они не меняются - загрузи при старте один раз
Ruslan
Внешняя очередь?
Джобы надо добивать до результата с паузами между запусками и устойчивостью к рестарту
Tishka17
они могут поменяться в будущем
И как они на диск попадут?
Ольгерд
Используй бд нормальную. Она будет запросы кешировать
Tishka17
Какая задержка допустима?
tfhx8
И как они на диск попадут?
при заходе 1 раз на определенную страницу будет создаваться конфиг и в адльнешим он чиатться для этой странице и его, конфиг можно изменить вручную. Просто сейчас он будет при каждом запросе, каждый раз читаться, а надо закешировать
Ruslan
ну а чем rabbitmq не подходит, например?
Мне не очередь нужна, а аналог celery
Ольгерд
Ты хочешь хранить много данных, которые будут подкгружаться в зависимости от страницы и которые будут меняться. Тебе нужна БД
Oleg
Мне не очередь нужна, а аналог celery
у celery внутри тоже очередь
natrix5369_job
Вопрос по rabbitmq . Если передана задача в рамках очереди,но брокер ещё не получил подтверждение выполнения задачи -задача не удаляется из очереди. Значит её другой воркер может взять тоже?
Ruslan
Я в курсе. Вопрос был, есть ли что-то подобное
tfhx8
Ты хочешь хранить много данных, которые будут подкгружаться в зависимости от страницы и которые будут меняться. Тебе нужна БД
Представим что таких страниц будет не бесконечно. И желательно делать конфиги в файле для быстрой правки
Tishka17
Заходить на сервер по ssh
tfhx8
Зачем?
желание такое.Такое ка кто можно сделать?
Tishka17
Париться как синхронизировать файлы между серверами...
Ольгерд
Ставишь алхимию. Делаешь модели. Пишешь функции, которые будут править твои данные в зависимости от модели
Tishka17
Что-то тормозит?
tfhx8
С чего ты вообще решил, что тебе надо что-то кэшировать?
вот этот конфиг каждый раз открываться будет. А хотелось бы чтобы из кеша