Андрей
Alex
а то чушь несешь
Tishka17
можно в редис положить
Alex
мало ли кто еще всерьез воспримет
Tishka17
Артём
Tishka17
Артём
это просто библиотека
Tishka17
"слишком удобный"?
Tishka17
или в чем проблема?
Артём
Alex
)
👑OGURCHIK🖤
🤔
SLVR
При работе с кешами столкнулся с траблой, когда unpickle оказывается слишком дорогим (структура сложная, распаковка дороже запроса в базу и создания из оригинала). В базе эта сложная структура хранится как json str, при создании инстанса модели поле превращает этот json в сложную структуру. Вопрос: можно ли pickle заставить дампить атрибут как json. Или даже больше - можно ли во время дампа приклеить несуществующий атрибут и заполнить его своими данными?
K примеру есть модель Page, сложная структура хранится в Page.complex_struct
т.к. unpickle для нее дорогой, а состояния у нее нет, то я бы хотел во время дампа сделать:
Page._raw_complex_struct в который запихну оригинальный json, который затем при unpickle построю назад.
SLVR
Вообще конечно странно что проблема имеет место быть (что построение нового объекта дешевле unpickle)
Je
Tishka17
Tishka17
Tishka17
можно попробовать marshall если пикл долго
SLVR
Общепринятое решение - django-cachops который кладет pickled инстансы / или целый QS в редис
Tishka17
может проще кэш в пределах процесса сделать?
SLVR
Последние лет 5 это прекрасно работало. Но в Wagtail есть интересное кастомное поле модели неопределенной вложенности и структуры (streamfield)
Tishka17
и все таки: а ты увреен что у тебя json.loads + построение структуры будет быстрее чем unpickle?
Alex
слишком легкий и простой, создаешь экземпляр класса и вот тебе веб сервер
библиотека это когда ты решаешь какую-то одну задачу. Скажем requests это отправка http запросов. sockets - работа с сокетами. xmlib, bs4 - работа с языками разметки и тд. Фреймворк это коллекция либ которые решают классы связанных друг с другом задач. Роутинг запросов, их обработка, рендеринг ответа будь то жсон или хтмл, работа с БД и тд. Фласк это фреймворк.
SLVR
и вот оно почему-то при unpickle очень сильно жрет проц. так что если 100 раз такое поле анпиклить то прямо заметно проседает перформанс
SLVR
Артём
Tishka17
то, что затык в анпикл не озанчает что альтернативное решение будет быстрее
Alex
Tishka17
ещё раз: ты замерял?
SLVR
естественно
Tishka17
что именно в пикл у тебя вообще отправляется?
SLVR
инстанс django модели
SLVR
тормоза именно с одним конкретным типом поля > дерево неопределенной вложенности. ну ладно, если сказать по чесноку то тут получается не до конца в пикле трабл
SLVR
Пиклится все так:
def block_reducer(self):
"""Reducer to make this class pickleable."""
block_class = self.__class__
args = self._constructor_args[0]
kwargs = self._constructor_args[1]
return block_unpickle, (block_class, args, kwargs)
def block_unpickle(block_class, args, kwargs):
"""Used to unpickle Block subclasses."""
return block_class(*args, **kwargs)
Block.__reduce__ = block_reducer
SLVR
Профайлер показывает тормоза в block_unpickle; И это удивительно
SHADRIN
Ребята кто подскажет статью где описано как tensorflow в django завернуть
SLVR
SHADRIN
Хз искал везде вода
Сути не вижу
Natalia
#python #python3 #django #удаленка #стартап #job #fulltime
Scramble – международный финтех стартап, платформа дополнительного финансирования предпринимателей https://scrambleup.com/
Ищем в команду активного бойца на постоянную удаленную работу.
Основные задачи
- самостоятельное принятие технических решений
- проектирование архитектуры и структуры БД
- разработка бекенда приложения
Для этого нам нужен человек, который
- работает в IT проектах от 2-х лет
- знает python3, django, django-rest-framework
- самостоятельный и ответственный
Технологии
- Back-end: python3, django, django-rest-framework, postgress, nginx, digitalocean
- Front-end: js (es6+), react, redux, redux-saga, reselect, css modules
Что предлагаем
- удаленная работа в международном финтех стартапе (подробности scrambleup.com )
- полная занятость
- гибкий график
- возможность влиять на продукт
- небольшая, но классная распределенная команда, свободная от бюрократии
- оплата 100-200 тыс. р. по итогам собеседования
Пишите https://t.me/tg_piupiu
Tishka17
Андрей
#python #python3 #django #удаленка #стартап #job #fulltime
Scramble – международный финтех стартап, платформа дополнительного финансирования предпринимателей https://scrambleup.com/
Ищем в команду активного бойца на постоянную удаленную работу.
Основные задачи
- самостоятельное принятие технических решений
- проектирование архитектуры и структуры БД
- разработка бекенда приложения
Для этого нам нужен человек, который
- работает в IT проектах от 2-х лет
- знает python3, django, django-rest-framework
- самостоятельный и ответственный
Технологии
- Back-end: python3, django, django-rest-framework, postgress, nginx, digitalocean
- Front-end: js (es6+), react, redux, redux-saga, reselect, css modules
Что предлагаем
- удаленная работа в международном финтех стартапе (подробности scrambleup.com )
- полная занятость
- гибкий график
- возможность влиять на продукт
- небольшая, но классная распределенная команда, свободная от бюрократии
- оплата 100-200 тыс. р. по итогам собеседования
Пишите https://t.me/tg_piupiu
Белая ЗП?
SLVR
0_о хз
ну буду копать 🙂 попробую поле сделать lazy чтобы оно не разворачивалось пока оно не требуется
Anonymous
Доброго дня. Подскажите, как можно отсортировать эту строку, расположив слова по порядку возрастания чисел? ===> " is2 Thi1s T4est 3a"
Андрей
строку нельзя отсортировать
SHADRIN
Разбей на слова split(" ")
Андрей
надо новую строку, в которой слова будут по возрастанию чисел в словах?
Anonymous
Андрей
a = "is2 Thi1s T4est 3a"
" ".join(sorted(a.split(), key=lambda x: int("".join(filter(lambda a: a.isnumeric(), x)))))
Out[3]: 'Thi1s is2 3a T4est'
Владимир
Андрей
хех
сложно, можно проще, наверное
Anonymous
Спасибо)
Андрей
а если в строке есть вот такое "фыва-123", то это 123 или -123?)
Dmytro
typing.Optional[(int, str, str)]
TypeError: Optional[t] requires a single type. Got (<class 'int'>, <class 'str'>, <class 'str'>).
хм, что я делаю не так? мне нужно указать тип "либо кортеж, либо None"
Anonymous
Андрей
Андрей
123
ну тогда мой код подойдет, но можно проще, мне кажется
Anonymous
Выполню, посмотрю какие варианты делали до меня. Если увижу проще, то могу написать.
Андрей
Alexey
Всем привет. Делаю парсер на Scrapy, сложил все данные в один json файл, а после разделил его на несколько одинаковых частей, чтобы сделать для парсера одну HTML-страницу с пагинацией. Все делаю с помощью staticjinja, доступ к данным страниц происходит через индекс общего списка cars_info[page_number]. Подскажите пожалуйста каким образом можно реализовать такую пагинацию? Есть ли примеры такого?
Вот тут render.py и index.html: https://pastebin.com/EB5pFtae
Павел
Добрый день!
Подскажите, пожалуйста, какой хостинг лучше использовать для бота парсера для телеграма
Андрей
эээ
Андрей
оно точно работает?
Ultralord
Ultralord
и мощнее
Ultralord
ну и канал связи не медленный
Ultralord
Вообще, вопрос не корректный
Ultralord
"здравствуйте, посоветуйте автомобиль чтобы ездить в магазин и на работу"
Ultralord
думаю, аналогия понятна