Tishka17
Пункт 3 теоретически может быть не актуален, но это очень редко
Evgeniy
1. Зачем? 2. Модуль не уничтожается, а остается в памяти, теряется ссылка 3. По пеп8 импорты должны быть до определения функций и прочего кода
1. Передаю в другой процесс имя функции и модуль, чтобы он ее импортнул и исполнил. 2. Уничтожается в смысле остается внутри функции и уничтожается сборщиком мусора потом. 3. Импорты через import, это не совсем то, о чем PEP
decorator-factory
Объект модуля не уничтожается, на него всё ещё есть ссылка. Всегда.
decorator-factory
def f(): import math math.pi = 4 f() import math print(math.pi) # 4
Evgeniy
Объект модуля не уничтожается, на него всё ещё есть ссылка. Всегда.
Даже если он импортнут при помощи module = __import__('module')?
Evgeniy
2. Модуль остается в системном кэше 3. imporlib лучше
А как в джанге сделано, что при изменении исходников изменяется тут же поведение в рантайме? Есть подозрение, что там в цикле запущен импорт, получается что при импорте чтение с диска происходит каждый раз.
Tishka17
А ещё оно через inotify мониторит изменения файлов
Tishka17
Ну и как полагается, это работает только из-за того, что там нет никаких долгоживущих объектов, все может быть пересоздано
Evgeniy
Открой доку по импортлибу, там есть релоад
Прочитал, спс, есть особенности, про которые не знал
Evgeniy
Не нашел вот способа забрать из модуля объект и килльнуть модуль из памяти
Evgeniy
Это можно сделать?
Tishka17
Это можно сделать?
В общем случае нельзя.
Evgeniy
А зачем?
Не хочу память засирать
Evgeniy
Процессов может быть много, если каждый импортнет один модуль, вместе они отожрут много
Tishka17
Процессов может быть много, если каждый импортнет один модуль, вместе они отожрут много
Есть решение. Импортируй все заранее, до форка. Тогда из-за CoW модуль будет жрать память один раз
Evgeniy
А ты замерял?
Нет пока, смысл?
Evgeniy
Ясно, что все содержимое модуля будет где-то лежать в памяти
Evgeniy
Содержимое может каким угодно быть, там DS модель например может лежать весом сотни мегабайт
Evgeniy
А я ее такой оп и импортнул 10 раз всем пулом
Alex
А я ее такой оп и импортнул 10 раз всем пулом
если сам по себе импорт модуля загружает данных весом на стони мегабайт — у тебя проблема в архитектуре.
Alex
Я либу пишу, хз как юзер ее будет юзать
ну это уже проблемы юзера. твоя задача 1. предоставить ему интерфейс. 2. не делать лишнего, если явно об этом не просили.
Alex
загрузка каких-то моделей во время импорта к этому непосредственно относится.
Evgeniy
Я привел модели как пример
Evgeniy
Лично мне бы не понравилось, когда кто-то 1 кб лишний отожрал, когда мог этого не делать
Evgeniy
Ты выбрал не тот язык.
А если так можно делать?
Evgeniy
Чеб не сделать
🌱
кто-нибудь делал на питоне динамическое количество кнопок для бота телеги? Как это можно реализовать? Типо есть список, в котором может быть как пять слов, так и двадцать пять и под каждое слово будет кнопка, но при каждом запросе количество слов, вероятнее всего, будет меняться
Alex
А если так можно делать?
нельзя. впрочем никто тебе не запрещает написать свое расширение на С с ручным управлением памятью.
Evgeniy
При чем тут gc?
У меня вопрос, можно ли удалить объект модуля, однажды импортнутый
Evgeniy
Счетчик ссылок обнулить
Evgeniy
Или иначе как-то
Alex
У меня вопрос, можно ли удалить объект модуля, однажды импортнутый
в теории — да, на практике ты срадаешь хуйней.
Yuri
в теории — да, на практике ты срадаешь хуйней.
а вдруг в этом модуле терабайт SVG-шек?
Alex
а вдруг в этом модуле терабайт SVG-шек?
Я уже объяснил. Во-первых если модуль держит ссылку "терабайт SVG-шек", то наиболее вероятный вариант — это ссылка в глобальном скоупе \ скоупе модуля и за такое автору нужно медленно обрабатывать руки молотком.
Alex
Если это еще и грузится в момент импорта модуля (читай изначальный вопрос), то автора к программированию подпускать нельзя.
Alex
хорошо, а вдруг автор готовится к собесу?
прекрасно. ответ "тут очевидная хрень, которую нужно исправлять, а не покрывать костылями" с точки зрения адекватных интервьюеров можно считать наиболее корректным из возможных
Alex
если кандидат начинает рассказывать как бы он этот код подпер костылями с разных сторон, на собеседовании это скорее красный флаг
Yuri
Ну ладно. А если просто интересно?
Alex
(и да, потом в реальной жизни возможно придется прибегнуть к заглушкам, но это не должно становиться привычкой)
Evgeniy
прекрасно. ответ "тут очевидная хрень, которую нужно исправлять, а не покрывать костылями" с точки зрения адекватных интервьюеров можно считать наиболее корректным из возможных
Из-за таких очевидных хреней, когда какие-то возможные кейсы использования отбрасываются как глупые, при нарастании сложности софт превращается в говно
decorator-factory
"Вам дано задание прокрасться к конкуренту и добавить костылей в их код, чтобы в долгосрочной перспективе его было сложнее поддерживать. Как вы поступите?" /s
Evgeniy
Человек, юзающий либу, не должен думать о вещах, которые казались очевидными ее автору
Evgeniy
Иначе у тебя дока либы обрастет миллиардом сносок вроде "не храните дс модели в глобалскоупе"
Evgeniy
Либа должна абстрагировать сложность
Alex
Человек, юзающий либу, не должен думать о вещах, которые казались очевидными ее автору
либа вообще не должна хранить глобальных состояний без крайней на то необходимости и уж тем более глобальных данных, чтобы потом у пользователя не возникало желания эту либу выгрузить потому что автор — идиот.
Evgeniy
Вопрос читал?
Alex
Ты о каких глобальных состояниях сейчас?
из-за которых возникает хотелка выгрузить этот модуль.
Evgeniy
из-за которых возникает хотелка выгрузить этот модуль.
Либа импортит модули юзера в данном случае
Alex
или тебя лишний объект кода модуля напрягает?
Alex
Да
ты выбрал не тот язык.
Alex
Да
впрочем при нормальной заргузке при помощи машинерии импорта время жизни объекта модуля известно. но ты все равно не можешь быть уверен что у тебя не возникло еще ссылок на этот объект модуля во время его жизни.
Alex
Да
хочешь ручное управление памятью — бери языки, которые предоставляют такую возможность.
Yuri
Да
Можно удалить его из sys.modules и может быть его почистит gc. Но это не звучит хорошо
Alex
Можно удалить его из sys.modules и может быть его почистит gc. Но это не звучит хорошо
1. это не гарантия что на модуль не осталось еще ссылок. 2. можно в принципе обойтись без sys.modules, если загружать модуль при помощи машинерии импортов (свой лоадер). 3. это все звучит не очень хорошо. не могу представить легитимной причины так хотеть делать.
Alex
в исходной задаче упоминается пользовательский код, загружаемый этой волшебной библиотекой, что еще больше усложняет дело
Alex
TL;DR попросту невозможно контролировать и изолировать пользовательский код в рамках того же процесса, чтобы обеспечить отсутствие ссылок на этот модуль.
Yuri
1. это не гарантия что на модуль не осталось еще ссылок. 2. можно в принципе обойтись без sys.modules, если загружать модуль при помощи машинерии импортов (свой лоадер). 3. это все звучит не очень хорошо. не могу представить легитимной причины так хотеть делать.
Наше дело - дать человеку дробовик. Куда он будет стрелять - пусть сам решает. Я б тоже так не делал, пахнет какой-то костыльной микрооптимизацией. Ручаюсь что в коде есть более важные утечки памяти, которые надо устранить
Hello, World! 🎄
Ура!!! Релиз PyGame 2.0! https://github.com/pygame/pygame/releases/tag/2.0.0 Для тех кому интересно!
Olga
Всем, добрый день! #вакансия #backend #senior #middle #Python #Machine Learning #fulltime #удаленно #remote #РФ #job #130 -180k net Приглашаем Machine Learning dev. для разработки интеллектуальных интерактивных голосовых сервисов, сегментирование выборок, обработки изображений и много другого. В нашей команде высокая техническая экспертиза и культура разработки. Стек: Python Data Analysis Big Data Machine Learning. Мы ожидаем, что у вас есть опыт: Python; Математический/ML бэкграундом; Алгоритмическая грамотность; Опыт работы с технологиями NLP и распознавания речи. Условия: Работа удаленно (когда-нибудь после пандемии можно будет приходить в офис в Мск\ Казани). Официальное оформление. Участие в конференциях и обучение. Контакты: Елена @suPonza
Yaroslav
#работа #удаленка Ищу джуниор/мидл разработчика в treebo.io. Мы интегрируем мессенджеры с бизнесом, автоматизируя воронку продаж. Платформа - визуальный конструктор ботов, только помимо сообщений можно отправлять ивенты в CRM. Уже работаем с AmoCRM и Bitrix24, планируем подключеть Bizon365 (это сейчас будет основной задачей) Оплата по-проектно, 15-40 тыс. за проект. Ипользуем kafka, немного dry-python и docker-compose. В основном задачи по написанию модулей для работы с API CRM систем, но есть и такие, в которых надо подумать над архитектурой. Тех. дир - русский чувак из Чикаго. Полностью удаленная команда. Пишите в лс с информацией о себе и вопросами.
Anastasia
#работа #вакансия #fullstack #senior #middle #fulltime #удаленка #remote #РФ #job Компания LeClick.ru Мы продуктовая компания, разрабатываем высоконагруженную платформу B2B и B2C решений автоматизации, интернет-маркетинга и продвижения услуг клиентов и повышения продаж. Приглашаем Full stack разработчика с опытом проектирования сложных систем с интересной и сложной архитектурой на проект внутренних административных панелей и сервисов. Работа удаленно, оформление официально. Все решения принимаем быстро, фидбэк в день проведения интервью. У нас огромное количество интеграций с разными сервисами, после такого опыта сможете решать любые бизнес задачи) Что нужно будет делать? Участвовать в разработке новых возможностей платформы. Проектировать и реализовывать сложные интерфейсы. Принимать участие в code review, писать тесты. Внедрять новые технологии. Стэк: Python, Flask/Django, React Native, Node.js, MySQL, PHP (будет здорово). от 100 - 160 + net. Контакты: Настя @untiltruedo
Андрей
Смешались в кучу кони, люди....