Tishka17
всем лень просто
Tishka17
но отдельным людям не нравится что код раздувается
Anonymous
Спасибо за ответ)
Farrukh
не нужно
Ты по прежнему работаешь в Lamoda?
username
#работа #вакансия #офис #fulltime #удаленка Вакансия: Team lead Backend developer (Python) Формат: Офис или удаленка; Офис: Санкт-Петербург, 2 минуты от метро Невский проспект; Занятость: Полная; ЗП: от 170 000 рублей; Нужно уметь и знать: Python 3.х, SQL, noSQL, Linux, Docker, docker-compose, CI/CD, REST API, умение работать с асинхронным кодом в Python; Стек проекта: Docker, Python 3.5, aiohttp, PostgreSQL, GraphQL, Nginx, Redis, RabbitMQ, Celery, Jira, Confluence, GitLab; Компания: https://identix.one/ Ищем team lead backend developer(python) в один из проектов нашей компании. Проект представляет собой автоматизированную аналитическую систему. Подробности можно узнать написав @asqbvqsaadewn Какие будут задачи: - Проектирование архитектуры сервисов и баз данных; - Описание UML схем логической и концептуальной моделей; - Отчетность перед внутренним заказчиком; - Формирование требований к разрабатываемому ПО; - Анализ поставленных задач, оценка формирование оптимального решения; - Постановка задач разработчикам, контроль исполнения; - code review; Требования к кандидату: - Опыт коммерческой бекенд разработки на Python от 4х лет; - Умение вести команду и работать в команде; - Понимание PEP8; - Исполнительность и внимание к деталям; О нас: - Отличный коллектив; - Опытные разработчики; - Офис в 2х минутах от ст. м. Невский проспект; - Высокая лояльность; - Расчет на результат;
Slam!
Ребят, что с утечками делать? Второй день не понимаю, как её исправить
Aleksei
Ребят, что с утечками делать? Второй день не понимаю, как её исправить
У меня скрипт не работает, как исправить? Второй месяц не понимаю
Slam!
https://t.me/ru_python/1247764
Aleksei
Да я кидал уже код) чего только не кидал)
Ну желательно дублировать или ссылаться 1. Если это рекурсия - очень легко забить память если сделать неправильный выход или очистку 2. Проверь на нескольких версиях питона
Slam!
я json никуда не кладу
smqwe
https://t.me/ru_python/1247764
https://pypi.org/project/Pympler/
smqwe
вот тебе либа
smqwe
показывает потребление памяти разными типами данных
Slam!
ну, видимо да
Tishka17
Да я кидал уже код) чего только не кидал)
покажи график потребления памяти
Slam!
покажи график потребления памяти
где его брать? он линейный
Aleksei
https://t.me/ru_python/1247764
Утечки памяти это постоянное увеличение её потребления, твой скрипт забивает всю память?
Tishka17
где его брать? он линейный
линейны рост стабильный?
Aleksei
где его брать? он линейный
В диспетчере как вариант
Tishka17
нет
а какой?
Tishka17
может у тебя просто оно дохрена памяти хочет, а не течет?
Slam!
иногда пару секунд стоит на месте чаще всего поднимается на мегабайт-два за секунду
Slam!
А потом не опускается?
В том и прикол, что не снижается потребление
Well Done
Народ, куда память утекает и почему?
Ты ведь не весь код показал, верно?
Pavel
Народ, куда память утекает и почему?
Что такое scan_once и с чего решил, что дело в этом куске?
Slam!
Что такое scan_once и с чего решил, что дело в этом куске?
обрати внимание на строчку внизу скриншота топ 1 потребления по версии tracemalloc под scan_once сишный код
Well Done
Ну так это в другой функции смотреть надо блять
Slam!
Ну так это в другой функции смотреть надо блять
Мне кажется, gc работает адекватно
Well Done
self.scan_once покажи лучше
Slam!
self.scan_once покажи лучше
https://t.me/ru_python/1247848 последняя строка
Well Done
https://t.me/ru_python/1247848 последняя строка
Показывает вызов функции, что именно она делает мне не ясно
Slam!
Так потребление это не значит, что именно здесь утечки
скрипт был запущен под дебагером утром сделал снапшот, показало тоже самое, но было несколько гигабайт уже
Slam!
Показывает вызов функции, что именно она делает мне не ясно
парсит json, видимо это билтиновый модуль json
Pavel
скрипт был запущен под дебагером утром сделал снапшот, показало тоже самое, но было несколько гигабайт уже
В доке по tracemalloc (сам я этим не пользовался) написано: Traceback where an object was allocated То есть оно говорит, что много объектов создавалось в этой функции, но это они не исчезают совсем в другом месте и по другой причине
Pavel
Надо смотреть, где эти дикты используются и почему на них ссылки не уменьшаются
Pavel
А что с block происходит дальше?
Pavel
Это всё 🙂
А эта функция завершается или висит бесконечно в ожидании?
Pavel
А что такое m? Глобальная переменная?
Slam!
А что такое m? Глобальная переменная?
Это класс. Имеет отношение?
Pavel
Это класс. Имеет отношение?
К утечкам отношения не имеет, но это все еще глобальная переменная
Pavel
Когда нибудь да завершится, да
А как долго она работает?
Pavel
Пару суток
Часто эксепшены вылетают внутри try?
Pavel
Ни разу не видел
Долго функция висит внутри цикла по ожиданию очереди?
Slam!
Можно я уже пойду домой, я ни в чем не виноват?
Pavel
Можно я уже пойду домой, я ни в чем не виноват?
Можешь идти, если тебе не нужна помощь. Только непонятно зачем ты тогда сюда писал
Pavel
А что за block.get(), что там внутри происходит?
Pavel
Это метод словаря
А что такое trans_process?
Pavel
Функция
Покажи ее код
Slam!
Покажи ее код
пожалуйста
Tishka17
о, таски
Tishka17
а они завершаются?
Slam!
а они завершаются?
Там такая жопа, что я сомневаюсь
Tishka17
если таски стартуют и не завершаются, они и текут
Slam!
Вот и место утечек
Но дальше json не используется
Slam!
Не понял тебя
Поправил сообщение
Pavel
Но дальше json не используется
Только питон об этом не знает и объект не вычищает
Tishka17
Но дальше json не используется
Но ты его передаешь в таск же
Slam!
Я к тому, что цикл крутится, блоки перезаписываются
Slam!
Но ты его передаешь в таск же
Попробую закомментить и покрутить снова
Pavel
Но дальше json не используется
Подожди, ты передаешь в функцию параметр, который не используется самой функции?