Владимир
спасибо, попробую. Но все равно интересно, чем у меня забивается оперативка и как решить
Имхо код делает не то что ты ожидаешь - я прочитал и не понял... там есть ряд странностей
Aragaer
мой код делает простое - это генератор "кусочков"
Chel
Имхо код делает не то что ты ожидаешь - я прочитал и не понял... там есть ряд странностей
я проверил, до краша он записывает мелкие пнг картиночки в архив, с ними все ок
Aragaer
собственно самое важное в моем примере это yield в конце
Chel
я где-то обосрался, что-то не закрываю наверное в цикле, не удаляю.. но не могу понять что
Chel
Имхо код делает не то что ты ожидаешь - я прочитал и не понял... там есть ряд странностей
а где странности? Мне не понятно пока только одно, надо ли закрывать zip архив после записи в конце каждой итерации
Владимир
я где-то обосрался, что-то не закрываю наверное в цикле, не удаляю.. но не могу понять что
Ну для этого нужно тщательно рефакторить, сейчас основной блок очень трудно понять (несколько вложенных циклов итд)
Владимир
Т.е. если хочешь найти ошибку надо на функции 4 порезать
Кирилл 🤤
Здравствуйте. У меня имеется некоторый датафрейм, по которому нужно построить некоторую диаграмму. В таблице у каждого элемента – за элемент я беру целую строку – имеется поле год, в котором, собственно, указан год. Так получилось, что эти года у элементов совпадают, но мне нужно вывести диаграмму без повторений годов, т.е. один элемент диаграммы – один год, данные же при этом, у которых один и тот же год, нужно объединить. Есть ли у Pandas что-то готовое на этот счет или мне придется это вручную циклом обходить и создавать новый датафрейм?
Chel
Т.е. если хочешь найти ошибку надо на функции 4 порезать
пока я понял, что если загрузить жирные картинки, загнать в тензоры и порезать, а потом удалить эти переменные через del, оперативка очистится полностью
Aragaer
а, ну собственно надо понять, что такое эти image_tiles и mask_tiles как объекты
Aragaer
если бы это были генераторы, то все плюс-минус нормально
Aragaer
но мне кажется, что это какие-то ленивые списки, которые заполняются постепенно по мере обращения к их элементам
Chel
torch.Size([35, 7, 3, 1024, 1024]) вот такие
Aragaer
и когда по ним делаешь zip, то они и разрастаются
Владимир
Я не разбираюсь но сомневаюсь что в зип можно докинуть порциями, мне кажется что для сжатия нужно прочитать часть архива
Владимир
Но это необоснованное предположение
Tishka17
Зависит от вида сжатия
Tishka17
Там вроде несколько вариантов было, пофайловое сжатие или общее
Владимир
Зависит от вида сжатия
Там код приведен, но я так глядя не могу понять with zipfile.ZipFile(OUT_IMAGES, 'w') as image_out, zipfile.ZipFile(OUT_MASKS, 'w') as mask_out: Тут не знаю что в либе по дефолту
Tishka17
И я не знаю
Chel
zipfile.ZipFile(file, mode='r', compression=ZIP_STORED, allowZip64=True, compresslevel=None, *, strict_timestamps=True)
Владимир
zipfile.ZipFile(file, mode='r', compression=ZIP_STORED, allowZip64=True, compresslevel=None, *, strict_timestamps=True)
Ну если без сжатия то просто изображения в файлы)
Chel
ну попробую просто в папку писать файлики, авось прокатит
Владимир
ну попробую просто в папку писать файлики, авось прокатит
Просто да тут в целом неясно что зип дает... тогда имхо лучше без него)
Chel
Просто да тут в целом неясно что зип дает... тогда имхо лучше без него)
ну щас опять в том же месте краш случился, пишу с помощью PIL Image.save()
Chel
проверил, картинка со всеми тайлами помещается в память, думал сначала, что это просто картинка уже не помещается, но нет
Владимир
Ну с другой стороны, не могу все таки проверить, наверное толку мало если буду пытаться советовать. Комп не под рукой, с телефона такое нет смысла проверять
Chel
А какая ошибка?
Your notebook tried to allocate more memory than is available. It has restarted.
Владимир
Your notebook tried to allocate more memory than is available. It has restarted.
Гм, а вот еще момент- а если без ноутбука - просто скрипт? Я в эти джупитеры не сильно верю...
Владимир
Еще вариант что просто отдельно взятый файл крашит
Chel
Еще вариант что просто отдельно взятый файл крашит
я проверил на каком файле происходит, отдельно от цикла он грузится и разрезается, даже без удаления оригинала из памяти это все занимает не больше 10 гигов оперативки
Chel
ща я пробую на компе запустить это
Chel
Все, комп намертво повис) у меня тут еще меньше оперативы, чем на кегл ноутбуке
Владимир
Тогда вариант нарезать по отдельности маски и изображения в файлы и только потом что то с ними сделать
Владимир
И циклы проще будут и меньше многослойной логики
Владимир
Глядя на код - пардон так и не смог найти проблему
Chel
Тогда вариант нарезать по отдельности маски и изображения в файлы и только потом что то с ними сделать
Ну да, так и сделаю в итоге, либо с генератором, который мне выше скинули. Просто не спешу, пока туплю в свой код, хочется понять в чем проблема и че там с памятью за кадром происходит
Chel
? Что
Владимир
Ну да, так и сделаю в итоге, либо с генератором, который мне выше скинули. Просто не спешу, пока туплю в свой код, хочется понять в чем проблема и че там с памятью за кадром происходит
Ну опять же разбить на шаги стоит, если хочешь разобраться, оставь только первый шаг, посмотри что будет То что выше да, cProfile и может быть даже tracemalloc стоит (не предлагали) Я к тому что вот это мнодество вложенных циклов в целом плохо, в таком легко ошибки теряются Мне например не сильно ясно к чему for X in range... по сути вроде уже оно на тайлы нарезано, почему бы сразу с тайлом не работать? Там же какая то операция к тайлу применяется... может быть не надо по всем элементам тайла бегать? Кроме того если операцтя идет с тайлом или парой тайлов, то и впрямь почему бы по завершении не вытащить их из отдельных файлов? А сейчас есть общий цикл по снимкам (допустим со спутника), они режутся на тайлы. Вот тут стоит остановиться. А вот потом разобраться с нарезанными тайлами (т.к. дальше только пара тайлов нужна для каждой операции). Так и код внятнее будет и заготовки будут в виде тайлов, которые возможно захочется по другому обработать
Chel
Ну опять же разбить на шаги стоит, если хочешь разобраться, оставь только первый шаг, посмотри что будет То что выше да, cProfile и может быть даже tracemalloc стоит (не предлагали) Я к тому что вот это мнодество вложенных циклов в целом плохо, в таком легко ошибки теряются Мне например не сильно ясно к чему for X in range... по сути вроде уже оно на тайлы нарезано, почему бы сразу с тайлом не работать? Там же какая то операция к тайлу применяется... может быть не надо по всем элементам тайла бегать? Кроме того если операцтя идет с тайлом или парой тайлов, то и впрямь почему бы по завершении не вытащить их из отдельных файлов? А сейчас есть общий цикл по снимкам (допустим со спутника), они режутся на тайлы. Вот тут стоит остановиться. А вот потом разобраться с нарезанными тайлами (т.к. дальше только пара тайлов нужна для каждой операции). Так и код внятнее будет и заготовки будут в виде тайлов, которые возможно захочется по другому обработать
дело в том, что unfold делает один тензор, в котором все тайлы находятся и в циклах с X и Y я как раз иду по каждому тайлу, проверяю по saturation не является ли фотка белой/пустой и сохраняю тайл с маской, если с saturation все норм. Таким образом я как раз не сохраняю все тайлы до проверки
Chel
я щас попробую дебильную вещь вообще, я включу GPU, потому что эти торчевские операции можно на GPU делать, так и оперативки много не будет забиваться, только под открытие картинки в начале по идее
Denis
Надо pytelegrambotapi
Denis
import telebot.types сделал?
slair
удалить telebot и поставить pytelegrambotapi
slair
они каталогами путаются
slair
должно, я бы ещё напрочь фолдер telebot удалил перед установкой, если он остался
Denys
Снеси себе телебот и пользуйся официальным апи)
slair
PyTelegramBotAPI
𝑴𝒓𝑫
𝑴𝒓𝑫
Я б рекомендовал перейти на aiogram
slair
бывает
Chel
я правильно понимаю, что zip() в третьем питоне создает итератор и если потом удалить переменные, которые были в zip(), то память должна очиститься?
Влад
я правильно понимаю, что zip() в третьем питоне создает итератор и если потом удалить переменные, которые были в zip(), то память должна очиститься?
zip() за собой удаляет все ссылки. https://github.com/python/cpython/blob/master/Python/bltinmodule.c#L2595 GC подчищает ittuple, потом итераторы, которые были в ittuple и в итоге декрементирует счётчик ссылок у контейнеров, переданных в zip(). https://github.com/python/cpython/blob/master/Objects/iterobject.c#L34 Контейнеры будут висеть в памяти, пока на них ещё что-то указывает. Если кроме переданных в zip() переменных больше нет ссылок, тогда память очистится после их удаления/выхода из блока с ними.
JekA
Всем привет, объясните мне пожалуйста в чем особенность asyncpg с использованием await session.run_sync(fetch_and_update_objects) если можно делать asynio.run_in_executor
JekA
И еще такой вопрос, как можно оптимизировать общение с базой
JekA
потому что когда на 2 ядрах 500 запросов одновременно еще нормально держится, но когда достигает 600-700 начинает уходить в ожидание на 15-20 секунд
Chel
ура я кажись понял, где память копилась, ндаа
JekA
Считываешь сообщения с сим карты и шлешь
Vladyslav
Посоветуйте что почитать\посмотреть по правильной организации архитектуры, модулей файлов и тл
👑OGURCHIK🖤
и чо за хуйня тут происходит
👑OGURCHIK🖤
в чс кинь оно пинить не будет
Milton
и чо за хуйня тут происходит
Коротко: чел боится, что его сообщения проиндексируют поисковики, но хочет усидеть на двух стульях и не хочет убирать юзернейм, вместо этого прося затирать сообщения с пингами, плюс затирая свои сообщения периодически. Кинув мне реплай и тут же удалив сообщение, этот пидор разбудил меня, поэтому я решил немного ему помочь :)
Denis
Не надо сообщения удалять, потом читать неудобно
👑OGURCHIK🖤
кто в телеги индексирует сообщения вы чо наркоманы
Milton
кто в телеги индексирует сообщения вы чо наркоманы
Много кто, на самом деле. Но не все вываливают это в гугл
âDêšwu öBipci
Milton
Нихуя у тебя сутки быстрые
Milton
К слову, норм боты пишут все сообщения по мере их написания
👑OGURCHIK🖤
В публичных чатах - много кто
так это боты и юзер боты делают и они сразу это делают
👑OGURCHIK🖤
то что ты удалишь через время нихуя не поможет