Aragaer
мой код делает простое - это генератор "кусочков"
Chel
Chel
Aragaer
собственно самое важное в моем примере это yield в конце
Chel
я где-то обосрался, что-то не закрываю наверное в цикле, не удаляю.. но не могу понять что
Владимир
Т.е. если хочешь найти ошибку надо на функции 4 порезать
Кирилл 🤤
Здравствуйте. У меня имеется некоторый датафрейм, по которому нужно построить некоторую диаграмму. В таблице у каждого элемента – за элемент я беру целую строку – имеется поле год, в котором, собственно, указан год. Так получилось, что эти года у элементов совпадают, но мне нужно вывести диаграмму без повторений годов, т.е. один элемент диаграммы – один год, данные же при этом, у которых один и тот же год, нужно объединить. Есть ли у Pandas что-то готовое на этот счет или мне придется это вручную циклом обходить и создавать новый датафрейм?
Aragaer
а, ну собственно надо понять, что такое эти image_tiles и mask_tiles как объекты
Aragaer
если бы это были генераторы, то все плюс-минус нормально
Chel
Aragaer
но мне кажется, что это какие-то ленивые списки, которые заполняются постепенно по мере обращения к их элементам
Chel
torch.Size([35, 7, 3, 1024, 1024]) вот такие
Aragaer
и когда по ним делаешь zip, то они и разрастаются
Владимир
Я не разбираюсь но сомневаюсь что в зип можно докинуть порциями, мне кажется что для сжатия нужно прочитать часть архива
Владимир
Но это необоснованное предположение
Tishka17
Зависит от вида сжатия
Tishka17
Там вроде несколько вариантов было, пофайловое сжатие или общее
Владимир
Зависит от вида сжатия
Там код приведен, но я так глядя не могу понять
with zipfile.ZipFile(OUT_IMAGES, 'w') as image_out, zipfile.ZipFile(OUT_MASKS, 'w') as mask_out:
Тут не знаю что в либе по дефолту
Tishka17
И я не знаю
Chel
zipfile.ZipFile(file, mode='r', compression=ZIP_STORED, allowZip64=True, compresslevel=None, *, strict_timestamps=True)
Владимир
Chel
ну попробую просто в папку писать файлики, авось прокатит
Chel
проверил, картинка со всеми тайлами помещается в память, думал сначала, что это просто картинка уже не помещается, но нет
Владимир
Владимир
Ну с другой стороны, не могу все таки проверить, наверное толку мало если буду пытаться советовать. Комп не под рукой, с телефона такое нет смысла проверять
Chel
А какая ошибка?
Your notebook tried to allocate more memory than is available. It has restarted.
Владимир
Еще вариант что просто отдельно взятый файл крашит
Chel
ща я пробую на компе запустить это
Chel
Все, комп намертво повис) у меня тут еще меньше оперативы, чем на кегл ноутбуке
Владимир
Тогда вариант нарезать по отдельности маски и изображения в файлы и только потом что то с ними сделать
Владимир
И циклы проще будут и меньше многослойной логики
Владимир
Глядя на код - пардон так и не смог найти проблему
Alex
Chel
? Что
Владимир
Ну да, так и сделаю в итоге, либо с генератором, который мне выше скинули. Просто не спешу, пока туплю в свой код, хочется понять в чем проблема и че там с памятью за кадром происходит
Ну опять же разбить на шаги стоит, если хочешь разобраться, оставь только первый шаг, посмотри что будет
То что выше да, cProfile и может быть даже tracemalloc стоит (не предлагали)
Я к тому что вот это мнодество вложенных циклов в целом плохо, в таком легко ошибки теряются
Мне например не сильно ясно к чему for X in range... по сути вроде уже оно на тайлы нарезано, почему бы сразу с тайлом не работать?
Там же какая то операция к тайлу применяется... может быть не надо по всем элементам тайла бегать?
Кроме того если операцтя идет с тайлом или парой тайлов, то и впрямь почему бы по завершении не вытащить их из отдельных файлов? А сейчас есть общий цикл по снимкам (допустим со спутника), они режутся на тайлы. Вот тут стоит остановиться. А вот потом разобраться с нарезанными тайлами (т.к. дальше только пара тайлов нужна для каждой операции).
Так и код внятнее будет и заготовки будут в виде тайлов, которые возможно захочется по другому обработать
Chel
Ну опять же разбить на шаги стоит, если хочешь разобраться, оставь только первый шаг, посмотри что будет
То что выше да, cProfile и может быть даже tracemalloc стоит (не предлагали)
Я к тому что вот это мнодество вложенных циклов в целом плохо, в таком легко ошибки теряются
Мне например не сильно ясно к чему for X in range... по сути вроде уже оно на тайлы нарезано, почему бы сразу с тайлом не работать?
Там же какая то операция к тайлу применяется... может быть не надо по всем элементам тайла бегать?
Кроме того если операцтя идет с тайлом или парой тайлов, то и впрямь почему бы по завершении не вытащить их из отдельных файлов? А сейчас есть общий цикл по снимкам (допустим со спутника), они режутся на тайлы. Вот тут стоит остановиться. А вот потом разобраться с нарезанными тайлами (т.к. дальше только пара тайлов нужна для каждой операции).
Так и код внятнее будет и заготовки будут в виде тайлов, которые возможно захочется по другому обработать
дело в том, что unfold делает один тензор, в котором все тайлы находятся и в циклах с X и Y я как раз иду по каждому тайлу, проверяю по saturation не является ли фотка белой/пустой и сохраняю тайл с маской, если с saturation все норм.
Таким образом я как раз не сохраняю все тайлы до проверки
Chel
я щас попробую дебильную вещь вообще, я включу GPU, потому что эти торчевские операции можно на GPU делать, так и оперативки много не будет забиваться, только под открытие картинки в начале по идее
Denis
Надо pytelegrambotapi
Denis
import telebot.types сделал?
slair
удалить telebot и поставить pytelegrambotapi
slair
они каталогами путаются
slair
должно, я бы ещё напрочь фолдер telebot удалил перед установкой, если он остался
Denys
Снеси себе телебот и пользуйся официальным апи)
slair
PyTelegramBotAPI
Роман
Здравствуйте. У меня имеется некоторый датафрейм, по которому нужно построить некоторую диаграмму. В таблице у каждого элемента – за элемент я беру целую строку – имеется поле год, в котором, собственно, указан год. Так получилось, что эти года у элементов совпадают, но мне нужно вывести диаграмму без повторений годов, т.е. один элемент диаграммы – один год, данные же при этом, у которых один и тот же год, нужно объединить. Есть ли у Pandas что-то готовое на этот счет или мне придется это вручную циклом обходить и создавать новый датафрейм?
Есть подозрение, что тебе нужен groupby.
𝑴𝒓𝑫
𝑴𝒓𝑫
Я б рекомендовал перейти на aiogram
slair
бывает
Chel
я правильно понимаю, что zip() в третьем питоне создает итератор и если потом удалить переменные, которые были в zip(), то память должна очиститься?
Chel
JekA
Всем привет, объясните мне пожалуйста в чем особенность asyncpg с использованием await session.run_sync(fetch_and_update_objects)
если можно делать asynio.run_in_executor
JekA
И еще такой вопрос, как можно оптимизировать общение с базой
JekA
потому что когда на 2 ядрах 500 запросов одновременно еще нормально держится, но когда достигает 600-700 начинает уходить в ожидание на 15-20 секунд
Chel
ура я кажись понял, где память копилась, ндаа
JekA
Считываешь сообщения с сим карты и шлешь
Vladyslav
Посоветуйте что почитать\посмотреть по правильной организации архитектуры, модулей файлов и тл
genya
Alex Kotov
👑OGURCHIK🖤
и чо за хуйня тут происходит
👑OGURCHIK🖤
в чс кинь оно пинить не будет
Milton
и чо за хуйня тут происходит
Коротко: чел боится, что его сообщения проиндексируют поисковики, но хочет усидеть на двух стульях и не хочет убирать юзернейм, вместо этого прося затирать сообщения с пингами, плюс затирая свои сообщения периодически. Кинув мне реплай и тут же удалив сообщение, этот пидор разбудил меня, поэтому я решил немного ему помочь :)
Denis
Не надо сообщения удалять, потом читать неудобно
Milton
👑OGURCHIK🖤
кто в телеги индексирует сообщения вы чо наркоманы
âDêšwu öBipci
Milton
Нихуя у тебя сутки быстрые
Milton
К слову, норм боты пишут все сообщения по мере их написания
👑OGURCHIK🖤
то что ты удалишь через время нихуя не поможет