Anonymous
Привет
Tishka17
Ничего 😁😁
Тогда как ты понял, что ничего не загружается?
Anonymous
Привет, посдкажите пожалуйста как можно избежать ошибок типа UnicodeEncodeError: 'ascii' codec can't encode characters in position 90-96: ordinal not in range(128) Постоянно вылетают в продакшене из-за того что шлют киррилицу или другие юникод символы. Вообще в основном в логировании используется. Можно ли как-то на глобальном уровне это поймать, чтобы оно не ломало все приложение?
Aragaer
но мне кажется там ошибка в другом - почему вообще используется ascii codec?
Vladik
Тогда как ты понял, что ничего не загружается?
Блин посмотрел в ютубе видос там чувак создал переменную и прописал путь и всё у него все подгрузилось
Anonymous
Локаль системы какая?
Оно постоянно ломается, уже пробовал что-то типо try: body = body.decode("ascii", errors="ignore") logger.info("PARSED BODY OKAY ASCII") except UnicodeError: body = body.decode("utf-8", errors="ignore") logger.info("PARSED BODY OKAY UTF") else: # value was valid ASCII data pass
Aragaer
но ведь не decode
Aragaer
он же пишет, что ошибка в encode
Anonymous
ошибка вообще вылетает в таком месте logger.info(product[‘comments’])
Anonymous
то есть при касте к str
Aragaer
нет никакого каста. Оно уже строка и нормальная. Но с юникодом
Aragaer
так вот внутри logger происходит конвертирование в ascii и вот там в настройках логгера и надо разбираться
Aragaer
впрочем, есть еще один момент. У логгера первый аргумент это форматная строка
Aragaer
должно быть logger.info("%s", product['comments'])
Aragaer
что-то в таком духе
Anonymous
должно быть logger.info("%s", product['comments'])
так это всегда так надо, потому что у принта обычного тоже самое было, можно ли как-то конфигурацию на глобальном уровне настроить, потому что менять столько надо
Aragaer
эммм... нет, у принта так не надо, у принта нет форматной строки
Aragaer
надо найти где у тебя прописаны хэндлеры для логгинга
Aragaer
https://stackoverflow.com/questions/46636206/python-3-6-logging-modul-error-unicodeencodeerror-charmap-codec-cant-encod
Anonymous
эммм... нет, у принта так не надо, у принта нет форматной строки
в том то и дело что с принтом тоже самое, вылеате
Aragaer
вот первый результат в гугле, тут чот такое написано
Aragaer
https://gankrin.org/fix-unicodeencodeerror-ascii-codec-cant-encode-character/
Aragaer
а вот еще тоже в гугле
Tishka17
А чо, с локалью разобрались уже?
Александр
Добрый вечер, вопрос про микросеовисную архитектуру: используются ли при таком подходе к архитектуре некие глобальные дто классы, описывающие входящие и исходящие сущности сервисов, или это дополнительная связь, которая нисводит все плюсы микросервисов, а дто существуют только в рамках каждого сервиса?
Александр
Ну возможно, если обобщить мой вопрос то: как описывают и следят за контрактами на уровне сервисов
Denis
Документацией, end to end тестами, общими схемами
Александр
Спасибо. В таком случае немного раздражает в каждом сервисе писать сериализацию/десереализацию
Александр
Спасибо, посмотрю, это про сваггер же?
Tishka17
Да. И особенно про протобуф
Das
Всем привет кто знает подскажите пожалуйста почему в pythonanywhere.com когда я создаю bash и в нем запускаю своего бота . Bash консоль через 2 дня очищяется приэтом бот перестает работать . Аккаунт платный . Помогите как поступить
Aragaer
сделать без bash, запускать бота на вебхуках
Aragaer
гугл говорит, что сам pythonanywhere вполне может брать и ребутаться, при этом консоли естессно будут закрываться
Chel
к вопросу об очистке памяти, я запустил свой цикл по созданию мелких картинок из больших и в конце концов память кончилась и все сломалось. Может кто подсказать, где остаются ссылки, что почистить надо в цикле, чтобы оперативки хватало? https://pastebin.com/DP2W5Nsb Она судя по виджету чистится как-то, но как будто не успевает или чистится не полностью и накапливается
Chel
делаю в kaggle ноутбуке это, там 16 гигов оперативы
DORIAN GRAY
Если кто сталкивался с ошибкой во фласке "raised as a result of Query-invoked autoflush; consider using a session.no_autoflush block if this flush is occurring prematurely" отпишитесь
Владимир
к вопросу об очистке памяти, я запустил свой цикл по созданию мелких картинок из больших и в конце концов память кончилась и все сломалось. Может кто подсказать, где остаются ссылки, что почистить надо в цикле, чтобы оперативки хватало? https://pastebin.com/DP2W5Nsb Она судя по виджету чистится как-то, но как будто не успевает или чистится не полностью и накапливается
Не оч понял но похоже у тебя есть куча изображений (используемых как маски и как изображения) Ты их на каждом шагу комбинируешь и - кладешь в массив. Зачем? Либо сгенерировал- заюзал, либо если много раз понадобится - кидай в файл Каждую комбинацию в соответствующий файл т.е.
Chel
мне сказали, что перезапись поможет, сейчас запустил с del и gc.collect()
Chel
а, все равно сломалось, не помогает
Владимир
а
Не все знают про for _
Chel
У меня тут интернет убитый... сообщение придет неяснр когда но- зачем зип архив?
мне надо эти файлы сохранить для дальнейшего использования и комбинирования с другими файлами
e44
Не все знают про for _
Не понял сути
Chel
Но зачем разбивать одну на несколько?
чтобы в нейросетку грузить, одна картинка 20 на 30 тысяч пикселей. Разбиваю на 1024х1024
Chel
Ну просто записывай в png или в каком там у тебя формате
ну я и записываю, просто в архив еще кладу дополнительно, это память жрет что ли?
Aragaer
лучше скейлить
а
Не понял сути
Чел задавал вопрос на канале как сделать цикл for в for, ему предлагали for i: for i, но есть же for _, ибо из родительского цикла i не будет юзатся
Chel
лучше скейлить
это потом, я хочу полноразмерные сделать, а их потом скейлить при надобности
Aragaer
я пытался для своей нейросетки сначала картинку резать на куски, а потом куски прогонять, а потом что-то из этих результатов делать. А потом решил просто скейлить и все. И это оказалось лучше
а
Если разбить одну картинку на несколько, памяти уйдёт больше
Aragaer
скейлить и дополнять черными полями до квадрата
Chel
Да
не понимаю, как. Типа зип архив всегда открыт и из-за этого оперативка накапливается? А можно как-то закрывать его после записи очередного батча?
Chel
скейлить и дополнять черными полями до квадрата
у меня 20на30 тысяч пикселей, че я там скейлить буду, объекты искомые довольно мелкие на этой картинке. Это срез ткани огромный и на нем мелкие кружочки нужны грубо говоря
Chel
Не оперативка, я говорил за просто разбитие изображения
просто разбиение мне нужно в любом случае, а мешает этому только забивка оперативной памяти. На диске пусть забивается сколько хочет
Aragaer
ясно. Тогда надо разбивать на куски срезами
Aragaer
ща найду код...
Aragaer
def cut_image(path_or_image): if isinstance(path_or_image, str): image = load_image(path_or_image) else: image = path_or_image if image.mode != 'RGB': image = image.convert('RGB') width, height = image.size lefts = overlapping_offsets(width, SIZE_X, OFFT_X) tops = overlapping_offsets(height, SIZE_Y, OFFT_Y) for top in tops: bottom = top + SIZE_Y for left in lefts: right = left + SIZE_X box = (left, top, right, bottom) yield image.crop(box), box
Aragaer
в памяти каждый раз находится одна исходная картинка и один отрезанный кусочек
Aragaer
генератор делает по одному кусочку и не делает новых кусочков, пока не попросят
Aragaer
соответственно ты можешь дальше уже сделать цикл по своему генератору и скидывать на диск время от времени
Aragaer
ну или соответственно да, в зип архив скидывать. Там тоже он не будет пытаться весь архив хранить в памяти, а будет скидывать на диск по мере заполнения блоков
Chel
спасибо, попробую. Но все равно интересно, чем у меня забивается оперативка и как решить
Aragaer
скорее всего именно большим количеством кусков - под каждый кусок надо память получается. 30 на 20 к пикселей это 4*30*20 = 480 мегабайт если с альфой. Еще небось на каждый элемент не по байту выделено.