Tishka17
Vladik
Anonymous
Привет
Tishka17
Ничего 😁😁
Тогда как ты понял, что ничего не загружается?
Anonymous
Привет, посдкажите пожалуйста как можно избежать ошибок типа UnicodeEncodeError: 'ascii' codec can't encode characters in position 90-96: ordinal not in range(128)
Постоянно вылетают в продакшене из-за того что шлют киррилицу или другие юникод символы. Вообще в основном в логировании используется. Можно ли как-то на глобальном уровне это поймать, чтобы оно не ломало все приложение?
Tishka17
Anonymous
Aragaer
но мне кажется там ошибка в другом - почему вообще используется ascii codec?
Anonymous
Локаль системы какая?
Оно постоянно ломается, уже пробовал что-то типо
try:
body = body.decode("ascii", errors="ignore")
logger.info("PARSED BODY OKAY ASCII")
except UnicodeError:
body = body.decode("utf-8", errors="ignore")
logger.info("PARSED BODY OKAY UTF")
else:
# value was valid ASCII data
pass
Aragaer
но ведь не decode
Aragaer
он же пишет, что ошибка в encode
Anonymous
ошибка вообще вылетает в таком месте
logger.info(product[‘comments’])
Anonymous
то есть при касте к str
Aragaer
нет никакого каста. Оно уже строка и нормальная. Но с юникодом
Aragaer
так вот внутри logger происходит конвертирование в ascii и вот там в настройках логгера и надо разбираться
Anonymous
Tishka17
Aragaer
впрочем, есть еще один момент. У логгера первый аргумент это форматная строка
Anonymous
Aragaer
должно быть logger.info("%s", product['comments'])
Aragaer
что-то в таком духе
Tishka17
Aragaer
эммм... нет, у принта так не надо, у принта нет форматной строки
Aragaer
надо найти где у тебя прописаны хэндлеры для логгинга
Vladik
Aragaer
https://stackoverflow.com/questions/46636206/python-3-6-logging-modul-error-unicodeencodeerror-charmap-codec-cant-encod
Anonymous
Aragaer
вот первый результат в гугле, тут чот такое написано
Aragaer
https://gankrin.org/fix-unicodeencodeerror-ascii-codec-cant-encode-character/
Aragaer
а вот еще тоже в гугле
Tishka17
А чо, с локалью разобрались уже?
Александр
Добрый вечер, вопрос про микросеовисную архитектуру: используются ли при таком подходе к архитектуре некие глобальные дто классы, описывающие входящие и исходящие сущности сервисов, или это дополнительная связь, которая нисводит все плюсы микросервисов, а дто существуют только в рамках каждого сервиса?
Denis
Александр
Ну возможно, если обобщить мой вопрос то: как описывают и следят за контрактами на уровне сервисов
Denis
Документацией, end to end тестами, общими схемами
Tishka17
Александр
Спасибо. В таком случае немного раздражает в каждом сервисе писать сериализацию/десереализацию
Tishka17
Александр
Спасибо, посмотрю, это про сваггер же?
Tishka17
Да. И особенно про протобуф
Das
Всем привет кто знает подскажите пожалуйста почему в pythonanywhere.com когда я создаю bash и в нем запускаю своего бота .
Bash консоль через 2 дня очищяется приэтом бот перестает работать . Аккаунт платный . Помогите как поступить
Aragaer
сделать без bash, запускать бота на вебхуках
Aragaer
гугл говорит, что сам pythonanywhere вполне может брать и ребутаться, при этом консоли естессно будут закрываться
Chel
к вопросу об очистке памяти, я запустил свой цикл по созданию мелких картинок из больших и в конце концов память кончилась и все сломалось. Может кто подсказать, где остаются ссылки, что почистить надо в цикле, чтобы оперативки хватало?
https://pastebin.com/DP2W5Nsb
Она судя по виджету чистится как-то, но как будто не успевает или чистится не полностью и накапливается
Chel
делаю в kaggle ноутбуке это, там 16 гигов оперативы
DORIAN GRAY
Если кто сталкивался с ошибкой во фласке "raised as a result of Query-invoked autoflush;
consider using a session.no_autoflush block if this flush is occurring prematurely" отпишитесь
Владимир
Chel
Chel
мне сказали, что перезапись поможет, сейчас запустил с del и gc.collect()
Chel
а, все равно сломалось, не помогает
Владимир
а
e44
а
Владимир
Aragaer
лучше скейлить
а
Не понял сути
Чел задавал вопрос на канале как сделать цикл for в for, ему предлагали for i: for i, но есть же for _, ибо из родительского цикла i не будет юзатся
Chel
лучше скейлить
это потом, я хочу полноразмерные сделать, а их потом скейлить при надобности
Aragaer
я пытался для своей нейросетки сначала картинку резать на куски, а потом куски прогонять, а потом что-то из этих результатов делать. А потом решил просто скейлить и все. И это оказалось лучше
а
а
Если разбить одну картинку на несколько, памяти уйдёт больше
Aragaer
скейлить и дополнять черными полями до квадрата
Chel
Да
не понимаю, как. Типа зип архив всегда открыт и из-за этого оперативка накапливается? А можно как-то закрывать его после записи очередного батча?
а
Aragaer
ясно. Тогда надо разбивать на куски срезами
Aragaer
ща найду код...
Aragaer
def cut_image(path_or_image):
if isinstance(path_or_image, str):
image = load_image(path_or_image)
else:
image = path_or_image
if image.mode != 'RGB':
image = image.convert('RGB')
width, height = image.size
lefts = overlapping_offsets(width, SIZE_X, OFFT_X)
tops = overlapping_offsets(height, SIZE_Y, OFFT_Y)
for top in tops:
bottom = top + SIZE_Y
for left in lefts:
right = left + SIZE_X
box = (left, top, right, bottom)
yield image.crop(box), box
Aragaer
в памяти каждый раз находится одна исходная картинка и один отрезанный кусочек
Aragaer
генератор делает по одному кусочку и не делает новых кусочков, пока не попросят
Aragaer
соответственно ты можешь дальше уже сделать цикл по своему генератору и скидывать на диск время от времени
Aragaer
ну или соответственно да, в зип архив скидывать. Там тоже он не будет пытаться весь архив хранить в памяти, а будет скидывать на диск по мере заполнения блоков
Chel
спасибо, попробую. Но все равно интересно, чем у меня забивается оперативка и как решить
Aragaer
скорее всего именно большим количеством кусков - под каждый кусок надо память получается. 30 на 20 к пикселей это 4*30*20 = 480 мегабайт если с альфой. Еще небось на каждый элемент не по байту выделено.