Arstanbek
Привет всем! Задача: сделать OCR бумажных визиток. Учесть, что распознаваемый текст извлекается с однотонного фона. На выходе получить массив сегментов текста/картинок с координатами и распознанным текстом. Присмотрелся opencv+tesseract на 3-м питоне, попробовал несколько вариантов. Только поиск сегментов текста на стандартной визитке занимает 0.4-0.5 секунд. Вопрос: Кто подскажет, может есть какие-то утилиты, но чтобы скорость была выше? В какую сторону копать?
Arstanbek
в сторону i7 👀
А чо, острить можно? )
Tishka17
@Tishka17 у меня кафка будет, и ничего с этим поделать нельзя. я думал про скрестить celery с kafka, но пишут что пока не совсем все готово, нет gevent, но мне просто и не надо, так вот, хз что делать, я сделал producer и consumer, отключил автокоммит, и могу пакетно обрабатывать данные из kafka, и писать в нее, в общем, меня абузят микрсервисами для отдельно консьюмера и отдельно продюсера, я хз как лучше делать, до этого был на фласке, и так понимаю, консьюмер с kafka-python уже умеет в очереди ожидать сообщения, все работает и все подключается. вопрос - можно ли сделать простой py с KafkaConsumer, и не ипать мозги, но люди идиоты, вывалили мне на этого микросервиса все те же требования, что и на flask монолит, а именно - логгировать все, писать в AzureListeners, и в общем случае все ошибки пихать в Ажуру. плюс все те же объекты что и в flask, та же сериализация, marshmallow, sqlalchemy, только без обращения к БД в микросервисах, а вызов через http, и безопасность (microsoft oauth2) что в целом выходит фласк приложение, только вместо вызова. то есть так много докидывать, что он уже с моей точки зриения ничего не микросервис уже, у него requirements.txt на полстраницы. можно сериализатор десериализатор руками дописать, канеш, но это никуя не быстро по времени или взять то большое приложение и вырезать все к чертям, как франкинштейна делали, так же, примерно. как лучше сделать чтобы не сильно напрягаться?
Логи пускай пишет то, через что запускаешь. Вообще не дело приложения разбираться как они там собирабтся
Tishka17
@Tishka17 у меня кафка будет, и ничего с этим поделать нельзя. я думал про скрестить celery с kafka, но пишут что пока не совсем все готово, нет gevent, но мне просто и не надо, так вот, хз что делать, я сделал producer и consumer, отключил автокоммит, и могу пакетно обрабатывать данные из kafka, и писать в нее, в общем, меня абузят микрсервисами для отдельно консьюмера и отдельно продюсера, я хз как лучше делать, до этого был на фласке, и так понимаю, консьюмер с kafka-python уже умеет в очереди ожидать сообщения, все работает и все подключается. вопрос - можно ли сделать простой py с KafkaConsumer, и не ипать мозги, но люди идиоты, вывалили мне на этого микросервиса все те же требования, что и на flask монолит, а именно - логгировать все, писать в AzureListeners, и в общем случае все ошибки пихать в Ажуру. плюс все те же объекты что и в flask, та же сериализация, marshmallow, sqlalchemy, только без обращения к БД в микросервисах, а вызов через http, и безопасность (microsoft oauth2) что в целом выходит фласк приложение, только вместо вызова. то есть так много докидывать, что он уже с моей точки зриения ничего не микросервис уже, у него requirements.txt на полстраницы. можно сериализатор десериализатор руками дописать, канеш, но это никуя не быстро по времени или взять то большое приложение и вырезать все к чертям, как франкинштейна делали, так же, примерно. как лучше сделать чтобы не сильно напрягаться?
marshmallow - хорошо, тебе надо как-то разбирать что пришло. Правда если протобуф это конечно лишнее
Tishka17
@Tishka17 у меня кафка будет, и ничего с этим поделать нельзя. я думал про скрестить celery с kafka, но пишут что пока не совсем все готово, нет gevent, но мне просто и не надо, так вот, хз что делать, я сделал producer и consumer, отключил автокоммит, и могу пакетно обрабатывать данные из kafka, и писать в нее, в общем, меня абузят микрсервисами для отдельно консьюмера и отдельно продюсера, я хз как лучше делать, до этого был на фласке, и так понимаю, консьюмер с kafka-python уже умеет в очереди ожидать сообщения, все работает и все подключается. вопрос - можно ли сделать простой py с KafkaConsumer, и не ипать мозги, но люди идиоты, вывалили мне на этого микросервиса все те же требования, что и на flask монолит, а именно - логгировать все, писать в AzureListeners, и в общем случае все ошибки пихать в Ажуру. плюс все те же объекты что и в flask, та же сериализация, marshmallow, sqlalchemy, только без обращения к БД в микросервисах, а вызов через http, и безопасность (microsoft oauth2) что в целом выходит фласк приложение, только вместо вызова. то есть так много докидывать, что он уже с моей точки зриения ничего не микросервис уже, у него requirements.txt на полстраницы. можно сериализатор десериализатор руками дописать, канеш, но это никуя не быстро по времени или взять то большое приложение и вырезать все к чертям, как франкинштейна делали, так же, примерно. как лучше сделать чтобы не сильно напрягаться?
Бд своя или другого сервиса?
Tishka17
@Tishka17 у меня кафка будет, и ничего с этим поделать нельзя. я думал про скрестить celery с kafka, но пишут что пока не совсем все готово, нет gevent, но мне просто и не надо, так вот, хз что делать, я сделал producer и consumer, отключил автокоммит, и могу пакетно обрабатывать данные из kafka, и писать в нее, в общем, меня абузят микрсервисами для отдельно консьюмера и отдельно продюсера, я хз как лучше делать, до этого был на фласке, и так понимаю, консьюмер с kafka-python уже умеет в очереди ожидать сообщения, все работает и все подключается. вопрос - можно ли сделать простой py с KafkaConsumer, и не ипать мозги, но люди идиоты, вывалили мне на этого микросервиса все те же требования, что и на flask монолит, а именно - логгировать все, писать в AzureListeners, и в общем случае все ошибки пихать в Ажуру. плюс все те же объекты что и в flask, та же сериализация, marshmallow, sqlalchemy, только без обращения к БД в микросервисах, а вызов через http, и безопасность (microsoft oauth2) что в целом выходит фласк приложение, только вместо вызова. то есть так много докидывать, что он уже с моей точки зриения ничего не микросервис уже, у него requirements.txt на полстраницы. можно сериализатор десериализатор руками дописать, канеш, но это никуя не быстро по времени или взять то большое приложение и вырезать все к чертям, как франкинштейна делали, так же, примерно. как лучше сделать чтобы не сильно напрягаться?
Если оно не ходит в базу, алхимию юзать - очень странно. У тебя модели вообще по другому будут работать же
Arstanbek
Поиграться с тессерактом
я с ним уже играюсь. наигрался. тессеракт хорош с препроцессором. OpenCV дает возможность определить сегменты (текста, лица и т.д.) и подать картинку на распознавание так, как он это любит. Думал, может быть тут есть люди с опытом, чтобы подсказать как лучше сделать?
Andrey
господа, подскажите советом. Делаю простенькое приложение на tkinter, запускаю его в треде и делаю бесконечную функцию. в этой функции я создаю функцию app = MyWindow() потом time.sleep(5), потом app.callback() (в котором написано self.window.quit() , а потом обратно вызываю эту же функцию. Суть в чём - когда я в callback делаю quit, то окно не закрывается, поверх просто появляется новое. А если я там пишу destroy, то все окна закрываются наглухо и ничего больше не происходит.
Andrey
вероятно, это происходит из-за невозможности создать новый тред
Tishka17
Чо
Tishka17
Ничего не понял
Tishka17
Код покажи
Tishka17
И что за "невозможность создать новый тред"?
Anonymous
Привет)
ぜんまい
разве это не вложение бесконечной функции в бесконечную функцию?)
Andrey
https://pastebin.com/XXQWV8qU
Andrey
пока вот такой код получается (хотя скорее не получается)
Tishka17
я вот все удивляюсь. Вам всем так сложн выбрать подсветку синтаксиса на пастбине, да?
Tishka17
https://pastebin.com/XXQWV8qU
class MyWindow(threading.Thread): ЧЗХ?
Andrey
class MyWindow(threading.Thread): ЧЗХ?
подсмотрел в интернетах
Tishka17
что за run_this?
Andrey
ну прост функция, которая выполняется вечно
Nikolay
Delete this
Tishka17
подсмотрел в интернетах
это пиздец, убери статью в которой ты это прочитал
Andrey
нужна для апдейта данных в окне
Tishka17
а. она есть
Tishka17
сорри
Tishka17
отсутствие отступов и подсветки с непривычки мешает это читать
Tishka17
бляяя
Tishka17
run_this - рекурсивная?
Andrey
сорян
Nikolay
😜
Andrey
ага. а, там ещё app.run
Tishka17
не вижу
Andrey
для перерисовки окна. забыл дописать перед time.sleep
Tishka17
Короче, я нихрена не понял, что ты пытался сделать, но это стоит удалить
Tishka17
Прям чет очень сложно всё сделано и к тому же неправильно
Tishka17
Какова была цель этого кода?
Andrey
мне надо периодически обновлять данные в таблице
Tishka17
бля, ещё и старт треда в ините
Tishka17
=(((
Andrey
типа window.after() не работает как заявлено, даже странно
Andrey
я б использовал его без всяких тредов
Tishka17
1. Никогда не стоит наследоваться от треда для реализации бизнес логики. Для этого у треда етсь target 2. Лучше основной тред занять UI, так всем привычнее и жизненный цикл приложения будет привязан к окну. 3. Всю долгую работу выноси в фоновые треды 4. Обновление UI должно делаться из UI треда. Хз как это в Tk, в Qt для этого есть система сигналов-слотов 5. Не надо юзать рекурсию вместо циклов
Andrey
ага, окей
Andrey
спасибо за советы
Tishka17
щас попробую найти про пункт 4 подробнее
Tishka17
рекурсию ваще никогда не юзать?
рекурсию юзать для рекурсивных задач, а не вместо циклов
Tishka17
Например удобно делать обход дерева с помощью рекурсии, если ты знаешь что глубина не очень большая
su
Бд своя или другого сервиса?
не, заказчик говорит, что микросервис который, он типа без БД пусть живет. своей жизней. а так вроде своя
Tishka17
так БД у этого микросервиса будет или нет?
JekA
Столкнулся с сложностью, клиенту необходимо выгрузить файл размером 2 тб и необходимы только уникальные строки из этих 2ух тб, думаю после выборки уникальных там останется не больше 10гб. Через что лучше, через with или что-то другое читать файл ?
su
так БД у этого микросервиса будет или нет?
нет, пишет что не будет, только к кафке обращайся, читай, и дергай другой микросервис по http
JekA
Думал взять решением разбить файл на более мелкие и потом в сет загонять и так до победного
Tishka17
звучит как плаг, но 10Гб в памяти тоже не мало будут жрать
Tishka17
менять порядок строк можно?
JekA
Конечно
Tishka17
А что за строки? просто текст или csv какой-нибудь?
JekA
Там привязки к времени. Обычный тхт, формат лога уведомлений больше
JekA
Там дальше как я понял будут парсить и в etl выгружать
Tishka17
Эм. Если это лог, откуда там неуникальные записи? ТАм же везде таймстамп разный =)
JekA
Эм. Если это лог, откуда там неуникальные записи? ТАм же везде таймстамп разный =)
Он немного кривой ))) там не у таймстамп, а просто date без времени