и кубаноиды, казаки, отряды Путина, .. =)

а тут за политику не банят?

а тут за политику не банят?

Сейчас и узнаем

а тут за политику не банят?

@nazarov_tech забань себя

*забанил себя*

оказывается, это больно!

больше не буду.

оказывается, это больно!

Смотря что за баней

тем временем даже сова начала учить питон https://twitter.com/etosova/status/902840678564147201

а кто это?

что "даже"

тогда уж так:

Я с плохим pdf в итоге сломался и не смог его спарсить питоном, ocr по знакомому шрифту оказалось проще делать.

В общем. А какими средствами делал ocr? И что значит по знакомому шрифту?

системы OCR умеют использовать заданный шрифт для обучения на нём и сравнения с его символами.

таки не вышло с pdf to text тулами?

системы OCR умеют использовать заданный шрифт для обучения на нём и сравнения с его символами.

типа такого? https://github.com/tesseract-ocr/tesseract/wiki/Training-Tesseract

> Tesseract is slower with large character set languages (like Chinese), but it seems to work OK.

В общем. А какими средствами делал ocr? И что значит по знакомому шрифту?

ну я себе сам накодил т.к случай частный и нет смысла носить с собой тяжелое общее решение. в целом тесеракт который посоветовали может помочь, но мне не зашел из коробки, а если допиливать то иногда проще свое сделать

В общем. А какими средствами делал ocr? И что значит по знакомому шрифту?

если ты знаешь какой шрифт то искать символы гораздо проще...

таки не вышло с pdf to text тулами?

Нет. Не вышло. Кажется что очень глубоко нужно погружаться если идти таким путем :/ попробую распознать

если ты знаешь какой шрифт то искать символы гораздо проще...

Если не ошибаюсь. Где-то в интернете есть тулы, которые по картинке предполагают шрифт. Думаю это прокатит

я юзал tesseract но не для иероглифов. для латиницы и языков на её основе. хорошо зашло.

если ты знаешь какой шрифт то искать символы гораздо проще...

я ему там скидывал какие используются и это легко же можно в любом pdf ридере посмотреть

Я думаю и с кириллицой тоже должно прокатить)

я ему там скидывал какие используются и это легко же можно в любом pdf ридере посмотреть

У меня кириллица, файл тот был тестовый с подобной проблемой.

Шрифты в pdfках проименованы, но я все же сверюсь с чем-нибудь ещё :|

эм. то есть не нужно языки с иероглифами распознавать?

CID же только для них вроде используется

Не нужно. Не только. Cid используется для кастомного шрифта у которого не задан мапинг на unicode.

таки маппинг может быть и задан таким же как в unicode. захотел ты сделать CIDFont такой же как обычный шрифт. на входе 0x0451 (русская буква 'ё'), через CMap смотрим что она мапится на 0x0451 и соответсвует в CIDFont-е значку ё.

Первый прогон через tesseract: "пени: краст поррно по Клие доску вона отнес» ово ов строй" =)

увеличь в 3 раза картинку. и проверь ещё раз

правило которое мы используем в практике его использования)

https://github.com/tesseract-ocr/tesseract/wiki/ImproveQuality

https://github.com/tesseract-ocr/tesseract/wiki/ImproveQuality

о чётко!

??

https://github.com/tesseract-ocr/tesseract/wiki/ImproveQuality

This is converting an image to black and white. Tesseract does this internally, but the result can be suboptimal, particularly if the page background is of uneven darkness. То есть они даже адаптивный тресхолдинг не осилили? Сомнительно как-то.

таки маппинг может быть и задан таким же как в unicode. захотел ты сделать CIDFont такой же как обычный шрифт. на входе 0x0451 (русская буква 'ё'), через CMap смотрим что она мапится на 0x0451 и соответсвует в CIDFont-е значку ё.

вот я с CMap и как там шрифты выглядят не разобрался. Единственное PDFdebugger из PDFbox достаточно пролил свет на эту область. Если бы во всех файлах шрифт был одинаковый и одинаково плох -> то можно было руками пофиксить. Но в моем случае шрифт генерируется под контент (такое ощущение что какая-то прилажуха которая его генерирует очень заботиться о размере результирующего pdf и урезает все что можно), т.е. если в тексте только 20 кириллических символа - то только они и будут в шрифте.

Возьму перерыв в попытках и прочитаю спеку pdf =)

вот я с CMap и как там шрифты выглядят не разобрался. Единственное PDFdebugger из PDFbox достаточно пролил свет на эту область. Если бы во всех файлах шрифт был одинаковый и одинаково плох -> то можно было руками пофиксить. Но в моем случае шрифт генерируется под контент (такое ощущение что какая-то прилажуха которая его генерирует очень заботиться о размере результирующего pdf и урезает все что можно), т.е. если в тексте только 20 кириллических символа - то только они и будут в шрифте.

если 20 символов - то можно, зная их, использовать их в качестве алфавита для Tesseract'а. Тем самым ограничить распознование.

на прошлом митапе кто-то говорил что JetBrains делает IDE для DS а может кто кинуть линк на скрин или анонс ?

на прошлом митапе кто-то говорил что JetBrains делает IDE для DS а может кто кинуть линк на скрин или анонс ?

они бету раздают, проси сразу ключ

в ODS слаке можно узнать

спасибо

спасибо

если попробуешь расскажи плз правда ли они весь твой код через свой сервак пропускают

в ODS слаке можно узнать

http://ods.ai/ ?

на прошлом митапе кто-то говорил что JetBrains делает IDE для DS а может кто кинуть линк на скрин или анонс ?

Новая секретная IDE для Python + Data Science?

http://ods.ai/ ?

да

Коллеги, а есть скидки на PiterPy №4?

Коллеги, а есть скидки на PiterPy №4?

только те, что на сайте указаны в сетке цен

Эх, я думал есть волшебный купон )) тогда побежал закупать))

Выдвигаюсь на митап. Для нас забронирован дальний зал.

питон бар-хоппит?

в тарабруче?

в тарабруче?

ага

славно, люблю тот зал

питон бар-хоппит?

бар-слизерит)))

"Tara Brooch", 2-я совьецкая, 18. Подходите к семи или позже, гуляем! :)

ERROR: S client not available

Ух ты, у вас оффлайн-сходочки бывают?

Есть какая-то регулярность?

А то я наверное вольюсь при случае.

всё тут: meetup.com/spbpython/

у нас два основных типа сходочек: митапы (второй вторник месяца) и дринкапы (последний четверг месяца)

на митапах мы делаем интересные доклады друг другу, на дринкапах мы культурно употребляем горячительные напитки и ругаем пхп.

бывают эпизодически какие-то эксперименты с форматом, но основные эти два.

Выдвигаюсь на митап. Для нас забронирован дальний зал.

Эх :с

на митапах мы делаем интересные доклады друг другу, на дринкапах мы культурно употребляем горячительные напитки и ругаем пхп.

Только пхп?

Только пхп?

не только. но узнать, что ещё мы ругаем, можно, придя на наши дринкапы!

не только. но узнать, что ещё мы ругаем, можно, придя на наши дринкапы!

Я б щас поругал чего-нибудь :D

Обычно ангулар на митапах ругают, и хвалят реакт :)

сегодня встреча намечается?

сегодня встреча намечается?

в семь вечера в таре бруч же. @delimitry уже выехал

https://www.meetup.com/spbpython/events/242176147/

Спамеры они ещё те. Мне автогенеренное письмо из данных моего гитхаба прилетело.

the same, ценные кадры, фигле

Хорошо посидеть )) и лёгкого похмелья

Плюсую

Спасибо! :)

А кто-то ещё есть в тара бруче?

А кто-то ещё есть в тара бруче?

12 чел

О, я к Вам

Пока да

На Рубика пошли!

На Рубика пошли!

Уже n-ный раз читаю про рубика, это где?)

На Рубинштейна :)

На Рубинштейна :)

Окей, буду развивать алкоэрудицию :)