Игнат
Я так понимаю лучше всего pg_trgm по ФИО и по др отдельно ?
Игнат
Чтобы точность была лучше
Alex
что такое ДР? и нахрена тебе текстовый поиск по датам?
Serhii
День рождения
Alex
и каким хуем простите тут триграфы? совсем ебанулся?
Игнат
Ну тип может быть разные люди с одним фио но разными днями рождения
Игнат
Я пришел за советом
Игнат
Я не шарю в этом вопросе
Alex
Я пришел за советом
совет ты получил.
Alex
Я не шарю в этом вопросе
у тебя есть все чтобы это исправить.
Alex
варианты примерно следующие: либо хранишь отдельно Ф, И, О и строишь индексы по этим полям и ищешь similarity при запросе.
Alex
либо делаешь отдельную таблицу куда индексируешь все Ф, И, О слова, строишь по ним индекс, и получаешь список всех совпадений, по которым ты уже строишь запрос используя полнотекстовый поиск.
Игнат
Принял ))
ssv
а про корреляцию ему можно сказать? или не стоит?)
Roman
Ищу ментора по программированию. Сейчас начал учить питон, много не понятно, изучение даётся с трудом и долго. Хочу найти человека которые на возмездный основе за $$$ отвечал бы на мои вопросы (1-2 раза в день), смотрел на то что я пишу, поправлял и давал рекомендации (так не так, и как можно лучше 1-2 раза в неделю по скайпу) Если есть такой человек, прошу откликнуться в личку
Anonymous
Можно поинтересоваться? video = GLib.get_user_special_dir(GLib.USER_DIRECTORY_VIDEOS) + '/%(title)s.%(ext)s' audio = GLib.get_user_special_dir(GLib.USER_DIRECTORY_MUSIC) + '/%(title)s.%(ext)s' playlist = GLib.get_user_special_dir(GLib.USER_DIRECTORY_VIDEOS) + '/%(playlist)s/%(playlist_index)s - %(title)s.%(ext)s' можно ли так оставлять пути, которые будут аргументами для subprocess.Popen() или лучше использовать os.path.join для их образования?
Alex
стоп. $$$? тогда $100/час.
Roman
А курсы с преподавателями что?
А какие курсы есть? Может хреново гуглил но не нашёл ничего вменяемого
Ilya
А какие курсы есть? Может хреново гуглил но не нашёл ничего вменяемого
https://www.google.com/amp/s/amp.spark.ru/user/96450/blog/41638/kursi-po-python-ili-chto-vibrat-samostoyatelnoe-obuchenie-ili-zanyatiya-s-prepodavatelem Тут список для самостоятельного обучения и курсы с преподавателями
Ilya
Гляньте по тарифами как и что и выбирайте
Alex
А курсы с преподавателями что?
отличный способ потратить деньги.
Ilya
отличный способ потратить деньги.
Ну тут как бы теорема Эскобара
Roman
https://www.google.com/amp/s/amp.spark.ru/user/96450/blog/41638/kursi-po-python-ili-chto-vibrat-samostoyatelnoe-obuchenie-ili-zanyatiya-s-prepodavatelem Тут список для самостоятельного обучения и курсы с преподавателями
Читал отзывы, что скилбокс, что нетология хороший маркетинг но знаний не дают. Другие думаю так же. Предпочитаю найти практика, за вменяемую цену. И перенять опыт
Roman
Главное чтобы это практик не начал передавать свой опыт говнокода
Есть такой риск) Но я в программировании не оч силён, но в людях разбираюсь.
Ilya
Ну тут остаётся пожелать только удачи в поисках нужного человека
ssv
Есть такой риск) Но я в программировании не оч силён, но в людях разбираюсь.
я так понимаю по предыдущим запросам - для анализа)
Roman
я так понимаю по предыдущим запросам - для анализа)
Для работы. Есть несколько вещей которые хотел бы автоматизировать. Ну и если пойдёт хорошо развить направление
ssv
Для работы. Есть несколько вещей которые хотел бы автоматизировать. Ну и если пойдёт хорошо развить направление
всё что касается бубла (биткоины, акциии, опционы и пр хрень) очень плохо автоматизируются (считай никак)
Anonymous
os.path.join или лучше pathlib.
Остановился на os.path.join
Анвар
Привет всем, сразу перейду к делу, стоит задача сделать консульный апп с чисым выводом изменений в mysql (Тоесть только то что отпровляется под методом UPDATE), в какое русло рыть?)
Анвар
Это возможно?
Roman
Системное администрирование?
Нет. финтек. Нужна автоматизация по работе с банками+ госзакупками. Готовые решения есть, но сделаны так что кровь из глаз течёт. Поэтому легче коряво но самому написать
Roman
я так понимаю ты в этом движении?
Нет. Я с финансами работаю, но немного в другом профиле.
Roman
А есть люди те кто реально такое курсы проходил и ему помогло?
Ssi
ML нужен?
я так понял, человеку рутину автоматизировать просто
Roman
ML нужен?
Ml это что? 😲
Ssi
Ml это что? 😲
машинное обучение
sabsubsib
Ml это что? 😲
Машин ленинг
Roman
ssv
Ml это что? 😲
Machine Learning? машинное обучение - составление прогнозов и тп
Roman
машинное обучение
Было бы интересно. У меня есть стартап, а смежной теме. Там как раз и машинное обучение (распознование текста) необходимо. А шансы быстро в кэш выйти хорошие
Sunrise
👍
Roman
тут вроде как все индивидуально
Индивидуально это когда 100 человек прошло. 50 выучили 50 нет. А когда 100 % сказали что это индивидуально это маркетинг😹
ssv
[ Фотография ] Конкурсы для настоящих мастеров: 1) Методом обучения без учителя, на любом корпусе любого иероглифического языка получить словарь слов, используемых этим языком либо доказать невозможность решения данной задачи, либо показать ограничения (упрощения) при наличии которых эта задача решается и тогда таки решить её, применив эти ограничения (упрощения) - пример: https://github.com/singnet/language-learning/issues/255 2) Методом обучения без учителя, на любом корпусе любого европейского языка (можно английского, корпус Gutenberg, например) получить грамматику этого языка в формализме LinkGrammar либо доказать невозможность решения данной задачи, либо показать ограничения (упрощения) при наличии которых эта задача решается и тогда таки решить её, применив эти ограничения (упрощения) - пример: https://github.com/singnet/language-learning/issues/220 Условия - как сказал Джек Ма, настоящие дела за деньги не делаются 😉 Поэтому, если кто решит указанные задачи, получит почет, славу и всю интеллектуальную собственность
Roman
распознавание текста это вроде как модуль регулярных выражений? или я ошибаюсь?
Паспортных данных клиентов. Финансовых документов (стандартных) и тд
Roman
resnet гугли и распознавай сколько влезет
Пробавали, разные библиотеки, лучше всех работает тессеракт. Но и он далёк от идеала. Нужно что то своё под конкретный формат и конкретную задачу
Roman
или ты из ЦФТ?
Упаси господь) Знаю эту контору но никак на связан.
Roman
Курсы дают теорию. Который в интернете и та пруд пруди. А от преподавателя нужен личный опыт и обратная связь. Инфы в интернете море. Но у меня получается так 2-3 часа ищешь что то в итнетренте, находишь, пытаешься заходить, потом 2-3 часа ищешь что не так
Roman
resnet это не библиотека, это архитектура
Спс. Почитаю. Пока не сильно погружался
ssv
Спс. Почитаю. Пока не сильно погружался
а по вашей теме смотрите dlcourse.ai
Tishka17
@rise_u_p предупреждение. В следующий раз внимательнее к источникам
ssv
Спс. Почитаю. Пока не сильно погружался
там прям всё про распознавание, ч о где и как
ssv
Спс. Почитаю. Пока не сильно погружался
и забудьте библиотеку 2010 года как страшный сон
Anonymous
почему мне mysql-connector возвращает bytearray, а не стринги?
Anonymous
из-за этого пришлось функцию люшнюю писать
Anonymous
Anonymous
Пытаюсь создать задачу, выполняющуюся каждую минуту. Ввожу команду python3 manage.py runcrons, она выполняет указанный крон после чего ничего не происходит (предположительно, код должен выполняться каждую минуту, но этого не происходит). crontab -e - выводит следующее: * * * * * /home/user/myvirtualenv/bin/python3 /home/user/myvirtualenv/myproject/manage.py runtask MyCron --settings=myprojectmainapp.settings # kronos:57e3dc053eb44c153f1fd5420b9e52f6 https://django-cron.readthedocs.io/en/latest/installation.html cron.py import time from django_cron import CronJobBase, Schedule class MyCron(CronJobBase): RUN_EVERY_MINS = 1 schedule = Schedule(run_every_mins=RUN_EVERY_MINS) code = 'cron.MyCron' def do(self): with open('./cron.txt', 'a') as file: file.write(str(time.time())) settings.py INSTALLED_APPS = ['django_cron',] CRON_CLASSES = [ "myapp.cron.MyCron", ]
Alex
Всем привет! У меня один вопрос по NLP назрел. У меня есть звонки клиентов и агентов (уже переведенные в текст). Я пытаюсь найти обещания, которые дал агент клиенту в каждом звонке. Я уже сделал восстановление пунктуации. Но есть много предложений, которые не имеют никакого смысла (просто набор не связанных слов). Хотелось бы удалить такие предложения. Интересно, какой подход лучше для этой задачи? Мои идеи: • tf idf и word2vec для создания векторов из всех предложений. После этого мы можем сделать что-то вроде anomaly detection, то есть искать и удалять векторы, которые сильно отклонены от большинства других векторов. • Спам-фильтры. Может быть, можно применить спам фильтры для этой задачи? • Ещё одна идя: cоздать образец речевых тегов, которые должно включать правильное предложение. Например, любое хорошее предложение должно включать существительное + глагол. Или мы можем использовать, например, dependency tokens из spacy. Был бы рад услышать ваши идеи!
Tigran
Всем привет! У меня один вопрос по NLP назрел. У меня есть звонки клиентов и агентов (уже переведенные в текст). Я пытаюсь найти обещания, которые дал агент клиенту в каждом звонке. Я уже сделал восстановление пунктуации. Но есть много предложений, которые не имеют никакого смысла (просто набор не связанных слов). Хотелось бы удалить такие предложения. Интересно, какой подход лучше для этой задачи? Мои идеи: • tf idf и word2vec для создания векторов из всех предложений. После этого мы можем сделать что-то вроде anomaly detection, то есть искать и удалять векторы, которые сильно отклонены от большинства других векторов. • Спам-фильтры. Может быть, можно применить спам фильтры для этой задачи? • Ещё одна идя: cоздать образец речевых тегов, которые должно включать правильное предложение. Например, любое хорошее предложение должно включать существительное + глагол. Или мы можем использовать, например, dependency tokens из spacy. Был бы рад услышать ваши идеи!
А обучающая выборка есть?