Ruslan
давай
Tishka17
Не понял
Ну вот есть документ. В нем найдено 100 ключевых "слов" из словаря. Я нашел этот документ по какому-то запросу, надо юзеру показать так же, какие для этого документа ещё актуальные слова есть
Alex
highlight это вроде как выделение участка совпадения с поисковым запросом
Tishka17
Ну не будут же я каждый раз задавать хайлайт по 500к слов? Логично их найти один раз в документе
Tigran
Ну вот есть документ. В нем найдено 100 ключевых "слов" из словаря. Я нашел этот документ по какому-то запросу, надо юзеру показать так же, какие для этого документа ещё актуальные слова есть
В два шага нельзя? Сначала поиск документов по пользовательскому запросу, потом фетчинг для них ключевых фраз (они энивей в другом индексе) за кэшом каким-нибудь
Tishka17
Как вариант, но пока думаю заранее их выделять
Baimurzin
Привет всем, у меня постоянно ошибки подключения, как можно исправить. нашел решение в интернете что надо в цикл помешять реквест и ждать пока не подключиться но я не могу понять как из цикла получить респонс. requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',))
Андрей
У реквестов вроде есть ретрай_каунт
Tishka17
О, pyahocorasick вообще рвет по скорости
Tigran
А как мне в эластике фетчить совпадение по 500к ключевых фраз?
Делаешь индекс, документ в индексе = твоя ключевая фраза. Ищешь по этому индексу с текстом твоего документа в качестве запроса (1000 слов, ты говорил? это ок), только выставляешь minimum_should_match=2, чтобы находилось хотя бы по двум словам (можно и 1 выставить, в принципе).
Tishka17
Надо подумать
Tishka17
Мне бы полное совпадение фразы вообще, а они есть разной длины
Tigran
Ну ты получаешь предварительный список фраз, которые релевантны, потом можешь допроверить на бэке. Можно ещё поковыряться в эластике, уверен, там можно настроить на точные совпадения
Tishka17
Окей, спасибо. Подумаю о таком варианте
micky
что такое?
Anonymous
Что значит отфильтровать?
Co(n)stantine👨‍🔬
это что, череп?
Anonymous
Что значит удалить?
Kel0
Я подставлял под тайпинг другую бэйс модел, но валидэйшн еррор выходил Сам аутпут представляет из себя дикт, но если в тайпинг пихнуть дикт, то тоже выходит валидэйшн еррор
насчет этого, если кому интересно как решил проблему. Создал класс OrmBase Наследуюсь от него, и апдейт форуард рефс делаю, и все работает
snow ☔
Ребят, вопрос по vk_api. как сделать так чтобы сообщество писало сообщение в беседу когда в беседу заходил новый пользователь?
Tishka17
Делаешь индекс, документ в индексе = твоя ключевая фраза. Ищешь по этому индексу с текстом твоего документа в качестве запроса (1000 слов, ты говорил? это ок), только выставляешь minimum_should_match=2, чтобы находилось хотя бы по двум словам (можно и 1 выставить, в принципе).
Нет, не понимаю как это юзать. Вот у меня есть 500к ключевых фраз. 10к документов. Юзер вводит одну из ключевых фраз, мне надо найти подходящие документы и для них выдать какие ещё есть ключевые фразы. Предлагаешь делать так? 1. Заматчить ключевую фразу по запросу юзера 2. Сделать поиск документов на матч этой фразе 3. Сделать для запрос на матч фраз каждому документу 4. При необходимости закэшировать пункт 3 Так?
Tishka17
Условия соответствия на пункте 2 и 3 разные, гуглю
Алевтина
привет можете помочь использую библиотеку paramiko подключаюсь удаленно по ssh часть команд выполняет, а другие нет в чем может быть проблема client = paramiko.SSHClient() client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) client.connect(hostname=host, username=user, password=secret, port=port) client.exec_command('enable') time.sleep(5) client.exec_command('ххххх') time.sleep(2) client.exec_command('sh pppoe | save '+name_file) time.sleep(20) client.exec_command('copy ' + name_file + ' tftp://1.1.1.1/' + name_file) time.sleep(8) client.exec_command('delete '+name_file) time.sleep(2) client.exec_command('yes') time.sleep(2) client.close() эта строчка кода уже не выполняется client.exec_command('copy ' + name_file + ' tftp://1.1.1.1/' + name_file), хотя если полученную команду ввести руками то все норм
Tishka17
Чтобы потом юзер мог провалиться в поиск по ним и т.п.
Anonymous
Хмм, можно искать всё не чёрное и проверять некоторый радиус вокруг этого элемента, если в этом радиусе ничего нет, то объект удаляется
Anonymous
На cv2 можно сделать
Tigran
Мне надо документы искать и для каждого выводить какие ему ещё фразы актуальны
Хм, ну тогда как будто бы 1. Поискать документы в индексе с документами по фразе юзера 2. Для каждого из найденных документов поискать фразы в индексе фраз Второй пункт тяжёлый, тут есть варианты — можно подкэшировать, можно в индекс с документами класть в отдельное поле список сматчившихся фраз (эта схема не очень хорошо справится с добавлением фраз) Ща ещё подумаю
Tishka17
Вот я и думал пойти по пути хранения сматченных фраз. Я теоретически могу при обновлении словаря повторно индексировать документы
Tishka17
Я хотел начать с префиксного дерева, но вообще логично иметь некоторую нечеткость поиска для исправления опечаток
Tigran
А почему не закэшировать? Если ты делаешь поисковую выдачу, там на одной странице будет в пределах десятка документов, сделать параллельно десять запросов при 100% cache miss не очень больно
Tishka17
Можно попробовать. Я просто боюсь, что это не единственный сценарий и не очень хочу под каждый кейс новые сервера деплоить :)
Tishka17
Поэтому пока эластик под вопросом.
Tishka17
Ну я не слышал про вариант поиска не текста запроса в документе, а наоборот документа как подстроку запроса
Denis
а как тогда лучше?
нужно получить ответ от сервера и распарсить что сервер вернул приглашение к вводу новой команды
Tishka17
https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-percolate-query.html
О. Круто. А как с производительностью на большом количестве?
asce
О. Круто. А как с производительностью на большом количестве?
сложно сказать, на 500к не юзал лучше побэнчить просто)
asce
О. Круто. А как с производительностью на большом количестве?
Можно еще в сторону manticore search посмотреть. У него тоже есть percolate.
Denis
ну ведь половина скрипта работает нормально
заодно узнаешь что сервер отвечает, может он тебе ошибками сыпет
Tishka17
Можно еще в сторону manticore search посмотреть. У него тоже есть percolate.
Да ладно. Начну с питоновского кода, соберу прототип, там решим
Tishka17
А это тру стори? По парсерам здесь вопросы лучше не задавать?
Если ваш парсер не обходит защиту сайта и не связан с пиратством или спамом - задавайте :)
Tishka17
Что такое пересечение?
Интересует какие фразы в каких документах есть
Evgeniy
P.
Что ж, меня не крикнули в ро) Пишу @mosgorsud_bot , паршу открытый источник информации. Задания парсинга складываю в очередь celery. Если заданий больше, чем concurrency воркера, то воркер не берёт новые задания после выполнения числа concurrency. Если же кол-во заданий меньше concurrency, то все проходит гуд. Debian, celery 4.4.7, rabbitmq Дебаг лог воркера просто замирает. При рестарте сервиса supervisor, из которого стартует такс, задания продолжают исполняться согласно очереди
Айрат
какая разница в обычном принте х и принте через лямбду?
Tishka17
какая разница в обычном принте х и принте через лямбду?
В твоём случае вместо лямбды правильнее было бы написать. По сути это то же самое def f(): return x
Misha
какая разница в обычном принте х и принте через лямбду?
в данном случае никакой, только что ты добавил промежуточный шаг с лямбдой
Александр
#job #work #Москва #работа #вакансия #Python #TeamLead #офис Team Lead Python Уровень зарплаты 250 000–350 000 ₽ Город Москва Описание вакансии Группа компаний занимает ведущие позиции на рынке оценки и параллельно развивает множество компетенций в различных направлениях консалтинга. Компания входит в ТОП-15 крупнейших консалтинговых групп, ТОП-1 оценочных групп в России. Задачи и зоны ответственности: • Формирование команды разработчиков в дистанционном формате (проведение дейли митингов); • Оптимизация процессов разработки, сбор и анализ ключевых показателей по команде (заполнение таймшитов, проведение ретроспектив, код ревью); • Планирование работ и соблюдение утвержденных проектных планов (декомпозиция и оценка задач в Jira, спринты, RoadMap); • Продумывание архитектурных решений с целью обеспечение целостности архитектуры приложения и соответствия функциональным, нефункциональным требованиям; • Постоянное повышение качества выпускаемого продукта; • Взаимодействие с внутренними и внешними Заказчиками для утверждения проектных планов: сроков и объемов разработки; • Мотивация команды на достижение KPI Наш стек: • Front: React • Back: Python, Django, DRF, Flask, aiohttp, Rabbit, Redis • ORM: Django ORM, SqlAlchemy • DB: MySql, Mongo, Elasticsearch • Testing: PyTest, Unittest, Qase • DevOps: Jenkins, Zabbix, Grafana, Kibana, Puppet, Swagger, Postman, Nginx, bash • Git (Bitbucket), Gradle, Pipenv, Make • Понимание основ Python ML, BigData(Hadoop, Hdfs), Kubernetes будет существенным плюсом Требования • Опыт построения команды разработки в дистанционном формате; • Более 5 лет в разработке коммерческих продуктов на Python; • Высшее техническое образование; • Высокий уровень самостоятельности и проактивности, лидерские качества; • Понимание принципов сбора требований, методологий построения архитектуры приложения, хороших практик; • Понимание принципов построение CI/CD; • Понимание принципов построения HA, HL систем; • Хорошее знание Linux; • Умение работать по Agile. Понимание Scrum, Kanban; • Понимание методов описания процессов UML, ERD, BPMN; Условия: • Оформление по ТК РФ; • Высокая белая заработная плата; • Комфортная рабочая среда, мощное железо; • Гибкое начало рабочего дня; • Офис БЦ "Пальмира", м. Бауманская/Электрозаводская Для связи: @hrincome
Igor
Всем привет. В очередной раз задался вопросом рассмотрения питона для веб. Начну из далека: есть стандартный хостинг (apache, php) - для работы сайта требуется залить в корень index.php - при обращении к сайту, сервак будет обращаться к этому файлу и отдавать его содержимое. Вот так обстоят дела с php. На сколько я понял в питоне "всё" иначе: Никакой программы типа apache не нужен - пакет-сервак встроен в питон. Проблему увидел ещё во времена написания бота: дело в том, что чтобы запустить "прослушивание порта" - нужно запустить процесс из консоли, что естественно является основой нестабильности, потому-что бесперебойность процесса никто не контролирует и не перезапускает в случае завершения... Я так понимаю, для нормально работы сайта на питоне, нужно писать какую то низкоуровневую утилиту (не знаю на чём), которая будет мониторить, запущен ли питон-сервер и в случае завершения - запускать. Господа ветераны, прошу помощи в решении столь тривиальной задачи. Или без танцев никак?
Айрат
почему спросил, вот здесь в коннекте будет ошибка нон тайпа
Aragaer
ну x это список, а f это функция, которую можно вызвать и тогда она вернет список
Aragaer
ну так quit это функция
Айрат
Tishka17
Всем привет. В очередной раз задался вопросом рассмотрения питона для веб. Начну из далека: есть стандартный хостинг (apache, php) - для работы сайта требуется залить в корень index.php - при обращении к сайту, сервак будет обращаться к этому файлу и отдавать его содержимое. Вот так обстоят дела с php. На сколько я понял в питоне "всё" иначе: Никакой программы типа apache не нужен - пакет-сервак встроен в питон. Проблему увидел ещё во времена написания бота: дело в том, что чтобы запустить "прослушивание порта" - нужно запустить процесс из консоли, что естественно является основой нестабильности, потому-что бесперебойность процесса никто не контролирует и не перезапускает в случае завершения... Я так понимаю, для нормально работы сайта на питоне, нужно писать какую то низкоуровневую утилиту (не знаю на чём), которая будет мониторить, запущен ли питон-сервер и в случае завершения - запускать. Господа ветераны, прошу помощи в решении столь тривиальной задачи. Или без танцев никак?
Ты слышал про php-fpm?
Aragaer
QtWidgets.qApp.quit это функция, а QtWidgets.qApp.quit() это вызов этой функции (и результат скорее всего None)
Misha
почему спросил, вот здесь в коннекте будет ошибка нон тайпа
Потому что ты передал не обьект функции, а результат ее выполнения
Айрат
а лямбда конкретно в данном случае что делает?
Misha
а лямбда конкретно в данном случае что делает?
Создает функцию, которая вызывает QtWidgets.qApp.quit
Aragaer
нет, лямбда просто создает функцию
Aragaer
f = lambda: x это значит, что f это не x, а функция. А вот f() это x