Ruslan
давай
Tigran
Tishka17
Не понял
Ну вот есть документ. В нем найдено 100 ключевых "слов" из словаря. Я нашел этот документ по какому-то запросу, надо юзеру показать так же, какие для этого документа ещё актуальные слова есть
Alex
Alex
highlight это вроде как выделение участка совпадения с поисковым запросом
Tishka17
Ну не будут же я каждый раз задавать хайлайт по 500к слов? Логично их найти один раз в документе
Tigran
Tishka17
Как вариант, но пока думаю заранее их выделять
Tishka17
Baimurzin
Привет всем, у меня постоянно ошибки подключения, как можно исправить. нашел решение в интернете что надо в цикл помешять реквест и ждать пока не подключиться но я не могу понять как из цикла получить респонс.
requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',))
Андрей
У реквестов вроде есть ретрай_каунт
Tishka17
О, pyahocorasick вообще рвет по скорости
Tigran
А как мне в эластике фетчить совпадение по 500к ключевых фраз?
Делаешь индекс, документ в индексе = твоя ключевая фраза. Ищешь по этому индексу с текстом твоего документа в качестве запроса (1000 слов, ты говорил? это ок), только выставляешь minimum_should_match=2, чтобы находилось хотя бы по двум словам (можно и 1 выставить, в принципе).
asce
Tishka17
Tishka17
Надо подумать
Tishka17
Мне бы полное совпадение фразы вообще, а они есть разной длины
Tigran
Ну ты получаешь предварительный список фраз, которые релевантны, потом можешь допроверить на бэке. Можно ещё поковыряться в эластике, уверен, там можно настроить на точные совпадения
Tishka17
Окей, спасибо. Подумаю о таком варианте
micky
что такое?
Anonymous
Что значит отфильтровать?
Co(n)stantine👨🔬
это что, череп?
Anonymous
Что значит удалить?
Kel0
Kel0
Kel0
snow ☔
Ребят, вопрос по vk_api. как сделать так чтобы сообщество писало сообщение в беседу когда в беседу заходил новый пользователь?
Tishka17
Условия соответствия на пункте 2 и 3 разные, гуглю
Алевтина
привет можете помочь
использую библиотеку paramiko
подключаюсь удаленно по ssh часть команд выполняет, а другие нет
в чем может быть проблема
client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
client.connect(hostname=host, username=user, password=secret, port=port)
client.exec_command('enable')
time.sleep(5)
client.exec_command('ххххх')
time.sleep(2)
client.exec_command('sh pppoe | save '+name_file)
time.sleep(20)
client.exec_command('copy ' + name_file + ' tftp://1.1.1.1/' + name_file)
time.sleep(8)
client.exec_command('delete '+name_file)
time.sleep(2)
client.exec_command('yes')
time.sleep(2)
client.close()
эта строчка кода уже не выполняется client.exec_command('copy ' + name_file + ' tftp://1.1.1.1/' + name_file), хотя если полученную команду ввести руками то все норм
Tigran
Tishka17
Tishka17
Чтобы потом юзер мог провалиться в поиск по ним и т.п.
Anonymous
Хмм, можно искать всё не чёрное и проверять некоторый радиус вокруг этого элемента, если в этом радиусе ничего нет, то объект удаляется
Anonymous
На cv2 можно сделать
Tigran
Мне надо документы искать и для каждого выводить какие ему ещё фразы актуальны
Хм, ну тогда как будто бы
1. Поискать документы в индексе с документами по фразе юзера
2. Для каждого из найденных документов поискать фразы в индексе фраз
Второй пункт тяжёлый, тут есть варианты — можно подкэшировать, можно в индекс с документами класть в отдельное поле список сматчившихся фраз (эта схема не очень хорошо справится с добавлением фраз)
Ща ещё подумаю
Tishka17
Вот я и думал пойти по пути хранения сматченных фраз. Я теоретически могу при обновлении словаря повторно индексировать документы
Tishka17
Я хотел начать с префиксного дерева, но вообще логично иметь некоторую нечеткость поиска для исправления опечаток
Tigran
А почему не закэшировать? Если ты делаешь поисковую выдачу, там на одной странице будет в пределах десятка документов, сделать параллельно десять запросов при 100% cache miss не очень больно
Denis
Tishka17
Можно попробовать. Я просто боюсь, что это не единственный сценарий и не очень хочу под каждый кейс новые сервера деплоить :)
Tishka17
Поэтому пока эластик под вопросом.
Алевтина
Tishka17
Ну я не слышал про вариант поиска не текста запроса в документе, а наоборот документа как подстроку запроса
Denis
а как тогда лучше?
нужно получить ответ от сервера и распарсить что сервер вернул приглашение к вводу новой команды
asce
Tishka17
asce
Алевтина
Tishka17
P.
Misha
Evgeniy
Evgeniy
P.
Что ж, меня не крикнули в ро)
Пишу @mosgorsud_bot , паршу открытый источник информации. Задания парсинга складываю в очередь celery. Если заданий больше, чем concurrency воркера, то воркер не берёт новые задания после выполнения числа concurrency. Если же кол-во заданий меньше concurrency, то все проходит гуд. Debian, celery 4.4.7, rabbitmq
Дебаг лог воркера просто замирает. При рестарте сервиса supervisor, из которого стартует такс, задания продолжают исполняться согласно очереди
Tishka17
Айрат
какая разница в обычном принте х и принте через лямбду?
Айрат
Александр
#job #work #Москва #работа #вакансия #Python #TeamLead #офис
Team Lead Python
Уровень зарплаты 250 000–350 000 ₽
Город Москва
Описание вакансии
Группа компаний занимает ведущие позиции на рынке оценки и параллельно развивает множество компетенций в различных направлениях консалтинга. Компания входит в ТОП-15 крупнейших консалтинговых групп, ТОП-1 оценочных групп в России.
Задачи и зоны ответственности:
• Формирование команды разработчиков в дистанционном формате (проведение дейли митингов);
• Оптимизация процессов разработки, сбор и анализ ключевых показателей по команде (заполнение таймшитов, проведение ретроспектив, код ревью);
• Планирование работ и соблюдение утвержденных проектных планов (декомпозиция и оценка задач в Jira, спринты, RoadMap);
• Продумывание архитектурных решений с целью обеспечение целостности архитектуры приложения и соответствия функциональным, нефункциональным требованиям;
• Постоянное повышение качества выпускаемого продукта;
• Взаимодействие с внутренними и внешними Заказчиками для утверждения проектных планов: сроков и объемов разработки;
• Мотивация команды на достижение KPI
Наш стек:
• Front: React
• Back: Python, Django, DRF, Flask, aiohttp, Rabbit, Redis
• ORM: Django ORM, SqlAlchemy
• DB: MySql, Mongo, Elasticsearch
• Testing: PyTest, Unittest, Qase
• DevOps: Jenkins, Zabbix, Grafana, Kibana, Puppet, Swagger, Postman, Nginx, bash
• Git (Bitbucket), Gradle, Pipenv, Make
• Понимание основ Python ML, BigData(Hadoop, Hdfs), Kubernetes будет существенным плюсом
Требования
• Опыт построения команды разработки в дистанционном формате;
• Более 5 лет в разработке коммерческих продуктов на Python;
• Высшее техническое образование;
• Высокий уровень самостоятельности и проактивности, лидерские качества;
• Понимание принципов сбора требований, методологий построения архитектуры приложения, хороших практик;
• Понимание принципов построение CI/CD;
• Понимание принципов построения HA, HL систем;
• Хорошее знание Linux;
• Умение работать по Agile. Понимание Scrum, Kanban;
• Понимание методов описания процессов UML, ERD, BPMN;
Условия:
• Оформление по ТК РФ;
• Высокая белая заработная плата;
• Комфортная рабочая среда, мощное железо;
• Гибкое начало рабочего дня;
• Офис БЦ "Пальмира", м. Бауманская/Электрозаводская
Для связи: @hrincome
Igor
Всем привет.
В очередной раз задался вопросом рассмотрения питона для веб. Начну из далека: есть стандартный хостинг (apache, php) - для работы сайта требуется залить в корень index.php - при обращении к сайту, сервак будет обращаться к этому файлу и отдавать его содержимое. Вот так обстоят дела с php.
На сколько я понял в питоне "всё" иначе:
Никакой программы типа apache не нужен - пакет-сервак встроен в питон. Проблему увидел ещё во времена написания бота: дело в том, что чтобы запустить "прослушивание порта" - нужно запустить процесс из консоли, что естественно является основой нестабильности, потому-что бесперебойность процесса никто не контролирует и не перезапускает в случае завершения... Я так понимаю, для нормально работы сайта на питоне, нужно писать какую то низкоуровневую утилиту (не знаю на чём), которая будет мониторить, запущен ли питон-сервер и в случае завершения - запускать.
Господа ветераны, прошу помощи в решении столь тривиальной задачи. Или без танцев никак?
Tishka17
Айрат
почему спросил, вот здесь в коннекте будет ошибка нон тайпа
Aragaer
ну x это список, а f это функция, которую можно вызвать и тогда она вернет список
Aragaer
ну так quit это функция
Айрат
Tishka17
Всем привет.
В очередной раз задался вопросом рассмотрения питона для веб. Начну из далека: есть стандартный хостинг (apache, php) - для работы сайта требуется залить в корень index.php - при обращении к сайту, сервак будет обращаться к этому файлу и отдавать его содержимое. Вот так обстоят дела с php.
На сколько я понял в питоне "всё" иначе:
Никакой программы типа apache не нужен - пакет-сервак встроен в питон. Проблему увидел ещё во времена написания бота: дело в том, что чтобы запустить "прослушивание порта" - нужно запустить процесс из консоли, что естественно является основой нестабильности, потому-что бесперебойность процесса никто не контролирует и не перезапускает в случае завершения... Я так понимаю, для нормально работы сайта на питоне, нужно писать какую то низкоуровневую утилиту (не знаю на чём), которая будет мониторить, запущен ли питон-сервер и в случае завершения - запускать.
Господа ветераны, прошу помощи в решении столь тривиальной задачи. Или без танцев никак?
Ты слышал про php-fpm?
Aragaer
QtWidgets.qApp.quit это функция, а QtWidgets.qApp.quit() это вызов этой функции (и результат скорее всего None)
Igor
Айрат
Айрат
а лямбда конкретно в данном случае что делает?
Aragaer
нет, лямбда просто создает функцию
Aragaer
f = lambda: x
это значит, что f это не x, а функция. А вот f() это x