Tigran
Хотя, может, я вру и это только рескоринга касается 🤔
Ольгерд
А я снова на Хабр написал https://habr.com/ru/company/joom/blog/526550/ Наслаждайтесь чтением, ставьте ваши лайки
Приятно читать такое, на хабре полезной инфы становится всё меньше
Ольгерд
Приятно читать такое, на хабре полезной инфы становится всё меньше
В основном, как сходить в туалет и помыть ручки с мылом
Evgeniy
В общем, для того, чтобы ходить на большие оффсеты, в эластике есть специальное API как раз для избежания повторных пробегов.
Мне больше интересна внутренняя реализация, конечно, я не планирую прямо завтра брать и юзать эластик, интереснее некое подобие самому написать
Evgeniy
Вот проблема с пагинацией мне не очевидна
Evgeniy
Я должен загрузить все результаты поиска в память чтобы проранжировать их
Tigran
Ну, это в общем случае неизбежно
Tigran
Ты можешь быстро сортировать все документы только по полю, по которому есть индекс
Tigran
По всяким формулам уже не можешь
Evgeniy
Ну, это в общем случае неизбежно
Выходит я на каждом запросе это делаю, это же супердорого
Tigran
Там есть кэширование
Evgeniy
Как вот это яндекс делает? Там миллионы результатов поиска
Evgeniy
Не закэшируешь все явно
Evgeniy
Или там где-то есть наебка и цифра числа результатов фиктивная?
Tigran
Цифра числа результатов приблизительная.
Tigran
Хотя стоп.
Tigran
Чтобы получить число результатов, не надо ничего ранжировать.
Evgeniy
Хотя не, просто обратные индексы поднять
Tigran
Ага
Tigran
Это довольно быстро
Evgeniy
Но чтобы понять, что на первую страницу поставить, все равно ранжировать
Tigran
Вот как он выбирает топ, который будет серьёзно ранжировать, когда результатов прям много, я не знаю.
Tigran
Мы в нашем поиске ранжируем по предрассчитанному полю перед рескорингом, так что этой проблемы нет)
Tigran
Наверное, так честнее и быстрее всего
Tigran
Ну у нас в документе есть поле “абсолютная релевантность”, которое мы высчитываем какой-то простенькой формулой из числа покупок и чего-то там ещё на этапе индексации. Потом при запросе сортируем по нему, а потом топ рескорим.
Tigran
У этого, правда, тоже куча проблем. Постоянно делаем А/Б-тесты с другими сортировками, чтобы всякие новые товары попадали в выдачу.
Evgeniy
Я бы предположил, что у яндекса обратный индекс в виде дерева
Evgeniy
Но как обьединить несколько деревьев?
Evgeniy
О, кстати
Evgeniy
Evgeniy
Evgeniy
Evgeniy
Не получается прыгнуть на 500 страницу поиска
Evgeniy
У яндекса тупо поиск падает
Evgeniy
p это походу page
Evgeniy
А lr что?
Evgeniy
Цифра числа результатов приблизительная.
Либо я туплю, либо яндекс в реальности тупо не умеет в глубокую пагинацию
Tigran
Evgeniy
Даже 30 страниц
Tigran
Но вряд ли потому, что не может. Скорее потому, что там ранжирование уже совсем мусор поднимает.
Evgeniy
Не могет
Evgeniy
Мб
Evgeniy
Кстати надпись с числом результатов убрали
Evgeniy
Видимо чтобы меньше было желающих прокликать дальше первой страницы
Evgeniy
Evgeniy
У гугла лимит 1000 результатов на запрос
Владимир
Кстати надпись с числом результатов убрали
По моему сейчас даже в почте (gmail по крайней мере) только эстимейт дают
Anonymous
для создания пакета __init__.py обязательно должен в нем находиться?
а
Если в while True добавить time.sleep(), это может снизить нагрузку на процессор?
Tishka17
Конечно
а
Конечно
Thx, а то я помню прога с while True кушала добрые 18% процессора
а
Но это заблокирует твою программу.. Всю
Это же задержка, допустим time.sleep(0.5)
а
А что ты там такое запустил?
Чтение данных с sql, скорость была огромной, но жрёт как не в себя
Tishka17
Чтение данных с sql, скорость была огромной, но жрёт как не в себя
Ну добавишь слип, будет медленнее читать. Тебе это надо?
Tishka17
Сколько у тебя там данных вообще?
а
Сколько у тебя там данных вообще?
≈20к блоков(или как оно называется)
Tishka17
Записей?
а
Записей?
Можно и так сказать
Pavel
Зачем?
Есть такое чувство, что ты делаешь что-то не так
а
А зачем там while True?
Это было под thread, я не помню что именно оно делало, но говорю что ест много
Tishka17
В смысле "не помню"?
Tishka17
While True - это вечный цикл
Tishka17
Зачем тебе вечно читать данные из БД?
Evgeniy
Как можно получить список всех доменных имен в ру зоне например?