Яна Нехорошева "Как мы оцениваем качество поиска"

Я.Субботник, Екатеринбург, 2 июля 2011 года

Администратор группы асессоров Яна Нехорошева

Как мы оцениваем качество поиска

Качество поиска: зачем и как его измерять?

2

3

4

Что такое хороший ответ? Решает задачу пользователя

Дает конкретный ответ

Удовлетворяет все потребности по запросу

Актуальный

Чистый

5

Зачем мы оцениваем качество поиска?

— Оценить свой прогресс

— Настройка поискового алгоритма

Как мы оцениваем качество?

Асессоры

6

Асессоры

Кто такие асессоры?

Релевантность – соответствие документа запросу.

Шкала релевантности:

— Отвечает запросу

— Слабо отвечает

— Не отвечает запросу

7

nokia n8 (Москва) http://www.nokia.ru/products/phones/nokia-n8

8

Пример спама

9

[поисковик]

10

[пистолет грач] http://nashaataka.narod.ru/b55p54.html

11

Как мы используем оценки асессоров?

12

Как научить машину отличать яблоки от груш?

У Робота есть факторы: Форма; Цвет; Вкус.

У нас есть набор для обучения – N яблок и М груш.

Настройка: обучение робота отличать хорошие документы от плохих

13

Для наших наборов робот определяет факторы:

Теперь для неизвестного фрукта робот сможет по аналогии определить его тип:

14

Робот сопоставляет факторы и

оценки:

— документ1: содержит слова запроса, на него часто кликают. оценка Рел+

— документ2: ссылок на него нет, на него не кликают. Оценка Нерел.

Для любого неоцененного документа из Веба робот знает факторы:

Документ Х: Есть слова запроса; на документ кликают; на документ ссылаются. Вероятно, Документ Х Релевантен запросу

Аналогично с релевантностью:

У робота есть факторы:

— текстовые

— линковые

— пользовательские

У нас есть оценки асессоров:

— документ1: Рел+

— документ2: Нерел

15

Служба асессоров

16

Разные виды оценок

17

Документы Видео

Картинки Сниппеты

Администратор группы асессоров

yanan@yandex-team.ru

Яна Нехорошева