Смотреть урок

Дополнительные файлы из урока

В уроке разбирается алгоритм BM25 и его отличие от TF-IDF. Я повторяю, как устроены BOW и TF-IDF, и показываю, что BM25 добавляет к ним коэффициент насыщения и нормировку по объёму документа. Дальше на своём демонстрационном поисковике сравниваю выдачу TF-IDF и BM25 по одним и тем же запросам. В конце обсуждаю, что из этого следует для SEO-практики: как относиться к плотности, зачем искать важные термины запроса и почему не стоит самостоятельно подбирать коэффициенты. Урок подойдёт тем, кто хочет понять, почему BM25 до сих пор используется в поиске.

Оглавление с таймкодами:

0:00–1:36 Повторение пройденного: BOW умножает частоту термина на вес зоны (title, h1, body, ссылки). TF-IDF добавляет IDF, то есть важность слова в коллекции: в запросе про кофемашину Delonghi редкое слово «Delonghi» весит больше, чем частые «купить» и «кофемашина». BM25 добавляет коэффициент насыщения и нормировку по…