Лексический поиск BM25

О чём урок

При работе с большими языковыми моделями (LLM), такими как Claude, часто возникает необходимость предоставить им доступ к актуальной и специфической информации, которой нет в их исходных обучающих данных. Для этого используется подход, известный как Retrieval Augmented Generation (RAG). В основе RAG лежит система поиска, которая извлекает релевантные фрагменты текста из обширной базы знаний, а затем передает их LLM в качестве контекста для генерации ответа. Однако, как показывает практика, полагаться исключительно на один тип поиска — например, на семантический — не всегда достаточно для достижения оптимальных результатов. Иногда требуется найти точные совпадения по ключевым словам, которые семантический поиск может упустить. Решение этой проблемы заключается в использовании гибридного подхода, сочетающего семантический поиск с лексическим поиском, и одним из наиболее эффективных алгоритмов для последнего является BM25. Семантический поиск произвел революцию в способах взаимодействия с информацией. Он работает, преобразуя запросы и документы в числовые векторы, называемые embeddings, которые улавливают их смысловое значение. Затем он находит документы, чьи embeddings наиболее близки к embedding запроса, что позволяет находить концептуально связанные фрагменты текста, даже если они не содержат точных ключевых слов. Несмотря на свою мощь, у семантического поиска есть свои ограничения. Представьте, что вы ищете конкретный идентификатор инцидента, например "INC-2023-Q4-011", в большом корпоративном документе. Хотя этот точный термин может многократно встречаться в релевантных разделах, чисто семантический поиск может вернуть разделы, которые кажутся семантически похожими (например, "анализ финансовых рисков"), но на самом деле не содержат нужного вам идентификатора. Это происходит потому, что семантический поиск фокусируется на общем значении и контексте, а не на буквальном совпадении текста. Когда вам требуется найти точное совпадение по уникальному идентификатору, коду продукта или специфическому термину, семантический подход может оказаться недостаточно точным. Чтобы преодолеть недостатки чисто семантического поиска, эксперты по RAG-системам разработали гибридный подход. Идея проста: выполнять как семантический, так и лексический поиск параллельно, а затем объединять их результаты.

План урока

1. Лексический поиск BM25: Точность в RAG-конвейерах
2. Ограничения чисто семантического поиска
3. Гибридный подход: Сочетание лучшего из двух миров
4. Что такое BM25 и как он работает?
5. BM25 на практике: Улучшение результатов поиска
6. Интеграция и будущее гибридного поиска