О чём урок
В мире больших языковых моделей (LLM) и систем на основе Claude, таких как Claude с Google Vertex AI, способность находить и извлекать релевантную информацию является ключевой. Это основа для создания мощных приложений, использующих архитектуру Retrieval Augmented Generation (RAG). RAG-конвейеры позволяют LLM отвечать на вопросы, используя актуальные и специфичные данные, выходящие за рамки их первоначального обучения. Однако, при создании таких систем, вы быстро обнаружите, что один лишь семантический поиск не всегда дает наилучшие результаты. Иногда вам нужны точные совпадения терминов, которые семантический поиск может упустить. Решение заключается в объединении семантического поиска с лексическим поиском, используя такую технику, как BM25. Семантический поиск — это мощный инструмент, который использует embeddings и векторные базы данных для поиска информации на основе ее смысла, а не точных совпадений слов. Он отлично подходит для запросов типа "расскажи мне о возобновляемых источниках энергии", находя документы, которые обсуждают солнечную, ветровую или гидроэнергетику, даже если в запросе не было этих конкретных слов. Однако, у него есть свои ограничения. Представьте, что вы ищете конкретный идентификатор инцидента, например, "INC-2023-Q4-011", в большом наборе документов. Хотя этот точный термин может встречаться несколько раз в релевантных разделах, чисто семантический поиск может вернуть вам разделы, которые семантически похожи (например, говорят о "проблемах с инцидентами" или "отчетах за четвертый квартал"), но на самом деле не содержат искомого вами конкретного идентификатора. Это происходит потому, что семантический поиск фокусируется на значении и контексте, а не на точном совпадении символов. Когда вам требуется точное совпадение терминов, необходим другой подход. Чтобы преодолеть ограничения чисто семантического поиска и обеспечить максимальную точность и полноту извлечения информации, применяется гибридная стратегия. Суть ее заключается в параллельном выполнении двух типов поиска и последующем объединении их результатов.
План урока
- BM25: Лексический поиск для улучшения RAG-конвейеров
- Проблема чисто семантического поиска
- Гибридная стратегия поиска: лучшее из двух миров
- Что такое BM25 и как он работает?
- Применение BM25 в RAG-конвейере
- Преимущества гибридного подхода
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.