Генерация с поддержкой поиска (RAG) и векторные базы данных

О чём урок

Примечание AI University. Примеры кода в оригинале курса рассчитаны на Azure OpenAI или GitHub Models. Те же запросы можно отправлять через OpenAI API или другой OpenAI-совместимый сервис: замените клиент, адрес сервиса, название модели и ключ на свои и сверьтесь с документацией выбранного провайдера. В уроке, посвящённом поисковым приложениям, мы кратко рассмотрели, как интегрировать собственные данные в большие языковые модели (LLM). В этом уроке мы углубимся в концепции привязки ваших данных к приложению LLM, механику этого процесса и методы хранения данных, включая как эмбеддинги, так и текст. Видео скоро появится В этом уроке мы рассмотрим следующее: Введение в RAG: что это такое и почему оно используется в ИИ (искусственном интеллекте). Понимание того, что такое векторные базы данных, и создание одной для нашего приложения. Практический пример интеграции RAG в приложение. После завершения этого урока вы сможете: Объяснить значение RAG в поиске и обработке данных. Настроить приложение RAG и привязать ваши данные к LLM. Эффективно интегрировать RAG и векторные базы данных в приложения LLM. Для этого урока мы хотим добавить наши собственные заметки в образовательный стартап, что позволит чат-боту получать больше информации по различным предметам. Используя наши заметки, учащиеся смогут лучше учиться и понимать различные темы, что облегчит подготовку к экзаменам. Для создания нашего сценария мы будем использовать: Azure OpenAI: LLM, которую мы будем использовать для создания нашего чат-бота. Урок "ИИ для начинающих" по нейронным сетям: это будут данные, на которых мы будем обучать нашу LLM. Azure AI Search и Azure Cosmos DB: векторная база данных для хранения наших данных и создания поискового индекса. Пользователи смогут создавать тренировочные тесты по своим заметкам, карточки для повторения и краткие обзоры. Для начала давайте рассмотрим, что такое RAG и как он работает. Чат-бот на базе LLM обрабатывает промпты пользователей для генерации ответов. Он разработан для интерактивного взаимодействия и общения с пользователями по широкому кругу тем.

План урока

1. Введение
2. Наш сценарий: улучшение LLM с помощью собственных данных
3. Генерация с поддержкой поиска (RAG)
4. Как работает RAG (генерация с поддержкой поиска)
5. Зачем использовать RAG?
6. Создание базы знаний
7. Векторные базы данных
8. От текста к эмбеддингам