Глава 6. RAG

Цели урока

• Базовый RAG
• Генерация поисковых запросов
• Извлечение с помощью Embed
• Переранжирование с помощью Rerank
• Генерация ответов и цитат

О чём урок

Конечная точка Chat обеспечивает всестороннюю поддержку различных сценариев использования генерации текста, включая генерацию с дополненным извлечением (RAG). Хотя LLM хорошо справляются с поддержанием контекста разговора и генерацией ответов, они могут быть склонны к галлюцинациям и включать фактически неверную или неполную информацию в свои ответы. RAG позволяет модели получать доступ и использовать дополнительную информацию из внешних документов, тем самым повышая точность ее ответов. При использовании RAG с конечной точкой Chat эти ответы подкрепляются детализированными ссылками на исходные документы. Это делает ответы легко проверяемыми. В этом руководстве вы узнаете о: Вы изучите это, создав помощника по адаптации для новых сотрудников. Для начала нам нужно установить библиотеку cohere и создать клиент Cohere. Чтобы увидеть, как работает RAG, давайте определим документы, к которым имеет доступ приложение. Мы будем использовать короткий список документов, состоящий из внутренних часто задаваемых вопросов о вымышленной компании Co1t (в производстве эти документы огромны). В этом примере каждый документ представляет собой словарь с одним полем text. Но мы можем определить любое количество полей, в зависимости от характера документов. Например, электронные письма могут содержать поля title и text. Чтобы использовать эти документы, мы передаем их в параметр documents при вызове конечной точки Chat. Это указывает модели работать в режиме RAG и использовать эти документы в своем ответе. Давайте создадим запрос о поддержке компанией личного благополучия, информация о котором не будет доступна модели на основе данных, на которых она обучалась. Ей потребуется использовать внешние документы. RAG вводит дополнительные объекты в ответ Chat. Здесь мы отображаем два: citations: указывают на конкретные текстовые фрагменты из извлеченных документов, на которых основан ответ. documents: ID документов, на которые ссылаются цитаты. Дополнительное чтение: Справочник по API конечной точки Chat Документация по RAG Модуль LLM University по RAG Предыдущий пример показал, как начать работу с RAG, и, в частности, с частью RAG, связанной с дополненной генерацией.

План урока

1. Настройка
2. Базовый RAG
3. Заключение