О чём урок
Примечание: Чтобы запустить этот ноутбук, вы должны сначала развернуть свой собственный коннектор Google Drive в качестве веб-API REST (шаги описаны в этой статье).
Этот ноутбук показывает, как создать чат-бота на основе RAG с использованием Chat endpoint Cohere и коннекторов.
Прочитайте сопутствующую статью здесь.
В частности, этот ноутбук демонстрирует, как использовать коннекторы в масштабе, например, подключаться к нескольким хранилищам данных (datastores), работать с большими объемами документов и обрабатывать длинные документы. Предприятиям нужна RAG-система, которая может эффективно обрабатывать огромные объемы данных из различных источников, и в этой главе вы узнаете, как это можно автоматизировать с помощью Chat endpoint.
Диаграмма ниже представляет обзор того, что мы будем создавать.
Класс Chatbot ниже обрабатывает взаимодействие между пользователем и чат-ботом. Мы определяем connector для чат-бота, который будет использоваться с атрибутом self.connectors.
Метод run() содержит логику получения сообщения пользователя, отображения ответа чат-бота с citations, а также способ для пользователя завершить разговор.
Теперь мы можем запустить чат-бота. Для этого мы создаем экземпляр Chatbot, используя управляемый Cohere web-search connector. Затем мы запускаем чат-бота, вызывая метод run().
Формат каждого citation:
- start: Начальная точка span, где ссылается один или несколько документов
- end: Конечная точка span, где ссылается один или несколько документов
- text: Текст, представляющий этот span
- document_ids: ID ссылающихся документов (doc_0 — это ID первого документа, переданного в параметр создания documents при вызове endpoint, и так далее)
Chat endpoint может принимать несколько коннекторов и извлекать информацию из всех определенных коннекторов.
Со всеми этими документами, поступающими из различных коннекторов, у вас могут возникнуть несколько вопросов:
- Как обрабатывать длинные документы? Подключение к нескольким коннекторам означает необходимость работы с различными API, каждый из которых имеет свой способ предоставления документов. Некоторые могут возвращать полный документ из десятков или сотен страниц. С этим связано несколько проблем.
- Как обрабатывать несколько документов из нескольких коннекторов и запросов (queries)?
Chat endpoint решает эти проблемы с помощью автоматизированного…
План урока
- Chunking
- Reranking
- Interleaving
- Создание prompt
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.