RAG с коннекторами

О чём урок

Этот ноутбук показывает, как создать чат-бота на базе RAG с использованием конечной точки Chat от Cohere и коннекторов. Чат-бот может извлекать релевантную информацию из внешних документов и генерировать проверяемые, встроенные цитаты в своих ответах. Прочитайте сопутствующую статью здесь. Коннекторы — это способы подключения к источникам данных. Эти источники данных могут быть внутренними документами, базами данных документов, более широким интернетом или любым другим источником контекста, который может информировать ответы, генерируемые моделью. Мы будем использовать коннектор веб-поиска, управляемый Cohere коннектор, который вы можете использовать без дополнительной настройки. Диаграмма ниже дает обзор того, что мы будем создавать. В режиме коннектора большая часть реализации берется на себя конечной точкой, включая принятие решения о получении информации, генерацию запросов, извлечение документов, разбиение на части и переранжирование документов (после извлечения), а также генерацию ответа. Это значительно упрощает наш код. Класс Chatbot ниже обрабатывает взаимодействие между пользователем и чат-ботом. Мы определяем коннектор, который будет использовать чат-бот, с помощью атрибута self.connectors. В этом ноутбуке мы будем использовать коннектор Cohere “web-search”, который выполняет поиск в браузере в безопасном режиме. Метод run() содержит логику для получения сообщения пользователя, отображения ответа чат-бота с цитатами, а также способ для пользователя завершить разговор. Затем чат-бот отвечает на сообщение пользователя. Мы вызываем co.chat() и передаем параметр connectors, чтобы компонент чат-бота использовал режим коннектора. Вся оставшаяся реализация берется на себя конечной точкой, вплоть до генерации ответа. Мы также передаем параметр conversation_id, который сохраняет взаимодействия между пользователем и чат-ботом в одном потоке разговора. Мы включаем параметр stream, чтобы мы могли стримить ответ чат-бота. Затем мы выводим ответ чат-бота. В случае, если внешняя информация была использована для генерации ответа, мы также отображаем документы и встроенные цитаты. Теперь мы можем запустить чат-бота. Для этого мы создаем экземпляр Chatbot, используя управляемый Cohere коннектор веб-поиска. Затем мы запускаем чат-бота, вызывая метод run().