RAG на больших объёмах данных

О чём урок

Примечание: Чтобы запустить этот ноутбук, вы должны сначала развернуть свой собственный коннектор Google Drive в качестве веб-API REST (шаги описаны в этой статье). Этот ноутбук показывает, как создать чат-бота на основе RAG с использованием Chat endpoint Cohere и коннекторов. Прочитайте сопутствующую статью здесь. В частности, этот ноутбук демонстрирует, как использовать коннекторы в масштабе, например, подключаться к нескольким хранилищам данных (datastores), работать с большими объемами документов и обрабатывать длинные документы. Предприятиям нужна RAG-система, которая может эффективно обрабатывать огромные объемы данных из различных источников, и в этой главе вы узнаете, как это можно автоматизировать с помощью Chat endpoint. Диаграмма ниже представляет обзор того, что мы будем создавать. Класс Chatbot ниже обрабатывает взаимодействие между пользователем и чат-ботом. Мы определяем connector для чат-бота, который будет использоваться с атрибутом self.connectors. Метод run() содержит логику получения сообщения пользователя, отображения ответа чат-бота с citations, а также способ для пользователя завершить разговор. Теперь мы можем запустить чат-бота. Для этого мы создаем экземпляр Chatbot, используя управляемый Cohere web-search connector. Затем мы запускаем чат-бота, вызывая метод run(). Формат каждого citation: start: Начальная точка span, где ссылается один или несколько документов end: Конечная точка span, где ссылается один или несколько документов text: Текст, представляющий этот span document_ids: ID ссылающихся документов (doc_0 — это ID первого документа, переданного в параметр создания documents при вызове endpoint, и так далее) Chat endpoint может принимать несколько коннекторов и извлекать информацию из всех определенных коннекторов. Со всеми этими документами, поступающими из различных коннекторов, у вас могут возникнуть несколько вопросов: Как обрабатывать длинные документы? Подключение к нескольким коннекторам означает необходимость работы с различными API, каждый из которых имеет свой способ предоставления документов. Некоторые могут возвращать полный документ из десятков или сотен страниц. С этим связано несколько проблем.

План урока

1. Chunking
2. Reranking
3. Interleaving
4. Создание prompt