Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 97 · Текст · ~5 мин

RAG на больших объёмах данных

Урок 97 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Примечание: Чтобы запустить этот ноутбук, вы должны сначала развернуть свой собственный коннектор Google Drive в качестве веб-API REST (шаги описаны в этой статье).

Этот ноутбук показывает, как создать чат-бота на основе RAG с использованием Chat endpoint Cohere и коннекторов.

Прочитайте сопутствующую статью здесь.

В частности, этот ноутбук демонстрирует, как использовать коннекторы в масштабе, например, подключаться к нескольким хранилищам данных (datastores), работать с большими объемами документов и обрабатывать длинные документы. Предприятиям нужна RAG-система, которая может эффективно обрабатывать огромные объемы данных из различных источников, и в этой главе вы узнаете, как это можно автоматизировать с помощью Chat endpoint.

Диаграмма ниже представляет обзор того, что мы будем создавать.

Класс Chatbot ниже обрабатывает взаимодействие между пользователем и чат-ботом. Мы определяем connector для чат-бота, который будет использоваться с атрибутом self.connectors.

Метод run() содержит логику получения сообщения пользователя, отображения ответа чат-бота с citations, а также способ для пользователя завершить разговор.

Теперь мы можем запустить чат-бота. Для этого мы создаем экземпляр Chatbot, используя управляемый Cohere web-search connector. Затем мы запускаем чат-бота, вызывая метод run().

Формат каждого citation:

  • start: Начальная точка span, где ссылается один или несколько документов
  • end: Конечная точка span, где ссылается один или несколько документов
  • text: Текст, представляющий этот span
  • document_ids: ID ссылающихся документов (doc_0 — это ID первого документа, переданного в параметр создания documents при вызове endpoint, и так далее)

Chat endpoint может принимать несколько коннекторов и извлекать информацию из всех определенных коннекторов.

Со всеми этими документами, поступающими из различных коннекторов, у вас могут возникнуть несколько вопросов:

  • Как обрабатывать длинные документы? Подключение к нескольким коннекторам означает необходимость работы с различными API, каждый из которых имеет свой способ предоставления документов. Некоторые могут возвращать полный документ из десятков или сотен страниц. С этим связано несколько проблем.
  • Как обрабатывать несколько документов из нескольких коннекторов и запросов (queries)?

Chat endpoint решает эти проблемы с помощью автоматизированного…

План урока

  1. Chunking
  2. Reranking
  3. Interleaving
  4. Создание prompt

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды