Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 39 · Текст · ~5 мин

QA-бот по технической документации

Урок 39 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот ноутбук демонстрирует, как создать чат-бота (одноразового), который отвечает на вопросы пользователей на основе технической документации, предоставленной модели.

Мы используем набор данных aws-documentation (ссылка) для репрезентативности. Этот набор данных содержит более 26 тысяч страниц документации AWS, предварительно обработанных в более чем 120 тысяч фрагментов, и 100 вопросов, основанных на реальных вопросах пользователей.

Мы действуем следующим образом:

  1. Встраиваем документацию AWS в векторную базу данных, используя модель embed от Cohere и llama_index
  2. Создаем ретривер, используя rerank от Cohere для повышения точности, снижения затрат на инференс и уменьшения задержки
  3. Создаем ответы модели для оценочного набора из 100 вопросов, используя модель command-r-08-2024 от Cohere
  4. Оцениваем сгенерированные ответы по сравнению с эталонными ответами оценочного набора, используя command-a-03-2025
  • Загружаем набор данных из HuggingFace
  • Вычисляем эмбеддинги, используя реализацию Cohere в LlamaIndex, CohereEmbedding
  • Сохраняем в векторной базе данных, VectorStoreIndex из LlamaIndex

Поскольку этот процесс занимает много времени (около 2 часов для всех документов на MacBookPro), мы сохраняем индекс на диск для будущего повторного использования. Мы также предоставляем возможность индексировать только подмножество данных. Это можно включить, установив значение переменной USE_SNIPPET в True в блоке ниже. Если вы используете эту опцию, имейте в виду, что многие документы станут недоступны для модели, и, как следствие, производительность пострадает!

Чтобы оценить производительность нашего RAG-пайплайна, нам также понадобятся пары вопросов-ответов для проверки ответов, сгенерированных command. Автор вышеупомянутого репозитория предоставляет 100 пар вопросов-ответов, на которых мы можем протестировать модель. Давайте загрузим эти вопросы.

ПРИМЕЧАНИЕ: если вы установили USE_SNIPPET в True, следующий блок также создает отдельную копию набора данных с документами, на которых тестируются пары вопросов-ответов, чтобы мы могли гарантировать, что эти конкретные документы всегда включаются в качестве подмножества в меньший выборочный обучающий набор.

Векторная база данных, которую мы построили с помощью VectorStoreIndex, поставляется со встроенным ретривером. Мы можем вызвать этот ретривер, чтобы получить $k$ наиболее релевантных документов для вопроса пользователя с помощью:

План урока

  1. Настройка
  2. 1. Встраивание технической документации и сохранение в векторной базе данных
  3. 2. Создание ретривера с использованием rerank от Cohere
  4. 3. Создание ответов модели для 100 пар вопросов-ответов
  5. 4. Оценка производительности модели
  6. 4.1 Сравнение ответа с эталонным ответом
  7. 4.2 Вычисление ранга
  8. Выводы

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды