О чём урок
Этот ноутбук демонстрирует, как создать чат-бота (одноразового), который отвечает на вопросы пользователей на основе технической документации, предоставленной модели.
Мы используем набор данных aws-documentation (ссылка) для репрезентативности. Этот набор данных содержит более 26 тысяч страниц документации AWS, предварительно обработанных в более чем 120 тысяч фрагментов, и 100 вопросов, основанных на реальных вопросах пользователей.
Мы действуем следующим образом:
- Встраиваем документацию AWS в векторную базу данных, используя модель embed от Cohere и llama_index
- Создаем ретривер, используя rerank от Cohere для повышения точности, снижения затрат на инференс и уменьшения задержки
- Создаем ответы модели для оценочного набора из 100 вопросов, используя модель command-r-08-2024 от Cohere
- Оцениваем сгенерированные ответы по сравнению с эталонными ответами оценочного набора, используя command-a-03-2025
- Загружаем набор данных из HuggingFace
- Вычисляем эмбеддинги, используя реализацию Cohere в LlamaIndex, CohereEmbedding
- Сохраняем в векторной базе данных, VectorStoreIndex из LlamaIndex
Поскольку этот процесс занимает много времени (около 2 часов для всех документов на MacBookPro), мы сохраняем индекс на диск для будущего повторного использования. Мы также предоставляем возможность индексировать только подмножество данных. Это можно включить, установив значение переменной USE_SNIPPET в True в блоке ниже. Если вы используете эту опцию, имейте в виду, что многие документы станут недоступны для модели, и, как следствие, производительность пострадает!
Чтобы оценить производительность нашего RAG-пайплайна, нам также понадобятся пары вопросов-ответов для проверки ответов, сгенерированных command. Автор вышеупомянутого репозитория предоставляет 100 пар вопросов-ответов, на которых мы можем протестировать модель. Давайте загрузим эти вопросы.
ПРИМЕЧАНИЕ: если вы установили USE_SNIPPET в True, следующий блок также создает отдельную копию набора данных с документами, на которых тестируются пары вопросов-ответов, чтобы мы могли гарантировать, что эти конкретные документы всегда включаются в качестве подмножества в меньший выборочный обучающий набор.
Векторная база данных, которую мы построили с помощью VectorStoreIndex, поставляется со встроенным ретривером. Мы можем вызвать этот ретривер, чтобы получить $k$ наиболее релевантных документов для вопроса пользователя с помощью:
План урока
- Настройка
- 1. Встраивание технической документации и сохранение в векторной базе данных
- 2. Создание ретривера с использованием rerank от Cohere
- 3. Создание ответов модели для 100 пар вопросов-ответов
- 4. Оценка производительности модели
- 4.1 Сравнение ответа с эталонным ответом
- 4.2 Вычисление ранга
- Выводы
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.