QA-бот по технической документации

О чём урок

Этот ноутбук демонстрирует, как создать чат-бота (одноразового), который отвечает на вопросы пользователей на основе технической документации, предоставленной модели. Мы используем набор данных aws-documentation (ссылка) для репрезентативности. Этот набор данных содержит более 26 тысяч страниц документации AWS, предварительно обработанных в более чем 120 тысяч фрагментов, и 100 вопросов, основанных на реальных вопросах пользователей. Мы действуем следующим образом: Встраиваем документацию AWS в векторную базу данных, используя модель embed от Cohere и llama_index Создаем ретривер, используя rerank от Cohere для повышения точности, снижения затрат на инференс и уменьшения задержки Создаем ответы модели для оценочного набора из 100 вопросов, используя модель command-r-08-2024 от Cohere Оцениваем сгенерированные ответы по сравнению с эталонными ответами оценочного набора, используя command-a-03-2025 Загружаем набор данных из HuggingFace Вычисляем эмбеддинги, используя реализацию Cohere в LlamaIndex, CohereEmbedding Сохраняем в векторной базе данных, VectorStoreIndex из LlamaIndex Поскольку этот процесс занимает много времени (около 2 часов для всех документов на MacBookPro), мы сохраняем индекс на диск для будущего повторного использования. Мы также предоставляем возможность индексировать только подмножество данных. Это можно включить, установив значение переменной USE_SNIPPET в True в блоке ниже. Если вы используете эту опцию, имейте в виду, что многие документы станут недоступны для модели, и, как следствие, производительность пострадает! Чтобы оценить производительность нашего RAG-пайплайна, нам также понадобятся пары вопросов-ответов для проверки ответов, сгенерированных command. Автор вышеупомянутого репозитория предоставляет 100 пар вопросов-ответов, на которых мы можем протестировать модель. Давайте загрузим эти вопросы. ПРИМЕЧАНИЕ: если вы установили USE_SNIPPET в True, следующий блок также создает отдельную копию набора данных с документами, на которых тестируются пары вопросов-ответов, чтобы мы могли гарантировать, что эти конкретные документы всегда включаются в качестве подмножества в меньший выборочный обучающий набор. Векторная база данных, которую мы построили с помощью VectorStoreIndex, поставляется со встроенным ретривером.

План урока

1. Настройка
2. 1. Встраивание технической документации и сохранение в векторной базе данных
3. 2. Создание ретривера с использованием rerank от Cohere
4. 3. Создание ответов модели для 100 пар вопросов-ответов
5. 4. Оценка производительности модели
6. 4.1 Сравнение ответа с эталонным ответом
7. 4.2 Вычисление ранга
8. Выводы