О чём урок
В этом руководстве мы кодируем RAG-агента, который использует механизм вызова функций для определения того, в какой базе данных выполнять RAG-запрос.
Мы не кодируем саму логику RAG здесь, а только ее маршрутизирующую часть!
Использование такой архитектуры имеет различные преимущества:
- Она позволяет плавно масштабироваться до нескольких баз данных RAG
- Она элегантно обрабатывает переключение между фазами RAG и классическим чатом LLM, активируя режим "auto" вызова функций
- Такой маршрутизатор очень легко оценивать и донастраивать
Сначала установим наш SDK и настроим клиент.
Создайте ключ API здесь.
Компания Lemonade хочет создать свой внутренний RAG. В этом примере мы будем имитировать RAG-поиск по трем различным типам баз данных:
- HR -> База данных, содержащая информацию по любым вопросам, связанным с человеческими ресурсами, например, отпуска, льготы, зарплата, офис, сотрудники и т.д.
- Product -> База данных, содержащая информацию о специфике продукта Lemonade, например, доступные вкусы, цена, цвет упаковки и т.д.
- Finance -> База данных, содержащая финансовую информацию, например, доходы, производственные затраты, обязательства и т.д.
- Other -> Любой другой вопрос, не связанный с вышеуказанными темами.
Для демонстрации этого варианта использования мы сгенерируем набор пар вопросов и ответов, которые будут использоваться для тестирования нашего маршрутизатора. Мы будем создавать их с помощью Mistral Medium и структурированных выводов.
У нас готово 40 вопросов! Теперь мы можем построить наш маршрутизатор и протестировать его.
Мы будем использовать вызов функций с Mistral Small для нашего маршрутизатора. Для этой демонстрации мы не будем настраивать полный рабочий процесс. Чтобы узнать, как более подробно настроить вызов функций, см. здесь. У нас также есть несколько руководств по вызову функций и агентам!
Давайте протестируем нашего агента на сгенерированных парах!
Мы рекомендуем тестировать несколько моделей и решений с вашим тестовым набором или вариантом использования. Для справки, давайте протестируем наше самое маленькое семейство, 'Ministral', и посмотрим, как они работают.
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.