О чём урок
В этом руководстве мы покажем вам, как:
- Использовать возможности вызова функций моделей Mistral
- Создать архитектуру text2SQL, которая масштабируется более эффективно, чем наивный подход, при котором все схемы целиком внедряются в системный prompt
- Оценить вашу систему с помощью моделей Mistral и фреймворка DeepEval
Chinook — это пример базы данных, доступной для SQL Server, Oracle, MySQL и т. д. Её можно создать, запустив один SQL-скрипт. База данных Chinook является альтернативой базе данных Northwind и идеально подходит для демонстраций и тестирования ORM-инструментов, ориентированных на одиночные и множественные серверы баз данных.
Для запуска этого notebook вам потребуется загрузить базу данных Chinook. Дополнительную информацию об этой базе данных вы найдете, перейдя по этой github link.
Чтобы создать Chinook.db в том же каталоге, что и этот notebook, у вас есть несколько вариантов:
- Вы можете загрузить и создать базу данных через командную строку:
- Другая стратегия заключается в запуске следующего скрипта https://raw.githubusercontent.com/lerocha/chinook-database/master/ChinookDatabase/DataSources/Chinook_Sqlite.sql.
Сначала сохраните скрипт в папку/каталог на вашем компьютере. Затем создайте базу данных под названием Chinook с помощью sqlite3 Chinook.db. В конечном итоге запустите скрипт командой .read Chinook_Sqlite.sql
Мы определяем две функции:
- run_sql_query, которая выполняет SQL-код в базе данных Chinook
- get_sql_schema_of_table, которая возвращает схему таблицы, указанной во входных данных
Давайте протестируем агента и зададим несколько случайных вопросов возрастающей сложности
Давайте попробуем оценить агента более формально.
Мы создадим тестовый набор на основе вопросов из этой статьи на Medium Chinook question/answers
Мы будем оценивать ответы с помощью LLM в качестве судьи через фреймворк DeepEval, откуда взято изображение ниже.
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.