О чём урок
LLM по своей природе недетерминированы. Эта особенность делает их ответы креативными и динамичными. Однако эта черта создает значительные трудности в достижении согласованности, что является критически важным аспектом для интеграции LLM в производственные среды.
Ключ к раскрытию потенциала LLM в практических приложениях лежит в последовательной и систематической оценке. Это позволяет выявлять и устранять несоответствия, а также помогает отслеживать прогресс с течением времени по мере развития приложения.
Этот notebook призван продемонстрировать фреймворк для оценки LLM, уделяя особое внимание следующим аспектам:
- Unit Testing: Важен для оценки отдельных компонентов приложения.
- Метрики оценки: Методы количественного измерения эффективности модели.
- Документация Runbook: Запись исторических оценок для отслеживания прогресса и регрессии.
Этот пример сосредоточен на сценарии использования преобразования естественного языка в SQL — сценарии генерации кода хорошо вписываются в этот подход, если вы комбинируете валидацию кода с выполнением кода, чтобы ваше приложение могло тестировать код в реальном времени по мере его генерации для обеспечения согласованности.
Хотя этот notebook использует сценарий генерации SQL для демонстрации концепции, подход является универсальным и может быть применен к широкому спектру приложений, управляемых LLM.
Мы будем использовать две версии prompt для генерации SQL. Затем мы используем unit-тесты и функции оценки для проверки производительности prompt. В частности, в этой демонстрации мы будем оценивать:
- Согласованность JSON-ответа.
- Синтаксическую корректность SQL в ответе.
- Настройка: Установите необходимые библиотеки, загрузите данные, состоящие из SQL-запросов и соответствующих переводов на естественный язык.
- Разработка тестов: Создайте unit-тесты и определите метрики оценки для процесса генерации SQL.
- Оценка: Проведите тесты с использованием различных prompt для оценки влияния на производительность.
- Отчетность: Составьте отчет, кратко представляющий различия в производительности, наблюдаемые в ходе различных тестов.
Импортируем наши библиотеки и набор данных, который будем использовать: набор данных b-mc2/sql-create-context из HuggingFace, преобразующий естественный язык в SQL.
Мы используем библиотеку Huggingface datasets для загрузки набора данных SQL create context. Этот набор данных состоит из:
- Вопрос, выраженный на естественном языке
- Ответ, выраженный…
План урока
- Область применения этого notebook
- Оглавление
- Настройка
- Обзор набора данных
- Разработка тестов
- Unit-тесты
- Создание prompt для LLM
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.