Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 176 · Текст · ~5 мин

Как проверять генерацию SQL языковыми моделями

Урок 176 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

LLM по своей природе недетерминированы. Эта особенность делает их ответы креативными и динамичными. Однако эта черта создает значительные трудности в достижении согласованности, что является критически важным аспектом для интеграции LLM в производственные среды.

Ключ к раскрытию потенциала LLM в практических приложениях лежит в последовательной и систематической оценке. Это позволяет выявлять и устранять несоответствия, а также помогает отслеживать прогресс с течением времени по мере развития приложения.

Этот notebook призван продемонстрировать фреймворк для оценки LLM, уделяя особое внимание следующим аспектам:

  • Unit Testing: Важен для оценки отдельных компонентов приложения.
  • Метрики оценки: Методы количественного измерения эффективности модели.
  • Документация Runbook: Запись исторических оценок для отслеживания прогресса и регрессии.

Этот пример сосредоточен на сценарии использования преобразования естественного языка в SQL — сценарии генерации кода хорошо вписываются в этот подход, если вы комбинируете валидацию кода с выполнением кода, чтобы ваше приложение могло тестировать код в реальном времени по мере его генерации для обеспечения согласованности.

Хотя этот notebook использует сценарий генерации SQL для демонстрации концепции, подход является универсальным и может быть применен к широкому спектру приложений, управляемых LLM.

Мы будем использовать две версии prompt для генерации SQL. Затем мы используем unit-тесты и функции оценки для проверки производительности prompt. В частности, в этой демонстрации мы будем оценивать:

  1. Согласованность JSON-ответа.
  2. Синтаксическую корректность SQL в ответе.
  1. Настройка: Установите необходимые библиотеки, загрузите данные, состоящие из SQL-запросов и соответствующих переводов на естественный язык.
  2. Разработка тестов: Создайте unit-тесты и определите метрики оценки для процесса генерации SQL.
  3. Оценка: Проведите тесты с использованием различных prompt для оценки влияния на производительность.
  4. Отчетность: Составьте отчет, кратко представляющий различия в производительности, наблюдаемые в ходе различных тестов.

Импортируем наши библиотеки и набор данных, который будем использовать: набор данных b-mc2/sql-create-context из HuggingFace, преобразующий естественный язык в SQL.

Мы используем библиотеку Huggingface datasets для загрузки набора данных SQL create context. Этот набор данных состоит из:

  1. Вопрос, выраженный на естественном языке
  2. Ответ, выраженный…

План урока

  1. Область применения этого notebook
  2. Оглавление
  3. Настройка
  4. Обзор набора данных
  5. Разработка тестов
  6. Unit-тесты
  7. Создание prompt для LLM

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды