Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 178 · Текст · ~5 мин

Evals API: оценка на аудиоданных

Урок 178 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом руководстве демонстрируется, как использовать фреймворк OpenAI Evals для задач, основанных на аудио. Используя Evals API, мы будем оценивать ответы, сгенерированные моделью, на аудиосообщение и запрос, используя сэмплирование для генерации ответов модели и оценку моделью для оценки ответов модели по отношению к выходному аудио и эталонному ответу. Обратите внимание, что оценка будет производиться по аудиовыходам из сэмплированного ответа.

До добавления поддержки аудио, для оценки аудиоразговоров их сначала нужно было транскрибировать в текст. Теперь вы можете использовать исходное аудио и получать сэмплы от модели также в аудиоформате. Это более точно отражает рабочие процессы, такие как сценарий поддержки клиентов, где и пользователь, и агент используют аудио. Для оценки мы будем использовать аудиомодель для оценки аудиоответа с помощью оценщика модели. Мы могли бы альтернативно или в комбинации использовать текстовую транскрипцию из сэмплированного аудио и использовать существующий набор текстовых оценщиков.

В этом примере мы оценим, насколько хорошо наша модель может: 1. Генерировать соответствующие ответы на запросы пользователя об аудиосообщении 2. Соответствовать эталонным ответам, которые представляют собой высококачественные ответы

Мы используем набор данных big_bench_audio, размещенный на Hugging Face. Big Bench Audio — это аудиоверсия подмножества сложных вопросов Big Bench. Набор данных может быть использован для оценки возможностей рассуждения моделей, поддерживающих аудиовход. Он содержит аудиоклип, описывающий логическую задачу, категорию и официальный ответ.

Мы извлекаем соответствующие поля и помещаем их в формат, похожий на JSON, для передачи в качестве источника данных в Evals API. Входные аудиоданные должны быть в виде строки, закодированной в base64. Мы обрабатываем данные в аудиофайле и преобразуем их в base64.

Примечание: Аудиомодели в настоящее время поддерживают форматы WAV, MP3, FLAC, Opus или PCM16. Подробности см. в разделе аудиовходы.

Теперь, когда у нас есть источник данных и задача, мы создадим наши оценки. Документацию по OpenAI Evals API можно найти по адресу API docs.

Поскольку аудиовходы велики, нам нужно сохранить примеры в файл…

План урока

  1. Установка зависимостей + Настройка
  2. Подготовка набора данных
  3. Конфигурация оценки
  4. Конфигурация источника данных
  5. Критерии тестирования
  6. Запуск оценки
  7. Опрос и отображение результатов
  8. Просмотр отдельных выходных элементов

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды