О чём урок
В этом руководстве демонстрируется, как использовать фреймворк OpenAI Evals для задач, основанных на аудио. Используя Evals API, мы будем оценивать ответы, сгенерированные моделью, на аудиосообщение и запрос, используя сэмплирование для генерации ответов модели и оценку моделью для оценки ответов модели по отношению к выходному аудио и эталонному ответу. Обратите внимание, что оценка будет производиться по аудиовыходам из сэмплированного ответа.
До добавления поддержки аудио, для оценки аудиоразговоров их сначала нужно было транскрибировать в текст. Теперь вы можете использовать исходное аудио и получать сэмплы от модели также в аудиоформате. Это более точно отражает рабочие процессы, такие как сценарий поддержки клиентов, где и пользователь, и агент используют аудио. Для оценки мы будем использовать аудиомодель для оценки аудиоответа с помощью оценщика модели. Мы могли бы альтернативно или в комбинации использовать текстовую транскрипцию из сэмплированного аудио и использовать существующий набор текстовых оценщиков.
В этом примере мы оценим, насколько хорошо наша модель может: 1. Генерировать соответствующие ответы на запросы пользователя об аудиосообщении 2. Соответствовать эталонным ответам, которые представляют собой высококачественные ответы
Мы используем набор данных big_bench_audio, размещенный на Hugging Face. Big Bench Audio — это аудиоверсия подмножества сложных вопросов Big Bench. Набор данных может быть использован для оценки возможностей рассуждения моделей, поддерживающих аудиовход. Он содержит аудиоклип, описывающий логическую задачу, категорию и официальный ответ.
Мы извлекаем соответствующие поля и помещаем их в формат, похожий на JSON, для передачи в качестве источника данных в Evals API. Входные аудиоданные должны быть в виде строки, закодированной в base64. Мы обрабатываем данные в аудиофайле и преобразуем их в base64.
Примечание: Аудиомодели в настоящее время поддерживают форматы WAV, MP3, FLAC, Opus или PCM16. Подробности см. в разделе аудиовходы.
Теперь, когда у нас есть источник данных и задача, мы создадим наши оценки. Документацию по OpenAI Evals API можно найти по адресу API docs.
Поскольку аудиовходы велики, нам нужно сохранить примеры в файл…
План урока
- Установка зависимостей + Настройка
- Подготовка набора данных
- Конфигурация оценки
- Конфигурация источника данных
- Критерии тестирования
- Запуск оценки
- Опрос и отображение результатов
- Просмотр отдельных выходных элементов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.