Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 171 · Текст · ~5 мин

Как выбрать инструмент для оценки

Урок 171 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Используйте эту таблицу, если пользователь не уверен, с какого realtime eval harness начать.

  1. Рекомендуйте crawl по умолчанию, когда у пользователя есть только текстовые строки или приблизительное описание задачи.
  2. Рекомендуйте crawl, когда пользователь запрашивает синтетическое аудио, но не упоминает никаких характеристик аудио, специфичных для воспроизведения.
  3. Рекомендуйте walk, когда у пользователя уже есть WAV-файлы, ему важен реализм телефонии, он хочет проверить путь воспроизведения аудио или хочет синтетическое аудио с конкретными характеристиками шума или голоса диктора.
  4. Рекомендуйте run только тогда, когда цель оценки зависит от множества шагов, выводов инструментов или завершения на уровне диалога.

Обязательные столбцы:

  • example_id
  • user_text

Необязательные столбцы для оценки вызова инструмента:

  • gt_tool_call
  • gt_tool_call_arg

Если аудио уже доступно, обязательными столбцами являются:

  • example_id
  • user_text
  • audio_path

Необязательные столбцы для оценки вызова инструмента:

  • gt_tool_call
  • gt_tool_call_arg

Если аудио еще не доступно, начните с указанных выше столбцов в стиле crawl и сгенерируйте записи audio_path с помощью walk_harness/generate_audio.py.

Обязательные индексные столбцы:

  • simulation_id
  • simulation_path

Каждый JSON-файл симуляции должен определять:

  • конфигурацию ассистента
  • prompt симулятора
  • конфигурацию аудио
  • конфигурацию шагов
  • моки инструментов
  • конфигурацию оценщика

Сгенерированный README должен быть полезен без предварительного открытия исходного кода harness. Включите:

  • краткое объяснение, почему выбранный harness соответствует запросу
  • файлы, которые пользователь должен отредактировать в первую очередь
  • точные команды для smoke-тестирования и полного запуска из корневого каталога репозитория
  • ожидаемую структуру данных
  • заметки по устранению неполадок для OPENAI_API_KEY и ffmpeg при необходимости

План урока

  1. Правила рекомендаций
  2. Контракты данных
  3. Crawl
  4. Walk
  5. Run
  6. Ожидания от README

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды