О чём урок
Используйте эту таблицу, если пользователь не уверен, с какого realtime eval harness начать.
- Рекомендуйте crawl по умолчанию, когда у пользователя есть только текстовые строки или приблизительное описание задачи.
- Рекомендуйте crawl, когда пользователь запрашивает синтетическое аудио, но не упоминает никаких характеристик аудио, специфичных для воспроизведения.
- Рекомендуйте walk, когда у пользователя уже есть WAV-файлы, ему важен реализм телефонии, он хочет проверить путь воспроизведения аудио или хочет синтетическое аудио с конкретными характеристиками шума или голоса диктора.
- Рекомендуйте run только тогда, когда цель оценки зависит от множества шагов, выводов инструментов или завершения на уровне диалога.
Обязательные столбцы:
- example_id
- user_text
Необязательные столбцы для оценки вызова инструмента:
- gt_tool_call
- gt_tool_call_arg
Если аудио уже доступно, обязательными столбцами являются:
- example_id
- user_text
- audio_path
Необязательные столбцы для оценки вызова инструмента:
- gt_tool_call
- gt_tool_call_arg
Если аудио еще не доступно, начните с указанных выше столбцов в стиле crawl и сгенерируйте записи audio_path с помощью walk_harness/generate_audio.py.
Обязательные индексные столбцы:
- simulation_id
- simulation_path
Каждый JSON-файл симуляции должен определять:
- конфигурацию ассистента
- prompt симулятора
- конфигурацию аудио
- конфигурацию шагов
- моки инструментов
- конфигурацию оценщика
Сгенерированный README должен быть полезен без предварительного открытия исходного кода harness. Включите:
- краткое объяснение, почему выбранный harness соответствует запросу
- файлы, которые пользователь должен отредактировать в первую очередь
- точные команды для smoke-тестирования и полного запуска из корневого каталога репозитория
- ожидаемую структуру данных
- заметки по устранению неполадок для OPENAI_API_KEY и ffmpeg при необходимости
План урока
- Правила рекомендаций
- Контракты данных
- Crawl
- Walk
- Run
- Ожидания от README
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.