О чём урок
Используйте эту таблицу, если пользователь не уверен, с какого realtime eval harness начать. Harness Использовать, когда Требуемые исходные данные Наилучший первый результат crawl Пользователь хочет быстрой итерации для одношагового поведения, выбора инструмента или его аргументов, включая базовое синтетическое аудио, сгенерированное из текста. Текстовые prompt'ы. Ожидаемые имена инструментов и аргументы необязательны, если пользователь хочет оценки вызова инструмента. Небольшой CSV-файл плюс команды для smoke-тестирования/полного запуска, которые запускаются немедленно. walk Пользователю важны сохраненные телефонные аудиозаписи, он хочет более реалистичного воспроизведения аудио или нуждается в синтетическом аудио с характеристиками, специфичными для воспроизведения, такими как шум, телефонные артефакты или особенности голоса диктора. Либо CSV-файл с audio_path, либо текстовые строки, которые могут быть преобразованы в аудио. Набор данных для walk плюс необязательный шаг генерации аудио и команды воспроизведения. run Пользователю требуется многошаговое поведение, моки инструментов или оценка на уровне диалога. Сценарий, начальная реплика пользователя, prompt симулятора, моки инструментов и критерии оценщика. simulations.csv плюс один или несколько файлов sim_*.json. Рекомендуйте crawl по умолчанию, когда у пользователя есть только текстовые строки или приблизительное описание задачи. Рекомендуйте crawl, когда пользователь запрашивает синтетическое аудио, но не упоминает никаких характеристик аудио, специфичных для воспроизведения. Рекомендуйте walk, когда у пользователя уже есть WAV-файлы, ему важен реализм телефонии, он хочет проверить путь воспроизведения аудио или хочет синтетическое аудио с конкретными характеристиками шума или голоса диктора. Рекомендуйте run только тогда, когда цель оценки зависит от множества шагов, выводов инструментов или завершения на уровне диалога.
План урока
- Правила рекомендаций
- Контракты данных
- Crawl
- Walk
- Run
- Ожидания от README
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.