О чём урок
Используйте этот skill, когда пользователь хочет создать новый шаблон realtime eval в директории examples/evals/realtime_evals/.
Этот skill специфичен для репозитория. Не копируйте код harness в сгенерированную папку. Сгенерированный eval должен ссылаться на общие harness, уже находящиеся в:
- examples/evals/realtime_evals/crawl_harness
- examples/evals/realtime_evals/walk_harness
- examples/evals/realtime_evals/run_harness
Всегда запрашивайте у пользователя минимальный набор данных, необходимый для выбора и создания шаблона eval, прежде чем создавать файлы, запускать scaffold script или формировать начальные данные. Не пропускайте этот шаг только потому, что можете вывести значение по умолчанию.
Запросите:
- Имя eval
- Цель или сценарий
- Выбор harness или достаточный контекст для рекомендации одного из них
- Путь к системному prompt или встроенный текст
- Путь к JSON-файлу tools или описания tools
- Путь к данным или исходные материалы
- Требуемые graders
Если пользователь не знает, какой harness ему нужен, кратко объясните варианты и порекомендуйте один. См. references/harness-selection.md.
Когда пользователь запрашивает синтетическое аудио, но не указывает harness, по умолчанию используйте crawl text-to-TTS, если только сгенерированное аудио не должно содержать определенный шум, артефакты телефонии, характеристики голоса или другие свойства, специфичные для воспроизведения. В таких случаях используйте walk.
По возможности, формулируйте вопросы кратко и объединяйте их в один небольшой batch.
Если пользователь предоставляет только user_text или краткое описание задачи, все равно сначала задайте вышеуказанные вопросы. Если ответы частичны, то выведите остальные низкорисковые детали, укажите сделанные предположения и сделайте scaffold легко изменяемым в дальнейшем.
- Сначала запросите у пользователя необходимые входные данные. Сделайте это до создания файлов или выбора окончательного harness.
- Если пользователь уже предоставил часть входных данных, запрашивайте только недостающие.
- Если вы рекомендуете harness, дождитесь ответа пользователя, прежде чем приступать к scaffolding.
- Выберите harness. crawl: одношаговый text-to-TTS.
- walk: воспроизведение сохраненного аудио или генерация аудио из текстовых строк.
- run: многошаговая simulation с tool mocks и критериями judge.
- Если пользователь хочет синтетическое…
План урока
- Собираемые входные данные
- Рабочий процесс
- Строгие правила
- Критерии завершения
- Полученные уроки
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.