О чём урок
Используйте этот skill, когда пользователь хочет создать новый шаблон realtime eval в директории examples/evals/realtime_evals/. Этот skill специфичен для репозитория. Не копируйте код harness в сгенерированную папку. Сгенерированный eval должен ссылаться на общие harness, уже находящиеся в: examples/evals/realtime_evals/crawl_harness examples/evals/realtime_evals/walk_harness examples/evals/realtime_evals/run_harness Всегда запрашивайте у пользователя минимальный набор данных, необходимый для выбора и создания шаблона eval, прежде чем создавать файлы, запускать scaffold script или формировать начальные данные. Не пропускайте этот шаг только потому, что можете вывести значение по умолчанию. Запросите: Имя eval Цель или сценарий Выбор harness или достаточный контекст для рекомендации одного из них Путь к системному prompt или встроенный текст Путь к JSON-файлу tools или описания tools Путь к данным или исходные материалы Требуемые graders Если пользователь не знает, какой harness ему нужен, кратко объясните варианты и порекомендуйте один. См. references/harness-selection.md. Когда пользователь запрашивает синтетическое аудио, но не указывает harness, по умолчанию используйте crawl text-to-TTS, если только сгенерированное аудио не должно содержать определенный шум, артефакты телефонии, характеристики голоса или другие свойства, специфичные для воспроизведения. В таких случаях используйте walk. По возможности, формулируйте вопросы кратко и объединяйте их в один небольшой batch. Если пользователь предоставляет только user_text или краткое описание задачи, все равно сначала задайте вышеуказанные вопросы. Если ответы частичны, то выведите остальные низкорисковые детали, укажите сделанные предположения и сделайте scaffold легко изменяемым в дальнейшем. Сначала запросите у пользователя необходимые входные данные. Сделайте это до создания файлов или выбора окончательного harness. Если пользователь уже предоставил часть входных данных, запрашивайте только недостающие. Если вы рекомендуете harness, дождитесь ответа пользователя, прежде чем приступать к scaffolding. Выберите harness. crawl: одношаговый text-to-TTS. walk: воспроизведение сохраненного аудио или генерация аудио из текстовых строк. run: многошаговая simulation с tool mocks и критериями judge.
План урока
- Собираемые входные данные
- Рабочий процесс
- Строгие правила
- Критерии завершения
- Полученные уроки
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.