Зависимости

О чём урок

Плагин, который хорошо оценивается в вашей собственной системе, все равно может дать сбой, когда он запускается в продукте, в котором он поставляется. Окружение модели (harness) объясняет большую часть этого разрыва, поскольку оно контролирует запрос, который видит модель, и инструменты, к которым она может получить доступ. В этой статье рассматривается один набор тестовых случаев на трех уровнях точности и показано, как отследить разницу до уровня, который ее вызвал.

Моделям часто требуются актуальные, специализированные данные и действия, которые невозможно получить только с помощью обучения. Плагин может упаковывать навыки или сервер MCP с вызываемыми инструментами наряду с инструкциями на естественном языке. Этот плагин подключает окружение Codex, теперь являющееся частью настольного приложения ChatGPT, к данным Бюро статистики труда (BLS). Поскольку BLS API требует известных идентификаторов серий, плагин сначала преобразует вопрос пользователя в ранжированные серии-кандидаты.

Подобный плагин лучше всего оценивать на нескольких уровнях, чтобы сбалансировать скорость, стоимость и точность. Одна и та же модель может правильно разрешать каждый неоднозначный запрос в небольшом, контролируемом цикле, а затем едва вызывать инструмент, когда он работает внутри реального агента. Оценка одной настройки не переносится на другую, поскольку она измеряет настройку так же, как и модель.

В пошаговом руководстве используется упрощенный пример плагина, который работает с синтетическими данными и намеренно охватывает только часть предметной области, поэтому ошибки оценки проявляются. Он также использует тщательно подобранный набор из пяти тестовых случаев.

В главе с результатами приводится отдельная оценка производственного плагина BLS, 108 вопросов по 56 опросам BLS. Его код и данные не поставляются с этой статьей.

Рабочий пример для этой статьи поставляется вместе с ней. Сопутствующий README перечисляет предварительные условия и подробно описывает каждый шаг, а Makefile объединяет каждый из них в одну цель.

Область BLS слишком обширна, чтобы напрямую обучать механике оценки. Далее статья работает с ее миниатюрой, достаточно маленькой, чтобы прочитать ее полностью и запустить на ноутбуке за считанные минуты.

План урока

1. Обзор
2. Настройка
3. Зависимости
4. Пример плагина
5. Пример набора данных
6. Прямые тесты инструментов: Детерминированная проверка без модели в цикле
7. Автономный цикл вызова функций
8. Цикл вызова функций