Воспроизводимые ответы с параметром seed

О чём урок

Кратко: Разработчики теперь могут указывать параметр seed в запросе Chat Completion для получения (по большей части) согласованных результатов. Чтобы помочь вам отслеживать эти изменения, мы предоставляем поле system_fingerprint. Если это значение отличается, вы можете увидеть другие результаты из-за изменений, внесенных в наши системы. Обратите внимание, что эта функция находится в стадии бета-тестирования и в настоящее время поддерживается только для gpt-4-1106-preview и gpt-3.5-turbo-1106. Воспроизводимость всегда была важным запросом от сообществ пользователей при работе с нашими API. Например, получив возможность получать воспроизводимые числовые результаты, пользователи могут реализовать множество сценариев использования, чувствительных к числовым изменениям. API Chat Completions и Completions по умолчанию являются недетерминированными (что означает, что результаты модели могут отличаться от запроса к запросу), но теперь предлагают некоторый контроль для получения детерминированных результатов с помощью нескольких элементов управления на уровне модели. Это может обеспечить согласованные completions, что дает полный контроль над поведением модели для всего, что построено на базе API, и весьма полезно для воспроизведения результатов и тестирования, позволяя вам быть уверенными в том, что вы получите именно то, что ожидаете. Для получения по большей части детерминированных результатов при вызовах API: Установите параметр seed на любое целое число по вашему выбору, но используйте одно и то же значение во всех запросах. Например, 12345. Установите все остальные параметры (prompt, temperature, top_p и т. д.) на одинаковые значения во всех запросах. В ответе проверьте поле system_fingerprint. system fingerprint — это идентификатор текущей комбинации весов модели, инфраструктуры и других параметров конфигурации, используемых серверами OpenAI для генерации completion. Он меняется всякий раз, когда вы изменяете параметры запроса или OpenAI обновляет числовую конфигурацию инфраструктуры, обслуживающей наши модели (что может происходить несколько раз в год). Если seed, параметры запроса и system_fingerprint совпадают во всех ваших запросах, то результаты модели будут по большей части идентичными.

План урока

1. Контекст
2. Функции на уровне модели для согласованных результатов
3. Реализация согласованных результатов
4. Элементы управления на уровне модели для согласованных результатов — seed и system_fingerprint
5. Пример: Генерация короткого отрывка с фиксированным seed
6. Python SDK
7. Заключение