Цепочки вызовов для структурированного вывода

О чём урок

Первоначально выпущенные версии (сентябрь 2024 г.) моделей o1 для логического вывода обладают расширенными возможностями, но не поддерживают structured outputs. Это означает, что запросы к o1 не обладают надёжной type-safety и полагаются на сам prompt для возврата полезного JSON. В этом руководстве мы рассмотрим два метода для формирования prompt'ов к моделям o1, в частности, к o1-preview, чтобы они возвращали данные в валидном формате JSON при использовании OpenAI API. Самый простой способ вернуть JSON-ответ с использованием o1-preview — это явно задать ему prompt. Рассмотрим пример, включающий: Получение страницы Википедии со списком компаний Определение, какие из них могли бы получить наибольшую выгоду от возможностей AI Возврат их в формате JSON, который затем может быть использован другими системами Обратите внимание, что ответ уже достаточно хорош — он возвращает JSON с соответствующими данными. Однако он сталкивается с теми же подводными камнями, что и существующие сценарии использования JSON-вывода только на основе prompt'а: Вы должны вручную обработать этот JSON в вашу type-safe структуру Отказы модели не возвращаются явно из API как отдельная структура Теперь давайте сделаем это с помощью structured outputs. Чтобы включить эту функциональность, мы свяжем ответ o1-preview с последующим запросом к gpt-4o-mini, который может эффективно обрабатывать данные, полученные из первоначального ответа o1-preview. Structured outputs позволяют вашему коду иметь надёжную type-safety и упрощённое формирование prompt'ов. Кроме того, они позволяют повторно использовать ваши схемы объектов для более простой интеграции в существующие рабочие процессы. Класс моделей o1 в настоящее время не поддерживает structured outputs, но мы можем повторно использовать существующую функциональность structured outputs из gpt-4o-mini путём объединения двух запросов в цепочку. Этот процесс в настоящее время требует двух вызовов, но стоимость второго вызова gpt-4o-mini должна быть минимальной по сравнению с вызовами o1-preview/o1-mini.