Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 207 · Текст · ~5 мин

GPT-4o Vision вместе с вызовом функций

Урок 207 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

GPT-4o, доступная как gpt-4o-2024-11-20 по состоянию на ноябрь 2024 года, теперь позволяет использовать function calling с возможностями зрения, улучшенным рассуждением и датой отсечения знаний — октябрь 2023 года. Использование изображений с function calling откроет мультимодальные сценарии использования и возможность применять рассуждения, что позволит выйти за рамки OCR и описаний изображений.

Мы рассмотрим два примера, чтобы продемонстрировать использование function calling с GPT-4o Vision:

  1. Моделирование ассистента службы поддержки клиентов для обработки исключительных ситуаций с доставкой
  2. Анализ организационной структуры для извлечения информации о сотрудниках

Мы смоделируем ассистента службы поддержки клиентов для службы доставки, который способен анализировать изображения посылок. Ассистент будет выполнять следующие действия на основе анализа изображений:

  • Если посылка на изображении выглядит поврежденной, автоматически оформить возврат средств в соответствии с политикой.
  • Если посылка выглядит мокрой, инициировать замену.
  • Если посылка выглядит нормальной и неповрежденной, передать обращение агенту.

Давайте посмотрим на примеры изображений посылок, которые ассистент службы поддержки клиентов будет анализировать для определения соответствующего действия. Мы закодируем изображения в строки base64 для обработки моделью.

План урока

  1. Установка и настройка
  2. 1. Моделирование ассистента службы поддержки клиентов для обработки исключительных ситуаций с доставкой

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды