О чём урок
GPT-4o, доступная как gpt-4o-2024-11-20 по состоянию на ноябрь 2024 года, теперь позволяет использовать function calling с возможностями зрения, улучшенным рассуждением и датой отсечения знаний — октябрь 2023 года. Использование изображений с function calling откроет мультимодальные сценарии использования и возможность применять рассуждения, что позволит выйти за рамки OCR и описаний изображений.
Мы рассмотрим два примера, чтобы продемонстрировать использование function calling с GPT-4o Vision:
- Моделирование ассистента службы поддержки клиентов для обработки исключительных ситуаций с доставкой
- Анализ организационной структуры для извлечения информации о сотрудниках
Мы смоделируем ассистента службы поддержки клиентов для службы доставки, который способен анализировать изображения посылок. Ассистент будет выполнять следующие действия на основе анализа изображений:
- Если посылка на изображении выглядит поврежденной, автоматически оформить возврат средств в соответствии с политикой.
- Если посылка выглядит мокрой, инициировать замену.
- Если посылка выглядит нормальной и неповрежденной, передать обращение агенту.
Давайте посмотрим на примеры изображений посылок, которые ассистент службы поддержки клиентов будет анализировать для определения соответствующего действия. Мы закодируем изображения в строки base64 для обработки моделью.
План урока
- Установка и настройка
- 1. Моделирование ассистента службы поддержки клиентов для обработки исключительных ситуаций с доставкой
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.