Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 67 · Текст · ~5 мин

Теги и подписи к картинкам с GPT-4o mini

Урок 67 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом notebook'е рассматривается, как использовать возможности компьютерного зрения моделей GPT-4* (например, gpt-4o, gpt-4o-mini или gpt-4-turbo) для тегирования & создания подписей к изображениям.

Мы можем использовать мультимодальные возможности этих моделей для предоставления входных изображений вместе с дополнительным контекстом о том, что они представляют, и использовать prompt для модели, чтобы получить теги или описания изображений. Описания изображений затем могут быть дополнительно уточнены с помощью языковой модели (в этом notebook'е мы будем использовать gpt-4o-mini) для генерации подписей.

Генерация текстового контента из изображений может быть полезна для различных сценариев использования, особенно для сценариев, связанных с поиском.Мы проиллюстрируем сценарий использования поиска в этом notebook'е, используя сгенерированные ключевые слова и подписи к продуктам для поиска товаров — как по текстовому, так и по изображению.

В качестве примера мы будем использовать набор данных предметов мебели с Amazon, тегировать их соответствующими ключевыми словами и генерировать короткие, описательные подписи.

5 rows × 25 columns

В этом разделе мы будем использовать GPT-4o mini для генерации релевантных тегов для наших продуктов.

Мы будем использовать простой zero-shot подход для извлечения ключевых слов и дедуплицировать эти ключевые слова с помощью embedding'ов, чтобы избежать наличия слишком похожих ключевых слов.

Мы будем использовать комбинацию изображения и названия продукта, чтобы избежать извлечения ключевых слов для других предметов, изображенных на изображении — иногда на сцене используется несколько предметов, и мы хотим сосредоточиться только на том, который хотим тегировать.

Использование embedding'ов для избежания дубликатов (синонимов) и/или сопоставления с предопределенными ключевыми словами

В этом разделе мы будем использовать GPT-4o mini для генерации описания изображения, а затем подход с few-shot примерами с GPT-4-turbo для генерации подписей к изображениям.

Если few-shot примеров недостаточно для вашего сценария использования, рассмотрите fine-tuning модели, чтобы сгенерированные подписи соответствовали целевому стилю & тону.

Использование подхода с few-shot примерами для превращения длинного описания в короткую подпись к изображению

В этом разделе мы будем использовать сгенерированные ключевые слова и подписи…

План урока

  1. Настройка
  2. Тегирование изображений
  3. Извлечение ключевых слов
  4. Тестирование на нескольких примерах
  5. Поиск существующих ключевых слов
  6. Тестирование на примерах ключевых слов
  7. Генерация подписей
  8. Описание изображений с помощью GPT-4o mini

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды