О чём урок
В этом notebook'е рассматривается, как использовать возможности компьютерного зрения моделей GPT-4* (например, gpt-4o, gpt-4o-mini или gpt-4-turbo) для тегирования & создания подписей к изображениям.
Мы можем использовать мультимодальные возможности этих моделей для предоставления входных изображений вместе с дополнительным контекстом о том, что они представляют, и использовать prompt для модели, чтобы получить теги или описания изображений. Описания изображений затем могут быть дополнительно уточнены с помощью языковой модели (в этом notebook'е мы будем использовать gpt-4o-mini) для генерации подписей.
Генерация текстового контента из изображений может быть полезна для различных сценариев использования, особенно для сценариев, связанных с поиском.Мы проиллюстрируем сценарий использования поиска в этом notebook'е, используя сгенерированные ключевые слова и подписи к продуктам для поиска товаров — как по текстовому, так и по изображению.
В качестве примера мы будем использовать набор данных предметов мебели с Amazon, тегировать их соответствующими ключевыми словами и генерировать короткие, описательные подписи.
5 rows × 25 columns
В этом разделе мы будем использовать GPT-4o mini для генерации релевантных тегов для наших продуктов.
Мы будем использовать простой zero-shot подход для извлечения ключевых слов и дедуплицировать эти ключевые слова с помощью embedding'ов, чтобы избежать наличия слишком похожих ключевых слов.
Мы будем использовать комбинацию изображения и названия продукта, чтобы избежать извлечения ключевых слов для других предметов, изображенных на изображении — иногда на сцене используется несколько предметов, и мы хотим сосредоточиться только на том, который хотим тегировать.
Использование embedding'ов для избежания дубликатов (синонимов) и/или сопоставления с предопределенными ключевыми словами
В этом разделе мы будем использовать GPT-4o mini для генерации описания изображения, а затем подход с few-shot примерами с GPT-4-turbo для генерации подписей к изображениям.
Если few-shot примеров недостаточно для вашего сценария использования, рассмотрите fine-tuning модели, чтобы сгенерированные подписи соответствовали целевому стилю & тону.
Использование подхода с few-shot примерами для превращения длинного описания в короткую подпись к изображению
В этом разделе мы будем использовать сгенерированные ключевые слова и подписи…
План урока
- Настройка
- Тегирование изображений
- Извлечение ключевых слов
- Тестирование на нескольких примерах
- Поиск существующих ключевых слов
- Тестирование на примерах ключевых слов
- Генерация подписей
- Описание изображений с помощью GPT-4o mini
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.