Теги и подписи к картинкам с GPT-4o mini

О чём урок

В этом notebook'е рассматривается, как использовать возможности компьютерного зрения моделей GPT-4* (например, gpt-4o, gpt-4o-mini или gpt-4-turbo) для тегирования & создания подписей к изображениям. Мы можем использовать мультимодальные возможности этих моделей для предоставления входных изображений вместе с дополнительным контекстом о том, что они представляют, и использовать prompt для модели, чтобы получить теги или описания изображений. Описания изображений затем могут быть дополнительно уточнены с помощью языковой модели (в этом notebook'е мы будем использовать gpt-4o-mini) для генерации подписей. Генерация текстового контента из изображений может быть полезна для различных сценариев использования, особенно для сценариев, связанных с поиском.Мы проиллюстрируем сценарий использования поиска в этом notebook'е, используя сгенерированные ключевые слова и подписи к продуктам для поиска товаров — как по текстовому, так и по изображению. В качестве примера мы будем использовать набор данных предметов мебели с Amazon, тегировать их соответствующими ключевыми словами и генерировать короткие, описательные подписи. asin url title brand price availability categories primary_image images upc ... color material style important_information product_overview about_item description specifications uniq_id scraped_at 0 B0CJHKVG6P https://www.amazon.com/dp/B0CJHKVG6P GOYMFK 1pc Free Standing Shoe Rack, Multi-laye... GOYMFK $24.99 Only 13 left in stock - order soon. ['Home & Kitchen', 'Storage & Organization', '... https://m.media-amazon.com/images/I/416WaLx10j... ['https://m.media-amazon.com/images/I/416WaLx1... NaN ... White Metal Modern [] [{'Brand': ' GOYMFK '}, {'Color': ' White '}, ... ['Multiple layers: Provides ample storage spac... multiple shoes, coats, hats, and other items E... ['Brand: GOYMFK', 'Color: White', 'Material: M... 02593e81-5c09-5069-8516-b0b29f439ded 2024-02-02 15:15:08 1 B0B66QHB23 https://www.amazon.com/dp/B0B66QHB23 subrtex Leather ding Room, Dining Chairs Set o... subrtex NaN NaN ['Home & Kitchen', 'Furniture', 'Dining Room F... https://m.media-amazon.com/images/I/31SejUEWY7... ['https://m.media-amazon.com/images/I/31SejUEW... NaN ... Black Sponge Black Rubber Wood [] NaN ['【Easy Assembly】: Set of 2 dining room chairs...

План урока

1. Настройка
2. Тегирование изображений
3. Извлечение ключевых слов
4. Тестирование на нескольких примерах
5. Поиск существующих ключевых слов
6. Тестирование на примерах ключевых слов
7. Генерация подписей
8. Описание изображений с помощью GPT-4o mini