Подбор одежды на GPT-4o mini и RAG

О чём урок

Добро пожаловать в Jupyter Notebook приложения для подбора одежды! Этот проект демонстрирует возможности модели GPT-4o mini в анализе изображений предметов одежды и извлечении ключевых характеристик, таких как цвет, стиль и тип. Основа нашего приложения опирается на эту передовую модель анализа изображений, разработанную OpenAI, которая позволяет нам точно определять характеристики входного предмета одежды. GPT-4o mini — это небольшая модель, которая сочетает обработку естественного языка с распознаванием изображений, позволяя ей понимать и генерировать ответы на основе как текстовых, так и визуальных входных данных с низкой задержкой. Опираясь на возможности модели GPT-4o mini, мы используем пользовательский алгоритм сопоставления и технику RAG для поиска в нашей базе знаний предметов, которые дополняют выявленные характеристики. Этот алгоритм учитывает такие факторы, как совместимость цветов и стилевая согласованность, чтобы предоставить пользователям подходящие рекомендации. С помощью этого notebook мы стремимся продемонстрировать практическое применение этих технологий в создании системы рекомендаций одежды. Использование комбинации GPT-4o mini + RAG (Retrieval-Augmented Generation) предлагает несколько преимуществ: Понимание контекста: GPT-4o mini может анализировать входные изображения и понимать контекст, такой как изображенные объекты, сцены и действия. Это позволяет получать более точные и релевантные предложения или информацию в различных областях, будь то дизайн интерьера, кулинария или образование. Богатая база знаний: RAG сочетает генеративные возможности GPT-4 с компонентом извлечения, который обращается к большому корпусу информации из различных областей. Это означает, что система может предоставлять предложения или идеи, основанные на широком спектре знаний, от исторических фактов до научных концепций. Кастомизация: Подход позволяет легко кастомизировать систему для удовлетворения конкретных потребностей или предпочтений пользователей в различных приложениях. Будь то подбор предложений по вкусу пользователя в искусстве или предоставление образовательного контента на основе уровня обучения студента, система может быть адаптирована для предоставления персонализированного опыта. В целом, подход GPT-4o mini + RAG предлагает быстрое, мощное и гибкое решение для различных приложений, связанных с модой, используя сильные стороны как генеративных, так и основанных на извлечении AI-техник.

План урока

1. Настройка окружения
2. Создание эмбеддингов
3. Два варианта создания эмбеддингов
4. Создание алгоритма сопоставления
5. Модуль анализа
6. Тестирование prompt с примерами изображений
7. Guardrails
8. Заключение