Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 165 · Текст · ~5 мин

Мультимодальный RAG на эмбеддингах CLIP и GPT-4 Vision

Урок 165 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Мультимодальный RAG интегрирует дополнительные модальности в традиционный текстовый RAG, улучшая ответы LLM на вопросы за счет предоставления дополнительного контекста и обоснования текстовых данных для лучшего понимания.

Применяя подход из руководства по подбору одежды, мы напрямую создаем эмбеддинги изображений для поиска по сходству, минуя процесс текстового описания с потерей информации, для повышения точности извлечения.

Использование CLIP-эмбеддингов дополнительно позволяет выполнять fine-tuning со специфическими данными или обновлять с помощью ранее не виденных изображений.

Эта техника демонстрируется на примере поиска по корпоративной базе знаний с использованием предоставленных пользователем изображений техники для предоставления соответствующей информации.

Сначала установим необходимые пакеты.

Затем импортируем все необходимые пакеты.

Теперь загрузим модель CLIP.

Теперь мы:

  1. Создадим базу данных эмбеддингов изображений
  2. Настроим запрос к vision-модели
  3. Выполним семантический поиск
  4. Передадим пользовательский запрос к изображению

Далее мы создадим нашу базу знаний эмбеддингов изображений из директории с изображениями. Это будет база знаний о технологиях, которую мы будем просматривать для предоставления информации пользователю по загруженному им изображению.

Мы передаем директорию, в которой хранятся наши изображения (в формате JPEG), и проходим по каждому из них для создания эмбеддингов.

У нас также есть файл description.json. Он содержит запись для каждого изображения в нашей базе знаний. У него есть два ключа: 'image_path' и 'description'. Он сопоставляет каждое изображение с полезным описанием этого изображения для помощи в ответе на вопрос пользователя.

Сначала напишем функцию, чтобы получить все пути к изображениям в заданной директории. Затем мы получим все JPEG-файлы из директории под названием 'image_database'

Далее мы напишем функцию для получения эмбеддингов изображений из модели CLIP по заданному набору путей.

Сначала мы предварительно обрабатываем изображение, используя функцию `preprocess`, которую мы получили ранее. Это выполняет несколько действий, чтобы убедиться, что входные данные для модели CLIP имеют правильный формат и размерность, включая изменение размера, нормализацию, настройку цветовых каналов и т.д.

Затем мы объединяем эти предварительно обработанные изображения, чтобы передать…

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды