Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 214 · Текст · ~5 мин

RAG по изображениям через Vision и Responses API

Урок 214 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Добро пожаловать! Этот notebook демонстрирует, как создать систему генерации с дополненной выборкой (RAG) с использованием Vision и Responses API от OpenAI. Он фокусируется на мультимодальных данных, объединяя изображения и текстовые входные данные для анализа клиентского опыта. Система использует GPT-5 и интегрирует понимание изображений с поиском по файлам для предоставления контекстно-зависимых ответов.

Мультимодальные наборы данных становятся всё более распространёнными, особенно в таких областях, как здравоохранение, где записи часто содержат как визуальные данные (например, радиологические снимки), так и сопроводительный текст (например, клинические заметки). Реальные наборы данных также, как правило, зашумлены, содержат неполную или отсутствующую информацию, что делает критически важным анализ нескольких модальностей в тандеме.

Это руководство посвящено сценарию использования в сфере обслуживания клиентов: оценке отзывов клиентов, которые могут включать фотографии и письменные обзоры. Вы узнаете, как синтетически генерировать как изображения, так и текстовые входные данные, использовать поиск по файлам для извлечения контекста и применять Evals API для оценки того, как включение понимания изображений влияет на общую производительность.

  1. Настройка и зависимости
  2. Примеры генераций
  3. Обработка данных Загрузка синтетических наборов данных
  4. Объединение данных
  5. Заполнение векторного хранилища Загрузка данных для поиска по файлам
  6. Настройка фильтров атрибутов
  7. Извлечение и фильтрация Тестирование производительности извлечения
  8. Применение фильтров на основе атрибутов
  9. Оценка и анализ Сравнение предсказаний с эталонными данными
  10. Анализ метрик производительности

Генерация высококачественных данных для обучения и оценки в задачах машинного обучения может быть дорогостоящей и трудоёмкой. Синтетические данные предлагают практичную и масштабируемую альтернативу. В этом notebook Image API от OpenAI используется для генерации синтетических изображений, а Responses API — для создания синтетического текста, что обеспечивает эффективное прототипирование и экспериментирование в мультимодальных задачах.

В этом примере мы будем работать с предварительно сгенерированным синтетическим набором данных отзывов клиентов, который включает короткие текстовые фрагменты, изображения из отзывов клиентов и иногда комбинированные мультимодальные записи.

План урока

  1. Обзор
  2. Оглавление
  3. Настройка и зависимости
  4. Примеры генераций
  5. Обработка данных

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды