Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 275 · Текст · ~5 мин

RAG по PDF с картинками через GPT-4o Vision

Урок 275 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Внедрение Retrieval-Augmented Generation (RAG) сопряжено с уникальными трудностями при работе с документами, изобилующими изображениями, графиками и таблицами. Традиционные модели RAG превосходно справляются с текстовыми данными, но часто дают сбой, когда визуальные элементы играют решающую роль в передаче информации. В этом руководстве мы устраняем этот пробел, используя Vision Modality для извлечения и интерпретации визуального контента, обеспечивая максимально информативные и точные генерируемые ответы.

Наш подход включает парсинг документов в изображения и использование метаданных для идентификации страниц, содержащих изображения, графики и таблицы. Когда семантический поиск находит такую страницу, мы передаем изображение страницы Vision Modality, вместо того чтобы полагаться исключительно на текст. Этот метод повышает способность модели понимать и отвечать на запросы пользователей, касающиеся визуальных данных.

В этом руководстве мы рассмотрим и продемонстрируем следующие ключевые концепции:

  • Узнайте, как инициализировать и настроить Pinecone для эффективного хранения vector embeddings.
  • Откройте для себя методы преобразования страниц PDF в изображения.
  • Используйте Vision Modality GPT-4o для извлечения текстовой информации со страниц, содержащих изображения, графики или таблицы.
  • Используйте embedding модели для создания векторных представлений текстовых данных.
  • Отмечайте страницы с визуальным контентом, чтобы установить флаг метаданных в vector store и извлекать изображения для передачи в GPT-4o с использованием Vision Modality.
  • Загрузите эти embeddings в Pinecone для хранения и извлечения.
  • Реализуйте семантический поиск по тексту страницы, чтобы найти страницы, которые наилучшим образом соответствуют запросу пользователя.
  • Предоставьте соответствующий текст страницы GPT-4o в качестве контекста для ответа на запрос пользователя.
  • Узнайте, как передавать изображение с использованием Vision Modality GPT-4o для ответов на вопросы с дополнительным контекстом.
  • Поймите, как этот процесс повышает точность ответов, включающих визуальные данные.

К концу этого руководства вы получите глубокое понимание того, как реализовать RAG-системы, способные обрабатывать и интерпретировать документы со сложными визуальными элементами. Эти знания позволят вам создавать AI-решения, предоставляющие более полную и точную информацию, повышая удовлетворенность и вовлеченность пользователей.

Мы будем использовать отчет Всемирного банка — A Better Bank for…

План урока

  1. Оптимизация Retrieval-Augmented Generation с использованием Vision Modality GPT-4o
  2. Шаг 1: Настройка Vector Store с помощью Pinecone
  3. Шаг 2: Парсинг PDF-файлов и извлечение визуальной информации
  4. Шаг 3: Генерация Embeddings
  5. Шаг 4: Загрузка embeddings в Pinecone
  6. Шаг 5: Выполнение семантического поиска релевантных страниц
  7. Шаг 6: Обработка страниц с визуальным контентом (необязательный шаг)
  8. Заключение

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды