Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 13 · Текст · ~5 мин

GPT-4o вместо OCR: извлекаем данные из PDF для ELT

Урок 13 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Многие корпоративные данные являются неструктурированными и заблокированы в трудноиспользуемых форматах, например, PDF, PPT, PNG, которые не оптимизированы для использования с LLM или базами данных. В результате этот тип данных, как правило, недоиспользуется для анализа и разработки продуктов, несмотря на его ценность. Традиционный способ извлечения информации из неструктурированных или неидеальных форматов заключался в использовании OCR, но OCR испытывает трудности со сложными макетами и может иметь ограниченную многоязычную поддержку. Более того, ручное применение преобразований к данным может быть громоздким и трудоемким.

Мультимодальные возможности GPT-4o открывают новые способы извлечения и преобразования данных благодаря способности GPT-4o адаптироваться к различным типам документов и использовать рассуждения для интерпретации содержимого документов. Вот несколько причин, по которым Вы бы выбрали GPT-4o для Ваших рабочих процессов извлечения и преобразования вместо традиционных методов.

Эта книга рецептов состоит из трех частей: 1. Как извлекать данные из многоязычных PDF-файлов 2. Как преобразовывать данные в соответствии со схемой для загрузки в базу данных 3. Как загружать преобразованные данные в базу данных для последующего анализа

Мы будем имитировать простой рабочий процесс ELT, где данные сначала извлекаются из PDF-файлов в JSON с использованием GPT-4o, хранятся в неструктурированном формате, например, в озере данных, преобразуются для соответствия схеме с использованием GPT-4o, а затем, наконец, загружаются в реляционную базу данных для запросов. Стоит отметить, что Вы можете сделать все это с помощью BatchAPI, если Вас интересует снижение стоимости этого рабочего процесса.

Данные, которые мы будем использовать, представляют собой набор общедоступных счетов-фактур отелей 2019 года из Германии, доступных на GitHub Йенса Вальтера (спасибо, Йенс!). Хотя счета-фактуры отелей обычно содержат схожую информацию (детали бронирования, сборы, налоги и т.д.), Вы заметите, что счета-фактуры представляют детализированную информацию по-разному и являются многоязычными, содержащими как немецкий, так и английский языки.

GPT-4o изначально не обрабатывает PDF-файлы, поэтому, прежде чем извлекать какие-либо данные, нам сначала нужно будет преобразовать каждую страницу в изображение, а затем закодировать…

План урока

  1. Часть 1: Извлечение данных из PDF-файлов с использованием возможностей зрения GPT-4o
  2. Часть 2: Преобразование данных в соответствии со схемой
  3. Часть 3: Загрузка преобразованных данных в базу данных

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды