О чём урок
Многие корпоративные данные являются неструктурированными и заблокированы в трудноиспользуемых форматах, например, PDF, PPT, PNG, которые не оптимизированы для использования с LLM или базами данных. В результате этот тип данных, как правило, недоиспользуется для анализа и разработки продуктов, несмотря на его ценность. Традиционный способ извлечения информации из неструктурированных или неидеальных форматов заключался в использовании OCR, но OCR испытывает трудности со сложными макетами и может иметь ограниченную многоязычную поддержку. Более того, ручное применение преобразований к данным может быть громоздким и трудоемким.
Мультимодальные возможности GPT-4o открывают новые способы извлечения и преобразования данных благодаря способности GPT-4o адаптироваться к различным типам документов и использовать рассуждения для интерпретации содержимого документов. Вот несколько причин, по которым Вы бы выбрали GPT-4o для Ваших рабочих процессов извлечения и преобразования вместо традиционных методов.
Эта книга рецептов состоит из трех частей: 1. Как извлекать данные из многоязычных PDF-файлов 2. Как преобразовывать данные в соответствии со схемой для загрузки в базу данных 3. Как загружать преобразованные данные в базу данных для последующего анализа
Мы будем имитировать простой рабочий процесс ELT, где данные сначала извлекаются из PDF-файлов в JSON с использованием GPT-4o, хранятся в неструктурированном формате, например, в озере данных, преобразуются для соответствия схеме с использованием GPT-4o, а затем, наконец, загружаются в реляционную базу данных для запросов. Стоит отметить, что Вы можете сделать все это с помощью BatchAPI, если Вас интересует снижение стоимости этого рабочего процесса.
Данные, которые мы будем использовать, представляют собой набор общедоступных счетов-фактур отелей 2019 года из Германии, доступных на GitHub Йенса Вальтера (спасибо, Йенс!). Хотя счета-фактуры отелей обычно содержат схожую информацию (детали бронирования, сборы, налоги и т.д.), Вы заметите, что счета-фактуры представляют детализированную информацию по-разному и являются многоязычными, содержащими как немецкий, так и английский языки.
GPT-4o изначально не обрабатывает PDF-файлы, поэтому, прежде чем извлекать какие-либо данные, нам сначала нужно будет преобразовать каждую страницу в изображение, а затем закодировать…
План урока
- Часть 1: Извлечение данных из PDF-файлов с использованием возможностей зрения GPT-4o
- Часть 2: Преобразование данных в соответствии со схемой
- Часть 3: Загрузка преобразованных данных в базу данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.