Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 18 · Текст · ~5 мин

Вытаскиваем данные из длинных документов

Урок 18 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

GPT-3 может помочь нам извлекать ключевые цифры, даты или другие важные фрагменты контента из документов, которые слишком велики, чтобы поместиться в контекстное окно. Один из подходов к решению этой проблемы заключается в разделении документа на чанки, обработке каждого чанка по отдельности, а затем объединении результатов в единый список ответов.

В этом notebook мы рассмотрим следующий подход:

  • Загрузить объемный PDF-файл и извлечь из него текст
  • Создать prompt для извлечения ключевых фрагментов информации
  • Разделить документ на чанки и обработать каждый чанк для извлечения ответов
  • Объединить их в конце
  • Затем этот простой подход будет расширен для решения трех более сложных вопросов
  • Настройка: Взять PDF-файл, документ "Финансовые регламенты Формулы-1 по силовым установкам", и извлечь из него текст для entity extraction. Мы будем использовать это для попытки извлечь ответы, скрытые в контенте.
  • Простое Entity Extraction: Извлечь ключевые фрагменты информации из чанков документа путем: Создания шаблонного prompt с нашими вопросами и примером ожидаемого формата
  • Создания функции, которая принимает чанк текста в качестве входных данных, объединяет его с prompt и получает ответ
  • Запуска скрипта для разделения текста на чанки, извлечения ответов и их вывода для парсинга

Мы смогли безопасно извлечь первые два ответа, в то время как третий был затруднен из-за даты, появлявшейся на каждой странице, хотя правильный ответ также присутствует.

Для дальнейшей настройки вы можете поэкспериментировать со следующим:

  • Более описательный или специфичный prompt
  • Если у вас достаточно обучающих данных, fine-tuning модели для очень точного поиска набора output'ов
  • Способ разделения данных на чанки — мы использовали 1000 токенов без перекрытия, но более интеллектуальное разбиение на чанки, которое делит информацию на разделы, обрезает по токенам или аналогичным образом, может дать лучшие результаты

Однако, с минимальной настройкой мы теперь ответили на 6 вопросов различной сложности, используя содержимое объемного документа, и имеем многоразовый подход, который можно применить к любому длинному документу, требующему entity extraction.

План урока

  1. Подход
  2. Настройка
  3. Простое Entity Extraction
  4. Сложное Entity Extraction
  5. Консолидация

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды