Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 30 · Текст · ~5 мин

Парсер структурированных документов: первые шаги

Урок 30 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Это руководство поможет вам настроить и использовать инструмент Парсер структурированных документов для извлечения текста, таблиц и изображений из PDF-документов.

Отредактируйте файл src/config.yaml для настройки инструмента:

Это приведет к следующему:

  1. Преобразовать каждую страницу PDF в изображение
  2. Выполнить LLM inference для извлечения текста
  3. Сохранить извлеченный текст в формате JSON в директории extracted

Таблицы будут сохранены как отдельные CSV-файлы в директории extracted/tables_TIMESTAMP/.

Таблицы будут объединены в один файл Excel с несколькими листами.

Извлеченный контент будет храниться в базе данных SQLite для структурированных запросов.

Отредактируйте prompt'ы в файле src/config.yaml, чтобы улучшить извлечение для ваших конкретных типов документов:

  1. Добавьте конфигурацию в файл src/config.yaml:
  1. Обновите CLI в файле src/structured_extraction.py:

Если ответы LLM не парсятся корректно, проверьте следующее:

  1. Вашу выходную схему в файле config.yaml
  2. Настройку use_json_decoding (установите значение true для более надежного парсинга)
  3. Рассмотрите возможность использования более крупной модели или уменьшения сложности извлечения

Если вы столкнулись с ошибками базы данных:

  1. Убедитесь, что SQLite установлен корректно
  2. Проверьте разрешения файла базы данных
  3. Используйте DatabaseManager.create_artifact_table() для повторной инициализации схемы таблицы

Если качество извлечения из PDF низкое:

  1. Попробуйте настроить параметр DPI в PDFUtils.extract_pages()
  2. Для сложных макетов разделите извлечение на более мелкие части (по секциям)
  3. Рассмотрите возможность предварительной обработки PDF-файлов с помощью инструментов OCR для улучшения качества текстового слоя
  • Попробуйте извлекать данные из различных типов документов
  • Настройте prompt'ы и схемы для ваших конкретных сценариев использования
  • Изучите возможности векторного поиска для семантических запросов к документам
  • Интегрируйте с вашими существующими рабочими процессами обработки документов

План урока

  1. Настройка
  2. 1. Установка зависимостей
  3. 2. Настройка инструмента
  4. Примеры базового использования
  5. Извлечение текста из PDF
  6. Извлечение текста и таблиц
  7. Извлечение всех типов контента
  8. Обработка нескольких PDF-файлов

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды