Извлекаем данные из счетов-фактур

Цели урока

• Создать двухэтапный конвейер обработки, который разделяет визуальное извлечение и интеллектуальное уточнение для достижения оптимальной точности и экономической эффективности.
• Использовать мультимодальные возможности Llama для извлечения данных из изображений счетов-фактур с разнообразными макетами и форматами.
• Применять tool calling Llama API для обогащения данных с помощью внешних сервисов, таких как Currency API.
• Реализовать структурированный вывод в формате JSON для обеспечения последовательного и надежного извлечения данных каждый раз.

О чём урок

Авторское право (c) Meta Platforms, Inc. и её аффилированных лиц. Данное программное обеспечение может использоваться и распространяться в соответствии с условиями Лицензионного соглашения сообщества Llama. В этом руководстве показано, как создать систему обработки счетов-фактур, которая автоматически извлекает структурированные данные из изображений счетов. Используя двухэтапный конвейер с мультимодальными и текстовыми моделями Llama, вы преобразуете разнообразные форматы счетов-фактур в чистые, проверенные данные JSON, готовые для бесшовного импорта в бухгалтерские системы. В то время как традиционные инструменты OCR сталкиваются с трудностями при работе с разнообразными макетами и требуют обширной настройки шаблонов, предлагаемый здесь подход использует возможности компьютерного зрения Llama для понимания любого формата счета-фактуры, обогащения данных с помощью внешних сервисов и пометки исключений для ручной проверки, обеспечивая точность, необходимую для финансовой автоматизации. Компонент Выбор Почему Архитектура Двухэтапный конвейер Разделяет задачи: Этап 1 сосредоточен на точной транскрипции, Этап 2 — на уточнении Модель Этапа 1 Llama 4 Maverick Расширенные возможности компьютерного зрения для точного извлечения текста из сложных макетов счетов-фактур Модель Этапа 2 Llama 4 Scout Высокая производительность и tool calling для уточнения, валидации и обогащения данных Инфраструктура Llama API Предоставляет бессерверный, готовый к производству доступ к моделям Llama с использованием SDK llama_api_client Формат вывода JSON Structured Output Гарантирует соответствие схеме для бесшовной интеграции с бухгалтерскими системами Примечание о провайдерах инференса: В этом руководстве используется Llama API для демонстрационных целей. Однако вы можете запускать модели Llama с любым предпочтительным провайдером инференса. Распространенные примеры включают Amazon Bedrock и Together AI. Основная логика этого руководства может быть адаптирована для любого из этих провайдеров.

План урока

1. Что вы узнаете
2. Обзор сценария
3. Решение: Двухэтапный интеллектуальный конвейер обработки
4. Этап 1: Точная транскрипция (от визуальных данных к необработанным)
5. Этап 2: Интеллектуальное уточнение (от данных к инсайтам)
6. Предварительные условия
7. Установка зависимостей
8. Импорт и настройка клиента Llama API