О чём урок
Некоторые документы могут быть очень большими и превышать ограничения по размеру (МБ) и количеству страниц, которые модели и сервисы, такие как Mistral OCR и Document AI, могут обрабатывать за один вызов вывода.
При столкновении с такими ограничениями мы рекомендуем разделять ваши документы на части. Мы предоставляем полный сквозной скрипт здесь. Ниже мы подробно рассмотрим, как он работает, и приведем несколько примеров, чтобы вы могли начать разделять большие документы на более мелкие части, а затем вызывать конечную точку модели через наш SDK.
Это легко модифицируется для работы с существующими конвейерами обработки документов и интегрируется во многие наши руководства.
Mistral OCR и все наши функции Document-AI накладывают два ограничения:
Отсканированные книги в высоком разрешении могут легко достигать этих пределов. При столкновении с такими ограничениями решение состоит в том, чтобы разделить документ на более мелкие части, каждая из которых соответствует требованиям, обработать каждую часть отдельно, а затем снова объединить результаты.
Для этого руководства нам нужны две библиотеки: - PyPDF2 — для чтения, подсчета страниц и разделения PDF. - mistralai — наш Mistral AI SDK
Наш предоставленный сквозной скрипт использует httpx и tenacity с реализацией чистого REST для обеспечения базовой функциональности для аналогичных реализаций на разных языках и сервисах.
Отредактируйте значение ниже. Получите ключ Mistral API из консоли Mistral.
Мы предоставляем три метода загрузки файлов для сервисов OCR и Document AI:
- Облачная загрузка: Организации могут загружать свои файлы в наш облачный сервис; после загрузки возвращается защищенный URL, который позволяет выполнять OCR.
- Публичный URL: Предоставьте любой общедоступный URL, и OCR будет выполнен непосредственно на документе.
- Base64: Закодируйте документ или изображение в формате base64 и отправьте его в сервис.
В этом руководстве мы будем использовать Base64, что позволит вам выполнять OCR любого документа без каких-либо дополнительных шагов по облачной загрузке. Чтобы узнать о других подходах, посетите нашу документацию по OCR.
Чтобы разделить документ, нам нужен способ подсчета страниц.
Из-за ограничений…
План урока
- Зачем вообще разделять на части?
- Настройка
- Кодирование PDF в Base64
- Разделение на части
- Отправка в API OCR / Document-AI
- Обработка PDF — оркестратор
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.