Основы Mistral Document AI

О чём урок

Mistral Document AI предлагает обработку документов корпоративного уровня, сочетая передовую технологию OCR с расширенным извлечением структурированных данных. Этот notebook демонстрирует несколько примеров базового извлечения OCR для текста и изображений. Мы будем использовать модель mistral-document-ai-2505 с несколькими документами и изображениями, чтобы продемонстрировать возможности модели. Примечание: Конечная точка Document AI в Azure Foundry не может обрабатывать источники с внешних URL, вместо этого мы покажем, как кодировать документы и изображения и вызывать API. В Azure AI Foundry, после нажатия на "Use this model" и прохождения стандартной настройки Foundry, вам понадобятся предоставленные Endpoint, Key и Deployment Name. Endpoint используется как url в REST-запросе, Key используется для аутентификации в заголовке, а Deployment Name используется в теле запроса. В дополнение к базовой функциональности OCR, Mistral Document AI предлагает аннотации, которые позволяют извлекать информацию из документов и изображений в структурированном json с помощью одного вызова API. Он предлагает два типа аннотаций, которые можно использовать независимо или вместе: bbox_annotation: предоставляет аннотации ограничивающих рамок (bounding boxes), извлеченных моделью OCR (графики/рисунки и т.д.), на основе структуры, которую вы определяете в запросе. Это предоставляется для каждого изображения на каждой странице документа. document_annotation: аналогично `bbox_annotation`, но для извлеченного текста по всему документу. Примечание: Аннотации документов в настоящее время ограничены 8 страницами. Пожалуйста, ознакомьтесь с model card для получения самой актуальной информации об ограничениях. Сформируйте запрос и разберите ответ

План урока

1. 0. Настройка
2. 1. Вспомогательные функции
3. 2. Аннотации изображений/документов