О чём урок
В этой книге рецептов мы рассмотрим основы OCR и используем его в сочетании с существующими моделями для получения структурированных выводов, основанных на нашей модели OCR (мы рекомендуем использовать новую функцию Annotations для достижения лучших результатов). Вы можете захотеть сделать это, если текущие vision модели недостаточно мощны, тем самым улучшая их возможности vision OCR с помощью модели OCR для достижения лучшего извлечения структурированных данных. Mistral OCR Pixtral 12B & Ministral 8B Для получения более актуального руководства по structured outputs посетите нашу Annotations cookbook по Data Extraction. Сначала установим mistralai и загрузим необходимые файлы. Нам нужно настроить наш клиент. Вы можете создать API key в Studio. Существует два типа файлов, к которым можно применить OCR: PDF файлы Файлы изображений Начнем с PDF файла: Просмотрите результат следующим образом: В дополнение к показанному выше PDF файлу, Mistral OCR также может обрабатывать файлы изображений: Результаты OCR могут быть дополнительно обработаны с использованием другой модели. Наша цель — извлечь структурированные данные из этих результатов. Для этого мы будем использовать модель pixtral-12b-latest, поддерживаемую нашей моделью OCR, чтобы получать более качественные ответы: В приведенном выше примере мы используем модель, уже способную выполнять vision задачи. Однако мы также можем использовать текстовые модели для structured output. Обратите внимание, что в этом случае мы не включаем изображение в сообщение пользователя: Давайте разработаем простую функцию, которая принимает файл image_path и возвращает JSON structured output в определенном формате. В данном случае мы произвольно решили, что нам нужен output, соответствующий следующему: Мы будем использовать custom structured outputs. Теперь мы можем извлекать structured output из любого изображения, обработанного нашей моделью OCR. Оригинальное изображение для сравнения можно найти ниже.
План урока
- Используемые модели
- Настройка
- Загрузка PDF и файлов изображений
- Mistral OCR с PDF
- Mistral OCR с изображением
- Извлечение структурированных данных из результатов OCR
- Все вместе - Mistral OCR + Пользовательский Structured Output
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.