О чём урок
В этом руководстве мы рассмотрим основы аннотаций и способы получения структурированных выходных данных, основанных на нашей модели OCR.
Возможно, вам это понадобится, если текущие модели компьютерного зрения недостаточно мощны, и вы хотите улучшить их возможности OCR с помощью модели OCR для достижения лучшего извлечения структурированных данных.
API Mistral Document AI добавляет две функции аннотации: - document_annotation: возвращает аннотацию всего документа на основе входной схемы. - box_annotation: предоставляет аннотацию ограничивающих рамок (bbox), извлеченных моделью OCR (диаграммы/рисунки и т. д.), на основе требований пользователя. Например, пользователь может попросить описать/подписать рисунок.
Узнайте больше об аннотациях здесь.
Сначала установим mistralai и загрузим необходимые файлы.
Нам нужно настроить нашего клиента. Вы можете создать ключ API на AI Studio.
Для нашего руководства мы будем использовать PDF-файл, аннотировать его и извлекать данные из документа.
Сначала нам нужно создать функцию для кодирования нашего PDF-файла в base64, вы также можете загрузить файл в наше облако и использовать подписанный URL вместо этого.
Теперь, когда наша функция готова, мы можем закодировать наш PDF-файл и вызвать нашу модель OCR.
С момента выпуска OCR 4 мы можем просматривать результат с оценками достоверности, когда установлено значение confidence_scores_granularity="word". Ниже слова будут выделены цветом в зависимости от достоверности OCR:
- Красный: < 60%
- Оранжевый: 60–80%
- Желтый: 80–95%
- Белый: 95–100%
Наведите курсор на слово, чтобы увидеть его точную оценку достоверности.
arXiv:2310.06825v1 [cs.CL] 10 Oct 2023
# Mistral 7B
Albert Q. Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, Lélio Renard Lavaud, Marie-Anne Lachaux, Pierre Stock, Teven Le Scao, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed
## Abstract
We introduce Mistral 7B, a 7-billion-parameter language model engineered for superior performance and efficiency.
Code: https://github.com/mistralai/mistral-src
Webpage: https://mistral.ai/news/announcing-mistral-7b/
## 1…
План урока
- Аннотации для структурированных выходных данных и извлечения данных
- Что такое аннотации?
- Настройка
- Загрузить PDF
- Создать клиент
- Mistral OCR без аннотаций
- Mistral OCR с аннотациями
- Полный документ с аннотациями
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.