Приложение на Gradio: текст и картинки из PDF через Mistral OCR

Урок 128 из 148 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Это руководство содержит пошаговые инструкции по настройке и использованию Mistral OCR с Gradio. Приложение позволяет извлекать текст и изображения из PDF-файлов и изображений с помощью возможностей OCR от Mistral. Прежде чем начать, убедитесь, что у вас установлено следующее: Python, установленный в вашей системе. API ключ от Mistral AI. Установленные необходимые пакеты Python. Сначала установите необходимые пакеты Python. Это можно сделать с помощью pip: Вам необходимо настроить ваш API ключ Mistral в качестве переменной окружения. Вы можете сделать это в терминале или добавить его в свой скрипт. Вы можете создать API ключ на нашей Платформе. Импортируйте необходимые библиотеки в ваш Python-скрипт. Инициализируйте клиент Mistral, используя ваш API ключ. Эта функция кодирует изображение в строку base64. Она потребуется для предоставления локальных изображений сервису. Эта функция заменяет заполнители изображений в markdown на изображения, закодированные в base64. Mistral OCR способен выводить чередующийся текст и изображения; эта функция заменит заполнители для рендеринга с помощью Gradio. Эта функция объединяет markdown со всех страниц ответа OCR. Она выведет версию, готовую к рендерингу, и необработанный markdown без изображений. Эта функция получает тип контента по URL. Цель состоит в том, чтобы определить, имеем ли мы дело с PDF-файлами или файлами изображений. Для выполнения OCR над локальными PDF-файлами необходимо сначала загрузить их на Платформу и получить подписанный URL, который будет использоваться для задач OCR. Далее мы можем определить функцию для выполнения OCR над URL-адресами. Нам нужны разные функции для изображений и для PDF-документов. Наконец, мы можем создать интерфейс Gradio для взаимодействия с функциями OCR! Запустите скрипт, чтобы запустить интерфейс Gradio. Вы можете взаимодействовать с интерфейсом для выполнения OCR над файлами или URL-адресами. Живую демонстрацию можно найти здесь, а дополнительную информацию — в статье блога.

План урока

  1. Предварительные требования
  2. Шаг 1: Установка необходимых пакетов
  3. Шаг 2: Настройка переменных окружения
  4. Шаг 3: Импорт библиотек
  5. Шаг 4: Инициализация клиента Mistral
  6. Шаг 5: Определение вспомогательных функций
  7. Кодирование изображения в Base64
  8. Замена изображений в Markdown

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Полезные гиды