Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 64 · Текст · ~5 мин

Массовое распознавание документов через Batch API

Урок 64 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Оптическое распознавание символов (OCR) позволяет извлекать текстовые данные из документов. С помощью Mistral OCR вы можете делать это чрезвычайно быстро и эффективно, извлекая текст из сотен и тысяч изображений (или PDF-файлов).

В этом простом руководстве мы извлечем текст из набора изображений, используя два метода: - Без пакетного вывода: Проход по набору данных, извлечение текста из каждого изображения и сохранение результата. - С пакетным выводом: Использование пакетного вывода для извлечения текста с 50% снижением стоимости. - Встроенная пакетная обработка: Быстрое начало пакетной обработки путем создания списка полезных нагрузок и непосредственного создания задания. Просто и эффективно для до 10 тысяч запросов. - Пакетная обработка файлов: Пакетная обработка путем загрузки файла со всеми вашими полезными нагрузками, идеально подходит для больших рабочих нагрузок до 1 миллиона запросов.

Сначала установим mistralai, наш Python SDK, и datasets, стороннюю библиотеку, которую мы будем использовать для загрузки некоторых примеров.

Теперь мы можем настроить наш клиент. Вы можете создать ключ API на AI Studio.

В качестве примера, давайте используем Mistral OCR для извлечения текста из нескольких изображений документов.

Мы будем использовать набор данных, содержащий пути к изображениям, и отправлять изображения в виде URL-адресов PDF.

Для получения дополнительной информации о нашем OCR-процессоре, пожалуйста, посетите нашу документацию по OCR.

Для этой демонстрации мы будем использовать простой набор данных, содержащий множество документов и сканов в формате изображений. В частности, мы будем использовать набор данных llamaindex/ParseBench, загруженный через библиотеку datasets.

Для этой демонстрации мы загрузим только 100 образцов.

Когда наш поднабор из 100 образцов готов, мы можем пройти по каждому изображению, чтобы извлечь текст.

Мы сохраним результаты в новом наборе данных и экспортируем его как файл JSONL.

Отлично, мы извлекли весь текст из 100 образцов. Однако этот процесс можно сделать более экономичным с помощью пакетного вывода.

Пакетная обработка позволяет выполнять асинхронный вывод на больших входных данных параллельно, снижая вычислительные затраты при выполнении больших рабочих нагрузок со…

План урока

  1. Настройка
  2. Без пакетного вывода
  3. Набор данных
  4. С пакетным выводом
  5. Встроенная пакетная обработка
  6. Пакетная обработка файлов

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды