О чём урок
Оптическое распознавание символов (OCR) позволяет извлекать текстовые данные из документов. С помощью Mistral OCR вы можете делать это чрезвычайно быстро и эффективно, извлекая текст из сотен и тысяч изображений (или PDF-файлов).
В этом простом руководстве мы извлечем текст из набора изображений, используя два метода: - Без пакетного вывода: Проход по набору данных, извлечение текста из каждого изображения и сохранение результата. - С пакетным выводом: Использование пакетного вывода для извлечения текста с 50% снижением стоимости. - Встроенная пакетная обработка: Быстрое начало пакетной обработки путем создания списка полезных нагрузок и непосредственного создания задания. Просто и эффективно для до 10 тысяч запросов. - Пакетная обработка файлов: Пакетная обработка путем загрузки файла со всеми вашими полезными нагрузками, идеально подходит для больших рабочих нагрузок до 1 миллиона запросов.
Сначала установим mistralai, наш Python SDK, и datasets, стороннюю библиотеку, которую мы будем использовать для загрузки некоторых примеров.
Теперь мы можем настроить наш клиент. Вы можете создать ключ API на AI Studio.
В качестве примера, давайте используем Mistral OCR для извлечения текста из нескольких изображений документов.
Мы будем использовать набор данных, содержащий пути к изображениям, и отправлять изображения в виде URL-адресов PDF.
Для получения дополнительной информации о нашем OCR-процессоре, пожалуйста, посетите нашу документацию по OCR.
Для этой демонстрации мы будем использовать простой набор данных, содержащий множество документов и сканов в формате изображений. В частности, мы будем использовать набор данных llamaindex/ParseBench, загруженный через библиотеку datasets.
Для этой демонстрации мы загрузим только 100 образцов.
Когда наш поднабор из 100 образцов готов, мы можем пройти по каждому изображению, чтобы извлечь текст.
Мы сохраним результаты в новом наборе данных и экспортируем его как файл JSONL.
Отлично, мы извлекли весь текст из 100 образцов. Однако этот процесс можно сделать более экономичным с помощью пакетного вывода.
Пакетная обработка позволяет выполнять асинхронный вывод на больших входных данных параллельно, снижая вычислительные затраты при выполнении больших рабочих нагрузок со…
План урока
- Настройка
- Без пакетного вывода
- Набор данных
- С пакетным выводом
- Встроенная пакетная обработка
- Пакетная обработка файлов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.