Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 70 · Текст · ~5 мин

Понимание документов любой моделью через OCR и инструменты

Урок 70 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Оптическое распознавание символов (OCR) преобразует текстовые документы и изображения в чистый текст и markdown. Используя эту функцию, вы можете позволить любой большой языковой модели (LLM) надежно понимать документы эффективно и экономично.

В этом руководстве мы продемонстрируем, как использовать OCR с нашими моделями для обсуждения любого текстового документа, будь то PDF, фотография или скриншот, по URL-адресам.

Мы будем использовать Tool Usage для открытия любого URL-адреса по запросу пользователя.

У нас также есть встроенная функция для понимания документов с использованием нашей модели OCR. Чтобы узнать о ней больше, посетите нашу документацию по пониманию документов

Для достижения этой цели мы сначала отправим наш вопрос, который может включать или не включать URL-адреса, указывающие на документы, для которых мы хотим выполнить OCR. Затем Mistral Small, используя инструмент open_urls (извлекая URL-адреса напрямую), решит, нужно ли ему выполнять OCR для какого-либо URL-адреса или он может напрямую ответить на вопрос.

Сначала установим mistralai

Теперь мы можем настроить нашего клиента. Вы можете создать ключ API в Studio.

Чтобы модель осознавала свою цель и свои возможности, важно предоставить четкий системный промпт с инструкциями и объяснениями любых инструментов, к которым она может иметь доступ.

Давайте определим системный промпт и инструменты, к которым она будет иметь доступ, в данном случае open_urls.

Примечание: open_urls можно легко настроить с помощью других ресурсов и моделей (например, для суммаризации) и многих других функций. В этой демонстрации мы используем более простой подход.

Мы также должны определить схему инструмента, которая будет предоставлена нашему API и модели.

Следуя документации, мы можем создать что-то подобное:

Все готово; мы можем быстро создать цикл while для прямого общения с нашей моделью в консоли.

Модель будет использовать open_urls каждый раз, когда упоминаются URL-адреса. Если это PDF-файлы или фотографии, она выполнит OCR и предоставит необработанное текстовое содержимое модели, которая затем будет использовать его для ответа пользователю.

  • Не могли бы вы…

План урока

  1. Метод
  2. Другие методы - Вопросы и ответы по документам
  3. Использование инструментов
  4. Настройка
  5. Система и инструмент
  6. Тестовое решение
  7. Примеры промптов (PDF и изображение)

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды