О чём урок
Оптическое распознавание символов (OCR) преобразует текстовые документы и изображения в чистый текст и разметку. Используя эту функцию, вы можете позволить любой большой языковой модели (LLM) надежно понимать документы эффективно и экономично.
В этом руководстве мы продемонстрируем, как использовать OCR с нашими моделями для обсуждения любого текстового документа, будь то PDF, фотография или скриншот, через URL-адреса и нашу встроенную функцию.
Этот метод будет использовать нашу встроенную функцию, которая задействует OCR, мы будем извлекать URL-адреса с помощью регулярных выражений и вызывать наши модели с этой функцией.
Mistral предоставляет встроенную функцию, которая использует OCR со всеми моделями. Предоставляя URL-адрес, указывающий на документ, вы можете извлечь текстовые данные, которые будут предоставлены модели.
Далее представлен простой и быстрый пример того, как использовать эту функцию, извлекая URL-адреса PDF с помощью регулярных выражений и загружая их как document_url.
Узнайте больше о Document QnA здесь.
Сначала установим mistralai
Теперь мы можем настроить наш клиент. Вы можете создать ключ API на AI Studio.
Давайте определим простой системный промпт, поскольку для этой демонстрации не требуется вызов инструмента, мы можем быть достаточно прямолинейными.
Для извлечения URL-адресов мы будем использовать регулярные выражения для извлечения любого шаблона URL из запроса пользователя.
Примечание: Для простоты мы будем предполагать, что будут только PDF-файлы.
Теперь мы можем попробовать это, мы настроили так, чтобы для каждого запроса все URL-адреса извлекались и правильно добавлялись к запросу.
- Не могли бы вы кратко изложить, о чем говорится в этой исследовательской работе? https://arxiv.org/pdf/2410.07073
- Объясните эту архитектуру: https://arxiv.org/abs/2401.04088
План урока
- Используйте нашу встроенную функцию Document QnA
- Метод
- Встроенная функция
- Настройка
- Система и регулярные выражения
- Тест
- Примеры промптов (PDF)
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.