О чём урок
Оптическое распознавание символов (OCR) преобразует текстовые документы и изображения в чистый текст и markdown. Используя эту функцию, вы можете позволить любой большой языковой модели (LLM) надежно понимать документы эффективно и экономично.
В этом руководстве мы продемонстрируем, как использовать OCR с нашими моделями для обсуждения любого текстового документа, будь то PDF, фотография или скриншот, по URL-адресам.
Мы будем использовать Tool Usage для открытия любого URL-адреса по запросу пользователя.
У нас также есть встроенная функция для понимания документов с использованием нашей модели OCR. Чтобы узнать о ней больше, посетите нашу документацию по пониманию документов
Для достижения этой цели мы сначала отправим наш вопрос, который может включать или не включать URL-адреса, указывающие на документы, для которых мы хотим выполнить OCR. Затем Mistral Small, используя инструмент open_urls (извлекая URL-адреса напрямую), решит, нужно ли ему выполнять OCR для какого-либо URL-адреса или он может напрямую ответить на вопрос.
Сначала установим mistralai
Теперь мы можем настроить нашего клиента. Вы можете создать ключ API в Studio.
Чтобы модель осознавала свою цель и свои возможности, важно предоставить четкий системный промпт с инструкциями и объяснениями любых инструментов, к которым она может иметь доступ.
Давайте определим системный промпт и инструменты, к которым она будет иметь доступ, в данном случае open_urls.
Примечание: open_urls можно легко настроить с помощью других ресурсов и моделей (например, для суммаризации) и многих других функций. В этой демонстрации мы используем более простой подход.
Мы также должны определить схему инструмента, которая будет предоставлена нашему API и модели.
Следуя документации, мы можем создать что-то подобное:
Все готово; мы можем быстро создать цикл while для прямого общения с нашей моделью в консоли.
Модель будет использовать open_urls каждый раз, когда упоминаются URL-адреса. Если это PDF-файлы или фотографии, она выполнит OCR и предоставит необработанное текстовое содержимое модели, которая затем будет использовать его для ответа пользователю.
- Не могли бы вы…
План урока
- Метод
- Другие методы - Вопросы и ответы по документам
- Использование инструментов
- Настройка
- Система и инструмент
- Тестовое решение
- Примеры промптов (PDF и изображение)
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.