Описание изображений через Pixtral API

Урок 56 из 148 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом notebook мы будем использовать API Mistral для извлечения структурированных описаний изображений в формате JSON с помощью модели Pixtral-12b-2409. Мы отправим URL изображения и дадим prompt модели вернуть ключевые элементы с описаниями. Убедитесь, что у вас есть API key для платформы Mistral AI. Мы также покажем, как загрузить его из переменных окружения. Мы загрузим Mistral API key из переменных окружения и инициализируем клиент. Убедитесь, что ваш API key сохранен в переменных окружения как MISTRAL_API_KEY. Мы дадим prompt модели описать изображение, предоставив URL изображения. Ответ будет возвращен в структурированном формате JSON с описанием ключевых элементов. Теперь мы выполним парсинг JSON-ответа от API и выведем элементы и их соответствующие описания. В этом notebook мы использовали модель Mistral Pixtral для описания изображения, отправив URL изображения и получив структурированный JSON-ответ. Описания, предоставленные моделью, дают представление о ключевых элементах изображения.

План урока

  1. Предварительные требования
  2. Настройка
  3. Отправка URL изображения для описания
  4. Парсинг JSON-ответа
  5. Заключение

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Полезные гиды