О чём урок
Кратко: Этот notebook покажет вам:
- Как вызывать batch inference API Mistral
- Как передавать изображения (закодированные в base64) в ваших API-вызовах в VLM Mistral (здесь Pixtral-12B)
- Как fine-tune Pixtral-12B для задачи классификации изображений для повышения его точности.
Для получения дополнительной информации обратитесь к документации:
- https://docs.mistral.ai/capabilities/finetuning/
- https://docs.mistral.ai/capabilities/vision/
Мы будем использовать AID: Набор данных для классификации сцен, представленный Xia et al. и размещенный на Kaggle под лицензией Public Domain.
Для его загрузки вам потребуется сгенерировать ваш Kaggle API token:
- Перейдите в свой аккаунт Kaggle в разделе Kaggle API Token,
- Нажмите "Create New API Token" → это загрузит файл kaggle.json.
- Загрузите kaggle.json в Google Colab.
Набор данных состоит из:
- спутниковых снимков (файлы jpg)
- каждое изображение относится к определенному классу (например, аэропорт, коммерческая зона, плотная жилая застройка, средняя жилая застройка, парк, лес, сельскохозяйственные угодья и т.д.)
План урока
- Подготовка набора данных
- Загрузка и парсинг данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.