Дообучение через Mistral Fine-tuning API

Урок 46 из 148 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Ознакомьтесь с документацией: https://docs.mistral.ai/capabilities/finetuning/ В этом примере воспользуемся набором данных ultrachat_200k. Мы загружаем часть данных в Pandas Dataframes, разделяем данные на обучающую и валидационную выборки и сохраняем их в требуемом формате jsonl для fine-tuning. Если вы загрузите этот файл ultrachat_chunk_train.jsonl в Mistral API, вы можете столкнуться с сообщением об ошибке «Неверный формат файла» из-за проблем с форматированием данных. Чтобы переформатировать данные в правильный вид, вы можете загрузить скрипт reformat_dataset.py и использовать его для проверки и переформатирования как обучающих, так и оценочных данных:

План урока

  1. Подготовка набора данных
  2. Переформатирование набора данных
  3. Загрузка набора данных
  4. Создание задания fine-tuning

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Полезные гиды