Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 63 · Текст · ~5 мин

Управление датасетами в Mistral Observability API

Урок 63 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Создание и управление датасетами для оценки или fine-tuning с использованием Mistral Observability API. Этот notebook демонстрирует несколько методов заполнения датасетов записями диалогов.

  1. Установка: Установите пакет mistralai (см. ниже).
  2. Ключ API: Получите его здесь.

**Датасет** — это коллекция записей диалогов, используемых для оценки или fine-tuning. Каждый датасет содержит:

  • Записи: Отдельные примеры диалогов
  • Метаданные: Имя и описание датасета

Каждая запись в датасете содержит:

  • Payload: Данные диалога в формате Chat Completion API Messages: Список сообщений чата с полями role и content Роли: "user", "assistant", "system"
  • Content: Может быть строкой (простой текст) или списком фрагментов (мультимодальный контент)

Пример payload:

Properties (необязательно): Пользовательские метаданные для записи (например, рекомендации по оценке, ожидаемый output...)

Создайте датасет с именем и описанием для организации ваших данных.

Лучше всего подходит для небольших датасетов или создания отдельных записей с пользовательскими свойствами.

Импортируйте несколько записей из файла JSONL, где каждая строка представляет собой валидный JSON-объект с полем messages.

Пример JSONL:

Статус COMPLETED означает, что импорт был успешным.

Добавьте записи из существующей кампании в датасет.

Добавьте записи, указав ID событий завершения из Explorer.

Получите записи из датасета с поддержкой пагинации.

Чтобы получить все записи, проитерируйте по всем страницам.

Этот notebook демонстрирует, как создавать и заполнять датасеты с использованием Mistral Observability API:

  1. Создание датасета с именем и описанием
  2. Добавление записей вручную для отдельных записей с пользовательскими свойствами
  3. Импорт из файла JSONL для массового импорта из структурированных файлов
  4. Импорт из кампании для повторного использования существующих данных кампании
  5. Импорт из Explorer для выбора конкретных событий завершения
  6. Вывод записей для проверки и просмотра содержимого датасета

Датасеты, созданные таким образом, могут быть использованы для:

  • Проведения оценок (см. руководства по рабочим процессам оценки)
  • Fine-tuning моделей
  • Создания наборов тестов
  • Организации примеров диалогов с метаданными

План урока

  1. Цель
  2. Предварительные условия
  3. Что такое датасет?
  4. Структура записи
  5. Рабочий процесс
  6. 1. Инициализация клиента
  7. 2. Создание датасета
  8. 3. Добавление записей вручную

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды