О чём урок
Создание и управление датасетами для оценки или fine-tuning с использованием Mistral Observability API. Этот notebook демонстрирует несколько методов заполнения датасетов записями диалогов.
- Установка: Установите пакет mistralai (см. ниже).
- Ключ API: Получите его здесь.
**Датасет** — это коллекция записей диалогов, используемых для оценки или fine-tuning. Каждый датасет содержит:
- Записи: Отдельные примеры диалогов
- Метаданные: Имя и описание датасета
Каждая запись в датасете содержит:
- Payload: Данные диалога в формате Chat Completion API Messages: Список сообщений чата с полями role и content Роли: "user", "assistant", "system"
- Content: Может быть строкой (простой текст) или списком фрагментов (мультимодальный контент)
Пример payload:
Properties (необязательно): Пользовательские метаданные для записи (например, рекомендации по оценке, ожидаемый output...)
Создайте датасет с именем и описанием для организации ваших данных.
Лучше всего подходит для небольших датасетов или создания отдельных записей с пользовательскими свойствами.
Импортируйте несколько записей из файла JSONL, где каждая строка представляет собой валидный JSON-объект с полем messages.
Пример JSONL:
Статус COMPLETED означает, что импорт был успешным.
Добавьте записи из существующей кампании в датасет.
Добавьте записи, указав ID событий завершения из Explorer.
Получите записи из датасета с поддержкой пагинации.
Чтобы получить все записи, проитерируйте по всем страницам.
Этот notebook демонстрирует, как создавать и заполнять датасеты с использованием Mistral Observability API:
- Создание датасета с именем и описанием
- Добавление записей вручную для отдельных записей с пользовательскими свойствами
- Импорт из файла JSONL для массового импорта из структурированных файлов
- Импорт из кампании для повторного использования существующих данных кампании
- Импорт из Explorer для выбора конкретных событий завершения
- Вывод записей для проверки и просмотра содержимого датасета
Датасеты, созданные таким образом, могут быть использованы для:
- Проведения оценок (см. руководства по рабочим процессам оценки)
- Fine-tuning моделей
- Создания наборов тестов
- Организации примеров диалогов с метаданными
План урока
- Цель
- Предварительные условия
- Что такое датасет?
- Структура записи
- Рабочий процесс
- 1. Инициализация клиента
- 2. Создание датасета
- 3. Добавление записей вручную
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.