Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 160 · Текст · ~5 мин

Build an evaluation dataset and run a first evaluation

Урок 160 из 161 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Создайте dataset в Studio из записей, написанных вручную, файла JSONL и production-спанов, затем отредактируйте его и используйте для запуска офлайн-оценки.

Public Preview. Datasets входят в состав Observability и доступны только организациям уровня Enterprise. API может измениться в ходе предварительного доступа.

Dataset — это именованная коллекция записей, хранящаяся в Studio. Каждая запись содержит:

  • payload: JSON-объект с тестовым случаем. Ключи вы выбираете сами, например question и expected_answer. Когда вы запускаете офлайн-оценку на датасете, каждый payload становится одной входной записью запуска.
  • properties (необязательно): метаданные о записи, например её происхождение или статус проверки. Properties в оценку не передаются.
  • source, который устанавливает Studio и который показывает, как была создана запись: DIRECT_INPUT, UPLOADED_FILE, TELEMETRY_SPAN, PLAYGROUND или EXPLORER.

В этом руководстве вы создадите датасет с вопросами клиентов службы поддержки, заполните его из трёх источников, отредактируете его и запустите на нём офлайн-оценку.

Для выполнения этого руководства вам понадобятся:

  • Python 3.10 или новее
  • Аккаунт Mistral уровня Enterprise и API-ключ
  • Роль Workspace Admin или Observability Viewer, чтобы импортировать записи из production-спанов

В этом разделе вы установите SDK и настроите API-ключ.

Установите Mistral Python SDK, Mistral OpenTelemetry SDK и Evaluation SDK:

Для выполнения этого руководства вам понадобится API-ключ Mistral. В Studio перейдите в раздел API-ключей и создайте новый API-ключ.

Либо задайте MISTRAL_API_KEY как переменную окружения до запуска ноутбука, либо оставьте её незаданной и введите ключ, когда его запросит следующая ячейка.

Инициализируйте клиент:

Дайте датасету имя, которое говорит о том, что он тестирует и какая это версия. Studio формирует из имени уникальный slug, который позже можно использовать для выбора датасета в оценке.

create_record — самый простой способ добавить несколько тестовых случаев, написанных вручную. Все записи в этом датасете используют одни и те же ключи payload, question и expected_answer, поэтому одна задача оценки может прочитать любую из них. Используйте properties для метаданных, которые оценке не нужны.

План урока

  1. Предварительные требования
  2. Настройка окружения
  3. Установка
  4. Необходимые переменные окружения
  5. 1. Создание датасета
  6. 2. Добавление записей по одной
  7. 3. Импорт записей из файла JSONL
  8. 4. Импорт записей из production-спанов

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 79 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды