О чём урок
Создайте dataset в Studio из записей, написанных вручную, файла JSONL и production-спанов, затем отредактируйте его и используйте для запуска офлайн-оценки.
Public Preview. Datasets входят в состав Observability и доступны только организациям уровня Enterprise. API может измениться в ходе предварительного доступа.
Dataset — это именованная коллекция записей, хранящаяся в Studio. Каждая запись содержит:
- payload: JSON-объект с тестовым случаем. Ключи вы выбираете сами, например question и expected_answer. Когда вы запускаете офлайн-оценку на датасете, каждый payload становится одной входной записью запуска.
- properties (необязательно): метаданные о записи, например её происхождение или статус проверки. Properties в оценку не передаются.
- source, который устанавливает Studio и который показывает, как была создана запись: DIRECT_INPUT, UPLOADED_FILE, TELEMETRY_SPAN, PLAYGROUND или EXPLORER.
В этом руководстве вы создадите датасет с вопросами клиентов службы поддержки, заполните его из трёх источников, отредактируете его и запустите на нём офлайн-оценку.
Для выполнения этого руководства вам понадобятся:
- Python 3.10 или новее
- Аккаунт Mistral уровня Enterprise и API-ключ
- Роль Workspace Admin или Observability Viewer, чтобы импортировать записи из production-спанов
В этом разделе вы установите SDK и настроите API-ключ.
Установите Mistral Python SDK, Mistral OpenTelemetry SDK и Evaluation SDK:
Для выполнения этого руководства вам понадобится API-ключ Mistral. В Studio перейдите в раздел API-ключей и создайте новый API-ключ.
Либо задайте MISTRAL_API_KEY как переменную окружения до запуска ноутбука, либо оставьте её незаданной и введите ключ, когда его запросит следующая ячейка.
Инициализируйте клиент:
Дайте датасету имя, которое говорит о том, что он тестирует и какая это версия. Studio формирует из имени уникальный slug, который позже можно использовать для выбора датасета в оценке.
create_record — самый простой способ добавить несколько тестовых случаев, написанных вручную. Все записи в этом датасете используют одни и те же ключи payload, question и expected_answer, поэтому одна задача оценки может прочитать любую из них. Используйте properties для метаданных, которые оценке не нужны.
План урока
- Предварительные требования
- Настройка окружения
- Установка
- Необходимые переменные окружения
- 1. Создание датасета
- 2. Добавление записей по одной
- 3. Импорт записей из файла JSONL
- 4. Импорт записей из production-спанов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.