О чём урок
Подключите LLM-судей к трейсам вашего приложения, чтобы каждый подходящий span оценивался автоматически, а затем считывайте оценки, чтобы находить слабые ответы и исправлять их.
Public Preview. Онлайн-оценки входят в состав Observability и доступны только организациям уровня Enterprise. API может измениться в период предварительной версии.
Онлайн-оценка запускает LLM-судей на продакшн-трафике без изменений кода в пути запроса. Вы настраиваете два объекта:
- Scorer — это переиспользуемый судья: модель, шаблон промпта и тип выходных данных.
- Live eval выбирает, какие span оценивать, и подключает к ним один или несколько scorer, каждый со своей частотой выборки.
Ваше приложение отправляет в Mistral спаны OpenTelemetry. Вскоре после приёма каждый выбранный span оценивается, а оценка записывается обратно как телеметрия, привязанная к span. После этого вы можете искать оценки, агрегировать их и открывать оцененный span из его трейса.
В этом cookbook вы создадите небольшого ассистента поддержки, подключите к его трафику судью полезности и детектор извинений, а затем считаете результаты.
Для работы с этим cookbook вам понадобятся:
- Python 3.10 или новее
- Аккаунт Mistral уровня Enterprise и пользовательский API-ключ (ключи сервисных аккаунтов не могут создавать live eval)
- Роль Workspace Admin или Observability Viewer в рабочем пространстве, чтобы создавать live eval и читать их результаты
В этом разделе устанавливаются SDK и настраивается ваш API-ключ.
Установите Mistral Python SDK и Mistral OpenTelemetry SDK, который записывает вызовы вашего приложения в виде спанов:
Для работы с этим cookbook вам понадобится API-ключ Mistral. В Studio перейдите в раздел API keys и создайте новый API-ключ.
Либо задайте MISTRAL_API_KEY как переменную окружения перед запуском ноутбука, либо оставьте её незаданной и введите ключ, когда его запросит следующая ячейка.
Инициализируйте клиент. SERVICE_NAME помечает каждый span, который отправляет этот ноутбук, поэтому live eval оценивает только трафик этого ноутбука.
Scorer определяет, как оценивать, а не что оценивать. Его промпт — это шаблон Jinja2: каждая переменная, которую вы не определили, например {{ question }}, становится…
План урока
- Предварительные требования
- Настройка окружения
- Установка
- Необходимые переменные окружения
- 1. Создание scorer
- 2. Создание live eval
- 3. Отправка трафика
- 4. Чтение оценок
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.