Кампании с LLM-судьями в Mistral Observability API

О чём урок

Используйте кампании и LLM-судей для автоматического обнаружения и анализа специфического поведения агентов (например, чрезмерных извинений) в течение определённого периода времени. Этот рабочий процесс демонстрирует, как масштабно классифицировать события агентов с использованием LLM-критериев, фильтровать наборы данных и создавать наборы для оценки. Установка: Установите пакет mistralai (см. ниже). Ключ API: Получите свой здесь. Примечание: Этот пример выполняет фильтрацию по ID агента и временной метке, но доступно множество других параметров поиска. Чтобы просмотреть все доступные поля, используйте mistral.beta.observability.chat_completion_events.fields.list(). Метод search() поддерживает пагинацию через параметры page_size и cursor. Подробные примеры пагинации см. в notebook manage_datasets.ipynb. Судья — это оценщик, который оценивает качество или характеристики ответов агента. Судьи могут быть двух типов: Судья-классификатор: Присваивает ответам категориальные метки (например, "извинение" / "без извинения", "полезно" / "неполезно") Судья-регрессор (также называемый Судья-оценщик): Присваивает ответам числовые баллы (например, оценку от 1 до 5 за качество) В этом примере мы создадим судью-классификатора для обнаружения извинений. Примечание: Используйте CLASSIFICATION для дискретных меток (например, "извинение" / "без извинения"). Для числовых оценок (например, 1-5) используйте REGRESSION. Кампания применяет судью к отфильтрованному набору событий завершения асинхронно. Кампании идеально подходят для масштабного анализа поведения агентов по тысячам событий. Совет: Кампании могут занимать от минут до часов в зависимости от объёма событий. Проверяйте статус через ссылку в консоли или программно (см. следующий шаг). Перезапускайте эту cell, пока status == "COMPLETED": После завершения отфильтруйте события, используя выходное поле судьи:__judge_{judge_id_without_hyphens}. Этот notebook демонстрирует, как использовать кампании и LLM-судей для масштабной классификации событий агентов: Поиск событий агента в течение определённого периода времени Создание LLM-судьи с критериями классификации (например, "извинение" / "без извинения") Запуск кампании для асинхронного применения судьи ко всем соответствующим событиям Мониторинг статуса кампании до завершения Фильтрация событий по результатам классификации для дальнейшего анализа

План урока

1. Цель
2. Предварительные требования
3. Рабочий процесс
4. 1. Инициализация клиента
5. 2. Поиск событий агента
6. 3. Создание LLM-судьи
7. 4. Запуск кампании
8. 5. Проверка статуса кампании