О чём урок
Используйте кампании и LLM-судей для автоматического обнаружения и анализа специфического поведения агентов (например, чрезмерных извинений) в течение определённого периода времени. Этот рабочий процесс демонстрирует, как масштабно классифицировать события агентов с использованием LLM-критериев, фильтровать наборы данных и создавать наборы для оценки.
- Установка: Установите пакет mistralai (см. ниже).
- Ключ API: Получите свой здесь.
Примечание: Этот пример выполняет фильтрацию по ID агента и временной метке, но доступно множество других параметров поиска. Чтобы просмотреть все доступные поля, используйте mistral.beta.observability.chat_completion_events.fields.list().
Метод search() поддерживает пагинацию через параметры page_size и cursor. Подробные примеры пагинации см. в notebook manage_datasets.ipynb.
Судья — это оценщик, который оценивает качество или характеристики ответов агента. Судьи могут быть двух типов:
- Судья-классификатор: Присваивает ответам категориальные метки (например, "извинение" / "без извинения", "полезно" / "неполезно")
- Судья-регрессор (также называемый Судья-оценщик): Присваивает ответам числовые баллы (например, оценку от 1 до 5 за качество)
В этом примере мы создадим судью-классификатора для обнаружения извинений.
Примечание:
- Используйте CLASSIFICATION для дискретных меток (например, "извинение" / "без извинения").
- Для числовых оценок (например, 1-5) используйте REGRESSION.
Кампания применяет судью к отфильтрованному набору событий завершения асинхронно. Кампании идеально подходят для масштабного анализа поведения агентов по тысячам событий.
Совет:
- Кампании могут занимать от минут до часов в зависимости от объёма событий.
- Проверяйте статус через ссылку в консоли или программно (см. следующий шаг).
Перезапускайте эту cell, пока status == "COMPLETED":
После завершения отфильтруйте события, используя выходное поле судьи:__judge_{judge_id_without_hyphens}.
Этот notebook демонстрирует, как использовать кампании и LLM-судей для масштабной классификации событий агентов:
- Поиск событий агента в течение определённого периода времени
- Создание LLM-судьи с критериями классификации (например, "извинение" / "без извинения")
- Запуск кампании для асинхронного применения судьи ко всем соответствующим событиям
- Мониторинг статуса кампании до завершения
- Фильтрация событий по результатам классификации для дальнейшего анализа
План урока
- Цель
- Предварительные требования
- Рабочий процесс
- 1. Инициализация клиента
- 2. Поиск событий агента
- 3. Создание LLM-судьи
- 4. Запуск кампании
- 5. Проверка статуса кампании
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.