Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 123 · Текст · ~5 мин

Мониторинг сервиса извлечения данных в Phoenix

Урок 123 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Документация | GitHub | Сообщество

В этом руководстве вы:

  • Использовать функцию tool calling Mistral для извлечения структурированных данных: задача преобразования неструктурированного ввода (например, пользовательских запросов на естественном языке) в структурированный формат (например, табличный формат);
  • Инструментировать ваш клиент Mistral AI для записи данных трассировки в формате OpenInference tracing;
  • Просмотреть трассировки и spans вашего приложения для визуализации данных трассировки;

Одной из мощных функций API Mistral AI для завершения чатов является tool calling, при котором пользователь описывает сигнатуру и аргументы одного или нескольких инструментов для API Mistral AI с помощью JSON Schema и описаний на естественном языке, а LLM решает, когда использовать каждый инструмент, и предоставляет значения аргументов в зависимости от контекста разговора. В дополнение к своей основной цели — интеграции входных и выходных данных функций в последовательность сообщений чата, tool calling также полезен для извлечения структурированных данных, поскольку вы можете указать «функцию», которая описывает желаемый формат вашего структурированного вывода. Извлечение структурированных данных полезно для различных целей, включая ETL или в качестве входных данных для другой модели машинного обучения, такой как рекомендательная система.

Хотя можно получить структурированный вывод без использования tool calling с помощью тщательного prompt'инга, tool calling более надежен в создании вывода, соответствующего определенному формату. Для получения более подробной информации об API tool calling Mistral AI см. документацию Mistral AI.

Начнем!

ℹ️ Для работы с этим notebook требуется API key Mistral AI.

Установите зависимости.

Импортируйте библиотеки.

Установите ваш Mistral API key, если он еще не задан в качестве переменной окружения.

Запустите Phoenix как фоновую сессию для сбора данных трассировки, генерируемых вашим инструментированным клиентом Mistral. Подробности о том, как самостоятельно разместить Phoenix или подключиться к удаленному экземпляру Phoenix, см. в документации Phoenix.

Инструментируйте ваш клиент Mistral с помощью трассера, который передает телеметрические данные в формате OpenInference. OpenInference — это открытый стандарт для сбора и хранения трассировок LLM-приложений, который позволяет LLM-приложениям беспрепятственно интегрироваться с решениями для LLM observability…

План урока

  1. Предыстория
  2. 1. Установка зависимостей и импорт библиотек
  3. 2. Настройка вашего Mistral API Key
  4. 3. Запуск Phoenix в фоновом режиме
  5. 4. Инструментирование вашего клиента Mistral
  6. 5. Извлечение структурированных данных
  7. 6. Просмотр трассировок в Phoenix
  8. 7. Экспорт данных трассировки

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды