Мониторинг сервиса извлечения данных в Phoenix

О чём урок

Документация | GitHub | Сообщество В этом руководстве вы: Использовать функцию tool calling Mistral для извлечения структурированных данных: задача преобразования неструктурированного ввода (например, пользовательских запросов на естественном языке) в структурированный формат (например, табличный формат); Инструментировать ваш клиент Mistral AI для записи данных трассировки в формате OpenInference tracing; Просмотреть трассировки и spans вашего приложения для визуализации данных трассировки; Одной из мощных функций API Mistral AI для завершения чатов является tool calling, при котором пользователь описывает сигнатуру и аргументы одного или нескольких инструментов для API Mistral AI с помощью JSON Schema и описаний на естественном языке, а LLM решает, когда использовать каждый инструмент, и предоставляет значения аргументов в зависимости от контекста разговора. В дополнение к своей основной цели — интеграции входных и выходных данных функций в последовательность сообщений чата, tool calling также полезен для извлечения структурированных данных, поскольку вы можете указать «функцию», которая описывает желаемый формат вашего структурированного вывода. Извлечение структурированных данных полезно для различных целей, включая ETL или в качестве входных данных для другой модели машинного обучения, такой как рекомендательная система. Хотя можно получить структурированный вывод без использования tool calling с помощью тщательного prompt'инга, tool calling более надежен в создании вывода, соответствующего определенному формату. Для получения более подробной информации об API tool calling Mistral AI см. документацию Mistral AI. Начнем! ℹ️ Для работы с этим notebook требуется API key Mistral AI. Установите зависимости. Импортируйте библиотеки. Установите ваш Mistral API key, если он еще не задан в качестве переменной окружения. Запустите Phoenix как фоновую сессию для сбора данных трассировки, генерируемых вашим инструментированным клиентом Mistral. Подробности о том, как самостоятельно разместить Phoenix или подключиться к удаленному экземпляру Phoenix, см. в документации Phoenix. Инструментируйте ваш клиент Mistral с помощью трассера, который передает телеметрические данные в формате OpenInference.

План урока

1. Предыстория
2. 1. Установка зависимостей и импорт библиотек
3. 2. Настройка вашего Mistral API Key
4. 3. Запуск Phoenix в фоновом режиме
5. 4. Инструментирование вашего клиента Mistral
6. 5. Извлечение структурированных данных
7. 6. Просмотр трассировок в Phoenix
8. 7. Экспорт данных трассировки