Интеграция Mistral AI с phospho на Python

О чём урок

Документация | Платформа Это руководство содержит пошаговые примеры интеграции phospho с Mistral AI на Python. Этот notebook демонстрирует, как регистрировать ваши беседы с Mistral ChatBot в phospho. После регистрации мы используем аналитику phospho для сравнения двух моделей Mistral: mistral-7b и mistral-large-latest. phospho — это open-source платформа аналитики для LLM-приложений, обеспечивающая автоматическую кластеризацию для выявления сценариев использования и тем. Она предоставляет no-code аналитику, помогающую получить представление о том, как используется ваше приложение, упрощая процесс понимания поведения пользователей и тенденций. Сначала вам потребуется Python-модуль phospho. Он совместим с Python >= 3.9. Инициализируйте модуль phospho с помощью phospho.init(). По умолчанию phospho будет искать переменные окружения PHOSPHO_API_KEY и PHOSPHO_PROJECT_ID. Вы также можете передать api_key и project_id в качестве параметров. Используйте phospho.log для регистрации запроса и необязательного ответа. Вот пример беседы из одного запроса с ассистентом Mistral. Ваше сообщение теперь доступно на платформе, где вы можете хранить все свои транскрипты. Во время регистрации автоматически выполняются оценка настроения и определение языка сообщения, а также любые указанные вами события. phospho поддерживает streamed outputs. Передайте stream=True в phospho.log для обработки streaming ответов. При итерации по ответу phospho автоматически регистрирует каждый chunk до завершения итерации. Вот пример с простым Mistral chatBot. Полная беседа теперь доступна для просмотра на платформе Примечание: Все возможности логирования (async, async streaming, decorator...) вы найдете в нашей документации. Теперь, когда сообщения зарегистрированы на платформе, пришло время настроить аналитику для выявления инсайтов. Рассмотрим пример. Допустим, мы создаем математического AI-репетитора. Мы не уверены, использовать ли mistral-7b или mistral-large-latest. Для сравнения этих моделей в нашем сценарии мы можем использовать phospho. Мы настроим AB test для оценки производительности обеих моделей на основе педагогического качества их ответов на набор математических задач. Для извлечения 50 задач мы используем набор данных MetaMath, который доступен здесь.

План урока

1. Обзор
2. Что такое phospho?
3. Настройка
4. Регистрация сообщений
5. Простое завершение
6. Streaming завершение
7. Оценка прогресса моделей Mistral с помощью аналитики phospho
8. Задачи