Следим за работой LLM через MLflow

О чём урок

MLflow — это платформа с открытым исходным кодом, разработанная для помощи специалистам и командам по машинному обучению в управлении сложностями процесса машинного обучения. Она предоставляет MLflow Tracing, который повышает наблюдаемость LLM в ваших приложениях генеративного ИИ, собирая подробную информацию о выполнении сервисов вашего приложения. Tracing предоставляет способ записи входных данных, выходных данных и метаданных, связанных с каждым промежуточным шагом запроса, что позволяет легко определять источник ошибок и неожиданного поведения. MLflow предоставляет встроенную интеграцию с Google Gen AI SDK, которая позволяет легко инструментировать ваши вызовы Gemini. Это руководство описывает базовое использование интеграции MLflow tracing с пакетом google-genai. Есть классный пример Gemini? Не стесняйтесь поделиться им тоже! Установите Google Gen AI SDK (google-genai) и MLflow (mlflow). См. устранение неполадок при установке MLflow для других вариантов установки. Давайте создадим API клиент и передадим ваш API ключ. Если у вас еще нет API ключа, посетите AI Studio, чтобы создать его. Существует несколько вариантов запуска сервера отслеживания MLflow: локальный сервер отслеживания, Databricks Free Trial и промышленный Databricks. См. нашу документацию для сравнения. В этом примере вы используете Databricks Free Trial, который позволяет легко подключаться из Colab notebook и бесплатно использовать управляемый MLflow. Выполните следующие шаги, чтобы создать учетную запись и сгенерировать Personal Access Token (PAT) для подключения к вашей рабочей области. Перейдите на страницу регистрации Databricks Trial и создайте свою учетную запись Выполните шаги в этом руководстве, чтобы создать PAT для пользователя вашей рабочей области Databricks Вам потребуется следующая информация для подключения к вашей рабочей области из вашего notebook Хост Databricks: Используйте "https://<ваш хост рабочей области>.cloud.databricks.com/ Токен: Ваш персональный токен доступа для вашей рабочей области Databricks. Затем установите URI сервера отслеживания и имя эксперимента. MLflow Tracing предоставляет возможность автоматического трассирования для Google Gemini.

План урока

1. Обзор
2. Этот notebook был предоставлен Тому Хиратой.
3. Установка
4. Создайте клиент Gemini с вашим API ключом
5. Сервер отслеживания
6. Включить AutoLogging
7. Вызов простой генерации контента
8. Многоходовые чат-взаимодействия