О чём урок
MLflow — это платформа с открытым исходным кодом, разработанная для помощи специалистам и командам в области машинного обучения в управлении сложностями процесса машинного обучения.
Она предоставляет MLflow Tracing, который улучшает наблюдаемость LLM в ваших приложениях Generative AI, собирая подробную информацию о выполнении служб вашего приложения. Трассировка позволяет записывать входные данные, выходные данные и метаданные, связанные с каждым промежуточным шагом запроса, что позволяет легко выявлять источник ошибок и неожиданного поведения.
MLflow предоставляет встроенную интеграцию с Google Gen AI SDK, которая позволяет легко инструментировать ваши вызовы Gemini. В этом руководстве описывается базовое использование интеграции трассировки MLflow с пакетом google-genai.
Установите Google Gen AI SDK (google-genai) и MLflow (mlflow). См. устранение неполадок при установке MLFlow для других вариантов установки.
Давайте создадим клиент API и передадим ваш ключ API. Если у вас еще нет ключа API, посетите AI Studio, чтобы создать его.
Существует несколько вариантов запуска сервера отслеживания MLflow: локальный сервер отслеживания, бесплатная пробная версия Databricks и производственный Databricks. Сравнение см. в нашей документации. В этом примере вы используете бесплатную пробную версию Databricks, которая позволяет легко подключаться из блокнотов Colab и использовать управляемый MLflow бесплатно. Выполните следующие шаги, чтобы создать учетную запись и сгенерировать персональный токен доступа (PAT) для подключения к вашей рабочей области.
- Перейдите на страницу регистрации Databricks Trial и создайте свою учетную запись
- Следуйте инструкциям в этом руководстве, чтобы создать PAT для пользователя вашей рабочей области Databricks
- Вам потребуется следующая информация для подключения к вашей рабочей области из вашего блокнота
- Хост Databricks: используйте "https://\<ваш хост рабочей области>.cloud.databricks.com/
- Токен: ваш персональный токен доступа для вашей рабочей области Databricks.
Затем установите URI сервера отслеживания и имя эксперимента.
MLflow Tracing предоставляет возможность автоматической трассировки для Google Gemini. Включив автоматическую трассировку для Gemini, вызвав функцию mlflow.gemini.autolog(), MLflow будет захватывать вложенные трассировки и регистрировать их в активном эксперименте MLflow при вызове Gemini…
План урока
- Обзор
- Этот блокнот был предоставлен Tomu Hirata.
- Установка
- Создайте клиент Gemini с вашим ключом API
- Сервер отслеживания
- Включить AutoLogging
- Вызов простой генерации контента
- Многоходовые чат-взаимодействия
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.