Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 60 · Текст · ~5 мин

Следим за работой LLM через MLflow

Урок 60 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

MLflow — это платформа с открытым исходным кодом, разработанная для помощи специалистам и командам в области машинного обучения в управлении сложностями процесса машинного обучения.

Она предоставляет MLflow Tracing, который улучшает наблюдаемость LLM в ваших приложениях Generative AI, собирая подробную информацию о выполнении служб вашего приложения. Трассировка позволяет записывать входные данные, выходные данные и метаданные, связанные с каждым промежуточным шагом запроса, что позволяет легко выявлять источник ошибок и неожиданного поведения.

MLflow предоставляет встроенную интеграцию с Google Gen AI SDK, которая позволяет легко инструментировать ваши вызовы Gemini. В этом руководстве описывается базовое использование интеграции трассировки MLflow с пакетом google-genai.

Установите Google Gen AI SDK (google-genai) и MLflow (mlflow). См. устранение неполадок при установке MLFlow для других вариантов установки.

Давайте создадим клиент API и передадим ваш ключ API. Если у вас еще нет ключа API, посетите AI Studio, чтобы создать его.

Существует несколько вариантов запуска сервера отслеживания MLflow: локальный сервер отслеживания, бесплатная пробная версия Databricks и производственный Databricks. Сравнение см. в нашей документации. В этом примере вы используете бесплатную пробную версию Databricks, которая позволяет легко подключаться из блокнотов Colab и использовать управляемый MLflow бесплатно. Выполните следующие шаги, чтобы создать учетную запись и сгенерировать персональный токен доступа (PAT) для подключения к вашей рабочей области.

  • Перейдите на страницу регистрации Databricks Trial и создайте свою учетную запись
  • Следуйте инструкциям в этом руководстве, чтобы создать PAT для пользователя вашей рабочей области Databricks
  • Вам потребуется следующая информация для подключения к вашей рабочей области из вашего блокнота
  • Хост Databricks: используйте "https://\<ваш хост рабочей области>.cloud.databricks.com/
  • Токен: ваш персональный токен доступа для вашей рабочей области Databricks.

Затем установите URI сервера отслеживания и имя эксперимента.

MLflow Tracing предоставляет возможность автоматической трассировки для Google Gemini. Включив автоматическую трассировку для Gemini, вызвав функцию mlflow.gemini.autolog(), MLflow будет захватывать вложенные трассировки и регистрировать их в активном эксперименте MLflow при вызове Gemini…

План урока

  1. Обзор
  2. Этот блокнот был предоставлен Tomu Hirata.
  3. Установка
  4. Создайте клиент Gemini с вашим ключом API
  5. Сервер отслеживания
  6. Включить AutoLogging
  7. Вызов простой генерации контента
  8. Многоходовые чат-взаимодействия

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды