Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 242 · Текст · ~5 мин

Мониторинг OpenAI API в W&B Weave

Урок 242 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Примечание: для запуска этого colab вам потребуется ключ OpenAI API.

Используйте интеграцию W&B OpenAI для мониторинга вызовов OpenAI API и понимания того, как ваши проекты и команды используют LLM. В этом примере мы сгенерируем шаблонные Weave Boards: дашборды для мониторинга использования LLM, которые вы сможете исследовать и настраивать через пользовательский интерфейс.

  • автоматически отслеживать использование LLM и агрегировать полезные метрики, такие как стоимость, задержка и пропускная способность, по всем вашим проектам/командам
  • динамически запрашивать и извлекать аналитические данные из логов всех ваших вызовов OpenAI API
  • визуально итерировать, чтобы сегментировать, агрегировать и исследовать ваши данные; настраивать панели для фокусировки на интересных паттернах; легче делиться прогрессом с вашей командой через интерактивный дашборд

Поиграйте с живой версией этого Weave Board →

Установите зависимости, войдите в W&B, чтобы вы могли сохранять и делиться своей работой, и пройдите аутентификацию в OpenAI.

Установите WB_ENTITY в качестве вашего имени пользователя wandb или имени команды. Войдите в W&B и перейдите на домашнюю страницу по адресу wandb.ai/home, чтобы увидеть доступные варианты в разделах "Profile" и "Teams" в левой боковой панели.

Чтобы начать мониторинг использования OpenAI API, вызовите init_monitor(<stream>), где <stream> имеет вид <wandb_team_or_user>/<wandb_project>/<stream_name>. Поток записывает и хранит все вызовы OpenAI API.

Запуск этой cell выведет ссылку для просмотра текущего проекта в пользовательском интерфейсе Weave.

Нажмите на ссылку выше, чтобы предварительно просмотреть поток данных, затем нажмите "OpenAI Monitor Board" в правой боковой панели, чтобы создать Weave Board для этого потока данных.

Чтобы сохранить свою работу, переименуйте board, нажав на автоматически сгенерированное имя в верхней части страницы. Чтобы поделиться своим board, нажмите "Publish" в правом верхнем углу.

Чтобы визуализировать свою работу в реальном времени по мере итераций, вы можете:

  • держать Board открытым в отдельной вкладке и обновлять для просмотра последних данных
  • переименовать Board для более удобного использования в…

План урока

  1. Впервые в Weights & Biases? -> Зарегистрируйтесь здесь <-
  2. Пример 0: Логирование prompt и его завершения
  3. Пример 1: Отслеживание соответствующих параметров как атрибутов
  4. Пример 2: Логирование непрерывного потока сообщений
  5. Пример 3: Структурирование экспериментов по prompt engineering

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды