О чём урок
Примечание: для запуска этого colab вам потребуется ключ OpenAI API.
Используйте интеграцию W&B OpenAI для мониторинга вызовов OpenAI API и понимания того, как ваши проекты и команды используют LLM. В этом примере мы сгенерируем шаблонные Weave Boards: дашборды для мониторинга использования LLM, которые вы сможете исследовать и настраивать через пользовательский интерфейс.
- автоматически отслеживать использование LLM и агрегировать полезные метрики, такие как стоимость, задержка и пропускная способность, по всем вашим проектам/командам
- динамически запрашивать и извлекать аналитические данные из логов всех ваших вызовов OpenAI API
- визуально итерировать, чтобы сегментировать, агрегировать и исследовать ваши данные; настраивать панели для фокусировки на интересных паттернах; легче делиться прогрессом с вашей командой через интерактивный дашборд
Поиграйте с живой версией этого Weave Board →
Установите зависимости, войдите в W&B, чтобы вы могли сохранять и делиться своей работой, и пройдите аутентификацию в OpenAI.
Установите WB_ENTITY в качестве вашего имени пользователя wandb или имени команды. Войдите в W&B и перейдите на домашнюю страницу по адресу wandb.ai/home, чтобы увидеть доступные варианты в разделах "Profile" и "Teams" в левой боковой панели.
Чтобы начать мониторинг использования OpenAI API, вызовите init_monitor(<stream>), где <stream> имеет вид <wandb_team_or_user>/<wandb_project>/<stream_name>. Поток записывает и хранит все вызовы OpenAI API.
Запуск этой cell выведет ссылку для просмотра текущего проекта в пользовательском интерфейсе Weave.
Нажмите на ссылку выше, чтобы предварительно просмотреть поток данных, затем нажмите "OpenAI Monitor Board" в правой боковой панели, чтобы создать Weave Board для этого потока данных.
Чтобы сохранить свою работу, переименуйте board, нажав на автоматически сгенерированное имя в верхней части страницы. Чтобы поделиться своим board, нажмите "Publish" в правом верхнем углу.
Чтобы визуализировать свою работу в реальном времени по мере итераций, вы можете:
- держать Board открытым в отдельной вкладке и обновлять для просмотра последних данных
- переименовать Board для более удобного использования в…
План урока
- Впервые в Weights & Biases? -> Зарегистрируйтесь здесь <-
- Пример 0: Логирование prompt и его завершения
- Пример 1: Отслеживание соответствующих параметров как атрибутов
- Пример 2: Логирование непрерывного потока сообщений
- Пример 3: Структурирование экспериментов по prompt engineering
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.