О чём урок
Примечание: для запуска этого colab вам потребуется ключ OpenAI API. Используйте интеграцию W&B OpenAI для мониторинга вызовов OpenAI API и понимания того, как ваши проекты и команды используют LLM. В этом примере мы сгенерируем шаблонные Weave Boards: дашборды для мониторинга использования LLM, которые вы сможете исследовать и настраивать через пользовательский интерфейс. автоматически отслеживать использование LLM и агрегировать полезные метрики, такие как стоимость, задержка и пропускная способность, по всем вашим проектам/командам динамически запрашивать и извлекать аналитические данные из логов всех ваших вызовов OpenAI API визуально итерировать, чтобы сегментировать, агрегировать и исследовать ваши данные; настраивать панели для фокусировки на интересных паттернах; легче делиться прогрессом с вашей командой через интерактивный дашборд Поиграйте с живой версией этого Weave Board → Установите зависимости, войдите в W&B, чтобы вы могли сохранять и делиться своей работой, и пройдите аутентификацию в OpenAI. Установите WB_ENTITY в качестве вашего имени пользователя wandb или имени команды. Войдите в W&B и перейдите на домашнюю страницу по адресу wandb.ai/home, чтобы увидеть доступные варианты в разделах "Profile" и "Teams" в левой боковой панели. Чтобы начать мониторинг использования OpenAI API, вызовите init_monitor(<stream>), где <stream> имеет вид <wandb_team_or_user>/<wandb_project>/<stream_name>. Поток записывает и хранит все вызовы OpenAI API. Запуск этой cell выведет ссылку для просмотра текущего проекта в пользовательском интерфейсе Weave. Нажмите на ссылку выше, чтобы предварительно просмотреть поток данных, затем нажмите "OpenAI Monitor Board" в правой боковой панели, чтобы создать Weave Board для этого потока данных. Чтобы сохранить свою работу, переименуйте board, нажав на автоматически сгенерированное имя в верхней части страницы. Чтобы поделиться своим board, нажмите "Publish" в правом верхнем углу.
План урока
- Впервые в Weights & Biases? -> Зарегистрируйтесь здесь <-
- Пример 0: Логирование prompt и его завершения
- Пример 1: Отслеживание соответствующих параметров как атрибутов
- Пример 2: Логирование непрерывного потока сообщений
- Пример 3: Структурирование экспериментов по prompt engineering
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.