Цели урока
- Извлекать метаданные об использовании токенов из ответов API
- Рассчитывать стоимость в долларах США в реальном времени на основе ценообразования модели
- Выполнять проверки работоспособности для проверки доступности API и квоты
О чём урок
Наблюдаемость затрат является ключом к масштабированию приложений Gemini API. Без отслеживания использования токенов и затрат вы не сможете оптимизировать свои расходы или выявить дорогостоящие операции.
Этот блокнот демонстрирует, как создать уровень наблюдаемости для приложений Gemini API. Вы узнаете, как:
К концу этого блокнота у вас будет многоразовый класс, который вы сможете интегрировать в любое приложение Gemini API для мониторинга затрат и работоспособности.
Сначала установите библиотеку Python для Gemini API.
Прежде чем вы сможете использовать Gemini API, вы должны сначала получить ключ API. Если у вас его еще нет, создайте ключ одним щелчком мыши в Google AI Studio.
Получить ключ API
В Colab добавьте ключ в менеджер секретов под значком "🔑" на левой панели. Присвойте ему имя GEMINI_API_KEY.
Класс GeminiObservability предоставляет простой способ отслеживания затрат и мониторинга работоспособности использования Gemini API. Он автоматически обрабатывает различные цены для разных моделей.
Теперь вы можете увидеть класс наблюдаемости в действии. Сначала создайте экземпляр класса.
Выполните простой вызов API и отследите стоимость.
Вы можете отслеживать затраты по нескольким вызовам API, чтобы контролировать свои общие расходы.
Теперь, когда у вас есть работающая система оценки стоимости и мониторинга работоспособности, вы можете:
- Интегрировать в свои приложения: Добавьте класс GeminiObservability в свой производственный код для отслеживания затрат в реальном времени
- Настроить оповещения: Отслеживайте общие затраты и настраивайте оповещения, когда расходы превышают пороговые значения
- Оптимизировать использование: Используйте подсчет токенов для выявления дорогостоящих операций и оптимизации ваших подсказок
- Обновить цены: Поддерживайте актуальность словаря цен с текущими тарифами из Google AI Pricing
Для получения дополнительной информации о Gemini API ознакомьтесь с быстрыми стартами и другими примерами.
План урока
- Обзор
- Настройка
- Получите ключ API
- Класс оценки стоимости
- Пример использования
- Пример оценки стоимости
- Отслеживание нескольких запросов
- Следующие шаги
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.