Кэширование контекста: платим меньше за длинные запросы

О чём урок

Этот notebook знакомит с context caching в Gemini API и предоставляет примеры взаимодействия со стенограммой Аполлона-11 с использованием Python SDK. Для более подробного изучения ознакомьтесь с руководством по caching. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Authentication для пошагового руководства. Распространенный сценарий использования Gemini API — задавать несколько вопросов к одному и тому же документу. Context caching разработан для помощи в этом случае и может быть более эффективным, поскольку позволяет избежать необходимости передавать одни и те же tokens через модель для каждого нового запроса. Этот пример будет основан на стенограмме миссии Аполлон-11. Начните с загрузки этой стенограммы. Теперь загрузите стенограмму, используя File API. Далее создайте объект CachedContent, указывающий prompt, который вы хотите использовать, включая файл и другие поля, которые вы хотите кэшировать. В этом примере system_instruction был установлен, а документ был предоставлен в prompt. Обратите внимание, что кэши специфичны для модели. Вы не можете использовать кэш, созданный с другой моделью, так как их tokenization может немного отличаться. Получив объект CachedContent, вы можете обновить срок его действия, чтобы он оставался активным, пока он вам нужен. Чтобы использовать кэш для генерации, передайте имя кэша в GenerateContentConfig(cached_content=apollo_cache.name) при вызове client.models.generate_content(). Вы можете проверить использование tokens через usage_metadata. Обратите внимание, что кэшированные prompt tokens включены в prompt_token_count, но исключены из total_token_count. Вы можете задавать модели новые вопросы, и кэш будет использоваться повторно. Поскольку кэшированные tokens дешевле обычных, это означает, что этот prompt был намного дешевле, чем если бы вы не использовали caching. Проверьте цены здесь для получения актуальной скидки на кэшированные tokens. Кэш имеет небольшую периодическую стоимость хранения (см.

План урока

1. Установка зависимостей
2. Настройка вашего API key
3. Загрузка файла
4. Кэширование prompt
5. Управление сроком действия кэша
6. Использование кэша для генерации
7. Удаление кэша
8. Дальнейшие шаги