Кэширование через REST

О чём урок

Этот notebook знакомит с кэшированием контекста с Gemini API и предоставляет примеры взаимодействия с расшифровкой миссии «Аполлон-11» с использованием Python SDK. Кэширование контекста — это способ сэкономить на стоимости запросов, когда существенный начальный контекст многократно используется в более коротких запросах. Он будет использовать команды curl для вызова методов в REST API. Для более подробного ознакомления обратитесь к руководству по кэшированию. Этот notebook содержит команды curl, которые вы можете запустить в Google Colab или скопировать в свой терминал. Если вы никогда не использовали Gemini REST API, настоятельно рекомендуется сначала ознакомиться с кратким руководством по Prompting. Чтобы запустить этот notebook, ваш API key должен быть сохранен в секрете Colab под названием GEMINI_API_KEY. Если вы работаете в другой среде, вы можете сохранить свой ключ в переменной среды. См. Аутентификацию, чтобы узнать больше. Начнем с получения расшифровки миссии «Аполлон-11». Теперь вам нужно перекодировать его в base-64, поэтому давайте подготовим весь cachedContent заодно. Теперь мы можем создать кэшированный контент. Вам понадобится это для следующих команд, поэтому сохраните имя кэша. Здесь используется текстовый файл для сохранения имени из-за ограничений Colab, но вы также могли бы просто использовать переменную. Поскольку кэши имеют повторяющуюся стоимость, рекомендуется следить за ними. Это также может быть полезно, если вам нужно найти их имя. Создание prompt'ов с использованием кэшированного контента аналогично тому, что показано в кратком руководстве по Prompting, за исключением того, что вы добавляете значение "cachedContent", которое является именем кэша, сохраненного ранее. Как вы видите, из 323699 токенов 323383 были кэшированы (и, следовательно, менее дороги), и только 311 были из prompt'а. Поскольку кэшированные токены дешевле обычных, это означает, что этот prompt был на 75% дешевле, чем если бы вы не использовали кэширование. Актуальную информацию о скидках на кэшированные токены можно найти в ценах здесь.

План урока

1. Аутентификация
2. Кэширование контента
3. Просмотр кэшей
4. Использование кэшированного контента при создании prompt'ов
5. Необязательно: Обновление кэша
6. Удаление кэшированного контента
7. Дальнейшие шаги
8. Полезные ссылки на API