Кэширование промптов на практике

О чём урок

В мире разработки с большими языковыми моделями (LLM), такими как Claude, эффективность и стоимость запросов играют ключевую роль. Часто приложениям требуется отправлять один и тот же или очень похожий контент в API Claude многократно. Это может быть большой системный промпт, сложная схема инструментов или повторяющиеся части сообщений. Каждый раз, когда Claude обрабатывает этот контент, это занимает время и потребляет токены, что увеличивает задержку и затраты.

Именно здесь на помощь приходит Prompt caching — мощная функция оптимизации, разработанная для ускорения и удешевления ваших API-запросов при повторной отправке идентичного контента. Она позволяет избежать повторной обработки уже знакомых данных, значительно повышая производительность и снижая расходы. Ключевая идея заключается в том, что кэширование эффективно только в том случае, если вы многократно отправляете идентичный контент, но во многих реальных приложениях это происходит чрезвычайно часто.

Когда вы включаете кэширование промптов, первый запрос, содержащий кэшируемый контент, записывает его в специальный кэш. Этот кэш является "эпизодическим" (ephemeral) и живет в течение одного часа. Все последующие запросы, которые отправляют точно такой же контент в течение этого часа, могут читать данные из кэша вместо того, чтобы Claude обрабатывал их заново. Это особенно ценно, когда вы отправляете:

• Крупные системные промпты (например, промпт для помощника по кодированию объемом в 6K token'ов).
• Сложные схемы инструментов (около 1.7K token'ов для нескольких инструментов).
• Повторяющийся контент сообщений, который не меняется между запросами.

Механизм кэширования работает на уровне компонентов запроса, позволяя вам выборочно кэшировать части, которые остаются неизменными.

Схемы инструментов (tool schemas) часто бывают сложными и объемными, но при этом стабильными в рамках одной сессии или функции приложения. Кэширование этих схем может значительно сократить количество обрабатываемых token'ов. Чтобы кэшировать ваши схемы инструментов, вам необходимо добавить поле cache_control к последнему инструменту в вашем списке. Важно сделать это таким образом, чтобы не модифицировать исходные определения инструментов, особенно если они используются в других частях вашего кода.

Вот рекомендуемый способ…

План урока

1. Введение: Оптимизация запросов с помощью кэширования промптов в Claude API
2. Как работает кэширование промптов
3. Настройка кэширования для схем инструментов (Tool Schemas)
4. Кэширование системных промптов (System Prompts)
5. Понимание поведения кэша и метрик
6. Порядок кэширования и точки останова
7. Практические рекомендации по использованию кэширования