О чём урок
В мире разработки с большими языковыми моделями (LLM), такими как Claude, эффективность и стоимость запросов играют ключевую роль. Часто приложениям требуется отправлять один и тот же или очень похожий контент в API Claude многократно. Это может быть большой системный промпт, сложная схема инструментов или повторяющиеся части сообщений. Каждый раз, когда Claude обрабатывает этот контент, это занимает время и потребляет токены, что увеличивает задержку и затраты. Именно здесь на помощь приходит Prompt caching — мощная функция оптимизации, разработанная для ускорения и удешевления ваших API-запросов при повторной отправке идентичного контента. Она позволяет избежать повторной обработки уже знакомых данных, значительно повышая производительность и снижая расходы. Ключевая идея заключается в том, что кэширование эффективно только в том случае, если вы многократно отправляете идентичный контент, но во многих реальных приложениях это происходит чрезвычайно часто. Когда вы включаете кэширование промптов, первый запрос, содержащий кэшируемый контент, записывает его в специальный кэш. Этот кэш является "эпизодическим" (ephemeral) и живет в течение одного часа. Все последующие запросы, которые отправляют точно такой же контент в течение этого часа, могут читать данные из кэша вместо того, чтобы Claude обрабатывал их заново. Это особенно ценно, когда вы отправляете: Крупные системные промпты (например, промпт для помощника по кодированию объемом в 6K token'ов). Сложные схемы инструментов (около 1.7K token'ов для нескольких инструментов). Повторяющийся контент сообщений, который не меняется между запросами. Механизм кэширования работает на уровне компонентов запроса, позволяя вам выборочно кэшировать части, которые остаются неизменными. Схемы инструментов (tool schemas) часто бывают сложными и объемными, но при этом стабильными в рамках одной сессии или функции приложения. Кэширование этих схем может значительно сократить количество обрабатываемых token'ов. Чтобы кэшировать ваши схемы инструментов, вам необходимо добавить поле cache_control к последнему инструменту в вашем списке. Важно сделать это таким образом, чтобы не модифицировать исходные определения инструментов, особенно если они используются в других частях вашего кода.
План урока
- Введение: Оптимизация запросов с помощью кэширования промптов в Claude API
- Как работает кэширование промптов
- Настройка кэширования для схем инструментов (Tool Schemas)
- Кэширование системных промптов (System Prompts)
- Понимание поведения кэша и метрик
- Порядок кэширования и точки останова
- Практические рекомендации по использованию кэширования
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.