Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 47 · Текст · ~5 мин

Кэширование промптов: основы

Урок 47 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

OpenAI предлагает дисконтное кэширование prompt'ов для prompt'ов, превышающих 1024 токена, что приводит к сокращению задержки (latency) до 80% для более длинных prompt'ов свыше 10 000 токенов. Кэшируя повторяющуюся информацию в запросах к LLM API, вы можете значительно сократить как задержку (latency), так и затраты. Кэширование prompt'ов действует на уровне организации, что означает, что только члены одной организации могут получать доступ к общим кэшам. Кроме того, кэширование соответствует принципу нулевого хранения данных (zero data retention), поскольку в процессе данные не сохраняются.

Кэширование prompt'ов автоматически активируется для prompt'ов длиннее 1024 токенов — вам не нужно ничего менять в вашем запросе на completions. При выполнении API запроса система сначала проверяет, был ли начальный фрагмент (prefix) prompt'а уже кэширован. Если совпадение найдено (cache hit), используется кэшированный prompt, что приводит к снижению latency и затрат. Если совпадения нет, система обрабатывает полный prompt с нуля и кэширует prefix для будущего использования.

Учитывая эти преимущества, некоторые из ключевых сценариев использования, где кэширование prompt'ов может быть особенно выгодным, включают:

  • Агенты, использующие инструменты и структурированные output'ы: Кэшируйте расширенный список инструментов и схем.
  • Помощники по кодированию и написанию текстов: Вставляйте большие фрагменты или сводки кодовых баз и рабочих пространств непосредственно в prompt'ы.
  • Чат-боты: Кэшируйте статические части многоходовых диалогов для эффективного поддержания контекста в продолжительных беседах.

В этом руководстве мы рассмотрим несколько примеров кэширования инструментов и изображений. Напомним, что в целом рекомендуется размещать статический контент, такой как инструкции и примеры, в начале вашего prompt'а, а переменный контент, например, информацию, специфичную для пользователя, — в конце. Это также относится к изображениям и инструментам, которые должны быть идентичными, даже в их порядке, между запросами. Все запросы, включая те, что содержат менее 1024 токенов, будут отображать поле cached_tokens объекта usage.prompt_tokens_details chat completions, указывающее, сколько токенов prompt'а было получено из кэша (cache hit).

В этом примере мы определяем инструменты и взаимодействия для ассистента…

План урока

  1. Пример 1: Кэширование инструментов и многоходовых диалогов
  2. Пример 2: Изображения
  3. Общие рекомендации

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды