Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 08 · Текст · ~5 мин

Сжатие контекста разговора в Realtime API

Урок 8 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

Цели урока

  • Потоковая передача с микрофона в реальном времени → конечная точка OpenAI Realtime (голос-в-голос).
  • Мгновенные транскрипты и воспроизведение речи в каждом обмене репликами.
  • Контейнер состояния диалога, который хранит каждое сообщение пользователя/ассистента.
  • Автоматическая «обрезка контекста» – когда окно токенов становится очень большим (настраиваемым), старые реплики сжимаются в summary.
  • Расширяемая архитектура, которую можно адаптировать для поддержки ботов клиентской поддержки, киосков или многоязычных ассистентов.

О чём урок

Создайте комплексного голосового бота, который слушает ваш микрофон, отвечает в реальном времени и суммирует длинные разговоры, чтобы качество никогда не снижалось.

Нужна помощь с настройкой ключа?

Следуйте официальному руководству по быстрому старту.

Примечания:

  1. gpt-realtime поддерживает окно контекста в 32k токенов, хотя в некоторых случаях вы можете заметить снижение производительности по мере того, как вы помещаете больше токенов в окно контекста.
  2. Окно токенов = все токены (слова и аудиотокены), которые модель в данный момент хранит в памяти для сессии.

Новые параметры API:

  1. Realtime API GA выпустил новый параметр truncation. Этот параметр автоматически оптимизирует обрезку контекста, сохраняя релевантную информацию и максимизируя частоту попаданий в кэш.

Окна с большим количеством токенов ценны, каждый дополнительный токен, который вы используете, стоит задержки + денег.Для аудио входное окно токенов увеличивается гораздо быстрее, чем для обычного текста, потому что должны быть представлены амплитуда, тайминг и другие акустические детали.

На практике вы часто будете видеть ≈ 10 × больше токенов для одного и того же предложения в аудио по сравнению с текстом.

  • gpt-realtime принимает до 32k токенов, и по мере увеличения размера токенов соблюдение инструкций может ухудшаться.
  • Каждый обмен репликами пользователя/ассистента потребляет токены → окно только растет.
  • Стратегия: Суммируйте старые реплики в одно сообщение ассистента, сохраните последние несколько дословных реплик и продолжайте.

Следующие вспомогательные функции позволят нам запустить весь скрипт.

В отличие от Chat Completions на основе HTTP, Realtime API поддерживает открытую, сохраняющую состояние сессию с двумя ключевыми компонентами:

Этот notebook инкапсулирует эти компоненты в простой объект ConversationState, чтобы сохранить чистоту вашей логики, отслеживать историю и управлять суммированием, когда окна контекста заполняются.

Быстрая вспомогательная функция для просмотра транскрипта:

Мы будем передавать необработанные данные микрофона в формате PCM-16 напрямую в Realtime…

План урока

  1. 1. Обзор
  2. Что вы узнаете
  3. Предварительные требования
  4. Установка одной строкой (запустите в новой cell)
  5. 2. Использование токенов – Текст против Голоса
  6. 3. Вспомогательные функции
  7. 3.1 Состояние диалога
  8. 3.2 · Потоковая передача аудио

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды