Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 12 · Текст · ~5 мин

Realtime API в приложениях с большими объёмами данных

Урок 12 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Это руководство служит практическим пособием для AI-инженеров, помогая максимально повысить эффективность Realtime API от OpenAI, особенно при работе с вызовами функций, интенсивно использующими данные. Мы сосредоточимся на сценариях, распространенных в речевых агентах (speech-to-speech agents), где огромные объемы данных должны обрабатываться плавно и эффективно.

В этой статье не будут рассматриваться основы настройки решения на базе Realtime API. Вместо этого вы получите четкие идеи и действенные стратегии для повышения производительности и надежности ваших разговорных агентов реального времени. В ней рассматриваются специфические проблемы, уникальные для обработки больших объемов данных в контексте разговорных систем реального времени.

Прежде чем углубиться, давайте кратко напомним об API для тех, кто с ним еще не знаком. Realtime API от OpenAI — это недавнее предложение, которое поддерживает мультимодальные взаимодействия с низкой задержкой, такие как речевые беседы и транскрипция в реальном времени. Представьте себе сценарии, такие как голосовая поддержка клиентов в реальном времени или транскрипция фильмов в прямом эфире.

Агентам необходим доступ к инструментам и соответствующим данным для выполнения своих задач. Например, агент-финансовый аналитик может получать рыночные данные в реальном времени. Во многих случаях в вашей среде уже существуют сервисы, которые предоставляют эту информацию через API.

Исторически API не разрабатывались с учетом агентов и часто возвращают большие объемы данных, в зависимости от сервиса. Как инженеры, мы часто оборачиваем эти API вызовами функций, чтобы ускорить разработку агентов — что совершенно логично. Зачем изобретать то, что уже существует?

Если не оптимизировать тщательно, эти вызовы функций с интенсивным использованием данных могут быстро перегрузить Realtime API, что приведет к медленным ответам или даже сбоям в обработке запросов пользователей.

Наш пример сосредоточен на агенте по скаутингу NBA, который вызывает несколько функций для предоставления глубокого анализа будущих драфт-проспектов. Чтобы продемонстрировать практические рекомендации по взаимодействию с Realtime API, мы используем большие, реалистичные полезные нагрузки, основанные на данных о драфт-проспектах NBA.

Вызов функции searchDraftProspects возвращает объемную полезную нагрузку.

Само собой…

План урока

  1. Что такое Realtime API?
  2. Что такое вызов функции с интенсивным использованием данных?
  3. Подготовка сцены
  4. Руководящие принципы
  5. 1. Разделяйте громоздкие функции на более мелкие с четкими ролями и обязанностями
  6. 2. По мере развития диалогов оптимизируйте контекст
  7. 3. Обработка и оптимизация данных
  8. 4. После вызовов функций с интенсивным использованием данных используйте подсказывающие prompt'ы

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды