О чём урок
В этом блокноте демонстрируется потоковая передача в Python SDK. По умолчанию Python SDK возвращает ответ после того, как модель завершит весь процесс генерации. Вы также можете передавать ответ по мере его генерации, и модель будет возвращать фрагменты ответа сразу после их генерации.
Примечание: В этом блокноте используется Interactions API — новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку.
Для запуска этого блокнота вам понадобится ключ API, хранящийся в переменной среды. См. краткое руководство по аутентификации для получения пошаговых инструкций.
Для потоковой передачи ответов используйте stream=True при вызове interactions.create. Ответ будет итератором, который выдает фрагменты по мере их генерации.
Для асинхронной потоковой передачи ответов используйте stream=True с асинхронным клиентом client.aio.
Объект client.aio предоставляет ту же структуру API, что и стандартный синхронный client (например, client.aio.interactions.create вместо client.interactions.create), но использует async/await для выполнения неблокирующих сетевых запросов. Это особенно полезно в веб-серверах или параллельных приложениях, где вы хотите обрабатывать фрагменты по мере их поступления, не блокируя основной поток выполнения.
- Асинхронные запросы — узнайте, как выполнять несколько запросов одновременно с помощью client.aio.
- Подсчет токенов — узнайте, как проверять использование токенов для ваших запросов и файлов.
- Документация по Interactions API — изучите все возможности многоходовых взаимодействий.
План урока
- Обработка потоковых ответов
- Асинхронная обработка потоковых ответов
- Что дальше
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.