О чём урок
Этот notebook демонстрирует streaming в Python SDK. По умолчанию Python SDK возвращает ответ после того, как модель завершит весь процесс генерации. Вы также можете осуществлять streaming ответа по мере его генерации, и модель будет возвращать chunks ответа сразу после их создания. Примечание: Этот notebook использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку. Вам понадобится API key, хранящийся в переменной окружения, для запуска этого notebook. См. краткое руководство по аутентификации для получения подробной информации. Для streaming ответов используйте stream=True при вызове interactions.create. Ответ будет итератором, который выдает chunks по мере их генерации. Для асинхронного streaming ответов используйте stream=True с асинхронным клиентом client.aio. Объект client.aio предоставляет ту же структуру API, что и стандартный синхронный client (например, client.aio.interactions.create вместо client.interactions.create), но использует async/await для выполнения неблокирующих сетевых запросов. Это особенно полезно в веб-серверах или параллельных приложениях, где вы хотите обрабатывать chunks по мере их поступления, не блокируя основной поток выполнения. Вот простой пример использования асинхронного streaming API: Асинхронные запросы — узнайте, как выполнять несколько запросов одновременно с помощью client.aio. Подсчет tokens — узнайте, как проверять использование tokens для ваших prompts и файлов. Документация по Interactions API — изучите все возможности многоходовых взаимодействий.
План урока
- Обработка streaming ответов
- Асинхронная обработка streaming ответов
- Что дальше
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.