О чём урок
Gemini API поддерживает запросы с текстовыми, графическими и аудиоданными, также известные как мультимодальные запросы. Вы можете включать текст, изображения и аудио в свои запросы. Для небольших изображений вы можете указать модели Gemini непосредственно на локальный файл при предоставлении запроса. Для больших текстовых файлов, изображений, видео и аудио загрузите файлы с помощью File API, прежде чем включать их в запросы.
File API позволяет хранить до 20 ГБ файлов на проект, при этом каждый файл не должен превышать 2 ГБ. Файлы хранятся в течение 48 часов и могут быть доступны с помощью вашего API-ключа для генерации в течение этого периода времени. Он доступен бесплатно во всех регионах, где доступен Gemini API.
Информацию о допустимых форматах файлов (типах MIME) и поддерживаемых моделях см. в документации по поддерживаемым форматам файлов и просмотрите текстовые примеры в конце этого руководства.
В этом руководстве показано, как использовать File API для загрузки медиафайла и включения его в вызов GenerateContent к Gemini API. Для получения дополнительной информации см. примеры кода.
Примечание: Этот блокнот использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку.
Важно: File API использует ключи API для аутентификации и доступа. Загруженные файлы связаны с облачным проектом ключа API. Ваш ключ API должен храниться в Colab Secret с именем GEMINI_API_KEY.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства.
File API позволяет загружать различные мультимодальные типы MIME, включая форматы изображений и аудио. File API обрабатывает входные данные, которые могут быть использованы для генерации контента с помощью client.interactions.create (или client.models.generate_content).
File API принимает файлы размером до 2 ГБ и может хранить до 20 ГБ файлов на проект…
План урока
- Установка зависимостей
- Аутентификация
- Настройка ключа API
- Загрузка файла
- Получить файл
- Генерация контента
- Несколько файлов
- Использование файлов из Google Cloud Storage
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.