О чём урок
Gemini API поддерживает создание prompt'ов с текстовыми, графическими и аудиоданными, что также известно как мультимодальный prompting. Вы можете включать текст, изображения и аудио в свои prompt'ы. Для небольших изображений вы можете указать модели Gemini непосредственно на локальный файл при создании prompt'а. Для более крупных текстовых файлов, изображений, видео и аудио загружайте файлы с помощью File API перед включением их в prompt'ы. File API позволяет хранить до 20 ГБ файлов на проект, при этом размер каждого файла не должен превышать 2 ГБ. Файлы хранятся в течение 48 часов и могут быть доступны с помощью вашего API key для генерации в течение этого периода времени. Он доступен бесплатно во всех регионах, где доступен Gemini API. Информацию о допустимых форматах файлов (MIME types) и поддерживаемых моделях см. в документации по поддерживаемым форматам файлов и ознакомьтесь с текстовыми примерами в конце этого руководства. Это руководство показывает, как использовать File API для загрузки медиафайла и включения его в вызов GenerateContent к Gemini API. Для получения дополнительной информации см. примеры кода. Примечание: Этот notebook использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку. Важно: File API использует API key для аутентификации и доступа. Загруженные файлы связаны с облачным проектом вашего API key. Ваш API key должен быть сохранен в Colab Secret под именем GEMINI_API_KEY. Для запуска следующей cell ваш API key должен быть сохранен в Colab Secret под именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства. File API позволяет загружать различные мультимодальные MIME types, включая форматы изображений и аудио. File API обрабатывает входные данные, которые могут быть использованы для генерации контента с помощью client.interactions.create (или client.models.generate_content).
План урока
- Установка зависимостей
- Аутентификация
- Настройка вашего API key
- Загрузка файла
- Получение файла
- Генерация контента
- Несколько файлов
- Использование файлов из Google Cloud Storage
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.