О чём урок
В этом блокноте показано, как преобразовать PDF-файл, чтобы его можно было прочитать с помощью Gemini API.
Примечание: В этом блокноте используется Interactions API — новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства.
Установите инструменты для обработки PDF. Они не нужны для использования API, они просто используются для отображения скриншота страницы.
Эта страница PDF представляет собой статью под названием Smoothly editing material properties of objects with text-to-image models and synthetic data, доступную в блоге Google Research.
Посмотрите на одну из страниц:
Самый простой способ прочитать PDF — передать его URL напрямую в качестве входного параметра document — загрузка не требуется:
Совет: Это отлично подходит для общедоступных PDF-файлов. Для больших или частных файлов используйте File API для их предварительной загрузки (см. ниже).
Для больших файлов или файлов, которые вы хотите повторно использовать в нескольких запросах, загрузите их с помощью File API:
Выберите модель, которую вы хотите использовать в этом руководстве:
Каждая страница PDF-файла передается модели в виде скриншота страницы плюс текст, извлеченный с помощью OCR.
Кроме того, посмотрите, как модель Gemini отвечает, когда вы задаете вопросы об изображениях в PDF.
Если вы посмотрите на область заголовка статьи, вы увидите, что модель фиксирует происходящее.
File API позволяет загружать различные мультимодальные MIME-типы, включая изображения, аудио и видеоформаты. File API обрабатывает входные данные, которые могут быть использованы для генерации контента с помощью client.interactions.create (или client.models.generate_content).
File API принимает файлы размером до 2 ГБ и может хранить до 20 ГБ файлов на проект. Файлы хранятся 2 дня и не могут быть загружены из API.
- Узнайте больше о подсказках с медиафайлами в документации…
План урока
- Настройка
- Настройте свой ключ API
- Загрузите и проверьте PDF
- Чтение PDF по URL
- Загрузка и чтение с помощью File API
- Узнать больше
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.