О чём урок
Этот notebook демонстрирует, как можно преобразовать PDF файл, чтобы его мог читать Gemini API. Примечание: Этот notebook использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Authentication для пошагового руководства. Установите инструменты для обработки PDF. Они не нужны для использования API, а используются только для отображения скриншота страницы. Эта PDF страница представляет собой статью под названием Smoothly editing material properties of objects with text-to-image models and synthetic data, доступную в Google Research Blog. Посмотрите на одну из страниц: Самый простой способ прочитать PDF — передать его URL напрямую в качестве document input — загрузка не требуется: Совет: Это отлично подходит для общедоступных PDF-файлов. Для более крупных или приватных файлов используйте File API для их предварительной загрузки (см. ниже). Для более крупных файлов или файлов, которые вы хотите повторно использовать в нескольких запросах, загрузите их с помощью File API: Выберите модель, которую вы хотите использовать в этом руководстве: Каждая страница PDF файла передается модели в виде скриншота страницы плюс текст, извлеченный с помощью OCR. Кроме того, посмотрите, как модель Gemini отвечает, когда вы задаете вопросы об изображениях в PDF. Если вы посмотрите на область заголовка статьи, вы увидите, что модель улавливает происходящее. File API позволяет загружать различные мультимодальные MIME types, включая форматы изображений, аудио и видео. File API обрабатывает inputs, которые могут быть использованы для генерации контента с помощью client.interactions.create (или client.models.generate_content). File API принимает файлы размером до 2 ГБ и может хранить до 20 ГБ файлов на проект. Файлы хранятся в течение 2 дней и не могут быть загружены через API.
План урока
- Настройка
- Настройка вашего API key
- Загрузка и проверка PDF
- Чтение PDF по URL
- Загрузка и чтение с использованием File API
- Узнать больше
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.