Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 39 · Текст · ~5 мин

Разбираем диаграммы, графики и слайды

Урок 39 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Модели Gemini — это мощные мультимодальные LLM, которые могут обрабатывать как текстовые, так и графические входные данные.

Этот блокнот демонстрирует, как модель Gemini Flash способна извлекать данные из различных изображений.

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Authentication для примера.

Вы будете использовать изображения из репозитория Priyanka Vergadia's GCPSketchnote. Эти страницы содержат множество деталей, которые должны обеспечить хороший эталон для возможностей Gemini.

Эти изображения распространяются по лицензии Creative Commons Attribution 4.0 International Public License.

Изображение необходимо преобразовать в формат .jpg, поскольку .gif в настоящее время не поддерживается Gemini API.

Теперь вы определите вспомогательные функции для уменьшения изображения и запроса модели с изображениями.

ПРИМЕЧАНИЕ: В этом примере вы будете использовать библиотеку Pillow для загрузки изображений, но также будет работать использование Image из IPython.display или использование словаря с полями mime_type и data.

Теперь давайте посмотрим, как LLM может обрабатывать следующий запрос.

Вы будете использовать модель для извлечения информации из одного слайда. В данном случае это график, описывающий pub/sub. Это не сложный вариант использования, однако он покажет, как вы можете вызывать модель.

Вам нужно загрузить пример диаграммы.

Начнем с чего-то простого:

Вы также можете использовать его для извлечения информации из определенных частей изображения:

В то время как большинство моделей могут получать лишь несколько изображений одновременно, модель Gemini Flash способна получать до 3600 изображений за один запрос. Это означает, что большинство презентаций могут быть переданы модели без какого-либо разделения.

В этом случае вы будете использовать LLM для создания набора вопросов, которые проверяют знание продуктов GCP:

Большие возможности Gemini API в обработке изображений, таких как диаграммы, графики и презентации, подчеркивают мощь мультимодальных LLM.

Представьте себе влияние использования Gemini API для реализации решений ИИ, которые описывают…

План урока

  1. Настройка ключа API
  2. Настройка
  3. Интерпретация одной диаграммы
  4. Извлечение информации из одного слайда
  5. Презентации

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды