Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 17 · Текст · ~5 мин

Мультимодальный чат-бот на Gemini

Урок 17 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот блокнот описывает процесс создания мультимодального чат-бота с использованием Google Gemini API. Чат-бот может: - Обрабатывать текстовые вводы - Анализировать изображения - Обрабатывать комбинированные текстовые и графические вводы (мультимодальные подсказки) - Поддерживать историю разговоров для контекстных ответов - Форматировать и представлять ответы с поддержкой Markdown

  • Ключ Google API для Gemini
  • Python 3.9+
  • Необходимые библиотеки: google-generativeai, pillow, IPython, pandas, matplotlib

Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. краткое руководство по аутентификации для примера.

Функция для вывода списка и отображения всех моделей Gemini

Эти функции помогают подготовить и обработать изображения для модели Gemini.

Давайте создадим экземпляр нашего чат-бота с некоторыми пользовательскими параметрами.

Начнем с простого текстового примера, чтобы протестировать нашего чат-бота:

Теперь давайте проверим способность чат-бота анализировать изображение:

Теперь давайте протестируем чат-бота с комбинированным текстовым и графическим вводом:

Давайте продемонстрируем, как передавать ответы от модели в реальном времени:

Вы можете настроить различные параметры, чтобы изменить поведение чат-бота:

В производственных приложениях вам потребуется надежная обработка ошибок и ограничение скорости.

Вы успешно создали мультимодальный чат-бот с использованием Google Gemini API, который может: - Обрабатывать текстовые вводы - Анализировать и интерпретировать изображения для визуального понимания - Обрабатывать комбинированные текстовые и графические вводы для насыщенных мультимодальных разговоров - Поддерживать текущую историю разговоров - Потоково передавать ответы в реальном времени для динамичного пользовательского опыта

Помните, что ответственное использование ИИ имеет решающее значение — убедитесь, что ваш чат-бот соответствует этическим нормам, уважает конфиденциальность пользователей и четко сообщает пользователям о своих возможностях и ограничениях.

  • Генерация текста Узнайте, как:
  • Генерировать текст на естественном языке из подсказок
  • Использовать потоковую передачу ответов для взаимодействия в реальном времени
  • Настраивать параметры модели
  • Компьютерное зрение Изучите, как:
  • Анализировать и понимать содержимое изображений
  • Создание чат-приложения с Gemini Практическое руководство, которое проведет вас через:
  • Настройку веб-интерфейса чата
  • Интеграцию обработки текстового…

План урока

  1. Обзор
  2. Предварительные условия
  3. Настройка ключа API
  4. Доступные модели Gemini
  5. Выбор модели
  6. Утилиты для обработки изображений
  7. Определение класса ChatBot
  8. Инициализация чат-бота

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды