О чём урок
Этот пример демонстрирует, как взаимодействовать с Gemini API с использованием библиотеки OpenAI Python.
Этот блокнот проведет вас через:
- Выполнение базовой генерации текста с использованием моделей Gemini через библиотеку OpenAI
- Эксперименты с мультимодальными взаимодействиями, отправка изображений в ваших запросах
- Извлечение информации из текста с использованием структурированных выходных данных (например, определенных полей или вывода JSON)
- Использование инструментов Gemini API, таких как вызов функций
- Генерация эмбеддингов с использованием моделей Gemini API
Более подробная информация о совместимости с OpenAI находится в документации.
При запуске этого блокнота вам потребуется установить следующие зависимости: - Библиотека OpenAI Python - pdf2image и pdfminer.six (и poppler-utils как ее зависимость) для работы с PDF-файлами
Вам понадобится ваш ключ Gemini API для выполнения действий, описанных в этом блокноте. Вы можете сгенерировать новый на странице AI Studio Получить ключ API.
Вы можете начать с перечисления доступных моделей с помощью библиотеки OpenAI.
В этом примере вы будете использовать модель gemini-3.7-flash. Для получения более подробной информации о доступных моделях, пожалуйста, посетите страницу моделей Gemini в документации Gemini API.
Для вашего первого запроса используйте OpenAI SDK для выполнения генерации текста с текстовым запросом.
Модели Gemini способны обрабатывать различные модальности данных, такие как неструктурированные файлы, изображения, аудио и видео, что позволяет экспериментировать с мультимодальными сценариями, где вы можете попросить модель описать, объяснить, получить инсайты или извлечь информацию из этих мультимедийных данных, включенных в ваши запросы. В этом разделе вы будете работать с различными сценариями с мультимедийной информацией.
ВАЖНО: Совместимость OpenAI SDK поддерживает только встроенные изображения и аудиофайлы. Для поддержки видео используйте Python SDK Gemini API.
Сначала вы загрузите изображение, с которым хотите работать.
Теперь вы можете закодировать изображение и работать с библиотекой OpenAI для взаимодействия с моделями Gemini.
Вы можете выполнить тот же процесс, отправляя несколько изображений в одном запросе.
Теперь вы можете закодировать изображения и отправить их вместе с вашим запросом.
Вы также можете отправлять…
План урока
- Настройка
- Установка необходимых модулей
- Получите ваш ключ Gemini API
- Определение используемой модели Gemini
- Первое взаимодействие — генерация текста
- Генерация кода
- Мультимодальные взаимодействия
- Работа с изображениями (одно изображение)
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.