О чём урок
Встраивания (embeddings) — это числовые представления, которые фиксируют взаимосвязи между различными входными данными. Текстовые встраивания достигают этого путем преобразования текста в массивы чисел с плавающей запятой, известные как векторы. Основная цель этих векторов — инкапсулировать семантическое значение текста. Размерность вектора, которая является длиной массива встраивания, может быть довольно большой, при этом отрывок текста иногда представляется вектором с сотнями измерений.
Gemini API генерирует современные текстовые встраивания. Встраивание — это список чисел с плавающей запятой, которые представляют значение слова, предложения или абзаца. Вы можете использовать встраивания во многих последующих приложениях, таких как поиск документов.
Этот блокнот содержит краткие примеры кода, которые показывают, как начать генерировать встраивания.
Примечание: Этот блокнот использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку.
- Настройка: Установите SDK и настройте ключ API.
- Встраивание контента: Генерируйте текстовые встраивания для одного или нескольких входных данных.
- Мультимодальные встраивания: Генерируйте встраивания для изображений, аудио, видео и PDF-файлов.
- Установка размерности встраиваний: Изучите, как уменьшить размерность встраиваний.
- Встраивания на практике: Анализ сходства предложений с использованием косинусного сходства и визуализации тепловой карты.
- Использование task_type: Узнайте, как использовать task_type для различных приложений, таких как Retrieval Augmented Generation (RAG).
Установите SDK из PyPI.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства.
С новым SDK теперь вам нужно только инициализировать клиент с вашим ключом API (или OAuth, если вы используете Vertex AI). Модель теперь устанавливается при каждом вызове.
Выберите модель, которую вы хотите использовать в этом руководстве.
Последняя модель, gemini-embedding-2, является первой мультимодальной моделью встраивания в Gemini API. Она отображает текст, изображения, видео, аудио и PDF-файлы в единое пространство встраивания, что позволяет осуществлять кросс-модальный поиск, классификацию и кластеризацию на более чем 100 языках.
Для…
План урока
- Оглавление
- Настройка
- Установка SDK
- Настройте свой ключ API
- Инициализация клиента SDK
- Выберите модель
- Встраивание контента
- Мультимодальные встраивания
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.