Эмбеддинги в Gemini

О чём урок

Embeddings — это числовые представления, которые фиксируют взаимосвязи между различными входными данными. Текстовые embeddings достигают этого путем преобразования текста в массивы чисел с плавающей запятой, известные как векторы. Основное назначение этих векторов — инкапсулировать семантическое значение текста. Размерность вектора, которая является длиной массива embedding, может быть довольно большой: фрагмент текста иногда представляется вектором с сотнями измерений. Gemini API генерирует передовые текстовые embeddings. Embedding — это список чисел с плавающей запятой, которые представляют значение слова, предложения или абзаца. Вы можете использовать embeddings во многих последующих приложениях, таких как поиск документов. Этот notebook содержит быстрые примеры кода, которые показывают, как начать генерировать embeddings. Примечание: Этот notebook использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку. Настройка: Установите SDK и настройте свой API key. Встраивание контента: Генерируйте текстовые embeddings для одного или нескольких входов. Мультимодальные embeddings: Генерируйте embeddings для изображений, аудио, видео и PDF-файлов. Настройка размерности embeddings: Изучите, как уменьшить размерность embeddings. Embeddings на практике: Анализ сходства предложений с использованием косинусного сходства и визуализации тепловой карты. Использование task_type: Узнайте, как использовать task_type для различных приложений, таких как Retrieval Augmented Generation (RAG). Установите SDK из PyPI. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства. С новым SDK теперь вам нужно только инициализировать клиент с вашим API key (или OAuth, если вы используете Vertex AI). Модель теперь устанавливается в каждом вызове. Выберите модель, которую вы хотите использовать в этом руководстве. Последняя модель, gemini-embedding-2, является первой мультимодальной embedding моделью в Gemini API. Она сопоставляет текст, изображения, видео, аудио и PDF-файлы в единое embedding пространство, обеспечивая кросс-модальный поиск, классификацию и кластеризацию на более чем 100 языках. См.

План урока

1. Настройка
2. Установка SDK
3. Настройте свой API key
4. Инициализация клиента SDK
5. Выберите модель
6. Встраивание контента
7. Мультимодальные embeddings
8. Встраивание изображений