Эмбеддинги через REST

О чём урок

Примечание: Для корректной работы этого notebook'а требуются лимиты скорости платного уровня. (см. цены для получения более подробной информации). Этот notebook содержит краткие примеры кода, которые показывают, как начать генерировать embedding'и с помощью curl. Вы можете запустить его в Google Colab или скопировать/вставить команды curl в свой терминал. Чтобы запустить этот notebook, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если вы работаете в другой среде, вы можете сохранить свой ключ в переменной среды. Подробнее см. в разделе Authentication. Вызовите метод embed_content с моделью gemini-embedding-001 для генерации текстовых embedding'ов: Вы можете создать embedding'и для списка из нескольких prompt'ов с помощью одного вызова API для повышения эффективности. Если вы используете gemini-embedding-001, вы можете установить параметр output_dimensionality для создания более компактных embedding'ов. output_dimensionality усекает embedding (например, [1, 3, 5] становится [1,3], когда output_dimensionality=2). Давайте рассмотрим все параметры, которые принимает метод embed_content. Их четыре: model: Обязательный. Должен быть models/gemini-embedding-001 или models/text-embeddings-004. content: Обязательный. Контент, для которого вы хотите создать embedding. task_type: Необязательный. Тип задачи, для которой будут использоваться embedding'и. Возможные значения см. ниже. task_type — это необязательный параметр, который дает API подсказку о том, как вы собираетесь использовать embedding'и в своем приложении. Принимаются следующие параметры task_type: RETRIEVAL_QUERY : Данный текст является запросом в контексте поиска/извлечения. RETRIEVAL_DOCUMENT: Данный текст является документом из просматриваемого корпуса. SEMANTIC_SIMILARITY: Данный текст будет использоваться для определения семантического сходства (Semantic Textual Similarity, STS). CLASSIFICATION: Данный текст будет классифицирован. CLUSTERING: Embedding'и будут использоваться для кластеризации. Узнайте больше о gemini-embedding-001 здесь. Изучите другие примеры в cookbook.

План урока

1. Создание embedding'ов для контента
2. Установка размерности выходных данных
3. Использование task_type для подсказки модели о том, как вы будете использовать embedding'и
4. Узнать больше