Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 07 · Текст · ~5 мин

Ищем аномалии с помощью эмбеддингов

Урок 7 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом руководстве демонстрируется, как использовать эмбеддинги из Gemini API для обнаружения потенциальных выбросов в вашем наборе данных. Вы визуализируете подмножество набора данных 20 Newsgroup с помощью t-SNE и обнаружите выбросы за пределами определенного радиуса от центральной точки каждого категориального кластера.

Для выполнения следующей ячейки ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. краткое руководство по аутентификации для примера.

Текстовый набор данных 20 Newsgroups из проекта с открытым исходным кодом SciKit содержит 18 000 сообщений новостных групп по 20 темам, разделенных на обучающие и тестовые наборы. Разделение между обучающими и тестовыми наборами данных основано на сообщениях, опубликованных до и после определенной даты. В этом руководстве используется обучающее подмножество.

Вот первый пример в обучающем наборе.

11314 rows × 3 columns

Далее, выберите часть данных, взяв 150 точек данных из обучающего набора данных и выбрав несколько категорий. В этом руководстве используются научные категории.

600 rows × 3 columns

В этом разделе вы увидите, как генерировать эмбеддинги для различных текстов в DataFrame с использованием эмбеддингов из Gemini API.

Для модели эмбеддингов text-embedding-004 существует параметр типа задачи и необязательный заголовок (действителен только с task_type=RETRIEVAL_DOCUMENT).

Эти параметры применяются только к моделям эмбеддингов. Типы задач:

Размерность вектора эмбеддинга документа составляет 768. Чтобы визуализировать, как сгруппированы встроенные документы, вам потребуется применить снижение размерности, поскольку вы можете визуализировать эмбеддинги только в 2D или 3D пространстве. Контекстно похожие документы должны быть ближе друг к другу в пространстве, в отличие от документов, которые не так похожи.

Вы примените подход t-Distributed Stochastic Neighbor Embedding (t-SNE) для выполнения снижения размерности. Эта техника уменьшает количество измерений, сохраняя при этом кластеры (точки, которые находятся близко друг к другу, остаются близко друг к другу).

600 rows × 3 columns

Чтобы определить, какие точки…

План урока

  1. Обзор
  2. Подготовка набора данных
  3. Создание эмбеддингов
  4. Изменения API для эмбеддингов с моделью embedding-001
  5. Снижение размерности
  6. Обнаружение выбросов
  7. Следующие шаги

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды