О чём урок
В этом руководстве демонстрируется, как использовать эмбеддинги из Gemini API для обнаружения потенциальных выбросов в вашем наборе данных. Вы визуализируете подмножество набора данных 20 Newsgroup с помощью t-SNE и обнаружите выбросы за пределами определенного радиуса от центральной точки каждого категориального кластера.
Для выполнения следующей ячейки ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. краткое руководство по аутентификации для примера.
Текстовый набор данных 20 Newsgroups из проекта с открытым исходным кодом SciKit содержит 18 000 сообщений новостных групп по 20 темам, разделенных на обучающие и тестовые наборы. Разделение между обучающими и тестовыми наборами данных основано на сообщениях, опубликованных до и после определенной даты. В этом руководстве используется обучающее подмножество.
Вот первый пример в обучающем наборе.
11314 rows × 3 columns
Далее, выберите часть данных, взяв 150 точек данных из обучающего набора данных и выбрав несколько категорий. В этом руководстве используются научные категории.
600 rows × 3 columns
В этом разделе вы увидите, как генерировать эмбеддинги для различных текстов в DataFrame с использованием эмбеддингов из Gemini API.
Для модели эмбеддингов text-embedding-004 существует параметр типа задачи и необязательный заголовок (действителен только с task_type=RETRIEVAL_DOCUMENT).
Эти параметры применяются только к моделям эмбеддингов. Типы задач:
Размерность вектора эмбеддинга документа составляет 768. Чтобы визуализировать, как сгруппированы встроенные документы, вам потребуется применить снижение размерности, поскольку вы можете визуализировать эмбеддинги только в 2D или 3D пространстве. Контекстно похожие документы должны быть ближе друг к другу в пространстве, в отличие от документов, которые не так похожи.
Вы примените подход t-Distributed Stochastic Neighbor Embedding (t-SNE) для выполнения снижения размерности. Эта техника уменьшает количество измерений, сохраняя при этом кластеры (точки, которые находятся близко друг к другу, остаются близко друг к другу).
600 rows × 3 columns
Чтобы определить, какие точки…
План урока
- Обзор
- Подготовка набора данных
- Создание эмбеддингов
- Изменения API для эмбеддингов с моделью embedding-001
- Снижение размерности
- Обнаружение выбросов
- Следующие шаги
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.