Ищем аномалии с помощью эмбеддингов

О чём урок

В этом руководстве демонстрируется, как использовать embeddings из Gemini API для обнаружения потенциальных выбросов в вашем наборе данных. Вы визуализируете подмножество набора данных 20 Newsgroup с помощью t-SNE и обнаружите выбросы за пределами определённого радиуса от центральной точки каждого категориального кластера. Чтобы запустить следующую cell, ваш API key должен быть сохранён в Colab Secret с именем GEMINI_API_KEY. Если у вас ещё нет API key или вы не знаете, как создать Colab Secret, см. краткое руководство по аутентификации для примера. Набор текстовых данных 20 Newsgroups Text Dataset из проекта с открытым исходным кодом SciKit содержит 18 000 сообщений из групп новостей по 20 темам, разделённых на обучающие и тестовые наборы. Разделение между обучающим и тестовым наборами данных основано на сообщениях, опубликованных до и после определённой даты. В этом руководстве используется обучающее подмножество. Вот первый пример из обучающего набора. Text Label Class Name 0 WHAT car is this!?\nNntp-Posting-Host: rac3.w... 7 rec.autos 1 SI Clock Poll - Final Call\nSummary: Final ca... 4 comp.sys.mac.hardware 2 PB questions...\nOrganization: Purdue Univers... 4 comp.sys.mac.hardware 3 Re: Weitek P9000 ?\nOrganization: Harris Comp... 1 comp.graphics 4 Re: Shuttle Launch Question\nOrganization: Sm... 14 sci.space ... ... ... ... 11309 Re: Migraines and scans\nDistribution: world... 13 sci.med 11310 Screen Death: Mac Plus/512\nLines: 22\nOrganiz... 4 comp.sys.mac.hardware 11311 Mounting CPU Cooler in vertical case\nOrganiz... 3 comp.sys.ibm.pc.hardware 11312 Re: Sphere from 4 points?\nOrganization: Cent... 1 comp.graphics 11313 stolen CBR900RR\nOrganization: California Ins... 8 rec.motorcycles 11314 rows × 3 columns Далее, выберите часть данных, взяв 150 точек данных из обучающего набора данных и выбрав несколько категорий. В этом руководстве используются научные категории. index Text Label Class Name 0 1650 Re: White House Public Encryption Management ...

План урока

1. Обзор
2. Подготовка набора данных
3. Создание embeddings
4. Изменения API для Embeddings с моделью embedding-001
5. Снижение размерности
6. Обнаружение выбросов