Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 13 · Текст · ~5 мин

Классифицируем текст с помощью эмбеддингов

Урок 13 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Примечание: Для корректной работы этого notebook требуются лимиты запросов платного уровня. (см. цены для получения дополнительной информации).

В этом notebook вы научитесь использовать embeddings, созданные с помощью Gemini API, для обучения модели, способной классифицировать различные типы сообщений из newsgroup по их тематике.

Прежде чем использовать Gemini API, вы должны сначала получить API key. Если у вас его еще нет, создайте ключ одним щелчком мыши в Google AI Studio.

Получить API key

В Colab добавьте ключ в secrets manager под значком "🔑" на левой панели. Присвойте ему имя GEMINI_API_KEY.

Получив API key, передайте его в SDK. Это можно сделать двумя способами:

  • Поместите ключ в переменную среды GEMINI_API_KEY (SDK автоматически подхватит его оттуда).
  • Передайте ключ в genai.Client(api_key=...)

Ключевой момент: Далее вы выберете модель. Любая embedding модель подойдет для этого tutorial, но для реальных приложений важно выбрать конкретную модель и придерживаться ее. Выходы разных моделей несовместимы друг с другом.

20 Newsgroups Text Dataset содержит 18 000 сообщений из newsgroup по 20 темам, разделенных на обучающие и тестовые наборы. Разделение между обучающими и тестовыми dataset основано на сообщениях, опубликованных до и после определенной даты. Для этого tutorial вы будете использовать подмножества обучающих и тестовых dataset. Вы выполните предварительную обработку и организуете данные в Pandas dataframes.

Вот пример того, как выглядит точка данных из обучающего набора.

Теперь вы начнете предварительную обработку данных для этого tutorial. Удалите любую конфиденциальную информацию, такую как имена, адреса электронной почты, или избыточные части текста, такие как "From: " и "\nSubject: ". Организуйте информацию в Pandas dataframe, чтобы она была более читабельной.

Далее вы выберете часть данных, взяв 100 точек данных из обучающего dataset и отбросив несколько категорий для выполнения этого tutorial. Выберите научные категории для сравнения.

В этом разделе вы узнаете, как генерировать embeddings для различных текстов в dataframe, используя embeddings из Gemini API.

Gemini embedding…

План урока

  1. Обзор
  2. Получите API Key
  3. Выберите модель для использования
  4. Подготовка dataset
  5. Генерация embeddings
  6. Создание простой классификационной модели
  7. Обучение модели для классификации newsgroup
  8. Оценка производительности модели

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды