Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 28 · Текст · ~5 мин

Считаем эмбеддинги для набора данных

Урок 28 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook демонстрирует, как получить embedding'и из большого набора данных.

Набор данных, используемый в этом примере, — это отзывы о продуктах питания с Amazon. Набор данных содержит в общей сложности 568 454 отзыва о продуктах питания, оставленных пользователями Amazon до октября 2012 года. Для иллюстрации мы будем использовать подмножество этого набора данных, состоящее из 1000 самых свежих отзывов. Отзывы написаны на английском языке и, как правило, являются положительными или отрицательными. Каждый отзыв содержит ProductId, UserId, Score, заголовок отзыва (Summary) и текст отзыва (Text).

Мы объединим заголовок отзыва и текст отзыва в единый комбинированный текст. Модель закодирует этот комбинированный текст и выдаст единый векторный embedding.

Для запуска этого notebook'а вам потребуется установить: pandas, openai, transformers, plotly, matplotlib, scikit-learn, torch (transformer dep), torchvision, и scipy.

План урока

  1. 1. Загрузка набора данных
  2. 2. Получение embedding'ов и их сохранение для дальнейшего использования

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды