Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 56 · Текст · ~5 мин

Рекомендации через эмбеддинги и ближайших соседей

Урок 56 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Рекомендации широко распространены в интернете.

  • «Купили этот товар? Попробуйте эти похожие товары.»
  • «Понравилась эта книга? Попробуйте эти похожие названия.»
  • «Это не та страница справки, которую вы искали? Попробуйте эти похожие страницы.»

Этот notebook демонстрирует, как использовать embeddings для поиска похожих элементов для рекомендаций. В частности, в качестве нашего набора данных мы используем корпус новостных статей AG.

Наша модель ответит на вопрос: если дана статья, какие другие статьи наиболее похожи на неё?

Далее загрузим данные новостей AG и посмотрим, как они выглядят.

Давайте взглянем на те же примеры, но без сокращений многоточием.

Прежде чем получать embeddings для этих статей, давайте настроим кэш для сохранения генерируемых нами embeddings. В целом, хорошей идеей является сохранение ваших embeddings, чтобы вы могли повторно использовать их позже. Если вы не сохраните их, вы будете платить каждый раз, когда пересчитываете их.

Кэш представляет собой словарь, который сопоставляет кортежи (text, model) с embedding, который является списком чисел с плавающей точкой. Кэш сохраняется как файл Python pickle.

Давайте проверим, как это работает, получив embedding.

Чтобы найти похожие статьи, давайте следовать плану из трех шагов:

  1. Получить similarity embeddings всех описаний статей
  2. Вычислить расстояние между исходным заголовком и всеми остальными статьями
  3. Вывести другие статьи, наиболее близкие к исходному заголовку

Давайте поищем статьи, похожие на первую, которая была о Тони Блэре.

Весьма неплохо! 4 из 5 рекомендаций явно упоминают Тони Блэра, а пятая — это статья из Лондона об изменении климата, темы, которые часто могут быть связаны с Тони Блэром.

Давайте посмотрим, как наш рекомендатель справится со второй статьей-примером о новом чипсете NVIDIA с повышенной безопасностью.

Из выведенных расстояний видно, что рекомендация №1 значительно ближе, чем все остальные (0.11 против 0.14+). И рекомендация №1 выглядит очень похожей на исходную статью — это еще одна статья из PC World об усилении компьютерной безопасности. Весьма неплохо!

Более сложный способ построения рекомендательной системы заключается в…

План урока

  1. 2. Загрузка данных
  2. 3. Создание кэша для сохранения embeddings
  3. 4. Рекомендация похожих статей на основе embeddings
  4. 5. Примеры рекомендаций
  5. Приложение: Использование embeddings в более сложных рекомендательных системах
  6. Приложение: Использование embeddings для визуализации похожих статей

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды