О чём урок
Рекомендации широко распространены в интернете.
- «Купили этот товар? Попробуйте эти похожие товары.»
- «Понравилась эта книга? Попробуйте эти похожие названия.»
- «Это не та страница справки, которую вы искали? Попробуйте эти похожие страницы.»
Этот notebook демонстрирует, как использовать embeddings для поиска похожих элементов для рекомендаций. В частности, в качестве нашего набора данных мы используем корпус новостных статей AG.
Наша модель ответит на вопрос: если дана статья, какие другие статьи наиболее похожи на неё?
Далее загрузим данные новостей AG и посмотрим, как они выглядят.
Давайте взглянем на те же примеры, но без сокращений многоточием.
Прежде чем получать embeddings для этих статей, давайте настроим кэш для сохранения генерируемых нами embeddings. В целом, хорошей идеей является сохранение ваших embeddings, чтобы вы могли повторно использовать их позже. Если вы не сохраните их, вы будете платить каждый раз, когда пересчитываете их.
Кэш представляет собой словарь, который сопоставляет кортежи (text, model) с embedding, который является списком чисел с плавающей точкой. Кэш сохраняется как файл Python pickle.
Давайте проверим, как это работает, получив embedding.
Чтобы найти похожие статьи, давайте следовать плану из трех шагов:
- Получить similarity embeddings всех описаний статей
- Вычислить расстояние между исходным заголовком и всеми остальными статьями
- Вывести другие статьи, наиболее близкие к исходному заголовку
Давайте поищем статьи, похожие на первую, которая была о Тони Блэре.
Весьма неплохо! 4 из 5 рекомендаций явно упоминают Тони Блэра, а пятая — это статья из Лондона об изменении климата, темы, которые часто могут быть связаны с Тони Блэром.
Давайте посмотрим, как наш рекомендатель справится со второй статьей-примером о новом чипсете NVIDIA с повышенной безопасностью.
Из выведенных расстояний видно, что рекомендация №1 значительно ближе, чем все остальные (0.11 против 0.14+). И рекомендация №1 выглядит очень похожей на исходную статью — это еще одна статья из PC World об усилении компьютерной безопасности. Весьма неплохо!
Более сложный способ построения рекомендательной системы заключается в…
План урока
- 2. Загрузка данных
- 3. Создание кэша для сохранения embeddings
- 4. Рекомендация похожих статей на основе embeddings
- 5. Примеры рекомендаций
- Приложение: Использование embeddings в более сложных рекомендательных системах
- Приложение: Использование embeddings для визуализации похожих статей
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.