Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 33 · Текст · ~5 мин

Рекомендации статей на эмбеддингах

Урок 33 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Это простая демонстрация того, как мы можем объединить несколько моделей NLP для получения результата, гораздо ближе соответствующего нашим ожиданиям.

Embeddings могут улавливать смысл фрагмента текста, выходя за рамки простого сопоставления ключевых слов. В этой статье мы создадим простую систему рекомендаций новостных статей, которая вычисляет embeddings всех доступных статей и рекомендует наиболее релевантные статьи на основе сходства embeddings.

Мы также сделаем рекомендации более точными, используя классификацию текста для рекомендации только статей в той же категории. Затем мы извлечем список тегов из каждой рекомендованной статьи, что может дополнительно помочь читателям находить новые статьи.

Все это будет сделано с помощью трех API endpoints Cohere, объединенных вместе: Embed, Classify и Chat.

Мы реализуем следующие шаги:

1: Найти наиболее похожие статьи на ту, которую читают в данный момент, используя embeddings.

2: Оставить только статьи той же категории, используя классификацию текста.

3: Извлечь теги из этих статей.

4: Показать топ-5 рекомендованных статей.

На протяжении всей этой статьи мы будем использовать набор данных новостных статей BBC в качестве примера [Источник]. Этот набор данных состоит из статей нескольких категорий: business, politics, tech, entertainment и sport.

Мы извлечем подмножество данных и на Шаге 1 используем первые 100 точек данных.

Далее мы преобразуем текст каждой статьи в embeddings. Embedding — это список чисел, которые наши модели используют для представления фрагмента текста, улавливая его контекст и смысл.

Мы делаем это, вызывая Embed endpoint Cohere, который принимает текст в качестве входных данных и возвращает embeddings в качестве выходных данных.

Далее мы выбираем любую статью, которую читатель в данный момент читает (назовем ее target), и находим другие статьи с наиболее похожими embeddings (назовем их candidates), используя косинусное сходство.

Косинусное сходство — это метрика, которая измеряет, насколько похожи последовательности чисел (в нашем случае embeddings), и мы вычисляем ее для каждой пары target-candidate.

Две статьи могут быть похожи, но не обязательно принадлежать к одной и той же…

План урока

  1. Система рекомендаций статей с использованием текстовых эмбеддингов, классификации и извлечения
  2. 1.1: Получение статей
  3. 1.2: Преобразование статей в embeddings
  4. 1.3: Выбрать одну статью и найти наиболее похожие статьи
  5. 2.1: Создание классификатора
  6. 2.2: Измерение производительности

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды