Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 71 · Текст · ~5 мин

Глава 4. Семантический поиск

Урок 71 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

Цели урока

  • Векторизация документов
  • Векторизация запроса
  • Выполнение семантического поиска
  • Многоязычный семантический поиск
  • Изменение типов сжатия embeddings

О чём урок

Векторные представления текста (text embeddings) — это список чисел, которые представляют контекст или значение фрагмента текста. Это особенно полезно в приложениях поиска или извлечения информации. При использовании векторных представлений текста это называется семантическим поиском.

Семантический поиск решает проблему, с которой сталкивается более традиционный подход лексического поиска, который отлично справляется с поиском совпадений по ключевым словам, но с трудом улавливает контекст или значение фрагмента текста.

С помощью Cohere вы можете генерировать text embeddings через Embed endpoint (Embed v3 — это последняя модель), который поддерживает более 100 языков.

В этом учебном пособии вы узнаете о следующем:

Вы изучите это, создавая помощника по адаптации для новых сотрудников.

Для начала нам необходимо установить библиотеку cohere и создать клиент Cohere.

Embed endpoint принимает тексты в качестве входных данных и возвращает embeddings в качестве выходных данных.

Для семантического поиска существует два типа документов, которые нам необходимо преобразовать в embeddings.

  • Список документов, по которым мы хотим выполнить поиск.
  • Запрос, который будет использоваться для поиска по документам.

Сейчас мы выполняем первое. Мы вызываем Embed endpoint с помощью co.embed() и передаем следующие аргументы:

  • model: Здесь мы выбираем embed-v4.0
  • input_type: Мы выбираем search_document, чтобы модель рассматривала их как документы для поиска
  • texts: Список текстов (FAQ)

Дополнительная литература:

  • Справочник по API Embed endpoint
  • Документация по Embed endpoint
  • Документация по моделям, доступным на Embed endpoint
  • Модуль LLM University по представлению текста

Далее мы добавляем запрос, который спрашивает о том, как оставаться в курсе новостей компании.

Мы выбираем search_query в качестве input_type, чтобы модель рассматривала это как запрос (а не документы) для поиска.

Теперь мы хотим найти наиболее релевантные документы по запросу. Мы делаем это, вычисляя сходство между embeddings запроса и каждого из документов.

Существуют различные подходы для вычисления сходства между embeddings, и мы выберем подход с использованием скалярного произведения (dot product).

Каждая пара запрос-документ возвращает оценку, которая представляет…

План урока

  1. Настройка
  2. Векторизация документов
  3. Векторизация запроса
  4. Выполнение семантического поиска
  5. Многоязычный семантический поиск
  6. Заключение

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды