Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 08 · Текст · ~5 мин

Семантический поиск по Википедии на эмбеддингах Cohere

Урок 8 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот ноутбук содержит начальный код для выполнения простого семантического поиска в архивах Wikipedia embeddings, опубликованных Cohere. Эти архивы содержат embedding-представления сайтов Википедии на нескольких языках. В этом примере мы будем использовать Wikipedia Simple English.

Теперь загрузим 1000 записей из архива English Wikipedia embeddings, чтобы затем выполнить по ним поиск.

Теперь doc_embeddings содержит embeddings первых 1000 документов в наборе данных. Каждый документ представлен как вектор embeddings из 768 значений.

Теперь мы можем искать по этим векторам любой нужный нам запрос. Для этого простого примера мы зададим вопрос о Википедии, так как знаем, что страница Википедии включена в первые 1000 документов, которые мы здесь использовали.

Для поиска мы создаем embedding запроса, затем находим ближайших соседей к его embedding (используя скалярное произведение).

Это показывает три наиболее релевантных отрывка для запроса. Мы можем получить больше результатов, изменив значение k. Вопрос в этой простой демонстрации касается Википедии, потому что мы знаем, что страница Википедии является частью документов в этом подмножестве архива.

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды