О чём урок
Этот ноутбук содержит начальный код для выполнения простого семантического поиска в архивах Wikipedia embeddings, опубликованных Cohere. Эти архивы содержат embedding-представления сайтов Википедии на нескольких языках. В этом примере мы будем использовать Wikipedia Simple English. Теперь загрузим 1000 записей из архива English Wikipedia embeddings, чтобы затем выполнить по ним поиск. Теперь doc_embeddings содержит embeddings первых 1000 документов в наборе данных. Каждый документ представлен как вектор embeddings из 768 значений. Теперь мы можем искать по этим векторам любой нужный нам запрос. Для этого простого примера мы зададим вопрос о Википедии, так как знаем, что страница Википедии включена в первые 1000 документов, которые мы здесь использовали. Для поиска мы создаем embedding запроса, затем находим ближайших соседей к его embedding (используя скалярное произведение). Это показывает три наиболее релевантных отрывка для запроса. Мы можем получить больше результатов, изменив значение k. Вопрос в этой простой демонстрации касается Википедии, потому что мы знаем, что страница Википедии является частью документов в этом подмножестве архива.
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.