Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 260 · Текст · ~5 мин

Семантический поиск на Elasticsearch

Урок 260 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook демонстрирует, как:

  • Индексировать векторный набор данных Wikipedia от OpenAI в Elasticsearch
  • Создать embedding вопроса с помощью `embeddings` endpoint OpenAI
  • Выполнить семантический поиск по индексу Elasticsearch, используя закодированный вопрос

ℹ️ Для этого notebook мы используем развертывание Elasticsearch в Elastic Cloud. Если у вас еще нет развертывания Elastic, вы можете зарегистрироваться для получения бесплатной пробной версии Elastic Cloud.

Для подключения к Elasticsearch необходимо создать экземпляр клиента, используя Cloud ID и пароль вашего развертывания.

Найдите Cloud ID для вашего развертывания, перейдя по ссылке https://cloud.elastic.co/deployments и выбрав ваше развертывание.

На этом шаге мы загружаем набор данных embeddings Wikipedia от OpenAI и извлекаем zip-файл.

Далее мы используем библиотеку Pandas для чтения распакованного CSV-файла в DataFrame. Этот шаг упрощает массовую индексацию данных в Elasticsearch.

Теперь нам необходимо создать индекс Elasticsearch с необходимыми маппингами. Это позволит нам индексировать данные в Elasticsearch.

Мы используем тип поля dense_vector для полей title_vector и content_vector. Это специальный тип поля, который позволяет нам хранить плотные векторы в Elasticsearch.

Позже нам потребуется нацеливаться на поле dense_vector для kNN поиска.

Следующая функция генерирует необходимые bulk-действия, которые могут быть переданы в Bulk API Elasticsearch, чтобы мы могли эффективно индексировать несколько документов за один запрос.

Для каждой строки в DataFrame функция возвращает (yields) словарь, представляющий один документ для индексации.

Поскольку DataFrame большой, мы будем индексировать данные batch-ами по 100 элементов. Мы индексируем данные в Elasticsearch, используя helpers Python-клиента для Bulk API.

Давайте протестируем индекс с помощью простого match-запроса.

План урока

  1. Установка пакетов и импорт модулей
  2. Подключение к Elasticsearch
  3. Загрузка набора данных
  4. Чтение CSV-файла в Pandas DataFrame
  5. Создание индекса с маппингом
  6. Индексация данных в Elasticsearch

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды