О чём урок
Этот notebook демонстрирует, как:
- Индексировать векторный набор данных Википедии от OpenAI в Elasticsearch
- Создать embedding для вопроса с помощью endpoint'а embeddings от OpenAI
- Выполнить семантический поиск по индексу Elasticsearch, используя закодированный вопрос
- Отправить лучшие результаты поиска в API endpoint Chat Completions от OpenAI для генерации с дополненной выборкой (RAG)
ℹ️ Если вы уже ознакомились с нашим notebook'ом по семантическому поиску, вы можете перейти сразу к последнему шагу!
ℹ️ Для этого notebook'а мы используем развертывание Elasticsearch в Elastic Cloud. Если у вас еще нет развертывания Elastic, вы можете зарегистрироваться для получения бесплатной пробной версии Elastic Cloud.
Для подключения к Elasticsearch вам необходимо создать экземпляр клиента с Cloud ID и паролем для вашего развертывания.
Найдите Cloud ID для вашего развертывания, перейдя по ссылке https://cloud.elastic.co/deployments и выбрав ваше развертывание.
На этом шаге мы загружаем набор данных embeddings Википедии от OpenAI и извлекаем zip-файл.
Далее мы используем библиотеку Pandas для чтения распакованного CSV-файла в DataFrame. Этот шаг упрощает массовую индексацию данных в Elasticsearch.
Теперь нам нужно создать индекс Elasticsearch с необходимыми маппингами. Это позволит нам индексировать данные в Elasticsearch.
Мы используем тип поля dense_vector для полей title_vector и content_vector. Это специальный тип поля, который позволяет нам хранить плотные векторы в Elasticsearch.
Позже нам потребуется использовать поле dense_vector для kNN-поиска.
Следующая функция генерирует необходимые bulk-действия, которые могут быть переданы в Bulk API Elasticsearch, чтобы мы могли эффективно индексировать несколько документов за один запрос.
Для каждой строки в DataFrame функция возвращает словарь, представляющий один документ для индексации.
Поскольку DataFrame большой, мы будем индексировать данные batch'ами по 100. Мы индексируем данные в Elasticsearch, используя helpers Python-клиента для Bulk API.
Проверим индекс с помощью простого match-запроса.
План урока
- Установка пакетов и импорт модулей
- Подключение к Elasticsearch
- Загрузка набора данных
- Чтение CSV-файла в Pandas DataFrame.
- Создание индекса с маппингом
- Индексация данных в Elasticsearch
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.