Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 262 · Текст · ~5 мин

Kusto как векторная база для эмбеддингов

Урок 262 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook предоставляет пошаговые инструкции по использованию Azure Data Explorer (Kusto) в качестве векторной базы данных с OpenAI embeddings.

Этот notebook представляет собой сквозной процесс, включающий:

  1. Использование предварительно вычисленных embeddings, созданных с помощью OpenAI API.
  2. Хранение embeddings в Kusto.
  3. Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
  4. Использование Kusto для выполнения поиска по косинусному сходству в хранимых embeddings.

Для целей этого упражнения нам необходимо подготовить несколько вещей:

  1. Экземпляр сервера Azure Data Explorer (Kusto). https://azure.microsoft.com/en-us/products/data-explorer
  2. Учетные данные Azure OpenAI или ключ OpenAI API.

В этом разделе мы загрузим подготовленные данные embeddings, чтобы вам не пришлось пересчитывать embeddings статей Википедии, используя свои собственные средства.

Создайте таблицу и загрузите векторы в Kusto на основе содержимого dataframe. Опция Spark CreateIfNotExists автоматически создаст таблицу, если она не существует

Ключ OpenAI API используется для векторизации документов и запросов. Вы можете следовать инструкциям для создания и получения вашего ключа и конечной точки Azure OpenAI. https://learn.microsoft.com/en-us/azure/cognitive-services/openai/tutorials/embeddings

Пожалуйста, убедитесь, что используете модель text-embedding-3-small. Поскольку предварительно вычисленные embeddings были созданы с помощью модели text-embedding-3-small, мы также должны использовать ее при поиске.

Запускайте эту cell только если вы планируете использовать Open AI для embedding

Мы будем искать в таблице Kusto ближайшие векторы.

Мы будем использовать UDF series-cosine-similarity-fl для поиска сходства.

Пожалуйста, создайте эту функцию в вашей базе данных, прежде чем продолжить - https://learn.microsoft.com/en-us/azure/data-explorer/kusto/functions-library/series-cosine-similarity-fl?tabs=query-defined

План урока

  1. Предварительные требования
  2. Загрузка предварительно вычисленных Embeddings
  3. Хранение векторов в таблице Kusto
  4. Подготовьте ваш ключ OpenAI API
  5. Если вы используете Azure Open AI
  6. Если вы используете Open AI
  7. Генерирование embedding для поискового запроса
  8. Семантический поиск в Kusto

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды