О чём урок
Этот notebook предоставляет пошаговые инструкции по использованию Azure Data Explorer (Kusto) в качестве векторной базы данных с OpenAI embeddings.
Этот notebook представляет собой сквозной процесс, включающий:
- Использование предварительно вычисленных embeddings, созданных с помощью OpenAI API.
- Хранение embeddings в Kusto.
- Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
- Использование Kusto для выполнения поиска по косинусному сходству в хранимых embeddings.
Для целей этого упражнения нам необходимо подготовить несколько вещей:
- Экземпляр сервера Azure Data Explorer (Kusto). https://azure.microsoft.com/en-us/products/data-explorer
- Учетные данные Azure OpenAI или ключ OpenAI API.
В этом разделе мы загрузим подготовленные данные embeddings, чтобы вам не пришлось пересчитывать embeddings статей Википедии, используя свои собственные средства.
Создайте таблицу и загрузите векторы в Kusto на основе содержимого dataframe. Опция Spark CreateIfNotExists автоматически создаст таблицу, если она не существует
Ключ OpenAI API используется для векторизации документов и запросов. Вы можете следовать инструкциям для создания и получения вашего ключа и конечной точки Azure OpenAI. https://learn.microsoft.com/en-us/azure/cognitive-services/openai/tutorials/embeddings
Пожалуйста, убедитесь, что используете модель text-embedding-3-small. Поскольку предварительно вычисленные embeddings были созданы с помощью модели text-embedding-3-small, мы также должны использовать ее при поиске.
Запускайте эту cell только если вы планируете использовать Open AI для embedding
Мы будем искать в таблице Kusto ближайшие векторы.
Мы будем использовать UDF series-cosine-similarity-fl для поиска сходства.
Пожалуйста, создайте эту функцию в вашей базе данных, прежде чем продолжить - https://learn.microsoft.com/en-us/azure/data-explorer/kusto/functions-library/series-cosine-similarity-fl?tabs=query-defined
План урока
- Предварительные требования
- Загрузка предварительно вычисленных Embeddings
- Хранение векторов в таблице Kusto
- Подготовьте ваш ключ OpenAI API
- Если вы используете Azure Open AI
- Если вы используете Open AI
- Генерирование embedding для поискового запроса
- Семантический поиск в Kusto
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.