О чём урок
Этот notebook предоставляет пошаговые инструкции по использованию Azure Data Explorer (Kusto) в качестве векторной базы данных с OpenAI embeddings. Этот notebook представляет собой сквозной процесс, включающий: Использование предварительно вычисленных embeddings, созданных с помощью OpenAI API. Хранение embeddings в Kusto. Преобразование необработанного текстового запроса в embedding с помощью OpenAI API. Использование Kusto для выполнения поиска по косинусному сходству в хранимых embeddings. Для целей этого упражнения нам необходимо подготовить несколько вещей: Экземпляр сервера Azure Data Explorer (Kusto). https://azure.microsoft.com/en-us/products/data-explorer Учетные данные Azure OpenAI или ключ OpenAI API. В этом разделе мы загрузим подготовленные данные embeddings, чтобы вам не пришлось пересчитывать embeddings статей Википедии, используя свои собственные средства. id url title text title_vector content_vector vector_id 0 1 https://simple.wikipedia.org/wiki/April April April is the fourth month of the year in the J... [0.001009464613161981, -0.020700545981526375, ... [-0.011253940872848034, -0.013491976074874401,... 0 1 2 https://simple.wikipedia.org/wiki/August August August (Aug.) is the eighth month of the year ... [0.0009286514250561595, 0.000820168002974242, ... [0.0003609954728744924, 0.007262262050062418, ... 1 2 6 https://simple.wikipedia.org/wiki/Art Art Art is a creative activity that expresses imag... [0.003393713850528002, 0.0061537534929811954, ... [-0.004959689453244209, 0.015772193670272827, ... 2 3 8 https://simple.wikipedia.org/wiki/A A A or a is the first letter of the English alph... [0.0153952119871974, -0.013759135268628597, 0.... [0.024894846603274345, -0.022186409682035446, ... 3 4 9 https://simple.wikipedia.org/wiki/Air Air Air refers to the Earth's atmosphere. Air is a... [0.02224554680287838, -0.02044147066771984, -0... [0.021524671465158463, 0.018522677943110466, -... 4 Создайте таблицу и загрузите векторы в Kusto на основе содержимого dataframe. Опция Spark CreateIfNotExists автоматически создаст таблицу, если она не существует Ключ OpenAI API используется для векторизации документов и запросов.
План урока
- Предварительные требования
- Загрузка предварительно вычисленных Embeddings
- Хранение векторов в таблице Kusto
- Подготовьте ваш ключ OpenAI API
- Если вы используете Azure Open AI
- Если вы используете Open AI
- Генерирование embedding для поискового запроса
- Семантический поиск в Kusto
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.