Azure AI Search как векторная база для эмбеддингов

О чём урок

Этот notebook содержит пошаговые инструкции по использованию Azure AI Search (ранее Azure Cognitive Search) как векторной базы данных с OpenAI embeddings. Azure AI Search — это облачный сервис поиска, который предоставляет разработчикам инфраструктуру, API и инструменты для создания многофункционального поиска по частному, гетерогенному контенту в веб-, мобильных и корпоративных приложениях. Для выполнения этого упражнения вам необходимо иметь следующее: Azure AI Search Service OpenAI Key или Azure OpenAI credentials Этот раздел поможет вам настроить аутентификацию для Azure OpenAI, что позволит вам безопасно взаимодействовать с сервисом, используя либо Azure Active Directory (AAD), либо API key. Прежде чем продолжить, убедитесь, что у вас готовы endpoint и credentials для Azure OpenAI. Подробные инструкции по настройке AAD с Azure OpenAI см. в официальной документации. В этом разделе объясняется, как настроить клиент Azure AI Search для интеграции с функцией Vector Store. Вы можете найти данные своего сервиса Azure AI Search на портале Azure или программно с помощью Search Management SDK. id url title text title_vector content_vector vector_id 0 1 https://simple.wikipedia.org/wiki/April April April is the fourth month of the year in the J... [0.001009464613161981, -0.020700545981526375, ... [-0.011253940872848034, -0.013491976074874401,... 0 1 2 https://simple.wikipedia.org/wiki/August August August (Aug.) is the eighth month of the year ... [0.0009286514250561595, 0.000820168002974242, ... [0.0003609954728744924, 0.007262262050062418, ... 1 2 6 https://simple.wikipedia.org/wiki/Art Art Art is a creative activity that expresses imag... [0.003393713850528002, 0.0061537534929811954, ... [-0.004959689453244209, 0.015772193670272827, ... 2 3 8 https://simple.wikipedia.org/wiki/A A A or a is the first letter of the English alph... [0.0153952119871974, -0.013759135268628597, 0.... [0.024894846603274345, -0.022186409682035446, ... 3 4 9 https://simple.wikipedia.org/wiki/Air Air Air refers to the Earth's atmosphere. Air is a... [0.02224554680287838, -0.02044147066771984, -0...

План урока

1. Предварительные требования
2. Импорт необходимых библиотек
3. Настройка параметров OpenAI
4. Настройка параметров Vector Store для Azure AI Search
5. Загрузка данных
6. Создание индекса
7. Загрузка данных в индекс Azure AI Search
8. Выполнение поиска по векторному сходству