Azure AI Search как векторная база для ChatGPT

Урок 149 из 299 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook содержит пошаговые инструкции по использованию Azure AI Search (ранее Azure Cognitive Search) в качестве векторной базы данных с OpenAI embeddings, а затем по созданию Azure Function поверх него для подключения к Custom GPT в ChatGPT. Это может быть решением для клиентов, желающих настроить инфраструктуру RAG полностью в Azure и предоставить ее в качестве endpoint'а для интеграции с другими платформами, такими как ChatGPT. Azure AI Search — это облачный поисковый сервис, который предоставляет разработчикам инфраструктуру, API и инструменты для создания многофункционального поиска по частному, гетерогенному контенту в веб-, мобильных и корпоративных приложениях. Azure Functions — это бессерверный вычислительный сервис, который выполняет управляемый событиями код, автоматически управляя инфраструктурой, масштабированием и интегрируясь с другими сервисами Azure. Для выполнения этого упражнения у вас должно быть следующее: Пользователь Azure с разрешением на создание Azure AI Search Service и Azure Function Apps ID подписки Azure и группу ресурсов. OpenAI Key Ниже представлена диаграмма архитектуры этого решения, которую мы рассмотрим шаг за шагом. Примечание: Этот архитектурный шаблон "векторное хранилище данных + бессерверные функции" может быть экстраполирован на другие векторные хранилища данных. Например, если вы захотите использовать что-то вроде Postgres в Azure, вам нужно будет изменить шаг Настройка параметров Azure AI Search для настройки требований к Postgres, вы измените Создание Azure AI Vector Search, чтобы вместо этого создать базу данных и таблицу в Postgres, и обновите код function_app.py в этом репозитории для запроса Postgres вместо Azure AI Search. Подготовка данных и создание Azure Function останутся неизменными. Настройка среды Настройка среды путем установки и импорта необходимых библиотек и конфигурирования наших параметров Azure. Включает: Установка и импорт необходимых библиотек Настройка параметров OpenAI Настройка параметров Azure AI Search Подготовка данных Подготовка данных для загрузки путем embedding документов, а также сбора дополнительных метаданных. В качестве примера данных для этого мы будем использовать подмножество документации OpenAI.

План урока

  1. Предварительные требования
  2. Установка и импорт необходимых библиотек
  3. Настройка параметров OpenAI
  4. Настройка параметров Azure AI Search
  5. Создание и настройка Azure AI Search Service
  6. Получение API Key поискового сервиса
  7. Создание индекса
  8. Загрузка данных

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Урок входит в темы

Полезные гиды