Чат-модели в Azure OpenAI: настройка через портал

О чём урок

Примечание: Доступна более новая версия библиотеки openai. См. https://github.com/openai/openai-python/discussions/742 В этом примере рассматривается использование chat completions с помощью службы Azure OpenAI. Сначала установим необходимые зависимости. Для корректной работы следующих разделов необходимо сначала выполнить некоторые настройки. Начнем с api_base и api_version. Чтобы найти свой api_base, перейдите по ссылке https://portal.azure.com, найдите свой ресурс, а затем в разделе "Resource Management" -> "Keys and Endpoints" найдите значение "Endpoint". Далее необходимо настроить api_type и api_key. Мы можем получить ключ либо с портала, либо через аутентификацию Microsoft Active Directory. В зависимости от этого api_type будет либо azure, либо azure_ad. Сначала рассмотрим получение ключа с портала. Перейдите по ссылке https://portal.azure.com, найдите свой ресурс, а затем в разделе "Resource Management" -> "Keys and Endpoints" найдите одно из значений "Keys". Примечание: В этом примере мы настроили библиотеку для использования Azure API, задав переменные в коде. Для разработки рассмотрите возможность установки переменных окружения вместо этого: Теперь рассмотрим, как получить ключ через аутентификацию Microsoft Active Directory. Раскомментируйте следующий код, если вы хотите использовать аутентификацию Active Directory вместо ключей с портала. Токен действителен в течение определенного периода времени, после чего он истекает. Чтобы гарантировать отправку действительного токена с каждым запросом, вы можете обновить истекающий токен, используя механизм requests.auth: В этом разделе мы создадим развертывание с использованием модели gpt-35-turbo, которое затем сможем использовать для создания chat completions. Создадим развертывание с использованием модели gpt-35-turbo. Перейдите по ссылке https://portal.azure.com, найдите свой ресурс, а затем в разделе "Resource Management" -> "Model deployments" создайте новое развертывание gpt-35-turbo. Теперь отправим пример chat completion в развертывание. Мы также можем получать ответ в режиме streaming.

План урока

1. Настройка
2. Настройка: Портал
3. (Необязательно) Настройка: Аутентификация Microsoft Active Directory
4. Развертывания
5. Развертывания: Создание вручную
6. Создание chat completion