О чём урок
Доступ к моделям Mistral через Kong AI Gateway с использованием Mistral Python SDK.
AI-шлюз находится между вашими приложениями и поставщиками моделей, к которым они обращаются. Приложения отправляют свои запросы шлюзу вместо поставщика, а шлюз перенаправляет их. Поскольку весь трафик моделей проходит через одно место, шлюз может хранить ключи API поставщика, записывать использование токенов и применять политики, такие как ограничения скорости, без изменений в коде приложения.
Kong AI Gateway — это AI-шлюз от Kong, который также создает Kong Gateway для API-трафика. Вы настраиваете его в Kong Konnect, размещенной плоскости управления Kong. Узлы плоскости данных, которые вы запускаете, например, в Docker на вашей машине, обрабатывают запросы. Mistral — один из поддерживаемых поставщиков моделей для завершения чатов и встраиваний.
В этом руководстве вы добавите Mistral в AI Gateway в качестве поставщика и модели с помощью kongctl. Затем вы направите Mistral Python SDK на плоскость данных шлюза и отправите запросы чата, с потоковой передачей и без нее. Kong добавляет ваш ключ API Mistral к каждому запросу, поэтому ваш клиентский код не хранит его.
Для выполнения этого руководства вам потребуется:
- Python 3.10 или новее
- Учетная запись Mistral и ключ API
- Учетная запись Kong Konnect с AI Gateway и запущенной плоскостью данных. Скрипт быстрого запуска в предварительных условиях руководства по началу работы с AI Gateway от Kong создает и запускает плоскость данных в Docker на вашей машине.
- kongctl, инструмент командной строки Kong для Konnect, с выполненным входом через kongctl login
Это руководство было протестировано с Kong AI Gateway 2.3, kongctl 1.15 и mistralai 3.7.0.
Установите Mistral Python SDK:
Для выполнения этого руководства вам понадобится ключ API Mistral. В Studio перейдите в раздел API keys и создайте новый ключ API.
Вам также понадобятся два значения из вашего AI Gateway:
- AI_GATEWAY_ID: ID вашего AI Gateway. Скрипт быстрого запуска выводит его, а kongctl get…
План урока
- Предварительные условия
- Настройка окружения
- Установка
- Требуемые переменные окружения
- Проверка AI Gateway
- 1. Добавление Mistral в AI Gateway
- 2. Отправка запроса чата через Kong
- 3. Потоковая передача ответа
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.