Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 158 · Текст · ~5 мин

Use Mistral with Kong AI Gateway

Урок 158 из 161 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Доступ к моделям Mistral через Kong AI Gateway с использованием Mistral Python SDK.

AI-шлюз находится между вашими приложениями и поставщиками моделей, к которым они обращаются. Приложения отправляют свои запросы шлюзу вместо поставщика, а шлюз перенаправляет их. Поскольку весь трафик моделей проходит через одно место, шлюз может хранить ключи API поставщика, записывать использование токенов и применять политики, такие как ограничения скорости, без изменений в коде приложения.

Kong AI Gateway — это AI-шлюз от Kong, который также создает Kong Gateway для API-трафика. Вы настраиваете его в Kong Konnect, размещенной плоскости управления Kong. Узлы плоскости данных, которые вы запускаете, например, в Docker на вашей машине, обрабатывают запросы. Mistral — один из поддерживаемых поставщиков моделей для завершения чатов и встраиваний.

В этом руководстве вы добавите Mistral в AI Gateway в качестве поставщика и модели с помощью kongctl. Затем вы направите Mistral Python SDK на плоскость данных шлюза и отправите запросы чата, с потоковой передачей и без нее. Kong добавляет ваш ключ API Mistral к каждому запросу, поэтому ваш клиентский код не хранит его.

Для выполнения этого руководства вам потребуется:

  • Python 3.10 или новее
  • Учетная запись Mistral и ключ API
  • Учетная запись Kong Konnect с AI Gateway и запущенной плоскостью данных. Скрипт быстрого запуска в предварительных условиях руководства по началу работы с AI Gateway от Kong создает и запускает плоскость данных в Docker на вашей машине.
  • kongctl, инструмент командной строки Kong для Konnect, с выполненным входом через kongctl login

Это руководство было протестировано с Kong AI Gateway 2.3, kongctl 1.15 и mistralai 3.7.0.

Установите Mistral Python SDK:

Для выполнения этого руководства вам понадобится ключ API Mistral. В Studio перейдите в раздел API keys и создайте новый ключ API.

Вам также понадобятся два значения из вашего AI Gateway:

  • AI_GATEWAY_ID: ID вашего AI Gateway. Скрипт быстрого запуска выводит его, а kongctl get…

План урока

  1. Предварительные условия
  2. Настройка окружения
  3. Установка
  4. Требуемые переменные окружения
  5. Проверка AI Gateway
  6. 1. Добавление Mistral в AI Gateway
  7. 2. Отправка запроса чата через Kong
  8. 3. Потоковая передача ответа

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 79 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды