Отправляем первый запрос

О чём урок

Добро пожаловать в мир больших языковых моделей (LLM) и облачных вычислений! В этом уроке мы погрузимся в процесс взаимодействия с моделью Claude от Anthropic, используя управляемый сервис Amazon Web Services (AWS) под названием Bedrock. AWS Bedrock предоставляет унифицированный API для доступа к различным LLM, упрощая их интеграцию в ваши приложения. Наша цель — понять, как отправить первый API-запрос к Claude через Bedrock и получить от него ответ.

Для успешной отправки запроса вам потребуются три ключевых компонента: клиент Bedrock Runtime для подключения к сервису, идентификатор модели (Model ID), чтобы указать, какую именно модель вы хотите использовать, и пользовательское сообщение (User Message), содержащее текст, который вы хотите передать модели.

Прежде чем мы сможем взаимодействовать с Claude, нам необходимо установить соединение с сервисом Bedrock Runtime. В контексте Python это обычно делается с помощью библиотеки boto3, официального AWS SDK для Python. Создание клиента — это первый шаг к программному доступу к функционалу Bedrock.

Представьте, что вы создаете "мост" между вашим приложением и сервисами AWS. Этот мост представлен объектом клиента, который затем будет использоваться для всех последующих запросов. Например, в Python это выглядело бы так:

Здесь region_name указывает на регион AWS, к которому вы подключаетесь. Выбор правильного региона важен, о чем мы поговорим далее.

В экосистеме AWS не все сервисы и модели доступны во всех регионах. Это особенно актуально для LLM, таких как Claude. Каждая модель имеет свой уникальный Model ID, который вы используете для ее вызова. Однако, если вы попытаетесь запустить модель, которая не развернута в выбранном вами регионе AWS, вы получите ошибку, указывающую на отсутствие модели.

Например, если Claude Sonnet доступен в регионе us-west-2, но вы отправляете запросы из us-east-1, ваш запрос завершится неудачей. Это может быть источником путаницы и ошибок, особенно при работе с несколькими регионами или при попытке использовать новейшие модели, которые могут быть доступны только в ограниченном числе регионов.

Чтобы упростить…

План урока

1. Введение: Отправка первого запроса к Claude через AWS Bedrock
2. Настройка клиента Bedrock Runtime
3. Идентификаторы моделей и региональная доступность
4. Решение проблемы региональной доступности: Профили вывода (Inference Profiles)
5. Формирование пользовательских сообщений (User Messages)
6. Отправка запроса и обработка ответа
7. Типы сообщений в диалоге: User и Assistant
8. Заключение