Cohere на AWS: RAG на Bedrock и SageMaker

О чём урок

Большие языковые модели (LLM) доказали свою эффективность в выполнении задач генерации текста и поддержании контекста разговора в чате. Однако иногда мы можем столкнуться со сценарием, когда LLM галлюцинирует и предоставляет фактически неточные ответы на заданный вопрос. Это особенно актуально в бизнес-среде, где компании обладают проприетарными данными, которые LLM не видела на этапе обучения. Генерация с дополненным поиском (RAG) устраняет этот пробел, позволяя LLM интегрировать внешние источники данных и использовать их при генерации ответов. Это значительно минимизирует проблему галлюцинаций, делая ответы модели более точными и надежными. Сначала мы настраиваем клиенты для Bedrock (будет использоваться для Chat и Embed) и SageMaker (будет использоваться для Rerank), используя те же шаги, что и в предыдущих главах. Здесь мы называем клиенты co_br для Bedrock и co_sm для SageMaker. Для использования Bedrock мы создаем BedrockClient, передавая необходимые учетные данные AWS. Позже нам потребуется создать конечную точку SageMaker, которая предоставляет доступ к модели Cohere (в нашем случае Rerank v3). Для этого мы будем использовать cohere_aws SDK, который упрощает настройку конечной точки, вместе с библиотекой AWS boto3. После создания конечной точки (как мы покажем далее) мы можем получить к ней доступ с помощью cohere SDK. Для этого давайте создадим SagemakerClient, передав необходимые учетные данные AWS. Следующим шагом является создание конечной точки Rerank SageMaker путем определения Amazon Resource Names (ARN) пакета модели для модели Rerank. ARN — это идентификационная строка для ресурса SageMaker, и она различается между регионами, где доступен ресурс. Здесь мы определяем пакет Cohere для модели Rerank и сопоставляем пакет модели с каждым регионом, что дает полный ARN для каждого региона. Начнем с быстрого примера, чтобы понять ключевые аспекты RAG. В RAG первым шагом является определение документов, к которым будет иметь доступ LLM. Здесь у нас есть короткий список простых документов.