О чём урок
Этот notebook демонстрирует, как реализовать систему вопросов и ответов с использованием Langchain, AnalyticDB в качестве базы знаний и OpenAI embeddings. Если вы не знакомы с AnalyticDB, рекомендуется ознакомиться с notebook'ом Getting_started_with_AnalyticDB_and_OpenAI.ipynb.
Этот notebook представляет сквозной процесс, включающий:
- Вычисление embeddings с помощью OpenAI API.
- Хранение embeddings в экземпляре AnalyticDB для создания базы знаний.
- Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
- Использование AnalyticDB для выполнения поиска ближайших соседей в созданной коллекции для нахождения контекста.
- Запрос к LLM для нахождения ответа в заданном контексте.
Все шаги будут упрощены до вызова соответствующих методов Langchain.
Для выполнения этого упражнения нам необходимо подготовить несколько вещей: Облачный экземпляр AnalyticDB. Langchain в качестве фреймворка. Ключ OpenAI API.
Для этого notebook'а требуются следующие пакеты Python: openai, tiktoken, langchain и psycopg2cffi.
- openai предоставляет удобный доступ к OpenAI API.
- tiktoken — это быстрый BPE токенизатор для использования с моделями OpenAI.
- langchain помогает нам проще создавать приложения с LLM.
- Библиотека psycopg2cffi используется для взаимодействия с векторной базой данных, но любая другая клиентская библиотека PostgreSQL также приемлема.
Ключ OpenAI API используется для векторизации документов и запросов.
Если у вас нет ключа OpenAI API, вы можете получить его по ссылке [https://platform.openai.com/account/api-keys ).
После получения ключа, пожалуйста, добавьте его в свои переменные окружения как OPENAI_API_KEY, выполнив следующую команду:
Для создания строки подключения к AnalyticDB вам потребуются следующие параметры: PG_HOST, PG_PORT, PG_DATABASE, PG_USER и PG_PASSWORD. Сначала необходимо экспортировать их, чтобы установить корректную строку подключения. Затем создайте строку подключения.
В этом разделе мы загрузим данные, содержащие естественные вопросы и ответы на них. Все данные будут использованы для создания приложения Langchain, где AnalyticDB будет выступать в качестве базы знаний.
Langchain уже интегрирован с AnalyticDB и выполняет всю индексацию для заданного списка документов.
На этом этапе все возможные ответы уже…
План урока
- Предварительные требования
- Установка требований
- Подготовка ключа OpenAI API
- Подготовка строки подключения к AnalyticDB
- Загрузка данных
- Определение цепочки
- Поиск данных
- Пользовательские шаблоны prompt'ов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.