О чём урок
Этот notebook демонстрирует, как реализовать систему вопросов и ответов с использованием Langchain, AnalyticDB в качестве базы знаний и OpenAI embeddings. Если вы не знакомы с AnalyticDB, рекомендуется ознакомиться с notebook'ом Getting_started_with_AnalyticDB_and_OpenAI.ipynb. Этот notebook представляет сквозной процесс, включающий: Вычисление embeddings с помощью OpenAI API. Хранение embeddings в экземпляре AnalyticDB для создания базы знаний. Преобразование необработанного текстового запроса в embedding с помощью OpenAI API. Использование AnalyticDB для выполнения поиска ближайших соседей в созданной коллекции для нахождения контекста. Запрос к LLM для нахождения ответа в заданном контексте. Все шаги будут упрощены до вызова соответствующих методов Langchain. Для выполнения этого упражнения нам необходимо подготовить несколько вещей: Облачный экземпляр AnalyticDB. Langchain в качестве фреймворка. Ключ OpenAI API. Для этого notebook'а требуются следующие пакеты Python: openai, tiktoken, langchain и psycopg2cffi. openai предоставляет удобный доступ к OpenAI API. tiktoken — это быстрый BPE токенизатор для использования с моделями OpenAI. langchain помогает нам проще создавать приложения с LLM. Библиотека psycopg2cffi используется для взаимодействия с векторной базой данных, но любая другая клиентская библиотека PostgreSQL также приемлема. Ключ OpenAI API используется для векторизации документов и запросов. Если у вас нет ключа OpenAI API, вы можете получить его по ссылке [https://platform.openai.com/account/api-keys ). После получения ключа, пожалуйста, добавьте его в свои переменные окружения как OPENAI_API_KEY, выполнив следующую команду: Для создания строки подключения к AnalyticDB вам потребуются следующие параметры: PG_HOST, PG_PORT, PG_DATABASE, PG_USER и PG_PASSWORD. Сначала необходимо экспортировать их, чтобы установить корректную строку подключения. Затем создайте строку подключения. В этом разделе мы загрузим данные, содержащие естественные вопросы и ответы на них. Все данные будут использованы для создания приложения Langchain, где AnalyticDB будет выступать в качестве базы знаний. Langchain уже интегрирован с AnalyticDB и выполняет всю индексацию для заданного списка документов.
План урока
- Предварительные требования
- Установка требований
- Подготовка ключа OpenAI API
- Подготовка строки подключения к AnalyticDB
- Загрузка данных
- Определение цепочки
- Поиск данных
- Пользовательские шаблоны prompt'ов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.