О чём урок
В этом notebook'е показано, как реализовать систему ответов на вопросы с использованием Langchain, Tair в качестве базы знаний и OpenAI embeddings. Если вы не знакомы с Tair, рекомендуется ознакомиться с Getting_started_with_Tair_and_OpenAI.ipynb notebook'ом. Этот notebook демонстрирует сквозной процесс, включающий: Вычисление embeddings с помощью OpenAI API. Хранение embeddings в экземпляре Tair для создания базы знаний. Преобразование необработанного текстового запроса в embedding с помощью OpenAI API. Использование Tair для выполнения поиска ближайших соседей в созданной коллекции для нахождения контекста. Запрос к LLM для поиска ответа в заданном контексте. Все шаги будут упрощены до вызова соответствующих методов Langchain. Для выполнения этого упражнения нам необходимо подготовить несколько вещей: облачный экземпляр Tair. Langchain в качестве фреймворка. Ключ OpenAI API. Для этого notebook'а требуются следующие пакеты Python: openai, tiktoken, langchain и tair. openai предоставляет удобный доступ к OpenAI API. tiktoken — это быстрый BPE токенизатор для использования с моделями OpenAI. langchain помогает нам проще создавать приложения с LLM. Библиотека tair используется для взаимодействия с векторной базой данных Tair. Ключ OpenAI API используется для векторизации документов и запросов. Если у вас нет ключа OpenAI API, вы можете получить его по ссылке [https://platform.openai.com/account/api-keys ). После получения ключа, пожалуйста, добавьте его с помощью getpass. Для установки соединения с Tair вам потребуется TAIR_URL. В этом разделе мы загрузим данные, содержащие естественные вопросы и ответы на них. Все эти данные будут использованы для создания приложения Langchain, где Tair будет выступать в качестве базы знаний. Langchain уже интегрирован с Tair и выполняет всю индексацию для заданного списка документов. В нашем случае мы будем хранить набор имеющихся у нас ответов. На этом этапе все возможные ответы уже хранятся в Tair, поэтому мы можем определить всю цепочку QA. После того как данные помещены в Tair, мы можем начать задавать вопросы.
План урока
- Предварительные требования
- Установка зависимостей
- Подготовьте ваш ключ OpenAI API
- Подготовьте ваш URL Tair
- Загрузка данных
- Определение цепочки
- Поиск данных
- Пользовательские шаблоны prompt'ов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.