О чём урок
В этом notebook'е показано, как реализовать систему ответов на вопросы с использованием Langchain, Tair в качестве базы знаний и OpenAI embeddings. Если вы не знакомы с Tair, рекомендуется ознакомиться с Getting_started_with_Tair_and_OpenAI.ipynb notebook'ом.
Этот notebook демонстрирует сквозной процесс, включающий:
- Вычисление embeddings с помощью OpenAI API.
- Хранение embeddings в экземпляре Tair для создания базы знаний.
- Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
- Использование Tair для выполнения поиска ближайших соседей в созданной коллекции для нахождения контекста.
- Запрос к LLM для поиска ответа в заданном контексте.
Все шаги будут упрощены до вызова соответствующих методов Langchain.
Для выполнения этого упражнения нам необходимо подготовить несколько вещей: облачный экземпляр Tair. Langchain в качестве фреймворка. Ключ OpenAI API.
Для этого notebook'а требуются следующие пакеты Python: openai, tiktoken, langchain и tair.
- openai предоставляет удобный доступ к OpenAI API.
- tiktoken — это быстрый BPE токенизатор для использования с моделями OpenAI.
- langchain помогает нам проще создавать приложения с LLM.
- Библиотека tair используется для взаимодействия с векторной базой данных Tair.
Ключ OpenAI API используется для векторизации документов и запросов.
Если у вас нет ключа OpenAI API, вы можете получить его по ссылке [https://platform.openai.com/account/api-keys ).
После получения ключа, пожалуйста, добавьте его с помощью getpass.
Для установки соединения с Tair вам потребуется TAIR_URL.
В этом разделе мы загрузим данные, содержащие естественные вопросы и ответы на них. Все эти данные будут использованы для создания приложения Langchain, где Tair будет выступать в качестве базы знаний.
Langchain уже интегрирован с Tair и выполняет всю индексацию для заданного списка документов. В нашем случае мы будем хранить набор имеющихся у нас ответов.
На этом этапе все возможные ответы уже хранятся в Tair, поэтому мы можем определить всю цепочку QA.
После того как данные помещены в Tair, мы можем начать задавать вопросы.
Тип цепочки stuff в Langchain…
План урока
- Предварительные требования
- Установка зависимостей
- Подготовьте ваш ключ OpenAI API
- Подготовьте ваш URL Tair
- Загрузка данных
- Определение цепочки
- Поиск данных
- Пользовательские шаблоны prompt'ов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.