О чём урок
Этот notebook демонстрирует, как реализовать систему вопросов и ответов с Langchain, используя Qdrant в качестве базы знаний и OpenAI embeddings. Если вы не знакомы с Qdrant, рекомендуется ознакомиться с Getting_started_with_Qdrant_and_OpenAI.ipynb notebook.
Этот notebook представляет сквозной процесс, включающий:
- Вычисление embeddings с помощью OpenAI API.
- Хранение embeddings в локальном экземпляре Qdrant для создания базы знаний.
- Преобразование необработанного текстового запроса в embedding с помощью OpenAI API.
- Использование Qdrant для выполнения nearest neighbour search в созданной коллекции для нахождения контекста.
- Запрос к LLM для поиска ответа в заданном контексте.
Все шаги будут упрощены до вызова соответствующих методов Langchain.
Для выполнения этого упражнения нам необходимо подготовить несколько вещей:
- Экземпляр сервера Qdrant. В нашем случае это локальный Docker-контейнер.
- Библиотека qdrant-client для взаимодействия с векторной базой данных.
- Langchain как фреймворк.
- Ключ API OpenAI.
Мы будем использовать локальный экземпляр Qdrant, работающий в Docker-контейнере. Самый простой способ запустить его — использовать приложенный файл [docker-compose.yaml] и выполнить следующую команду:
Мы можем проверить, успешно ли запущен сервер, выполнив простую команду curl:
Этот notebook, очевидно, требует установки пакетов openai, langchain и qdrant-client.
Ключ OpenAI API используется для векторизации документов и запросов.
Если у вас нет ключа OpenAI API, вы можете получить его по адресу https://beta.openai.com/account/api-keys.
Как только вы получите ключ, добавьте его в переменные окружения как OPENAI_API_KEY, выполнив следующую команду:
В этом разделе мы загрузим данные, содержащие естественные вопросы и ответы на них. Все данные будут использованы для создания приложения Langchain, где Qdrant будет выступать в качестве базы знаний.
Langchain уже интегрирован с Qdrant и выполняет всю индексацию для заданного списка документов. В нашем случае мы будем хранить имеющийся у нас набор ответов.
На этом этапе все возможные ответы уже хранятся в Qdrant, поэтому мы можем определить всю цепочку QA.
Как только данные помещены в Qdrant, мы можем начать…
План урока
- Предварительные условия
- Запуск сервера Qdrant
- Установка требований
- Подготовьте ваш ключ OpenAI API
- Загрузка данных
- Определение цепочки
- Поиск данных
- Пользовательские шаблоны prompt
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.