О чём урок
Этот notebook демонстрирует, как реализовать систему вопросов и ответов с Langchain, используя Qdrant в качестве базы знаний и OpenAI embeddings. Если вы не знакомы с Qdrant, рекомендуется ознакомиться с Getting_started_with_Qdrant_and_OpenAI.ipynb notebook. Этот notebook представляет сквозной процесс, включающий: Вычисление embeddings с помощью OpenAI API. Хранение embeddings в локальном экземпляре Qdrant для создания базы знаний. Преобразование необработанного текстового запроса в embedding с помощью OpenAI API. Использование Qdrant для выполнения nearest neighbour search в созданной коллекции для нахождения контекста. Запрос к LLM для поиска ответа в заданном контексте. Все шаги будут упрощены до вызова соответствующих методов Langchain. Для выполнения этого упражнения нам необходимо подготовить несколько вещей: Экземпляр сервера Qdrant. В нашем случае это локальный Docker-контейнер. Библиотека qdrant-client для взаимодействия с векторной базой данных. Langchain как фреймворк. Ключ API OpenAI. Мы будем использовать локальный экземпляр Qdrant, работающий в Docker-контейнере. Самый простой способ запустить его — использовать приложенный файл [docker-compose.yaml] и выполнить следующую команду: Мы можем проверить, успешно ли запущен сервер, выполнив простую команду curl: Этот notebook, очевидно, требует установки пакетов openai, langchain и qdrant-client. Ключ OpenAI API используется для векторизации документов и запросов. Если у вас нет ключа OpenAI API, вы можете получить его по адресу https://beta.openai.com/account/api-keys. Как только вы получите ключ, добавьте его в переменные окружения как OPENAI_API_KEY, выполнив следующую команду: В этом разделе мы загрузим данные, содержащие естественные вопросы и ответы на них. Все данные будут использованы для создания приложения Langchain, где Qdrant будет выступать в качестве базы знаний. Langchain уже интегрирован с Qdrant и выполняет всю индексацию для заданного списка документов. В нашем случае мы будем хранить имеющийся у нас набор ответов. На этом этапе все возможные ответы уже хранятся в Qdrant, поэтому мы можем определить всю цепочку QA.
План урока
- Предварительные условия
- Запуск сервера Qdrant
- Установка требований
- Подготовьте ваш ключ OpenAI API
- Загрузка данных
- Определение цепочки
- Поиск данных
- Пользовательские шаблоны prompt
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.