О чём урок
В этом notebook показано, как реализовать систему ответов на вопросы с использованием LangChain, Deep Lake в качестве vector store и OpenAI embeddings. Для этого мы выполним следующие шаги:
- Загрузить текстовый dataset Deep Lake
- Инициализировать Deep Lake vector store с LangChain
- Добавить текст в vector store
- Выполнить запросы к базе данных
- Готово!
Вы также можете ознакомиться с другими туториалами, такими как ответы на вопросы по любым типам данных (PDF, JSON, CSV, текст): общение с любыми данными, хранящимися в Deep Lake, понимание кода, или ответы на вопросы по PDF-файлам, или рекомендация песен.
Установим следующие пакеты.
Укажите ваш API key OpenAI здесь:
Для этого примера мы будем использовать подмножество из 20000 образцов dataset cohere-wikipedia-22.
Давайте посмотрим на несколько образцов:
Определим dataset_path — здесь ваш Deep Lake vector store будет хранить текстовые embeddings.
Мы настроим `text-embedding-3-small` от OpenAI в качестве нашей embedding функции и инициализируем Deep Lake vector store по пути `dataset_path`...
... и заполним его образцами, по одному batch за раз, используя метод add_texts.
Базовый объект dataset Deep Lake доступен через db.vectorstore.dataset, а структура данных может быть суммирована с помощью db.vectorstore.summary(), который показывает 4 тензора с 10 образцами:
Теперь мы настроим QA в нашем vector store с GPT-3.5-Turbo в качестве нашего LLM.
Попробуем выполнить prompt и проверить output. Внутри этот API выполняет поиск embedding для нахождения наиболее релевантных данных, которые будут переданы в контекст LLM.
Вуаля!
План урока
- Установка зависимостей
- Аутентификация
- Загрузка текстового dataset Deep Lake
- Deep Lake vector store от LangChain
- Выполнение пользовательских запросов к базе данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.