О чём урок
В этом notebook показано, как реализовать систему ответов на вопросы с использованием LangChain, Deep Lake в качестве vector store и OpenAI embeddings. Для этого мы выполним следующие шаги: Загрузить текстовый dataset Deep Lake Инициализировать Deep Lake vector store с LangChain Добавить текст в vector store Выполнить запросы к базе данных Готово! Вы также можете ознакомиться с другими туториалами, такими как ответы на вопросы по любым типам данных (PDF, JSON, CSV, текст): общение с любыми данными, хранящимися в Deep Lake, понимание кода, или ответы на вопросы по PDF-файлам, или рекомендация песен. Установим следующие пакеты. Укажите ваш API key OpenAI здесь: Для этого примера мы будем использовать подмножество из 20000 образцов dataset cohere-wikipedia-22. Давайте посмотрим на несколько образцов: Определим dataset_path — здесь ваш Deep Lake vector store будет хранить текстовые embeddings. Мы настроим `text-embedding-3-small` от OpenAI в качестве нашей embedding функции и инициализируем Deep Lake vector store по пути `dataset_path`... ... и заполним его образцами, по одному batch за раз, используя метод add_texts. Базовый объект dataset Deep Lake доступен через db.vectorstore.dataset, а структура данных может быть суммирована с помощью db.vectorstore.summary(), который показывает 4 тензора с 10 образцами: Теперь мы настроим QA в нашем vector store с GPT-3.5-Turbo в качестве нашего LLM. Попробуем выполнить prompt и проверить output. Внутри этот API выполняет поиск embedding для нахождения наиболее релевантных данных, которые будут переданы в контекст LLM. Вуаля!
План урока
- Установка зависимостей
- Аутентификация
- Загрузка текстового dataset Deep Lake
- Deep Lake vector store от LangChain
- Выполнение пользовательских запросов к базе данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.