Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 258 · Текст · ~5 мин

Ответы на вопросы с LangChain и Deep Lake

Урок 258 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом notebook показано, как реализовать систему ответов на вопросы с использованием LangChain, Deep Lake в качестве vector store и OpenAI embeddings. Для этого мы выполним следующие шаги:

  1. Загрузить текстовый dataset Deep Lake
  2. Инициализировать Deep Lake vector store с LangChain
  3. Добавить текст в vector store
  4. Выполнить запросы к базе данных
  5. Готово!

Вы также можете ознакомиться с другими туториалами, такими как ответы на вопросы по любым типам данных (PDF, JSON, CSV, текст): общение с любыми данными, хранящимися в Deep Lake, понимание кода, или ответы на вопросы по PDF-файлам, или рекомендация песен.

Установим следующие пакеты.

Укажите ваш API key OpenAI здесь:

Для этого примера мы будем использовать подмножество из 20000 образцов dataset cohere-wikipedia-22.

Давайте посмотрим на несколько образцов:

Определим dataset_path — здесь ваш Deep Lake vector store будет хранить текстовые embeddings.

Мы настроим `text-embedding-3-small` от OpenAI в качестве нашей embedding функции и инициализируем Deep Lake vector store по пути `dataset_path`...

... и заполним его образцами, по одному batch за раз, используя метод add_texts.

Базовый объект dataset Deep Lake доступен через db.vectorstore.dataset, а структура данных может быть суммирована с помощью db.vectorstore.summary(), который показывает 4 тензора с 10 образцами:

Теперь мы настроим QA в нашем vector store с GPT-3.5-Turbo в качестве нашего LLM.

Попробуем выполнить prompt и проверить output. Внутри этот API выполняет поиск embedding для нахождения наиболее релевантных данных, которые будут переданы в контекст LLM.

Вуаля!

План урока

  1. Установка зависимостей
  2. Аутентификация
  3. Загрузка текстового dataset Deep Lake
  4. Deep Lake vector store от LangChain
  5. Выполнение пользовательских запросов к базе данных

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды