Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 278 · Текст · ~5 мин

Поиск по эмбеддингам в Qdrant

Урок 278 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook проведет вас через простой процесс загрузки данных, их embedding, а затем индексации и поиска с использованием различных векторных баз данных. Это распространенное требование для клиентов, желающих хранить и искать наши embeddings со своими собственными данными в безопасной среде для поддержки производственных сценариев использования, таких как чат-боты, тематическое моделирование и многое другое.

Векторная база данных — это база данных, предназначенная для хранения, управления и поиска векторов embedding. Использование embeddings для кодирования неструктурированных данных (текст, аудио, видео и прочее) в виде векторов для потребления моделями машинного обучения значительно возросло в последние годы благодаря растущей эффективности ИИ в решении сценариев использования, связанных с естественным языком, распознаванием изображений и другими неструктурированными формами данных. Векторные базы данных стали эффективным решением для предприятий, позволяющим реализовывать и масштабировать эти сценарии использования.

Векторные базы данных позволяют предприятиям использовать многие из сценариев применения embeddings, которыми мы поделились в этом repo (например, ответы на вопросы, чат-боты и рекомендательные сервисы), и применять их в безопасной, масштабируемой среде. Многие наши клиенты используют embeddings для решения своих задач в небольших масштабах, но производительность и безопасность мешают им перейти к production — мы рассматриваем векторные базы данных как ключевой компонент в решении этой проблемы, и в этом руководстве мы рассмотрим основы embedding текстовых данных, их хранения в векторной базе данных и использования для семантического поиска.

Демонстрационный процесс включает:

  • Настройка: Импорт пакетов и установка необходимых переменных
  • Загрузка данных: Загрузка набора данных и его embedding с использованием OpenAI embeddings
  • Qdrant Настройка: Здесь мы настроим Python client для Qdrant. Для получения более подробной информации перейдите сюда
  • Индексация данных: Мы создадим collection с векторами для заголовков и содержимого
  • Поиск данных: Мы выполним несколько поисковых запросов, чтобы убедиться в работоспособности

После того как вы пройдете этот notebook, у вас должно сложиться базовое понимание того, как настраивать и использовать векторные базы данных, и вы сможете перейти к более сложным сценариям…

План урока

  1. Что такое векторная база данных
  2. Зачем использовать векторную базу данных
  3. Демонстрационный процесс
  4. Настройка
  5. Загрузка данных
  6. Qdrant
  7. Индексация данных
  8. Поиск данных

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды