Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 267 · Текст · ~5 мин

Поиск по эмбеддингам в MyScale

Урок 267 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook проведет вас через простой процесс загрузки данных, их embedding, а затем индексации и поиска с использованием различных векторных баз данных. Это частое требование для клиентов, желающих хранить и искать наши embeddings со своими собственными данными в безопасной среде для поддержки производственных сценариев использования, таких как чат-боты, тематическое моделирование и многое другое.

Векторная база данных — это база данных, предназначенная для хранения, управления и поиска векторов embedding. Использование embeddings для кодирования неструктурированных данных (текст, аудио, видео и прочее) в виде векторов для потребления моделями машинного обучения значительно возросло в последние годы благодаря растущей эффективности ИИ в решении задач, связанных с естественным языком, распознаванием изображений и другими неструктурированными формами данных. Векторные базы данных стали эффективным решением для предприятий, позволяющим реализовывать и масштабировать эти сценарии использования.

Векторные базы данных позволяют предприятиям использовать многие из сценариев применения embeddings, которыми мы поделились в этом репозитории (например, ответы на вопросы, чат-боты и рекомендательные сервисы), и применять их в безопасной, масштабируемой среде. Многие наши клиенты используют embeddings для решения своих задач в небольших масштабах, но производительность и безопасность мешают им внедрять решения в production — мы рассматриваем векторные базы данных как ключевой компонент в решении этой проблемы, и в этом руководстве мы рассмотрим основы embedding текстовых данных, их хранения в векторной базе данных и использования для семантического поиска.

Порядок демонстрации следующий:

  • Настройка: Импорт пакетов и установка необходимых переменных
  • Загрузка данных: Загрузка набора данных и его embedding с использованием OpenAI embeddings
  • MyScale Настройка: Настройка Python-клиента MyScale. Для получения дополнительной информации перейдите сюда
  • Индексация данных: Мы создадим таблицу и проиндексируем ее по содержимому.
  • Поиск данных: Выполните несколько примеров запросов с различными целями.

После того как вы пройдете этот notebook, у вас должно появиться базовое понимание того, как настраивать и использовать векторные базы данных, и вы сможете перейти к более сложным сценариям использования наших embeddings.

Импортируйте необходимые библиотеки и установите…

План урока

  1. Что такое векторная база данных
  2. Зачем использовать векторную базу данных
  3. Порядок демонстрации
  4. Настройка
  5. Загрузка данных
  6. MyScale
  7. Подключение к MyScale
  8. Индексация данных

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды