Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 273 · Текст · ~5 мин

Семантический поиск на Pinecone

Урок 273 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом руководстве вы узнаете, как использовать OpenAI Embedding API для генерации языковых embedding'ов, а затем индексировать эти embedding'и в векторной базе данных Pinecone для быстрого и масштабируемого векторного поиска.

Это мощная и распространённая комбинация для создания систем семантического поиска, ответов на вопросы, обнаружения угроз и других приложений, которые полагаются на NLP и поиск по большому корпусу текстовых данных.

Базовый workflow выглядит следующим образом:

Создание embedding'ов и индексация

  • Используйте OpenAI Embedding API для генерации векторных embedding'ов ваших документов (или любых текстовых данных).
  • Загрузите эти векторные embedding'и в Pinecone, которая может хранить и индексировать миллионы/миллиарды таких векторных embedding'ов, и выполнять поиск по ним с ультранизкими задержками.

Поиск

  • Передайте ваш запрос (текст или документ) через OpenAI Embedding API ещё раз.
  • Возьмите полученный векторный embedding и отправьте его в Pinecone в качестве запроса.
  • Получите семантически схожие документы, даже если они не содержат общих ключевых слов с запросом.

Давайте начнём...

Сначала нам нужно настроить наше окружение и получить API ключи для OpenAI и Pinecone. Начнём с окружения: нам понадобятся HuggingFace Datasets для наших данных, а также клиенты OpenAI и Pinecone:

Затем мы инициализируем наше соединение с OpenAI Embeddings и векторной базой данных Pinecone. Зарегистрируйтесь для получения API ключа на OpenAI и Pinecone.

Теперь мы можем создавать embedding'и с помощью модели сходства OpenAI Ada следующим образом:

План урока

  1. Настройка
  2. Создание Embedding'ов

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды