Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 255 · Текст · ~5 мин

Философские цитаты на Cassandra через CQL

Урок 255 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом кратком руководстве вы узнаете, как создать "поисковик и генератор философских цитат" с использованием vector embeddings от OpenAI и Apache Cassandra®, или, что эквивалентно, DataStax Astra DB через CQL, в качестве vector store для сохранения данных.

Основной рабочий процесс этого notebook описан ниже. Вы оцените и сохраните vector embeddings для ряда цитат известных философов, используете их для создания мощной поисковой системы, а затем даже генератора новых цитат!

Этот notebook демонстрирует некоторые стандартные шаблоны использования vector search — показывая, как легко начать работу с векторными возможностями Cassandra / Astra DB через CQL.

Для получения дополнительной информации об использовании vector search и text embeddings для создания системы вопросов и ответов, пожалуйста, ознакомьтесь с этим превосходным практическим notebook: Question answering using embeddings.

Обратите внимание, что этот notebook использует библиотеку CassIO, но мы рассматриваем другие технологические решения для выполнения той же задачи. Ознакомьтесь с README этой папки для других вариантов. Этот notebook может быть запущен как Colab notebook или как обычный Jupyter notebook.

Содержание:

  • Настройка
  • Получение подключения к БД
  • Подключение к OpenAI
  • Загрузка цитат в Vector Store
  • Вариант использования 1: поисковая система цитат
  • Вариант использования 2: генератор цитат
  • (Необязательно) использование партиционирования в Vector Store

Индексация

Каждая цитата преобразуется в embedding vector с помощью Embedding от OpenAI. Они сохраняются в Vector Store для последующего использования в поиске. Некоторые metadata, включая имя автора и несколько других предварительно рассчитанных тегов, хранятся рядом, чтобы обеспечить настройку поиска.

Поиск

Чтобы найти цитату, похожую на предоставленную поисковую цитату, последняя на лету преобразуется в embedding vector, и этот вектор используется для запроса хранилища на предмет похожих векторов... то есть похожих цитат, которые были проиндексированы ранее. Поиск может быть опционально ограничен дополнительными metadata ("найди мне цитаты Спинозы, похожие на эту...").

Ключевой момент здесь заключается в том, что "цитаты, схожие по содержанию" в векторном пространстве переводятся в векторы, которые метрически близки друг к другу…

План урока

  1. Версия CassIO
  2. Выберите свой фреймворк
  3. Как это работает
  4. Настройка
  5. Получение подключения к БД
  6. Создание подключения к БД
  7. Создание Vector Store через CassIO
  8. Подключение к OpenAI

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды