Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 254 · Текст · ~5 мин

Философские цитаты на векторах и Cassandra

Урок 254 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом quickstart вы узнаете, как создать «поисковик и генератор философских цитат» с использованием векторных embedding'ов OpenAI и Apache Cassandra®, или, что эквивалентно, DataStax Astra DB через CQL, в качестве векторного хранилища для сохранения данных.

Основной рабочий процесс этого notebook'а описан ниже. Вы оцените и сохраните векторные embedding'и для ряда цитат известных философов, используете их для создания мощной поисковой системы, а затем даже генератора новых цитат!

Этот notebook демонстрирует некоторые стандартные сценарии использования векторного поиска — показывая, как легко начать работу с векторными возможностями Cassandra / Astra DB через CQL.

Для получения дополнительной информации об использовании векторного поиска и текстовых embedding'ов для создания системы вопросов и ответов, пожалуйста, ознакомьтесь с этим превосходным практическим notebook'ом: Ответы на вопросы с использованием embedding'ов.

Обратите внимание, что этот notebook использует драйверы Cassandra и напрямую выполняет операторы CQL (Cassandra Query Language), но мы рассматриваем и другие технологические решения для выполнения той же задачи. Ознакомьтесь с README этой папки для других вариантов. Этот notebook может быть запущен как Colab notebook, так и как обычный Jupyter notebook.

Содержание:

  • Настройка
  • Получение подключения к БД
  • Подключение к OpenAI
  • Загрузка цитат в Vector Store
  • Сценарий использования 1: поисковая система цитат
  • Сценарий использования 2: генератор цитат
  • (Необязательно) использование партиционирования в Vector Store

Индексирование

Каждая цитата преобразуется в векторный embedding с помощью Embedding от OpenAI. Они сохраняются в Vector Store для последующего использования в поиске. Некоторые метаданные, включая имя автора и несколько других предварительно вычисленных тегов, хранятся рядом, чтобы обеспечить настройку поиска.

Поиск

Чтобы найти цитату, похожую на заданную поисковую цитату, последняя на лету преобразуется в векторный embedding, и этот вектор используется для запроса хранилища на предмет похожих векторов... то есть похожих цитат, которые были проиндексированы ранее. Поиск может быть опционально ограничен дополнительными метаданными («найди мне цитаты Спинозы, похожие на эту...»).

Ключевой момент здесь заключается в том, что «цитаты, схожие по содержанию», в векторном…

План урока

  1. Версия CQL
  2. Выберите свой фреймворк
  3. Как это работает
  4. Настройка
  5. Получение подключения к БД
  6. Создание подключения к БД
  7. Создание векторной таблицы в CQL
  8. Добавление векторного индекса для ANN поиска

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды