О чём урок
Этот notebook пошагово демонстрирует использование Tair в качестве векторной базы данных для OpenAI embeddings.
Этот notebook представляет собой сквозной процесс, включающий:
- Использование предварительно рассчитанных embedding, созданных с помощью OpenAI API.
- Хранение embedding в облачном экземпляре Tair.
- Преобразование текстового запроса в embedding с помощью OpenAI API.
- Использование Tair для выполнения поиска ближайших соседей в созданной коллекции.
Tair — это облачный нативный сервис баз данных в оперативной памяти, разработанный Alibaba Cloud. Tair совместим с Redis с открытым исходным кодом и предоставляет разнообразные модели данных и возможности корпоративного уровня для поддержки ваших онлайн-сценариев реального времени. Tair также представляет оптимизированные для постоянной памяти экземпляры, основанные на новом носителе энергонезависимой памяти (NVM). Эти экземпляры могут снизить затраты на 30%, обеспечить сохранность данных и предоставить почти такую же производительность, как и базы данных в оперативной памяти. Tair широко используется в таких областях, как государственное управление, финансы, производство, здравоохранение и интернет-индустрия, для удовлетворения их требований к высокоскоростным запросам и вычислениям.
Tairvector — это собственная структура данных, которая обеспечивает высокопроизводительное хранение и извлечение векторов в реальном времени. TairVector предоставляет два алгоритма индексирования: Hierarchical Navigable Small World (HNSW) и Flat Search. Кроме того, TairVector поддерживает несколько функций расстояния, таких как Евклидово расстояние, скалярное произведение и расстояние Жаккара. По сравнению с традиционными сервисами извлечения векторов, TairVector обладает следующими преимуществами:
- Хранит все данные в оперативной памяти и поддерживает обновления индекса в реальном времени для уменьшения задержки операций чтения и записи.
- Использует оптимизированную структуру данных в оперативной памяти для более эффективного использования емкости хранилища.
- Функционирует как готовая к использованию структура данных в простой и эффективной архитектуре без сложных модулей или зависимостей.
- Использование облачной векторной базы данных Tair. Нажмите здесь, чтобы быстро развернуть ее.
Для целей этого упражнения нам необходимо подготовить несколько вещей:
- Экземпляр облачного сервера Tair.
- Библиотека 'tair' для взаимодействия с базой данных tair.
- Ключ OpenAI API.
Этот notebook, очевидно, требует пакеты openai и…
План урока
- Что такое Tair
- Варианты развертывания
- Предварительные требования
- Установка требований
- Подготовьте ваш ключ OpenAI API
- Подключение к Tair
- Создание индекса
- Загрузка данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.