О чём урок
Этот notebook проведет вас через использование Neon Serverless Postgres в качестве векторной базы данных для OpenAI embeddings. Он демонстрирует, как:
- Использовать embeddings, созданные OpenAI API.
- Хранить embeddings в базе данных Neon Serverless Postgres.
- Преобразовать необработанный текстовый запрос в embedding с помощью OpenAI API.
- Использовать Neon с расширением pgvector для выполнения поиска векторного сходства.
Прежде чем начать, убедитесь, что у вас есть следующее:
- База данных Neon Postgres. Вы можете создать учетную запись и настроить проект с готовой к использованию базой данных neondb за несколько простых шагов. Инструкции см. в разделах Регистрация и Создание первого проекта.
- Строка подключения к вашей базе данных Neon. Вы можете скопировать ее из виджета Connection Details на Dashboard Neon. См. Подключение из любого приложения.
- Расширение pgvector. Установите расширение в Neon, выполнив команду CREATE EXTENSION vector;. Инструкции см. в разделе Включение расширения pgvector.
- Ваш ключ OpenAI API.
- Python и pip.
Для этого notebook требуются пакеты openai, psycopg2, pandas, wget и python-dotenv. Вы можете установить их с помощью pip:
Ключ OpenAI API необходим для генерации векторов для документов и запросов.
Если у вас нет ключа OpenAI API, получите его по адресу https://platform.openai.com/account/api-keys.
Добавьте ключ OpenAI API в качестве переменной среды операционной системы или предоставьте его для сессии по запросу. Если вы определяете переменную среды, назовите ее OPENAI_API_KEY.
Для получения информации о настройке ключа OpenAI API в качестве переменной среды см. Рекомендации по безопасности ключей API.
Укажите строку подключения к вашей базе данных Neon ниже или определите ее в файле .env с помощью переменной DATABASE_URL. Для получения информации о получении строки подключения Neon см. Подключение из любого приложения.
Проверьте подключение к вашей базе данных:
В этом руководстве используются предварительно рассчитанные embeddings статей Википедии, доступные в директории OpenAI Cookbook examples, чтобы вам не пришлось рассчитывать embeddings за счет собственных кредитов OpenAI.
Импортируйте ZIP-файл…
План урока
- Предварительные требования
- Установка необходимых модулей
- Подготовьте ваш ключ OpenAI API
- Проверьте ваш ключ OpenAPI
- Подключение к вашей базе данных Neon
- Создание таблицы и добавление индексов для ваших векторных embeddings
- Загрузка данных
- Поиск по данным
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.