О чём урок
Этот notebook содержит пошаговые инструкции по использованию Google Cloud BigQuery в качестве базы данных с возможностями vector search, с OpenAI embeddings, затем по созданию Google Cloud Function поверх для подключения к Custom GPT в ChatGPT. Это может быть решением для клиентов, желающих настроить RAG infrastructure, размещенную в Google Cloud Platform (GCP), и предоставить ее как endpoint для интеграции с другими платформами, такими как ChatGPT. Google Cloud BigQuery — это полностью управляемое, бессерверное хранилище данных, которое обеспечивает сверхбыстрые SQL-запросы, используя вычислительную мощь инфраструктуры Google. Оно позволяет разработчикам с легкостью хранить и анализировать огромные наборы данных. Google Cloud Functions — это легковесное, событийно-ориентированное, асинхронное вычислительное решение, которое позволяет создавать небольшие, одноцелевые функции, реагирующие на облачные события без необходимости управления серверами или средами выполнения. Для работы с этим руководством вам потребуется: Проект GCP, к которому у вас есть доступ Пользователь GCP с разрешением на создание BigQuery dataset и Google Cloud Function GCP CLI установлен и подключен OpenAI API key Подписка ChatGPT Plus, Teams или Enterprise Ниже представлена схема архитектуры этого решения, которую мы рассмотрим шаг за шагом: Настройка среды Настройка среды путем установки и импорта необходимых библиотек, а также конфигурирования наших настроек GCP. Включает: Установка и импорт необходимых библиотек Настройка проекта GCP Настройка OpenAI Подготовка данных Подготовка данных для загрузки путем создания embeddings документов, а также сбора дополнительной metadata. В качестве примера данных для этого мы будем использовать подмножество документации OpenAI. Создание таблицы BigQuery с векторным поискомСоздание таблицы BigQuery и загрузка подготовленных данных. Включает: Создание Dataset: Шаги по созданию dataset в BigQuery. Создание таблицы и загрузка данных: Инструкции по созданию таблицы в BigQuery. Создание GCP Function с использованием gcloud CLI и ранее вычисленных переменных среды Ввод в Custom GPT в ChatGPT Выполнение поиска по embedded данным в BigQuery: Vector Search: Шаги по выполнению запросов векторного поиска.
План урока
- Предварительные требования
- Архитектура
- Оглавление
- Установка и импорт необходимых библиотек
- Настройка проекта GCP
- Настройка OpenAI
- Настройка GCP BigQuery с возможностями Vector Search
- Создание BigQuery dataset
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.