О чём урок
Примечание: Для корректной работы этого блокнота требуются лимиты скорости платного уровня. (см. цены для получения более подробной информации).
Gemini API предоставляет доступ к семейству генеративных моделей ИИ для создания контента и решения проблем. Эти модели разработаны и обучены для обработки как текста, так и изображений в качестве входных данных.
Qdrant — это поисковая система для поиска векторного сходства, которая предлагает простой в использовании API для управления, хранения и поиска векторов с дополнительной полезной нагрузкой. Это готовый к производству сервис.
В этом блокноте вы узнаете, как выполнить поиск сходства по данным с веб-сайта с помощью Gemini API и Qdrant.
Сначала необходимо установить пакеты и задать необходимые переменные среды.
Установите клиентский SDK Python от Google для Gemini API, google-genai. Затем установите клиентский SDK Python от Qdrant, qdrant-client.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.
Семантический поиск — это процесс, с помощью которого поисковые системы интерпретируют и сопоставляют ключевые слова с намерением пользователя в органических результатах поиска. Он выходит за рамки поверхностного сопоставления ключевых слов. Он использует значение слов, фраз и контекста с помощью передовых алгоритмов, что приводит к более релевантным и удобным для пользователя результатам поиска.
Семантический поиск основан на векторных встраиваниях, которые могут наилучшим образом сопоставить запрос пользователя с наиболее похожим результатом.
В этом руководстве вы реализуете три основных компонента семантического поиска:
- Создание индекса Создайте и сохраните индекс для данных в векторном хранилище Qdrant. Вы будете использовать модель встраивания Gemini API для создания векторов встраивания, которые могут быть сохранены в векторном хранилище Qdrant.
- Запрос индекса Запросите индекс, используя строку запроса, чтобы вернуть n ближайших соседей запроса.
На этом этапе вы выполните следующие шаги:
- Прочитайте и проанализируйте данные веб-сайта с помощью библиотеки Python BeautifulSoup.
План урока
- Обзор
- Настройка
- Установка
- Настройте свой ключ API
- Основные шаги
- Импорт необходимых библиотек
- 1. Создание индекса
- Чтение и анализ данных веб-сайта
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.