О чём урок
Примечание: Для корректной работы этого блокнота требуются платные тарифные лимиты (см. цены для получения дополнительной информации).
Gemini API предоставляет доступ к семейству генеративных моделей ИИ для создания контента и решения проблем. Эти модели разработаны и обучены для обработки как текста, так и изображений в качестве входных данных.
Qdrant — это поисковая система для поиска сходства векторов с открытым исходным кодом, разработанная для эффективного и масштабируемого семантического поиска. Она предлагает простой, но мощный API для хранения и поиска многомерных векторов, поддерживает фильтрацию с метаданными (полезными нагрузками) и легко интегрируется в производственные системы. Qdrant может быть размещен самостоятельно или доступен через управляемый облачный сервис, что делает его быстрым в настройке и идеальным для широкого спектра приложений ИИ, которые полагаются на семантическое понимание и извлечение информации.
В этом блокноте вы узнаете, как выполнять поиск сходства по данным с веб-сайта с помощью Gemini API и Qdrant.
Сначала необходимо установить пакеты и задать необходимые переменные среды.
Установите клиентский SDK Python от Google для Gemini API, google-genai. Затем установите клиентский SDK Python от Qdrant, qdrant-client.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.
Этот раздел охватывает подготовку набора данных фильмов, генерацию встраиваний с использованием Gemini и их индексацию в Qdrant для поиска сходства.
Начните с загрузки набора данных из Kaggle с помощью библиотеки kagglehub. Набор данных, используемый в этом блокноте, — это TMDB Movie Dataset 2024, который содержит примерно 1 миллион+ записей фильмов.
Поскольку набор данных большой, его проверка помогает вам выявить полезные поля и отфильтровать нерелевантные данные на ранней стадии.
Этот шаг фильтрует набор данных, чтобы сохранить только метаданные, полезные для семантического поиска: id, title, overview, genres, keywords, tagline и release_date.
Записи (строки) без title или без…
План урока
- Обзор
- Этот блокнот был предоставлен Анандом Роем.
- Настройка
- Установка
- Настройте свой ключ API
- Создание векторного индекса фильмов
- 1. Загрузка набора данных из Kaggle
- 2. Проверка структуры набора данных
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.