О чём урок
Примечание: Для корректной работы этого блокнота требуются лимиты скорости платного уровня. (см. цены для получения более подробной информации).
Этот пример демонстрирует, как использовать Gemini API для создания эмбеддингов, чтобы вы могли выполнять поиск документов. Вы будете использовать клиентскую библиотеку Python для создания эмбеддинга слов, который позволит вам сравнивать поисковые запросы или вопросы с содержимым документов.
В этом руководстве вы будете использовать эмбеддинги для выполнения поиска документов по набору документов, чтобы задавать вопросы, связанные с Google Car.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. краткое руководство по аутентификации для примера.
В этом разделе вы увидите, как генерировать эмбеддинги для фрагмента текста, используя эмбеддинги из Gemini API.
См. краткое руководство по эмбеддингам, чтобы узнать больше о параметре task_type, используемом ниже.
Вот три примера текстов, которые можно использовать для создания базы данных эмбеддингов. Вы будете использовать Gemini API для создания эмбеддингов каждого из документов. Преобразуйте их в DataFrame для лучшей визуализации.
Организуйте содержимое словаря в DataFrame для лучшей визуализации.
Получите эмбеддинги для каждого из этих текстов. Добавьте эту информацию в DataFrame.
Теперь, когда эмбеддинги сгенерированы, давайте создадим систему вопросов и ответов для поиска по этим документам. Вы зададите вопрос о настройке гиперпараметров, создадите эмбеддинг вопроса и сравните его с коллекцией эмбеддингов в DataFrame.
Эмбеддинг вопроса будет вектором (списком значений с плавающей запятой), который будет сравниваться с вектором документов с использованием скалярного произведения. Этот вектор, возвращаемый API, уже нормализован. Скалярное произведение представляет собой сходство в направлении между двумя векторами.
Значения скалярного произведения могут варьироваться от -1 до 1 включительно. Если скалярное произведение между двумя векторами равно 1, то векторы направлены в одном направлении.
Обратите внимание, что с новой моделью эмбеддингов (gemini-embedding-001) укажите тип задачи как RETRIEVAL…
План урока
- Обзор
- Настройка
- Генерация эмбеддингов
- Создание базы данных эмбеддингов
- Поиск документов с помощью вопросов и ответов
- Приложение для вопросов и ответов
- Следующие шаги
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.