О чём урок
Примечание: Для корректной работы этого блокнота требуются лимиты запросов платного уровня (см. цены для получения более подробной информации).
Gemini Embedding 2 — это мультимодальная модель встраивания, которая отображает текст, изображения, видео, аудио и PDF-файлы в единое унифицированное пространство встраивания.
Haystack — это фреймворк оркестровки ИИ с открытым исходным кодом для создания готовых к производству LLM-приложений с контекстной инженерией. Вы можете использовать его для создания агентов, RAG, мультимодальных приложений, семантического поиска и многого другого.
В этом блокноте вы увидите несколько способов использования Gemini Embedding 2 с Haystack, начиная с текстового поиска и RAG, и расширяя до нескольких кросс-модальных примеров, где вы используете одну модальность для поиска по другим. Вы можете узнать больше об этой интеграции в блоге о запуске.
Сначала установите пакеты и настройте свой API-ключ.
Установите библиотеку Python Haystack, haystack-ai, пакет интеграции Haystack для Gemini API, google-genai-haystack, и другие библиотеки, необходимые для запуска примеров.
Для запуска следующей ячейки ваш API-ключ должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API-ключа или вы не знаете, как создать Colab Secret, см. Аутентификация для примера.
В этом первом примере вы встроите коллекцию документов о Семи чудесах древнего мира, а затем выполните поиск по ней, используя семантическое сходство.
Вы используете: - GoogleGenAIDocumentEmbedder для встраивания документов, содержащих текст - GoogleGenAITextEmbedder для встраивания запроса (текстовой строки)
Создайте документы, начиная с набора данных, хранящегося на Hugging Face, встройте их с помощью GoogleGenAIDocumentEmbedder, а затем сохраните их в InMemoryDocumentStore.
InMemoryDocumentStore — это простейший DocumentStore для начала работы, но он не рекомендуется для использования в производстве. Чтобы узнать больше о различных типах внешних баз данных, которые поддерживает Haystack, см. Интеграции DocumentStore.
Теперь вы можете встроить запрос и использовать InMemoryEmbeddingRetriever для поиска похожих документов.
Теперь, когда у вас есть хорошие результаты поиска, вы можете создать конвейер RAG.
В дополнение к компонентам, представленным выше, вы используете: - ChatPromptBuilder для создания…
План урока
- Обзор
- Этот блокнот был создан Стефано Фьоруччи и Бильге Юджел.
- Настройка
- Установка
- Настройте свой API-ключ
- Текстовый поиск
- Создание, встраивание и хранение документов
- Извлечение документов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.