Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 47 · Текст · ~5 мин

Кросс-модальный поиск с Haystack

Урок 47 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Примечание: Для корректной работы этого блокнота требуются лимиты запросов платного уровня (см. цены для получения более подробной информации).

Gemini Embedding 2 — это мультимодальная модель встраивания, которая отображает текст, изображения, видео, аудио и PDF-файлы в единое унифицированное пространство встраивания.

Haystack — это фреймворк оркестровки ИИ с открытым исходным кодом для создания готовых к производству LLM-приложений с контекстной инженерией. Вы можете использовать его для создания агентов, RAG, мультимодальных приложений, семантического поиска и многого другого.

В этом блокноте вы увидите несколько способов использования Gemini Embedding 2 с Haystack, начиная с текстового поиска и RAG, и расширяя до нескольких кросс-модальных примеров, где вы используете одну модальность для поиска по другим. Вы можете узнать больше об этой интеграции в блоге о запуске.

Сначала установите пакеты и настройте свой API-ключ.

Установите библиотеку Python Haystack, haystack-ai, пакет интеграции Haystack для Gemini API, google-genai-haystack, и другие библиотеки, необходимые для запуска примеров.

Для запуска следующей ячейки ваш API-ключ должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API-ключа или вы не знаете, как создать Colab Secret, см. Аутентификация для примера.

В этом первом примере вы встроите коллекцию документов о Семи чудесах древнего мира, а затем выполните поиск по ней, используя семантическое сходство.

Вы используете: - GoogleGenAIDocumentEmbedder для встраивания документов, содержащих текст - GoogleGenAITextEmbedder для встраивания запроса (текстовой строки)

Создайте документы, начиная с набора данных, хранящегося на Hugging Face, встройте их с помощью GoogleGenAIDocumentEmbedder, а затем сохраните их в InMemoryDocumentStore.

InMemoryDocumentStore — это простейший DocumentStore для начала работы, но он не рекомендуется для использования в производстве. Чтобы узнать больше о различных типах внешних баз данных, которые поддерживает Haystack, см. Интеграции DocumentStore.

Теперь вы можете встроить запрос и использовать InMemoryEmbeddingRetriever для поиска похожих документов.

Теперь, когда у вас есть хорошие результаты поиска, вы можете создать конвейер RAG.

В дополнение к компонентам, представленным выше, вы используете: - ChatPromptBuilder для создания…

План урока

  1. Обзор
  2. Этот блокнот был создан Стефано Фьоруччи и Бильге Юджел.
  3. Настройка
  4. Установка
  5. Настройте свой API-ключ
  6. Текстовый поиск
  7. Создание, встраивание и хранение документов
  8. Извлечение документов

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды