Переранжируем результаты поиска эмбеддингами

О чём урок

Примечание: Для корректной работы этого notebook требуются лимиты запросов платного уровня. (см. цены для получения дополнительной информации). Этот notebook демонстрирует использование embeddings для переранжирования результатов поиска. В этом пошаговом руководстве будут рассмотрены следующие цели: Настройка среды разработки и доступа к API для использования Gemini. Использование поддержки function calling Gemini для доступа к Wikipedia API. Создание embeddings контента через Gemini API. Переранжирование результатов поиска. Вот как будет реализовано переранжирование результатов поиска: Пользователь сделает поисковый запрос. Вы будете использовать Wikipedia API для возврата релевантных результатов поиска. Результаты поиска будут преобразованы в embeddings, а их релевантность будет оценена путем расчета метрик расстояния, таких как косинусное сходство. Наиболее релевантный результат поиска будет возвращен в качестве окончательного ответа. Материалы, не являющиеся исходным кодом, в этом notebook лицензированы в соответствии с Creative Commons - Attribution-ShareAlike CC-BY-SA 4.0, https://creativecommons.org/licenses/by-sa/4.0/legalcode. Сначала загрузите и установите Python-библиотеку Gemini API. Также установите пакет wikipedia, который будет использоваться в этом руководстве. Примечание: Пакет wikipedia отмечает, что он был «разработан для простоты использования, а не для продвинутых задач», и что для production или интенсивного использования следует «использовать Pywikipediabot или один из других более продвинутых Python MediaWiki API wrappers». Прежде чем вы сможете использовать Gemini API, вы должны сначала получить API key. Если у вас его еще нет, создайте ключ одним щелчком мыши в Google AI Studio. Получить API key В Colab добавьте ключ в менеджер секретов под значком «🔑» на левой панели. Присвойте ему имя GEMINI_API_KEY. Как только у вас появится API key, передайте его в SDK. Вы можете сделать это двумя способами: Поместите ключ в переменную среды GEMINI_API_KEY (SDK автоматически подхватит его оттуда). Передайте ключ в genai.Client(api_key=...) Как было сказано ранее, это руководство использует поддержку function calling Gemini для доступа к Wikipedia API.

План урока

1. Настройка
2. Получение API Key
3. Выберите используемую модель
4. Определение инструментов
5. Определение функции поиска
6. Передача инструментов модели
7. Генерация вспомогательных поисковых запросов
8. Включение автоматического function calling и вызов API