О чём урок
Примечание: Для корректной работы этого notebook требуются лимиты скорости платного уровня. (см. цены для получения дополнительной информации). Gemini — это семейство генеративных AI моделей, которые позволяют разработчикам создавать контент и решать проблемы. Эти модели разработаны и обучены для обработки как текста, так и изображений в качестве входных данных. LlamaIndex — это простая, гибкая платформа данных, которая может использоваться приложениями Large Language Model (LLM) для подключения пользовательских источников данных к LLM. Chroma — это база данных embedding с открытым исходным кодом, ориентированная на простоту и продуктивность разработчиков. Chroma позволяет пользователям хранить embedding и их метаданные, создавать embedding для документов и запросов, а также быстро искать embedding. В этом notebook вы узнаете, как создать приложение, которое отвечает на вопросы, используя данные с веб-сайта, с помощью Gemini, LlamaIndex и Chroma. Сначала необходимо установить пакеты и задать необходимые переменные среды. Установите Python библиотеку LlamaIndex, llama-index. Установите интеграционный пакет LlamaIndex для Gemini, llama-index-llms-gemini, и интеграционный пакет для модели Gemini embedding, llama-index-embeddings-gemini. Затем установите средство чтения веб-страниц LlamaIndex, llama-index-readers-web. Наконец, установите Python клиентский SDK ChromaDB, chromadb и Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Аутентификация для примера. LLM обучаются офлайн на большом корпусе общедоступных данных. Следовательно, они не могут точно отвечать на вопросы, основанные на пользовательских или частных данных, без дополнительного контекста. Если вы хотите использовать LLM для ответов на вопросы, основанные на частных данных, вам необходимо предоставить соответствующие документы в качестве контекста вместе с вашим prompt. Этот подход называется Retrieval Augmented Generation (RAG). Вы будете использовать этот подход для создания помощника по ответам на вопросы с использованием текстовой модели Gemini, интегрированной через LlamaIndex. Ожидается, что помощник будет отвечать на вопросы о модели Google Gemini.
План урока
- Обзор
- Настройка
- Установка
- Настройте ваш API key
- Основные шаги
- Импорт необходимых библиотек
- 1. Retriever
- Чтение и анализ данных веб-сайта
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.