Ответы на вопросы с LangChain и Pinecone

О чём урок

Примечание: Для корректной работы этого notebook требуются лимиты скорости платного уровня. (см. цены для получения дополнительной информации). Gemini — это семейство генеративных AI моделей, которые позволяют разработчикам генерировать контент и решать задачи. Эти модели разработаны и обучены для обработки как текста, так и изображений в качестве input. LangChain — это data framework, разработанный для упрощения интеграции Large Language Models (LLM), таких как Gemini, в приложения. Pinecone — это cloud-first vector database, которая позволяет пользователям осуществлять поиск по миллиардам embeddings с ультранизкой задержкой запроса. В этом notebook вы узнаете, как создать приложение, которое отвечает на вопросы, используя данные с веб-сайта, с помощью Gemini, LangChain и Pinecone. Сначала необходимо установить пакеты и задать необходимые environment variables. Установите Python library LangChain, langchain, и integration package LangChain для Gemini, langchain-google-genai. Затем установите integration package LangChain для новой версии Pinecone, langchain-pinecone, и pinecone-client, который является Python SDK Pinecone. Наконец, установите langchain-community, чтобы получить доступ к модулю WebBaseLoader позже. Для запуска следующего cell ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Authentication для примера. Для использования Pinecone в вашем приложении у вас должен быть API key. Чтобы создать API key, вам необходимо настроить учетную запись Pinecone. Посетите страницу приложения Pinecone и зарегистрируйтесь/войдите в свою учетную запись. Затем перейдите в раздел "API Keys" и скопируйте свой API key. Для получения более подробных инструкций по получению API key вы можете прочитать документацию Pinecone Quickstart. Установите environment variable PINECONE_API_KEY, чтобы настроить Pinecone на использование вашего API key. LLM обучаются офлайн на большом корпусе общедоступных данных. Следовательно, они не могут точно отвечать на вопросы, основанные на пользовательских или частных данных, без дополнительного context.

План урока

1. Обзор
2. Настройка
3. Установка
4. Настройка вашего API key
5. Настройка Pinecone
6. Основные шаги
7. Импорт необходимых библиотек
8. Retriever