О чём урок
Примечание: Для корректной работы этого notebook требуются лимиты скорости платного уровня (paid tier rate limits). (см. цены для получения более подробной информации).
Этот notebook демонстрирует, как использовать Gemini API с Langchain и DeepLake для анализа кода. Этот notebook научит вас:
- загрузке и разделению файлов
- созданию базы данных DeepLake с информацией об embedding
- настройке цепочки retrieval QA
Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Аутентификация для примера.
Сначала загрузите репозиторий langchain-google. Это репозиторий, который вы будете анализировать в этом примере.
Он содержит код, интегрирующий Gemini API, VertexAI и другие продукты Google с langchain.
Этот пример будет сосредоточен только на интеграции Gemini API с langchain и игнорирует остальную часть codebase.
Каждый файл с соответствующим путем будет загружен и разделен с помощью RecursiveCharacterTextSplitter. В этом примере указано, что файлы написаны на Python. Это помогает разделять файлы, избегая документов, которым не хватает контекста.
Enum Language предоставляет общие разделители, используемые в большинстве популярных языков программирования, что снижает вероятность разделения классов или функций посередине.
Данные будут загружены в memory, поскольку в данном случае база данных не должна быть постоянной и достаточно мала, чтобы поместиться.
Тип используемого storage указывается префиксом в пути, в данном случае mem://.
Другие типы storage можно посмотреть здесь.
Все необходимое готово, и теперь вы можете создать базу данных. Это не должно занять более нескольких секунд.
Настройте document retriever.
Теперь вы можете создать chain для Question Answering. В этом случае будет использоваться chain RetrievalQA.
Если вы хотите использовать опцию chat вместо этого, используйте ConversationalRetrievalChain.
Chain готова отвечать на ваши вопросы.
ПРИМЕЧАНИЕ: Markdown используется для улучшения форматирования output.
Gemini API отлично работает с Langchain. Интеграция бесшовна и предоставляет простой интерфейс для:
- загрузки и разделения файлов
- создания базы данных…
План урока
- Загрузка зависимостей
- Настройка вашего API key
- Подготовка файлов
- Создание базы данных
- Ответы на вопросы (Question Answering)
- Резюме
- Что дальше?
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.