Пересказываем большие документы с LangChain

О чём урок

Модели Gemini представляют собой семейство генеративных моделей ИИ, которые позволяют разработчикам генерировать контент и решать задачи. Эти модели разработаны и обучены для обработки текста и изображений в качестве входных данных. LangChain — это фреймворк, разработанный для упрощения интеграции больших языковых моделей (LLM), таких как Gemini, в приложения. В этом notebook вы узнаете, как создать приложение для суммирования больших документов с использованием Gemini API и LangChain. Сначала необходимо установить пакеты и задать необходимые переменные среды. Установите библиотеку Python LangChain, langchain, и пакет интеграции LangChain для Gemini API, langchain-google-genai. Установка langchain-community позволит вам использовать инструмент WebBaseLoader, показанный далее в этом примере. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Authentication для примера. В этом руководстве вы будете суммировать текст с веб-сайта, используя модель Gemini, интегрированную через LangChain. Для этого вы выполните следующие шаги: Прочитать и разобрать данные веб-сайта с использованием LangChain. Объединить в цепочку следующее: prompt для извлечения необходимых входных данных из разобранных данных веб-сайта. prompt для суммирования текста с использованием LangChain. Модель LLM (например, модель Gemini) для создания prompt. Запустить созданную цепочку, чтобы запросить у модели сводку данных веб-сайта. LangChain предоставляет широкий спектр загрузчиков документов. Чтобы прочитать данные веб-сайта как документ, вы будете использовать WebBaseLoader из LangChain. Чтобы узнать больше о том, как читать и разбирать входные данные из различных источников с использованием загрузчиков документов LangChain, прочитайте руководство по загрузчикам документов LangChain. Вы должны импортировать LLM ChatGoogleGenerativeAI из LangChain для инициализации вашей модели. В этом примере вы будете использовать Gemini 3.7 Flash (gemini-3.7-flash), поскольку он поддерживает суммирование текста. Чтобы узнать больше об этой модели и других доступных моделях, прочитайте документацию по языковым моделям Google AI.

План урока

1. Обзор
2. Настройка
3. Установка
4. Настройте ваш API key
5. Суммирование текста
6. Чтение и разбор данных веб-сайта
7. Инициализация модели Gemini
8. Создание prompt-шаблонов