Работа с длинными текстами: общие стратегии

О чём урок

Большие языковые модели (LLM) становятся всё более способными к пониманию текста, превосходно справляясь, помимо прочего, с анализом документов. Новая модель Cohere, Command-R, имеет длину контекста 128k, что делает её особенно эффективной для таких задач. Тем не менее, даже с расширенным окном контекста некоторые документы могут быть слишком длинными, чтобы вместить их целиком. В этом руководстве мы рассмотрим методы решения проблем, когда релевантная информация не помещается в окно контекста модели. Мы покажем вам три потенциальные стратегии смягчения: усечение документа, извлечение на основе запроса и подход «ранжирование текста» (text rank), который мы используем внутри Cohere. Начало работы Подход 1: Усечение Подход 2: Извлечение на основе запроса Подход 3: Ранжирование текста Подход Описание Плюсы Минусы Когда использовать? Усечение Усечение документа для соответствия окну контекста. - Простота реализации(не зависит от внешней инфраструктуры) - Потеря информации в конце документа Использовать, когда вся релевантная информация содержится в начале документа. Извлечение на основе запроса Использование семантического сходства для извлечения фрагментов текста, наиболее релевантных запросу. - Фокусируется на разделах, непосредственно относящихся к запросу - Зависит от алгоритма семантического сходства.- Может потерять более широкий контекст Применять при поиске конкретной информации в тексте. Ранжирование текста Применение теории графов для создания связного набора фрагментов, эффективно представляющих документ. - Сохраняет общую картину. - Может потерять детальную информацию. Использовать в резюме и когда вопрос требует более широкого контекста. В этом примере мы используем Предложение по Регламенту Европейского парламента и Совета, определяющему правила в отношении искусственного интеллекта, от 26 января 2024 года, ссылка. Если вы запустите ячейку ниже, произойдет ошибка. Поэтому в следующих разделах мы рассмотрим некоторые методы для устранения этого ограничения. Ошибка: :CohereAPIError: too many tokens: Поэтому в следующих разделах мы рассмотрим некоторые методы для устранения этого ограничения. Сначала мы пытаемся усечь документ, чтобы он соответствовал ограничениям по длине. Этот подход прост в реализации и понимании. Однако он отбрасывает потенциально важную информацию, содержащуюся в конце документа.

План урока

1. Краткое описание
2. Суммирование текста
3. Реализация извлечения на основе запроса
4. Реализация ранжирования текста