Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 47 · Текст · ~5 мин

Работа с длинными текстами: общие стратегии

Урок 47 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Большие языковые модели (LLM) становятся всё более способными к пониманию текста, превосходно справляясь, помимо прочего, с анализом документов. Новая модель Cohere, Command-R, имеет длину контекста 128k, что делает её особенно эффективной для таких задач. Тем не менее, даже с расширенным окном контекста некоторые документы могут быть слишком длинными, чтобы вместить их целиком.

В этом руководстве мы рассмотрим методы решения проблем, когда релевантная информация не помещается в окно контекста модели.

Мы покажем вам три потенциальные стратегии смягчения: усечение документа, извлечение на основе запроса и подход «ранжирование текста» (text rank), который мы используем внутри Cohere.

  1. Начало работы
  2. Подход 1: Усечение
  3. Подход 2: Извлечение на основе запроса
  4. Подход 3: Ранжирование текста

В этом примере мы используем Предложение по Регламенту Европейского парламента и Совета, определяющему правила в отношении искусственного интеллекта, от 26 января 2024 года, ссылка.

Если вы запустите ячейку ниже, произойдет ошибка. Поэтому в следующих разделах мы рассмотрим некоторые методы для устранения этого ограничения.

Ошибка: :CohereAPIError: too many tokens:

Поэтому в следующих разделах мы рассмотрим некоторые методы для устранения этого ограничения.

Сначала мы пытаемся усечь документ, чтобы он соответствовал ограничениям по длине. Этот подход прост в реализации и понимании. Однако он отбрасывает потенциально важную информацию, содержащуюся в конце документа.

В этом разделе мы покажем, как можно использовать подход, основанный на извлечении по запросу, для генерации ответа на следующий вопрос: Based on the document, are there any risks related to Elon Musk?.

Решение описано ниже и может быть разбито на четыре функциональных шага.

  1. Разбить текст на фрагменты Здесь мы используем простой алгоритм разбиения на фрагменты. Более подробную информацию о различных стратегиях разбиения на фрагменты можно найти [здесь](TODO: link to chunking post).
  2. Использовать алгоритм ранжирования для ранжирования фрагментов по отношению к запросу Мы используем другую конечную точку Cohere, co.rerank (ссылка на документацию), для ранжирования каждого фрагмента по отношению к запросу.
  3. Сохранять наиболее релевантные…

План урока

  1. Краткое описание
  2. Суммирование текста
  3. Реализация извлечения на основе запроса
  4. Реализация ранжирования текста

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды