О чём урок
Большие языковые модели (LLM) становятся всё более способными к пониманию текста, превосходно справляясь, помимо прочего, с анализом документов. Новая модель Cohere, Command-R, имеет длину контекста 128k, что делает её особенно эффективной для таких задач. Тем не менее, даже с расширенным окном контекста некоторые документы могут быть слишком длинными, чтобы вместить их целиком.
В этом руководстве мы рассмотрим методы решения проблем, когда релевантная информация не помещается в окно контекста модели.
Мы покажем вам три потенциальные стратегии смягчения: усечение документа, извлечение на основе запроса и подход «ранжирование текста» (text rank), который мы используем внутри Cohere.
- Начало работы
- Подход 1: Усечение
- Подход 2: Извлечение на основе запроса
- Подход 3: Ранжирование текста
В этом примере мы используем Предложение по Регламенту Европейского парламента и Совета, определяющему правила в отношении искусственного интеллекта, от 26 января 2024 года, ссылка.
Если вы запустите ячейку ниже, произойдет ошибка. Поэтому в следующих разделах мы рассмотрим некоторые методы для устранения этого ограничения.
Ошибка: :CohereAPIError: too many tokens:
Поэтому в следующих разделах мы рассмотрим некоторые методы для устранения этого ограничения.
Сначала мы пытаемся усечь документ, чтобы он соответствовал ограничениям по длине. Этот подход прост в реализации и понимании. Однако он отбрасывает потенциально важную информацию, содержащуюся в конце документа.
В этом разделе мы покажем, как можно использовать подход, основанный на извлечении по запросу, для генерации ответа на следующий вопрос: Based on the document, are there any risks related to Elon Musk?.
Решение описано ниже и может быть разбито на четыре функциональных шага.
- Разбить текст на фрагменты Здесь мы используем простой алгоритм разбиения на фрагменты. Более подробную информацию о различных стратегиях разбиения на фрагменты можно найти [здесь](TODO: link to chunking post).
- Использовать алгоритм ранжирования для ранжирования фрагментов по отношению к запросу Мы используем другую конечную точку Cohere, co.rerank (ссылка на документацию), для ранжирования каждого фрагмента по отношению к запросу.
- Сохранять наиболее релевантные…
План урока
- Краткое описание
- Суммирование текста
- Реализация извлечения на основе запроса
- Реализация ранжирования текста
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.