Саммари длинных текстов со ссылками на источники

О чём урок

Примечание: мы обновляем ссылки в этом блокноте. Если ссылка не работает, пожалуйста, сообщите о проблеме, и мы исправим ее как можно скорее. Спасибо за понимание! Ссылки для добавления: Ячейка 1: сообщение в блоге о длинной, обоснованной суммаризации Раздел 4: к методу text-rank (фильтрация контекста) Этот блокнот содержит код для получения результатов, описанных в этом сообщении в блоге. Настройка Готовая суммаризация с Command-R Введение цитат в резюме для обоснования Снижение стоимости вызовов суммаризации Сначала давайте посмотрим на готовую производительность Command-R. Это модель с контекстом 128k, поэтому мы можем передать полный отчет МВФ за один вызов. Мы воспроизводим точные инструкции из оригинального твита (исправляя небольшую опечатку) для обеспечения справедливого сравнения. При суммаризации длинных документов введение цитат является простым методом проверки фактической точности резюме без необходимости читать весь документ. Мы обучили Command-R вводить цитаты всякий раз, когда это требуется нашими инструкциями по обоснованной генерации. Активация этого обоснованного режима проста. Начиная с предыдущего фрагмента, нам нужно внести всего два изменения: Передать наш текст в аргумент documents Передать наши инструкции в аргумент message Для получения дополнительной информации о том, как включить обоснованную генерацию через наш API co.chat, пожалуйста, обратитесь к нашей документации. Наконец, обратите внимание, что мы разбиваем отчет МВФ на несколько документов, прежде чем передавать их в co.chat. Это не обязательно (co.chat аннотирует цитаты на уровне символов), но позволяет получать более удобочитаемые цитаты. Давайте отобразим цитаты внутри нашего ответа: Теперь мы можем визуализировать, какая часть ответа основана на каком отрывке основного текста. Проверка фактической точности проста: выберите раздел и убедитесь, что соответствующая информация содержится в цитируемом фрагменте. Например, давайте проверим утверждение проверив его фрагмент: Выглядит убедительно! Повторяя такие проверки, легко завоевать доверие к вашим резюме. Хотя Command-R является эффективной, легковесной моделью, для некоторых приложений мы можем согласиться пожертвовать некоторым качеством суммаризации ради снижения затрат.

План урока

1. Оглавление
2. 1. Настройка
3. В сторону: определение утилит
4. 2. Готовая суммаризация с Command-R
5. 3. Введение цитат в резюме для обоснования
6. 4. Снижение стоимости вызовов суммаризации