Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 31 · Текст · ~5 мин

Разбор отчёта 10-K через Cohere и RAG

Урок 31 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Вы можете использовать этот скрипт для быстрого начала финансового анализа форм 10-K или 10-Q с помощью модели Command от Cohere.

Этот сборник рецептов основан на полезных инструментах LlamaIndex, а также на нашем Cohere SDK. Если вы знакомы с LlamaIndex, вам будет легко встроить этот процесс в ваши собственные рабочие процессы.

Вы можете запустить следующие ячейки для загрузки формы 10-K, которая уже была предварительно обработана с помощью OCR.

💡 Если вы хотите запустить конвейер OCR самостоятельно, вы можете найти дополнительную информацию в разделе под названием Преобразование PDF в текст с использованием OCR и pdf2image.

Нам потребуется преобразовать текст в фрагменты определенного размера, чтобы модель Cohere embedding могла правильно их обработать в дальнейшем.

В данном случае мы выбираем использование `SentenceSplitter` от LlamaIndex для получения этих фрагментов. Мы должны передать вызываемый объект токенизации, что можно сделать с помощью библиотеки `transformers`.

Вы также можете применить дополнительные преобразования из репозитория LlamaIndex, если захотите. Взгляните на документацию для вдохновения относительно того, что возможно с преобразованиями.

Загрузка документа в векторное хранилище LlamaIndex позволит нам использовать модель Cohere embedding и модель rerank для извлечения соответствующих частей формы для передачи в Command.

Чтобы выполнить RAG, нам нужен запрос или набор запросов для фактического выполнения шага извлечения. Как это принято в настройках RAG, мы будем использовать Command для генерации этих запросов. Затем мы будем использовать эти запросы вместе с ранее созданным LlamaIndex retriever для извлечения наиболее релевантных частей формы 10-K.

Чтобы узнать больше о режиме документа и генерации запросов, ознакомьтесь с нашей документацией.

Теперь, имея запросы, мы выполняем поиск по нашему векторному индексу.

Теперь, когда у нас есть красиво отформатированные фрагменты из формы 10-K, мы можем передать их непосредственно в Command, используя Cohere SDK. Передавая фрагменты в аргумент `documents` kwarg, мы включаем режим документа, который будет выполнять обоснованный вывод на основе переданных вами документов.

Вы можете убедиться в этом сами, проверив…

План урока

  1. Начало работы
  2. Шаг 1: Загрузка формы 10-K
  3. Шаг 2: Загрузка документа в векторное хранилище LlamaIndex
  4. Шаг 3: Генерация запросов и извлечение
  5. Шаг 4: Выполнение RAG-запроса к Command в режиме документа
  6. Преобразование PDF в текст с использованием OCR и pdf2image
  7. Сравнение количества токенов / цены и задержки

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды