Агент извлекает данные из PDF

О чём урок

Как правило, пользователи ограничены текстовым вводом при использовании больших языковых моделей (LLM), но агенты позволяют модели делать больше, чем просто принимать или выводить текстовую информацию. Используя инструменты, LLM могут вызывать другие API, сохранять данные и многое другое. В этом ноутбуке мы рассмотрим, как можно использовать агентов для извлечения информации из PDF-файлов. Мы будем имитировать приложение, в котором пользователь загружает PDF-файлы, а агент извлекает полезную информацию. Это может быть полезно, когда текстовая информация имеет различные форматы и вам необходимо извлечь различные типы информации. В директории у нас есть файл simple_invoice.pdf. Каждый раз, когда пользователь загружает документ, агент будет извлекать ключевую информацию total_amount и invoice_number, а затем сохранять ее в формате CSV, который затем может быть использован в другом приложении. В этой демонстрации мы извлекаем только две части информации, но пользователи могут расширить пример и извлечь гораздо больше информации. Функция extract_pdf() извлекает текстовые данные из PDF с помощью пакета unstructured. Вы также можете использовать другие пакеты, такие как PyPDF2. Этот извлеченный текст добавляется в prompt, чтобы модель могла «видеть» документ. Агент суммирует документ и передает эту информацию функции convert_to_json(). Эта функция делает еще один вызов модели command для преобразования сводки в вывод JSON. Такое разделение задач полезно, когда текстовый документ сложен и длинный. Поэтому мы сначала извлекаем информацию, а затем просим другую модель преобразовать текст в объект JSON. Это полезно, так как каждая модель или агент фокусируется на своей задаче, не страдая от длинного контекста. Затем объект JSON проходит проверку, чтобы убедиться, что все ключи присутствуют, и сохраняется как CSV-файл. Когда документ слишком длинный или задача слишком сложная, модель может не извлечь всю информацию. Эти проверки очень полезны, потому что они дают обратную связь модели, чтобы она могла скорректировать свои параметры для повторной попытки.

План урока

1. Цель
2. Шаги
3. Настройка
4. Данные
5. Инструмент
6. Агент Cohere
7. Извлечение PDF