О чём урок
В этом руководстве показано, как создать надёжный конвейер извлечения сущностей для PDF-документов с использованием Indexify и больших языковых моделей Mistral. Вы узнаете, как эффективно извлекать именованные сущности из PDF-файлов для различных приложений, таких как информационный поиск, анализ контента и интеллектуальный анализ данных.
Извлечение сущностей, также известное как распознавание именованных сущностей (NER), включает в себя идентификацию и классификацию именованных сущностей в тексте по заранее определённым категориям, таким как люди, организации, местоположения, даты и другие. Применяя эту технику к PDF-документам, мы можем автоматически извлекать структурированную информацию из неструктурированного текста, что упрощает анализ и использование содержимого этих документов.
Прежде чем начать, убедитесь, что у вас есть следующее:
- Создайте виртуальное окружение с Python 3.9 или новее
- pip (менеджер пакетов Python)
- Ключ API Mistral
- Базовое знакомство с Python и интерфейсами командной строки
Сначала установим Indexify, используя официальный установочный скрипт в терминале:
Запустите сервер Indexify:
Это запускает постоянно работающий сервер, который предоставляет API для приёма и извлечения данных приложениям.
Далее мы установим необходимые экстракторы в новом терминале:
После загрузки экстракторов вы можете запустить их:
Граф извлечения определяет поток данных в нашем конвейере извлечения сущностей. Мы создадим граф, который сначала извлекает текст из PDF-файлов, а затем отправляет этот текст в Mistral для извлечения сущностей.
Замените 'YOUR_MISTRAL_API_KEY' на ваш фактический ключ API Mistral.
Теперь, когда наш граф извлечения настроен, мы можем загружать файлы и извлекать сущности:
Вы можете настроить процесс извлечения сущностей, изменив system_prompt в графе извлечения. Например:
- Чтобы сосредоточиться на конкретных типах сущностей:
- Чтобы включить отношения между сущностями:
Вы также можете экспериментировать с различными моделями Mistral, изменяя параметр model_name, чтобы найти оптимальный баланс между скоростью и точностью для вашего конкретного сценария использования.
Хотя пример может показаться простым, использование Indexify для этой задачи имеет ряд уникальных преимуществ:
- Масштабируемость и высокая доступность: Сервер Indexify может быть развёрнут в облаке и обрабатывать тысячи загруженных…
План урока
- Введение
- Предварительные требования
- Настройка
- Установка Indexify
- Установка необходимых экстракторов
- Создание графа извлечения
- Реализация конвейера извлечения сущностей
- Настройка и расширенное использование
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.