Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 93 · Текст · ~5 мин

Извлечение сущностей из PDF с Indexify

Урок 93 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом руководстве показано, как создать надёжный конвейер извлечения сущностей для PDF-документов с использованием Indexify и больших языковых моделей Mistral. Вы узнаете, как эффективно извлекать именованные сущности из PDF-файлов для различных приложений, таких как информационный поиск, анализ контента и интеллектуальный анализ данных.

Извлечение сущностей, также известное как распознавание именованных сущностей (NER), включает в себя идентификацию и классификацию именованных сущностей в тексте по заранее определённым категориям, таким как люди, организации, местоположения, даты и другие. Применяя эту технику к PDF-документам, мы можем автоматически извлекать структурированную информацию из неструктурированного текста, что упрощает анализ и использование содержимого этих документов.

Прежде чем начать, убедитесь, что у вас есть следующее:

  • Создайте виртуальное окружение с Python 3.9 или новее
  • pip (менеджер пакетов Python)
  • Ключ API Mistral
  • Базовое знакомство с Python и интерфейсами командной строки

Сначала установим Indexify, используя официальный установочный скрипт в терминале:

Запустите сервер Indexify:

Это запускает постоянно работающий сервер, который предоставляет API для приёма и извлечения данных приложениям.

Далее мы установим необходимые экстракторы в новом терминале:

После загрузки экстракторов вы можете запустить их:

Граф извлечения определяет поток данных в нашем конвейере извлечения сущностей. Мы создадим граф, который сначала извлекает текст из PDF-файлов, а затем отправляет этот текст в Mistral для извлечения сущностей.

Замените 'YOUR_MISTRAL_API_KEY' на ваш фактический ключ API Mistral.

Теперь, когда наш граф извлечения настроен, мы можем загружать файлы и извлекать сущности:

Вы можете настроить процесс извлечения сущностей, изменив system_prompt в графе извлечения. Например:

  • Чтобы сосредоточиться на конкретных типах сущностей:
  • Чтобы включить отношения между сущностями:

Вы также можете экспериментировать с различными моделями Mistral, изменяя параметр model_name, чтобы найти оптимальный баланс между скоростью и точностью для вашего конкретного сценария использования.

Хотя пример может показаться простым, использование Indexify для этой задачи имеет ряд уникальных преимуществ:

  1. Масштабируемость и высокая доступность: Сервер Indexify может быть развёрнут в облаке и обрабатывать тысячи загруженных…

План урока

  1. Введение
  2. Предварительные требования
  3. Настройка
  4. Установка Indexify
  5. Установка необходимых экстракторов
  6. Создание графа извлечения
  7. Реализация конвейера извлечения сущностей
  8. Настройка и расширенное использование

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды