Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 43 · Текст · ~5 мин

Распознавание именованных сущностей для обогащения текста

Урок 43 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Named Entity Recognition (NER) — это задача обработки естественного языка, которая идентифицирует и классифицирует именованные сущности (NE) по заранее определённым семантическим категориям (таким как люди, организации, местоположения, события, временные выражения и количества). Преобразуя необработанный текст в структурированную информацию, NER делает данные более пригодными для использования, облегчая такие задачи, как извлечение информации, агрегация данных, аналитика и мониторинг социальных сетей.

Этот notebook демонстрирует, как выполнять NER с помощью chat completion и functions-calling для обогащения текста ссылками на базу знаний, такую как Wikipedia:

Текст:

В Германии, в 1440 году, ювелир Иоганн Гутенберг изобрёл печатный станок с подвижными литерами. Его работа привела к информационной революции и беспрецедентному массовому распространению литературы по всей Европе. Созданный по образцу существующих винтовых прессов, один печатный станок с подвижными литерами эпохи Возрождения мог производить до 3600 страниц в рабочий день.

Текст, обогащённый ссылками на Wikipedia:

В Германии, в 1440 году, ювелир Иоганн Гутенберг изобрёл печатный станок с подвижными литерами. Его работа привела к информационной революции и беспрецедентному массовому распространению литературы по всей Европе. Созданный по образцу существующих винтовых прессов, один печатный станок с подвижными литерами эпохи Возрождения мог производить до 3600 страниц в рабочий день.

Стоимость инференса: В этом notebook также показано, как оценить стоимость вызовов OpenAI API.

Вы можете сгенерировать API key в веб-интерфейсе OpenAI. Подробности см. по ссылке: https://platform.openai.com/account/api-keys.

Этот notebook работает с последними моделями OpenAI gpt-3.5-turbo-0613 и gpt-4-0613.

Мы определяем стандартный набор NER-меток для демонстрации широкого спектра вариантов использования. Однако для нашей конкретной задачи по обогащению текста ссылками на базу знаний требуется лишь подмножество.

The chat completions API принимает список сообщений в качестве входных данных и выдаёт сгенерированное моделью сообщение в качестве выходных данных. Хотя формат чата в первую очередь предназначен для облегчения многоходовых бесед, он одинаково эффективен для одноходовых задач без какой-либо предшествующей беседы.

Системное сообщение (prompt) определяет поведение ассистента…

План урока

  1. Распознавание именованных сущностей (NER) для обогащения текста
  2. 1. Настройка
  3. 1.1 Установка/обновление пакетов Python
  4. 1.2 Загрузка пакетов и OPENAI_API_KEY
  5. 2. Определение NER-меток для идентификации
  6. 3. Подготовка сообщений
  7. 3.1 Системное сообщение
  8. 3.2 Сообщение ассистента

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды