Урок из полного доступа, первые уроки курса бесплатно Официальный курс Microsoft AI for Beginners на русском
Урок 20 · Текст · ~5 мин

Распознавание именованных сущностей

Урок 20 из 25 курса «Основы ИИ для начинающих»: официальный курс Microsoft AI for Beginners (Майкрософт) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

До сих пор мы в основном сосредоточивались на одной задаче обработки естественного языка (NLP): классификации. Однако существуют и другие задачи NLP, которые можно решать с помощью нейронных сетей. Одна из таких задач: распознавание именованных сущностей (NER), которое заключается в выявлении конкретных сущностей в тексте, таких как места, имена людей, временные интервалы, химические формулы и так далее.

Представьте, что вы хотите разработать чат-бота, похожего на Amazon Alexa или Google Assistant. Интеллектуальные чат-боты работают, понимая, что хочет пользователь, выполняя классификацию текста во входном предложении. Результатом этой классификации является так называемый интент, который определяет, что должен сделать чат-бот.

Изображение автора

Однако пользователь может указать некоторые параметры в своей фразе. Например, при запросе прогноза погоды он может уточнить местоположение или дату. Бот должен уметь распознавать эти сущности и заполнять соответствующие слоты параметров перед выполнением действия. Именно здесь и применяется NER.

✅ Другой пример: анализ научных медицинских статей. Одна из главных задач: поиск специфических медицинских терминов, таких как названия болезней и медицинских веществ. Если небольшое количество болезней можно извлечь с помощью поиска подстрок, то для более сложных сущностей, таких как химические соединения и названия лекарств, требуется более сложный подход.

Модели NER по сути представляют собой модели классификации токенов, поскольку для каждого входного токена нам нужно решить, относится ли он к какой-либо сущности, и если да, то к какому классу сущностей.

Рассмотрим следующий заголовок статьи:

Tricuspid valve regurgitation and lithium carbonate toxicity in a newborn infant.

Сущности здесь:

  • Tricuspid valve regurgitation: заболевание (DIS)
  • Lithium carbonate: химическое вещество (CHEM)
  • Toxicity: также заболевание (DIS)

Обратите внимание, что одна сущность может охватывать несколько токенов. И, как в этом случае, нам нужно различать две последовательные сущности. Таким образом, обычно используются два класса для каждой сущности: один указывает на первый токен сущности (часто используется префикс B-, от beginning), а другой: на продолжение сущности (I-, от inner token).

Поскольку нам нужно установить однозначное…

План урока

  1. Викторина перед лекцией
  2. Пример использования NER
  3. NER как классификация токенов
  4. Обучение моделей NER
  5. ✍️ Примеры ноутбуков: NER
  6. Заключение
  7. 🚀 Задание
  8. Викторина после лекции

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Microsoft 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Microsoft (3 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды