Распознавание именованных сущностей

О чём урок

До сих пор мы в основном сосредоточивались на одной задаче обработки естественного языка (NLP): классификации. Однако существуют и другие задачи NLP, которые можно решать с помощью нейронных сетей. Одна из таких задач: распознавание именованных сущностей (NER), которое заключается в выявлении конкретных сущностей в тексте, таких как места, имена людей, временные интервалы, химические формулы и так далее. Представьте, что вы хотите разработать чат-бота, похожего на Amazon Alexa или Google Assistant. Интеллектуальные чат-боты работают, понимая, что хочет пользователь, выполняя классификацию текста во входном предложении. Результатом этой классификации является так называемый интент, который определяет, что должен сделать чат-бот. Изображение автора Однако пользователь может указать некоторые параметры в своей фразе. Например, при запросе прогноза погоды он может уточнить местоположение или дату. Бот должен уметь распознавать эти сущности и заполнять соответствующие слоты параметров перед выполнением действия. Именно здесь и применяется NER. ✅ Другой пример: анализ научных медицинских статей. Одна из главных задач: поиск специфических медицинских терминов, таких как названия болезней и медицинских веществ. Если небольшое количество болезней можно извлечь с помощью поиска подстрок, то для более сложных сущностей, таких как химические соединения и названия лекарств, требуется более сложный подход. Модели NER по сути представляют собой модели классификации токенов, поскольку для каждого входного токена нам нужно решить, относится ли он к какой-либо сущности, и если да, то к какому классу сущностей. Рассмотрим следующий заголовок статьи: Tricuspid valve regurgitation and lithium carbonate toxicity in a newborn infant. Сущности здесь: Tricuspid valve regurgitation: заболевание (DIS) Lithium carbonate: химическое вещество (CHEM) Toxicity: также заболевание (DIS) Обратите внимание, что одна сущность может охватывать несколько токенов. И, как в этом случае, нам нужно различать две последовательные сущности. Таким образом, обычно используются два класса для каждой сущности: один указывает на первый токен сущности (часто используется префикс B-, от beginning), а другой: на продолжение сущности (I-, от inner token).

План урока

1. Викторина перед лекцией
2. Пример использования NER
3. NER как классификация токенов
4. Обучение моделей NER
5. ✍️ Примеры ноутбуков: NER
6. Заключение
7. 🚀 Задание
8. Викторина после лекции