Извлечение сущностей генеративной моделью

О чём урок

Этот ноутбук демонстрирует, как использовать генеративные модели Cohere для извлечения названия фильма из заголовка статьи. Это демонстрирует распознавание именованных сущностей (Named Entity Recognition, NER) для сущностей, которые сложнее выделить с использованием других методов NLP (и где предварительное обучение предоставляет модели некоторый контекст об этих сущностях). Это также демонстрирует более широкое применение структурированной генерации, основанной на предоставлении нескольких примеров в prompt. Мы будем использовать заголовки постов из сабреддита r/Movies. И для каждого заголовка мы будем извлекать, о каком фильме идет речь в посте. Если модель не сможет обнаружить название упомянутого фильма, она вернет "none". Начнем с установки необходимых пакетов. Затем мы импортируем эти пакеты и объявим функцию, которая извлекает заголовки постов из reddit. Вам понадобится ваш API key для следующей ячейки. Зарегистрируйтесь в Cohere и получите его, если вы еще этого не сделали. В нашем prompt мы представим модели примеры того типа вывода, который нам нужен. Мы, по сути, получаем набор заголовков статей из сабреддита и сами их размечаем. Метка здесь — это название фильма, упомянутого в заголовке (и "none", если фильм не упомянут). Мы создадим prompt, который демонстрирует задачу модели. Prompt содержит приведенные выше примеры, а затем представляет входной текст и просит модель извлечь название фильма. Теперь сделаем вызов API, чтобы получить лучшие посты за 2021 год из r/movies. А теперь мы перебираем посты и обрабатываем каждый из них нашим экстрактором. Давайте посмотрим на результаты: Глядя на эти результаты, модель правильно ответила на 9 из 10 вопросов. Она не распознала Shaolin Soccer и God of Gambler в примере №4. Она также назвала второй пример "Pixar's Luca" вместо "Luca". Но, возможно, мы это простим. При экспериментировании с prompt'ами для извлечения мы часто сталкиваемся с пограничными случаями. Что, если в посте упоминаются два фильма, например?

План урока

1. Настройка
2. Подготовка примеров для prompt
3. Создание prompt для извлечения
4. Получение данных
5. Запуск модели
6. Насколько хорошо это работает?