Многоклассовая классификация транзакций

О чём урок

В этом notebook мы рассмотрим классификацию общедоступного набора данных транзакций по ряду предопределенных категорий. Эти подходы должны быть применимы к любому сценарию многоклассовой классификации, где мы пытаемся сопоставить транзакционные данные с заранее заданными категориями. По завершении работы с этим материалом у вас будет несколько подходов для работы как с размеченными, так и с неразмеченными наборами данных. В этом notebook мы рассмотрим следующие подходы: Классификация без примеров (Zero-shot Classification): Сначала мы выполним zero-shot classification, чтобы распределить транзакции по одной из пяти названных категорий, используя только prompt для руководства. Классификация с использованием Embeddings: Затем мы создадим embeddings на размеченном наборе данных, а затем используем традиционную модель классификации для проверки их эффективности в определении наших категорий. Fine-tuned классификация: Наконец, мы создадим fine-tuned модель, обученную на нашем размеченном наборе данных, чтобы увидеть, как она сравнивается с подходами zero-shot и few-shot classification. Мы используем общедоступный набор данных транзакций на сумму свыше 25 000 фунтов стерлингов для Национальной библиотеки Шотландии. Набор данных содержит три признака, которые мы будем использовать: Поставщик: Название поставщика Описание: Текстовое описание транзакции Сумма: Стоимость транзакции в фунтах стерлингов Источник: https://data.nls.uk/data/organisational-data/transactions-over-25k/ Сначала мы оценим производительность базовых моделей в классификации этих транзакций, используя простой prompt. Мы предоставим модели 5 категорий и общую категорию «Could not classify» для тех случаев, которые она не сможет отнести. Наша первая попытка верна: M & J Ballantyne Ltd — строительная компания, и выполненные ими работы действительно относятся к категории «Building Improvement» (Улучшение зданий). Давайте увеличим размер выборки до 25 и посмотрим, как модель справится, снова используя простой prompt в качестве руководства.

План урока

1. Настройка
2. Загрузка набора данных
3. Классификация без примеров (Zero-shot Classification)
4. Классификация с использованием Embeddings
5. Создание embeddings
6. Использование embeddings для классификации
7. Fine-tuned классификация транзакций
8. Создание Fine-tuned классификатора