Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 42 · Текст · ~5 мин

Многоклассовая классификация транзакций

Урок 42 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом notebook мы рассмотрим классификацию общедоступного набора данных транзакций по ряду предопределенных категорий. Эти подходы должны быть применимы к любому сценарию многоклассовой классификации, где мы пытаемся сопоставить транзакционные данные с заранее заданными категориями. По завершении работы с этим материалом у вас будет несколько подходов для работы как с размеченными, так и с неразмеченными наборами данных.

В этом notebook мы рассмотрим следующие подходы:

  • Классификация без примеров (Zero-shot Classification): Сначала мы выполним zero-shot classification, чтобы распределить транзакции по одной из пяти названных категорий, используя только prompt для руководства.
  • Классификация с использованием Embeddings: Затем мы создадим embeddings на размеченном наборе данных, а затем используем традиционную модель классификации для проверки их эффективности в определении наших категорий.
  • Fine-tuned классификация: Наконец, мы создадим fine-tuned модель, обученную на нашем размеченном наборе данных, чтобы увидеть, как она сравнивается с подходами zero-shot и few-shot classification.

Мы используем общедоступный набор данных транзакций на сумму свыше 25 000 фунтов стерлингов для Национальной библиотеки Шотландии. Набор данных содержит три признака, которые мы будем использовать:

  • Поставщик: Название поставщика
  • Описание: Текстовое описание транзакции
  • Сумма: Стоимость транзакции в фунтах стерлингов

Источник:

https://data.nls.uk/data/organisational-data/transactions-over-25k/

Сначала мы оценим производительность базовых моделей в классификации этих транзакций, используя простой prompt. Мы предоставим модели 5 категорий и общую категорию «Could not classify» для тех случаев, которые она не сможет отнести.

Наша первая попытка верна: M & J Ballantyne Ltd — строительная компания, и выполненные ими работы действительно относятся к категории «Building Improvement» (Улучшение зданий).

Давайте увеличим размер выборки до 25 и посмотрим, как модель справится, снова используя простой prompt в качестве руководства.

Первоначальные результаты довольно хорошие, даже без размеченных примеров! Те случаи, которые модель не смогла классифицировать, были более сложными и содержали мало подсказок относительно их темы, но, возможно, если мы очистим размеченный набор данных, чтобы предоставить больше примеров, мы сможем добиться лучшей производительности.

Давайте создадим…

План урока

  1. Настройка
  2. Загрузка набора данных
  3. Классификация без примеров (Zero-shot Classification)
  4. Классификация с использованием Embeddings
  5. Создание embeddings
  6. Использование embeddings для классификации
  7. Fine-tuned классификация транзакций
  8. Создание Fine-tuned классификатора

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды