О чём урок
В этом руководстве мы углубимся в классификацию, особое внимание уделим тому, как использовать Classifier Factory для создания классификаторов, адаптированных к вашим потребностям и сценариям использования.
Для простоты мы сосредоточимся на конкретном примере, который требует многоцелевой классификации (multitarget classification).
Конкретный сценарий использования, который мы рассмотрим, — это классификация продуктов питания. Мы стремимся классифицировать различные блюда и рецепты по разным категориям и далее классифицировать их по основному языку рецепта.
Мы сосредоточимся на трёх значениях:
- Название блюда или продукта
- Страна происхождения
- Множественные категории (multi-categories)
Это означает, что нам необходимо классифицировать два основных аспекта: страну и категории, к которым относится продукт питания.
Мы также произвольно решим, что не должно быть продуктов без какой-либо категории; всегда должна быть хотя бы одна.
Для этой цели мы будем использовать подмножество базы данных продуктов Open Food Facts в качестве данных, относящихся к нашему сценарию использования.
Это подмножество было отобрано с целью сосредоточиться на наиболее распространённых метках (labels) и прошло несколько этапов для балансировки.
Существует 2 основные метки (labels):
- Страна единичная цель (single target): Соответствующая страна продукта/блюда среди 8 возможных значений: italy, spain, germany, france, united-states, belgium, united-kingdom и switzerland.
- Категория множественная цель (multi-target): Категория, к которой он относится, среди 8 возможных значений: snacks, beverages, cereals-and-potatoes, plant-based-foods, dairies, plant-based-foods-and-beverages, meats-and-their-products и sweet-snacks.
Имеется 8 стран и 8 различных категорий. Ввиду характера каждой метки (label) набор данных (dataset) разделён следующим образом:
- name: Название продукта/блюда, извлечённое из поля product_name набора данных (dataset) openfoodfacts/product-database.
- country_label: ID страны, извлечённое из поля countries_tags набора данных (dataset) openfoodfacts/product-database.
- category_labels: Категории, к которым он относится, извлечённые из поля categories_tags набора данных (dataset) openfoodfacts/product-database.
Обратите внимание, что категории продуктов питания перекрываются, поскольку один образец может иметь несколько категорий.
Набор данных (dataset) был разделён на 3 части:
- train: 80%
- validation: 10%
- test: 10%
Давайте загрузим набор данных (dataset), мы…
План урока
- Классификация продуктов питания
- Набор данных (Dataset)
- Метки (Labels)
- Распределение
- Разделения (Splits)
- Подготовка данных
- Обучение (Training)
- WANDB
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.