Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 33 · Текст · ~5 мин

Свой классификатор для категорий продуктов питания

Урок 33 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом руководстве мы углубимся в классификацию, особое внимание уделим тому, как использовать Classifier Factory для создания классификаторов, адаптированных к вашим потребностям и сценариям использования.

Для простоты мы сосредоточимся на конкретном примере, который требует многоцелевой классификации (multitarget classification).

Конкретный сценарий использования, который мы рассмотрим, — это классификация продуктов питания. Мы стремимся классифицировать различные блюда и рецепты по разным категориям и далее классифицировать их по основному языку рецепта.

Мы сосредоточимся на трёх значениях:

  • Название блюда или продукта
  • Страна происхождения
  • Множественные категории (multi-categories)

Это означает, что нам необходимо классифицировать два основных аспекта: страну и категории, к которым относится продукт питания.

Мы также произвольно решим, что не должно быть продуктов без какой-либо категории; всегда должна быть хотя бы одна.

Для этой цели мы будем использовать подмножество базы данных продуктов Open Food Facts в качестве данных, относящихся к нашему сценарию использования.

Это подмножество было отобрано с целью сосредоточиться на наиболее распространённых метках (labels) и прошло несколько этапов для балансировки.

Существует 2 основные метки (labels):

  • Страна единичная цель (single target): Соответствующая страна продукта/блюда среди 8 возможных значений: italy, spain, germany, france, united-states, belgium, united-kingdom и switzerland.
  • Категория множественная цель (multi-target): Категория, к которой он относится, среди 8 возможных значений: snacks, beverages, cereals-and-potatoes, plant-based-foods, dairies, plant-based-foods-and-beverages, meats-and-their-products и sweet-snacks.

Имеется 8 стран и 8 различных категорий. Ввиду характера каждой метки (label) набор данных (dataset) разделён следующим образом:

  • name: Название продукта/блюда, извлечённое из поля product_name набора данных (dataset) openfoodfacts/product-database.
  • country_label: ID страны, извлечённое из поля countries_tags набора данных (dataset) openfoodfacts/product-database.
  • category_labels: Категории, к которым он относится, извлечённые из поля categories_tags набора данных (dataset) openfoodfacts/product-database.

Обратите внимание, что категории продуктов питания перекрываются, поскольку один образец может иметь несколько категорий.

Набор данных (dataset) был разделён на 3 части:

  • train: 80%
  • validation: 10%
  • test: 10%

Давайте загрузим набор данных (dataset), мы…

План урока

  1. Классификация продуктов питания
  2. Набор данных (Dataset)
  3. Метки (Labels)
  4. Распределение
  5. Разделения (Splits)
  6. Подготовка данных
  7. Обучение (Training)
  8. WANDB

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды