Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 58 · Текст · ~5 мин

Три способа собрать классификатор текста

Урок 58 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

С LLM, вместо того чтобы готовить тысячи точек обучающих данных, вы можете начать работу всего с несколькими примерами, что называется few-shot классификацией. При этом вы, вероятно, захотите иметь определенный уровень контроля над тем, как вы обучаете классификатор, и особенно, как добиться наилучшей производительности от модели. Например, если у вас есть большой набор данных, вы захотите использовать его в полной мере при обучении классификатора. С Cohere API мы хотим предоставить эту гибкость разработчикам.

Прочитайте сопутствующую статью в блоге здесь.

Мы будем использовать подмножество набора данных классификации намерений Airline Travel Information System (ATIS). [Источник]

Few-shot здесь означает, что нам нужно предоставить всего несколько примеров для каждого класса, чтобы получить работающий классификатор. В Classify endpoint Cohere набор данных для «обучения» называется examples. Минимальное количество примеров для каждого класса — два, где каждый пример состоит из текста (в нашем случае, query) и метки (в нашем случае, label). Однако больше примеров — лучше, и в нашем случае мы будем использовать шесть примеров для каждого класса.

В этом разделе мы рассмотрим, как можно использовать Embed endpoint для создания классификатора. Мы собираемся построить модель классификации, используя эти embeddings в качестве входных данных. Для этого мы будем использовать алгоритм Support Vector Machine (SVM).

В этом разделе мы создадим пользовательскую модель, которая тонко настроена для превосходного выполнения конкретной задачи и потенциально превосходит два предыдущих подхода, которые мы рассмотрели.

Создание тонкой настройки выполняется в Playground. Обратитесь к этому руководству для получения шагов по тонкой настройке.

Теперь мы увидели, как различные варианты сравниваются по производительности. И что особенно важно, следует отметить уровень контроля, который вы имеете при работе с Classify endpoint.

План урока

  1. Подготовка примеров
  2. Получение классификаций через Classify endpoint
  3. Генерация embeddings для входного текста
  4. Получение классификаций с помощью алгоритма SVM
  5. Подготовка набора данных
  6. Создание тонко настроенной модели

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды