О чём урок
С LLM, вместо того чтобы готовить тысячи точек обучающих данных, вы можете начать работу всего с несколькими примерами, что называется few-shot классификацией. При этом вы, вероятно, захотите иметь определенный уровень контроля над тем, как вы обучаете классификатор, и особенно, как добиться наилучшей производительности от модели. Например, если у вас есть большой набор данных, вы захотите использовать его в полной мере при обучении классификатора. С Cohere API мы хотим предоставить эту гибкость разработчикам. Прочитайте сопутствующую статью в блоге здесь. Мы будем использовать подмножество набора данных классификации намерений Airline Travel Information System (ATIS). [Источник] Few-shot здесь означает, что нам нужно предоставить всего несколько примеров для каждого класса, чтобы получить работающий классификатор. В Classify endpoint Cohere набор данных для «обучения» называется examples. Минимальное количество примеров для каждого класса — два, где каждый пример состоит из текста (в нашем случае, query) и метки (в нашем случае, label). Однако больше примеров — лучше, и в нашем случае мы будем использовать шесть примеров для каждого класса. В этом разделе мы рассмотрим, как можно использовать Embed endpoint для создания классификатора. Мы собираемся построить модель классификации, используя эти embeddings в качестве входных данных. Для этого мы будем использовать алгоритм Support Vector Machine (SVM). В этом разделе мы создадим пользовательскую модель, которая тонко настроена для превосходного выполнения конкретной задачи и потенциально превосходит два предыдущих подхода, которые мы рассмотрели. Создание тонкой настройки выполняется в Playground. Обратитесь к этому руководству для получения шагов по тонкой настройке. Теперь мы увидели, как различные варианты сравниваются по производительности. И что особенно важно, следует отметить уровень контроля, который вы имеете при работе с Classify endpoint.
План урока
- Подготовка примеров
- Получение классификаций через Classify endpoint
- Генерация embeddings для входного текста
- Получение классификаций с помощью алгоритма SVM
- Подготовка набора данных
- Создание тонко настроенной модели
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.