Урок из полного доступа, первые уроки курса бесплатно Официальный курс Cohere LLM University на русском
Урок 91 · Текст · ~5 мин

Дообучение для классификации

Урок 91 из 114 курса «Cohere: LLM University»: официальный курс Cohere LLM University (Кохир) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Большие языковые модели (LLM) Cohere были предварительно обучены на огромном объеме данных, что позволяет им улавливать, как используются слова и как их значение меняется в зависимости от контекста.

Однако во многих случаях для достижения наилучшей производительности модели требуется выполнить дополнительный раунд обучения на пользовательских данных. Создание пользовательской модели с использованием этого процесса называется дообучением (fine-tuning).

Дообучение позволяет изменять саму модель и настраивать ее для превосходного выполнения вашей конкретной задачи. В этом блокноте вы узнаете, как дообучить модель для классификации.

Мы выполним следующие шаги:

  • Шаг 1: Подготовка набора данных - Загрузка набора данных, выбор подмножества и подготовка его для конечной точки Classify.
  • Шаг 2: Дообучение модели - Запуск задания дообучения и подтверждение завершения обучения модели.
  • Шаг 3: Использование/Оценка дообученной модели - Оценка производительности дообученной модели на тестовом наборе данных.

Мы начнем с установки необходимых инструментов, а затем импортируем их.

Введите ваш API ключ Cohere в следующей ячейке. Для этого сначала зарегистрируйтесь в Cohere (бесплатно!), если вы еще этого не сделали. Затем получите свой API ключ здесь.

Мы будем использовать набор данных для классификации намерений Airline Travel Information System (ATIS) [источник]. Для демонстрационных целей мы возьмем лишь небольшую часть набора данных: всего 1000 точек данных.

Первое, что нам нужно, это создать обучающий набор данных, который будет использоваться для построения классификатора, и тестовый набор данных, который будет использоваться для проверки производительности классификатора. Мы будем использовать 800 и 200 точек данных для этих наборов соответственно.

Наша цель — обучить классификатор так, чтобы он мог предсказывать класс нового запроса клиента из восьми классов, следующим образом:

Мы преобразуем данные в формат JSONL, чтобы они соответствовали стилю, ожидаемому конечной точкой Classification (документация).

Файл JSONL содержит строку для каждого примера. Каждый пример имеет поля "text" и "label".

Мы запускаем задание дообучения, перейдя на вкладку fine-tuning в Dashboard. В разделе "Classify" нажмите "Create a Classify model".

Затем загрузите только что созданный файл…

План урока

  1. Обзор
  2. Настройка
  3. Шаг 1: Подготовка набора данных
  4. Шаг 2: Дообучение модели
  5. Шаг 3: Использование/Оценка дообученной модели

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Cohere 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Cohere (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды