Дообучение для классификации

О чём урок

Большие языковые модели (LLM) Cohere были предварительно обучены на огромном объеме данных, что позволяет им улавливать, как используются слова и как их значение меняется в зависимости от контекста. Однако во многих случаях для достижения наилучшей производительности модели требуется выполнить дополнительный раунд обучения на пользовательских данных. Создание пользовательской модели с использованием этого процесса называется дообучением (fine-tuning). Дообучение позволяет изменять саму модель и настраивать ее для превосходного выполнения вашей конкретной задачи. В этом блокноте вы узнаете, как дообучить модель для классификации. Мы выполним следующие шаги: Шаг 1: Подготовка набора данных - набора данных, выбор подмножества и подготовка его для конечной точки Classify. Шаг 2: Дообучение модели - Запуск задания дообучения и подтверждение завершения обучения модели. Шаг 3: Использование/Оценка дообученной модели - Оценка производительности дообученной модели на тестовом наборе данных. Мы начнем с установки необходимых инструментов, а затем импортируем их. Введите ваш API ключ Cohere в следующей ячейке. Для этого сначала зарегистрируйтесь в Cohere (бесплатно!), если вы еще этого не сделали. Затем получите свой API ключ здесь. Мы будем использовать набор данных для классификации намерений Airline Travel Information System (ATIS) [источник]. Для демонстрационных целей мы возьмем лишь небольшую часть набора данных: всего 1000 точек данных. Первое, что нам нужно, это создать обучающий набор данных, который будет использоваться для построения классификатора, и тестовый набор данных, который будет использоваться для проверки производительности классификатора. Мы будем использовать 800 и 200 точек данных для этих наборов соответственно. Наша цель — обучить классификатор так, чтобы он мог предсказывать класс нового запроса клиента из восьми классов, следующим образом: Мы преобразуем данные в формат JSONL, чтобы они соответствовали стилю, ожидаемому конечной точкой Classification (документация). Файл JSONL содержит строку для каждого примера. Каждый пример имеет поля "text" и "label". Мы запускаем задание дообучения, перейдя на вкладку fine-tuning в Dashboard. В разделе "Classify" нажмите "Create a Classify model".

План урока

1. Обзор
2. Настройка
3. Шаг 1: Подготовка набора данных
4. Шаг 2: Дообучение модели
5. Шаг 3: Использование/Оценка дообученной модели