О чём урок
Большие языковые модели (LLM) Cohere были предварительно обучены на огромном объеме данных, что позволяет им улавливать, как используются слова и как их значение меняется в зависимости от контекста.
Однако во многих случаях для достижения наилучшей производительности модели требуется выполнить дополнительный раунд обучения на пользовательских данных. Создание пользовательской модели с использованием этого процесса называется дообучением (fine-tuning).
Дообучение позволяет изменять саму модель и настраивать ее для превосходного выполнения вашей конкретной задачи. В этом блокноте вы узнаете, как дообучить модель для классификации.
Мы выполним следующие шаги:
- Шаг 1: Подготовка набора данных - Загрузка набора данных, выбор подмножества и подготовка его для конечной точки Classify.
- Шаг 2: Дообучение модели - Запуск задания дообучения и подтверждение завершения обучения модели.
- Шаг 3: Использование/Оценка дообученной модели - Оценка производительности дообученной модели на тестовом наборе данных.
Мы начнем с установки необходимых инструментов, а затем импортируем их.
Введите ваш API ключ Cohere в следующей ячейке. Для этого сначала зарегистрируйтесь в Cohere (бесплатно!), если вы еще этого не сделали. Затем получите свой API ключ здесь.
Мы будем использовать набор данных для классификации намерений Airline Travel Information System (ATIS) [источник]. Для демонстрационных целей мы возьмем лишь небольшую часть набора данных: всего 1000 точек данных.
Первое, что нам нужно, это создать обучающий набор данных, который будет использоваться для построения классификатора, и тестовый набор данных, который будет использоваться для проверки производительности классификатора. Мы будем использовать 800 и 200 точек данных для этих наборов соответственно.
Наша цель — обучить классификатор так, чтобы он мог предсказывать класс нового запроса клиента из восьми классов, следующим образом:
Мы преобразуем данные в формат JSONL, чтобы они соответствовали стилю, ожидаемому конечной точкой Classification (документация).
Файл JSONL содержит строку для каждого примера. Каждый пример имеет поля "text" и "label".
Мы запускаем задание дообучения, перейдя на вкладку fine-tuning в Dashboard. В разделе "Classify" нажмите "Create a Classify model".
Затем загрузите только что созданный файл…
План урока
- Обзор
- Настройка
- Шаг 1: Подготовка набора данных
- Шаг 2: Дообучение модели
- Шаг 3: Использование/Оценка дообученной модели
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.