Дообучение модели для чата

О чём урок

Наши готовые к использованию большие языковые модели, такие как Command, очень хорошо справляются с генерацией ответов на запросы на естественном языке. Однако существует множество случаев, когда для достижения наилучшей производительности модели требуется дополнительный раунд обучения на пользовательских данных. Создание пользовательской модели с использованием этого процесса называется тонкой настройкой (fine-tuning). Тонкая настройка рекомендуется, когда вы хотите научить модель новой задаче или использовать уникальную базу знаний вашей компании. Тонкая настройка моделей также полезна для генерации определенного стиля письма или формата, или для использования нового типа данных. В этом ноутбуке вы выполните тонкую настройку чат-бота на пользовательских данных диалогов, чтобы улучшить его производительность в конкретной задаче. Прочитайте сопутствующую статью в блоге здесь. Мы выполним следующие шаги: Шаг 1: Подготовка набора данных – набора данных, выбор подмножества и его подготовка для Chat endpoint. Шаг 2: Тонкая настройка модели – Запуск задания тонкой настройки и подтверждение завершения обучения модели. Шаг 3: Использование/оценка модели после тонкой настройки – Оценка производительности модели после тонкой настройки на тестовом наборе данных и подтверждение ее компетентности в многоходовых диалогах. Мы начнем с установки необходимых инструментов, а затем импортируем их. Введите ваш Cohere API key в следующей ячейке. Для этого сначала зарегистрируйтесь в Cohere (бесплатно!), если вы еще этого не сделали. Затем получите ваш API key здесь. Мы будем работать с набором данных CoEdIT, содержащим примеры редактирования текста (Raheja, et al). В каждом примере пользователь просит помощника по написанию переписать текст для выполнения конкретной задачи (редактирование беглости, связности, ясности или стиля) и получает ответ. Вместо использования полного набора данных мы будем использовать подмножество, сфокусированное на обеспечении связности текста: всего 927 диалогов. Мы будем использовать поля src и tgt из каждого примера, которые соответствуют запросу пользователя и ответу помощника по написанию текста соответственно.

План урока

1. Обзор
2. Настройка
3. Шаг 1: Подготовка и проверка набора данных
4. Загрузка набора данных
5. Получение подмножества набора данных
6. Предварительный просмотр набора данных
7. Подготовка набора данных для Cohere's Chat endpoint
8. Шаг 2: Тонкая настройка модели