Дообучение на финансовых вопросах ConvFinQA с W&B

О чём урок

Чат-модели Cohere (Comand R и Command R+) — это фантастические, в целом способные модели, готовые к использованию. Для дальнейшей адаптации наших моделей под конкретные задачи существует несколько стратегий, таких как prompt engineering, RAG, использование инструментов, finetuning. В этом руководстве мы сосредоточимся на finetuning. В то время как другие стратегии включают тщательную и интеллектуальную оркестровку наших готовых моделей, finetuning предполагает изменение весов для специализации модели под конкретную задачу. Это требует тщательного вложения времени и ресурсов, от сбора данных до обучения модели. Обычно это применяется, когда все другие стратегии оказываются недостаточными. Наш сервис finetuning позволяет настраивать нашу новейшую модель Command R (command-r-08-2024) с помощью finetuning на основе LoRA, что дает пользователям возможность контролировать гибкость модели в зависимости от их задачи. Кроме того, мы увеличили длину контекста обучения до 16384 токенов, что дает пользователям возможность использовать более длинные обучающие данные, что типично для RAG, агентов и использования инструментов. В этом руководстве мы продемонстрируем настройку модели с помощью нашего Finetuning API, а также покажем, как отслеживать функции потерь для ваших задач finetuning с помощью интеграции Weights & Biases. Обратите внимание, что то же самое можно сделать через пользовательский интерфейс. Подробное руководство по этому вопросу вы найдете здесь. Мы будем дообучать нашу модель Command R для задачи разговорного финансового ответа на вопросы. В частности, мы дообучаем нашу модель на наборе данных ConvFinQA. В этой задаче ожидаемый вывод от модели — это предметно-ориентированный язык (DSL), который мы потенциально будем передавать в последующее приложение. Известно, что LLM плохо справляются с арифметикой. Следовательно, вместо вычисления ответа, задача здесь состоит в извлечении правильных чисел из контекста, применении правильной последовательности предикатов и строгом следовании DSL для обеспечения минимального количества ошибок в последующем приложении, которое может потреблять вывод DSL от нашей модели. Prompt engineering оказывается довольно хрупким для таких задач, так как трудно убедиться, что модель следует точному синтаксису DSL.

План урока

1. Обзор
2. Настройка
3. Зависимости
4. Набор данных
5. Пример данных ConvFinQA
6. Загрузка набора данных
7. Начало finetuning
8. Гиперпараметры