О чём урок
Примечание: вам понадобится OpenAI API key для запуска этого colab'а.
Если вы используете API OpenAI для fine-tuning'а ChatGPT-3.5, теперь вы можете использовать интеграцию W&B для отслеживания экспериментов, моделей и наборов данных на вашей центральной панели управления.
Для этого достаточно одной строки: openai wandb sync
См. раздел OpenAI в документации Weights & Biases для получения полной информации об интеграции
Всегда интереснее экспериментировать со своими собственными проектами, поэтому, если вы уже использовали API openai для fine-tuning'а модели OpenAI, просто пропустите этот раздел.
В противном случае, давайте выполним fine-tuning ChatGPT-3.5 на юридическом наборе данных!
Начните свой запуск Weights & Biases. Если у вас нет аккаунта, вы можете зарегистрироваться бесплатно на www.wandb.ai
Мы загружаем набор данных из LegalBench, проекта по сбору задач для оценки юридического мышления, в частности, задачу Contract NLI Explicit Identification.
Он состоит из 117 примеров, из которых мы создадим собственные наборы данных для обучения (train) и тестирования (test)
Давайте посмотрим на несколько примеров.
Мы изменяем `base_prompt` из задачи LegalBench, чтобы сделать его zero-shot prompt'ом, поскольку мы обучаем модель вместо использования few-shot prompting'а
Теперь мы разделяем его на набор данных для обучения/валидации, давайте обучим на 30 примерах и протестируем на оставшихся
Сначала сохраним данные в файлах для обучения (train) и тестирования (test)
Далее мы проверяем, что наши обучающие данные имеют правильный формат, используя скрипт из документации OpenAI по fine-tuning'у
План урока
- Необязательно: Fine-tune ChatGPT-3.5
- Импорты и начальная настройка
- Настройте ваш API key
- Подготовка набора данных
- Форматируем наши данные для моделей Chat Completion
- Сохраняем данные в Weights & Biases
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.