Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 240 · Текст · ~5 мин

Дообучение GPT-3.5 и GPT-4 с Weights & Biases

Урок 240 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Примечание: вам понадобится OpenAI API key для запуска этого colab'а.

Если вы используете API OpenAI для fine-tuning'а ChatGPT-3.5, теперь вы можете использовать интеграцию W&B для отслеживания экспериментов, моделей и наборов данных на вашей центральной панели управления.

Для этого достаточно одной строки: openai wandb sync

См. раздел OpenAI в документации Weights & Biases для получения полной информации об интеграции

Всегда интереснее экспериментировать со своими собственными проектами, поэтому, если вы уже использовали API openai для fine-tuning'а модели OpenAI, просто пропустите этот раздел.

В противном случае, давайте выполним fine-tuning ChatGPT-3.5 на юридическом наборе данных!

Начните свой запуск Weights & Biases. Если у вас нет аккаунта, вы можете зарегистрироваться бесплатно на www.wandb.ai

Мы загружаем набор данных из LegalBench, проекта по сбору задач для оценки юридического мышления, в частности, задачу Contract NLI Explicit Identification.

Он состоит из 117 примеров, из которых мы создадим собственные наборы данных для обучения (train) и тестирования (test)

Давайте посмотрим на несколько примеров.

Мы изменяем `base_prompt` из задачи LegalBench, чтобы сделать его zero-shot prompt'ом, поскольку мы обучаем модель вместо использования few-shot prompting'а

Теперь мы разделяем его на набор данных для обучения/валидации, давайте обучим на 30 примерах и протестируем на оставшихся

Сначала сохраним данные в файлах для обучения (train) и тестирования (test)

Далее мы проверяем, что наши обучающие данные имеют правильный формат, используя скрипт из документации OpenAI по fine-tuning'у

План урока

  1. Необязательно: Fine-tune ChatGPT-3.5
  2. Импорты и начальная настройка
  3. Настройте ваш API key
  4. Подготовка набора данных
  5. Форматируем наши данные для моделей Chat Completion
  6. Сохраняем данные в Weights & Biases

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды