Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 20 · Текст · ~5 мин

Классификация через дообучение на примере

Урок 20 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Мы проведем fine-tuning классификатора babbage-002 (замена для моделей ada), чтобы различать два вида спорта: бейсбол и хоккей.

Набор данных newsgroup можно загрузить с помощью sklearn. Сначала рассмотрим сами данные:

Выше представлен один пример из категории бейсбола. Это электронное письмо в список рассылки. Мы видим, что у нас всего 1197 примеров, которые равномерно распределены между двумя видами спорта.

Мы преобразуем набор данных в pandas dataframe с колонками для prompt и completion. Prompt содержит электронное письмо из списка рассылки, а completion — название вида спорта, либо хоккей, либо бейсбол. Исключительно для демонстрационных целей и ускорения fine-tuning мы берем только 300 примеров. В реальном сценарии чем больше примеров, тем выше производительность.

И бейсбол, и хоккей являются отдельными токенами. Мы сохраняем набор данных как файл jsonl.

Теперь мы можем использовать инструмент подготовки данных, который предложит несколько улучшений для нашего набора данных перед fine-tuning. Перед запуском инструмента мы обновляем библиотеку openai, чтобы убедиться, что используем последнюю версию инструмента подготовки данных. Дополнительно мы указываем -q, что автоматически принимает все предложения.

Инструмент любезно предлагает несколько улучшений для набора данных и разделяет его на обучающий и валидационный наборы.

Суффикс между prompt и completion необходим, чтобы сообщить модели, что вводный текст закончился и теперь ей нужно предсказать класс. Поскольку мы используем один и тот же разделитель в каждом примере, модель способна научиться предсказывать либо бейсбол, либо хоккей после разделителя. Префикс пробела в completions полезен, так как большинство словесных токенов токенизируются с префиксом пробела. Инструмент также распознал, что это, вероятно, задача классификации, поэтому предложил разделить набор данных на обучающий и валидационный наборы. Это позволит нам легко измерить ожидаемую производительность на новых данных.

Инструмент предлагает запустить следующую команду для обучения набора данных. Поскольку это задача классификации, мы хотели бы узнать, какова производительность обобщения на предоставленном валидационном наборе для нашего сценария классификации.

Мы можем просто скопировать предложенную команду из инструмента CLI.

Модель успешно…

План урока

  1. Исследование данных
  2. Подготовка данных
  3. Инструмент подготовки данных
  4. Fine-tuning
  5. [Продвинутый уровень] Результаты и ожидаемая производительность модели
  6. Использование модели
  7. Обобщение

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды