Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 58 · Текст · ~5 мин

Грейдеры для дообучения с подкреплением

Урок 58 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Это руководство предназначено для разработчиков и специалистов по машинному обучению, которые уже знакомы с API OpenAI, имеют базовое представление о reinforcement fine-tuning (RFT) и желают использовать свои fine-tuned модели для исследований или других подходящих целей. Услуги OpenAI не предназначены для персонализированного лечения или диагностики каких-либо медицинских состояний и регулируются нашими применимыми условиями.

Reinforcement fine-tuning (RFT) моделей рассуждения заключается в применении reinforcement learning поверх моделей для улучшения их способности к рассуждению путём исследования пространства решений и усиления стратегий, приводящих к более высокой награде (reward). RFT помогает модели принимать более точные решения и эффективнее интерпретировать контекст.

В этом руководстве мы рассмотрим, как применить RFT к модели рассуждения OpenAI o4-mini, используя задачу из области исследований в биологических науках: прогнозирование исходов на основе стенограмм и описаний бесед врача с пациентом, что является необходимой оценкой во многих исследованиях в области здравоохранения. Мы будем использовать подмножество датасета medical-o1-verifiable-problem. Вы узнаете ключевые шаги, необходимые для успешного выполнения RFT-задач для ваших сценариев использования (use cases).

Вот что мы рассмотрим:

  • 1. Настройка
  • 2. Сбор датасета
  • 3. Бенчмаркинг базовой модели
  • 4. Определение вашего грейдера
  • 5. Обучение
  • 6. Использование вашей fine-tuned модели

Даже сильные модели рассуждения могут ошибаться, когда речь идёт об экспертном поведении — особенно в таких областях, как медицина, где важны нюансы и точность. Представьте модель, пытающуюся извлечь коды ICD-10 из стенограммы: даже если она понимает суть, она может не использовать точную терминологию, ожидаемую медицинскими работниками.

Другие отличные кандидаты для RFT включают такие темы, как нормализация бухгалтерских книг или ранжирование рисков мошенничества — сценарии, в которых требуется точное, надёжное и воспроизводимое рассуждение. Ознакомьтесь с нашим руководством по RFT use-cases для отличных примеров.

В нашем случае мы сосредоточимся на обучении o4-mini лучше прогнозировать исходы клинических бесед и описаний. В частности, мы хотим выяснить, может ли RFT повысить точность прогнозирования.

Попутно мы поговорим о том, как писать эффективные грейдеры, как они направляют обучение…

План урока

  1. 1. Настройка
  2. 2. Сбор датасета
  3. 3. Бенчмаркинг базовой модели

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды