Грейдеры для дообучения с подкреплением

О чём урок

Это руководство предназначено для разработчиков и специалистов по машинному обучению, которые уже знакомы с API OpenAI, имеют базовое представление о reinforcement fine-tuning (RFT) и желают использовать свои fine-tuned модели для исследований или других подходящих целей. Услуги OpenAI не предназначены для персонализированного лечения или диагностики каких-либо медицинских состояний и регулируются нашими применимыми условиями. Reinforcement fine-tuning (RFT) моделей рассуждения заключается в применении reinforcement learning поверх моделей для улучшения их способности к рассуждению путём исследования пространства решений и усиления стратегий, приводящих к более высокой награде (reward). RFT помогает модели принимать более точные решения и эффективнее интерпретировать контекст. В этом руководстве мы рассмотрим, как применить RFT к модели рассуждения OpenAI o4-mini, используя задачу из области исследований в биологических науках: прогнозирование исходов на основе стенограмм и описаний бесед врача с пациентом, что является необходимой оценкой во многих исследованиях в области здравоохранения. Мы будем использовать подмножество датасета medical-o1-verifiable-problem. Вы узнаете ключевые шаги, необходимые для успешного выполнения RFT-задач для ваших сценариев использования (use cases). Вот что мы рассмотрим: 1. Настройка 2. Сбор датасета 3. Бенчмаркинг базовой модели 4. Определение вашего грейдера 5. Обучение 6. Использование вашей fine-tuned модели Даже сильные модели рассуждения могут ошибаться, когда речь идёт об экспертном поведении — особенно в таких областях, как медицина, где важны нюансы и точность. Представьте модель, пытающуюся извлечь коды ICD-10 из стенограммы: даже если она понимает суть, она может не использовать точную терминологию, ожидаемую медицинскими работниками. Другие отличные кандидаты для RFT включают такие темы, как нормализация бухгалтерских книг или ранжирование рисков мошенничества — сценарии, в которых требуется точное, надёжное и воспроизводимое рассуждение. Ознакомьтесь с нашим руководством по RFT use-cases для отличных примеров. В нашем случае мы сосредоточимся на обучении o4-mini лучше прогнозировать исходы клинических бесед и описаний. В частности, мы хотим выяснить, может ли RFT повысить точность прогнозирования.

План урока

1. 1. Настройка
2. 2. Сбор датасета
3. 3. Бенчмаркинг базовой модели