Дообучение с подкреплением для рассуждений в диалоге

О чём урок

Это руководство предназначено для разработчиков и специалистов по машинному обучению, имеющих некоторый опыт работы с API OpenAI и желающих использовать свои fine-tuned модели для исследований или других подходящих целей. Услуги OpenAI не предназначены для персонализированного лечения или диагностики каких-либо заболеваний и регулируются нашими применимыми условиями. Этот notebook демонстрирует, как использовать reinforcement fine-tuning (RFT) от OpenAI для улучшения способностей модели к диалоговому мышлению (в частности, задавать вопросы для получения дополнительного контекста и снижения неопределенности). RFT позволяет обучать модели с использованием методов reinforcement learning, вознаграждая или наказывая ответы на основе определенных критериев. Этот подход особенно полезен для улучшения диалоговых систем, где качество рассуждений и понимание контекста имеют решающее значение. Для более глубокого изучения Reinforcement Fine-Tuning API и того, как писать эффективные graders, см. Изучение Model Graders для Reinforcement Fine-Tuning. Этот cookbook оценивает и улучшает производительность модели на синтетическом наборе данных, вдохновленном сфокусированным подмножеством HealthBench, набора benchmark для медицинских QA. Он описывает, как настроить наборы данных, определить rubrics для оценки и fine-tune поведение модели с использованием reinforcement signals, полученных от custom graders. HealthBench — это комплексный evaluation benchmark, разработанный для оценки производительности large language models в области ответов на вопросы, связанные со здравоохранением. Он охватывает множество клинических domains и типов вопросов, акцентируя внимание на точности, безопасности и фактической обоснованности. Репозиторий openai/simple-evals представляет собой легковесный framework для прототипирования и запуска evaluation pipelines на моделях OpenAI. Он разработан для поддержки как structured, так и unstructured inputs, гибких grader configurations и интеграции с fine-tuning APIs OpenAI. Мы будем использовать этот framework для оценки производительности GPT-4.1 на сфокусированном подмножестве HealthBench, чтобы провести анализ ошибок, выявляя, где модель допускает промахи. Клонируйте репозиторий simple-evals GPT-4.1 является одной из лучших моделей по производительности на HealthBench hard. Для более подробного анализа результатов на HealthBench см. notebook healthbench_analysis.

План урока

1. HealthBench
2. Оценка производительности модели
3. (Необязательно) Оценка GPT-4.1 на HealthBench Hard
4. Что измеряет HealthBench?
5. Импорт зависимостей и загрузка данных
6. Создание обучающих и валидационных наборов данных
7. Создание fine-tuning job
8. Оценка результатов