Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 192 · Текст · ~5 мин

Дообучение с подкреплением для рассуждений в диалоге

Урок 192 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Это руководство предназначено для разработчиков и специалистов по машинному обучению, имеющих некоторый опыт работы с API OpenAI и желающих использовать свои fine-tuned модели для исследований или других подходящих целей. Услуги OpenAI не предназначены для персонализированного лечения или диагностики каких-либо заболеваний и регулируются нашими применимыми условиями.

Этот notebook демонстрирует, как использовать reinforcement fine-tuning (RFT) от OpenAI для улучшения способностей модели к диалоговому мышлению (в частности, задавать вопросы для получения дополнительного контекста и снижения неопределенности). RFT позволяет обучать модели с использованием методов reinforcement learning, вознаграждая или наказывая ответы на основе определенных критериев. Этот подход особенно полезен для улучшения диалоговых систем, где качество рассуждений и понимание контекста имеют решающее значение.

Для более глубокого изучения Reinforcement Fine-Tuning API и того, как писать эффективные graders, см. Изучение Model Graders для Reinforcement Fine-Tuning.

Этот cookbook оценивает и улучшает производительность модели на синтетическом наборе данных, вдохновленном сфокусированным подмножеством HealthBench, набора benchmark для медицинских QA. Он описывает, как настроить наборы данных, определить rubrics для оценки и fine-tune поведение модели с использованием reinforcement signals, полученных от custom graders.

HealthBench — это комплексный evaluation benchmark, разработанный для оценки производительности large language models в области ответов на вопросы, связанные со здравоохранением. Он охватывает множество клинических domains и типов вопросов, акцентируя внимание на точности, безопасности и фактической обоснованности.

Репозиторий openai/simple-evals представляет собой легковесный framework для прототипирования и запуска evaluation pipelines на моделях OpenAI. Он разработан для поддержки как structured, так и unstructured inputs, гибких grader configurations и интеграции с fine-tuning APIs OpenAI.

Мы будем использовать этот framework для оценки производительности GPT-4.1 на сфокусированном подмножестве HealthBench, чтобы провести анализ ошибок, выявляя, где модель допускает промахи.

  1. Клонируйте репозиторий simple-evals
  1. GPT-4.1 является одной из лучших моделей по производительности на HealthBench hard. Для более подробного анализа результатов на HealthBench см. notebook healthbench_analysis.

Выполните команду ниже

Задача HealthBench состоит в том, чтобы модель предоставила…

План урока

  1. HealthBench
  2. Оценка производительности модели
  3. (Необязательно) Оценка GPT-4.1 на HealthBench Hard
  4. Что измеряет HealthBench?
  5. Импорт зависимостей и загрузка данных
  6. Создание обучающих и валидационных наборов данных
  7. Создание fine-tuning job
  8. Оценка результатов

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды