О чём урок
Fine-tuning улучшает модель, обучая её на значительно большем количестве примеров, чем может поместиться в prompt, что позволяет достигать лучших результатов в широком спектре задач. Этот notebook содержит пошаговое руководство по нашему новому fine-tuning для GPT-4o mini. Мы выполним извлечение сущностей, используя набор данных RecipeNLG, который содержит различные рецепты и список извлечённых общих ингредиентов для каждого. Это распространённый набор данных для задач распознавания именованных сущностей (NER).
Примечание: fine-tuning GPT-4o mini доступен разработчикам в наших уровнях использования Tier 4 и 5. Вы можете начать fine-tuning GPT-4o mini, посетив свою панель управления fine-tuning, нажав «create» и выбрав “gpt-4o-mini-2024-07-18” из выпадающего списка базовых моделей.
Мы рассмотрим следующие шаги:
- Настройка: Загрузка нашего набора данных и фильтрация до одного домена для fine-tuning.
- Подготовка данных: Подготовка данных для fine-tuning путём создания обучающих и валидационных примеров и их загрузка на endpoint Files.
- Fine-tuning: Создание вашей fine-tuned модели.
- Inference: Использование вашей fine-tuned модели для inference на новых входных данных.
К концу этого руководства вы сможете обучать, оценивать и развёртывать fine-tuned модель gpt-4o-mini-2024-07-18.
Для получения дополнительной информации о fine-tuning вы можете обратиться к нашему руководству по документации или справочнику API.
Fine-tuning работает лучше всего, когда сосредоточен на определённой предметной области. Важно убедиться, что ваш набор данных достаточно сфокусирован для обучения модели, но при этом достаточно обобщён, чтобы не пропустить ранее не встречавшиеся примеры. Учитывая это, мы извлекли подмножество из набора данных RecipesNLG, чтобы оно содержало только документы с cookbooks.com.
Начнём с подготовки наших данных. При fine-tuning с использованием формата ChatCompletion каждый обучающий пример представляет собой простой список messages. Например, запись может выглядеть так:
В процессе обучения этот диалог будет разделён: последняя запись будет completion, которую сгенерирует модель, а остальные messages будут служить в качестве prompt. Учитывайте это при создании обучающих примеров — если ваша модель будет работать с многоходовыми диалогами, то предоставьте репрезентативные примеры, чтобы она не работала плохо при…
План урока
- Настройка
- Подготовка данных
- Загрузка файлов
- Fine-tuning
- Проверка статуса задачи
- Inference
- Заключение
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.