Дообучение (fine-tuning) вашей LLM

Цели урока

• Что такое дообучение для языковых моделей?
• Когда и почему дообучение полезно?
• Как можно дообучить предварительно обученную модель?
• Каковы ограничения дообучения?

О чём урок

Примечание AI University. Примеры кода в оригинале курса рассчитаны на Azure OpenAI или GitHub Models. Те же запросы можно отправлять через OpenAI API или другой OpenAI-совместимый сервис: замените клиент, адрес сервиса, название модели и ключ на свои и сверьтесь с документацией выбранного провайдера. Использование больших языковых моделей для создания приложений генеративного ИИ сопряжено с новыми вызовами. Ключевая проблема: обеспечение качества ответов (точности и релевантности) в контенте, генерируемом моделью для заданного запроса пользователя. В предыдущих уроках мы обсуждали такие методы, как промпт-инжиниринг и генерация с дополненной выборкой (RAG), которые пытаются решить эту проблему путём модификации входного промпта для существующей модели. В этом уроке мы обсудим третий метод, дообучение (fine-tuning), который пытается решить эту задачу путём переобучения самой модели на дополнительных данных. Давайте углубимся в детали. В этом уроке вы познакомитесь с концепцией дообучения для предварительно обученных языковых моделей, изучите преимущества и проблемы этого подхода, а также получите рекомендации о том, когда и как использовать дообучение для повышения производительности ваших моделей генеративного ИИ. ответить на следующие вопросы: Готовы? Давайте начнём. Хотите получить общее представление о том, что мы рассмотрим, прежде чем углубиться? Ознакомьтесь с этим иллюстрированным руководством, которое описывает путь обучения для этого урока: от изучения основных концепций и мотивации для дообучения до понимания процесса и лучших практик выполнения задачи дообучения. Это увлекательная тема для изучения, поэтому не забудьте заглянуть на страницу Ресурсы для получения дополнительных ссылок, которые помогут вам в самостоятельном обучении! По определению, большие языковые модели предварительно обучаются на больших объёмах текста, полученных из различных источников, включая интернет. Как мы узнали в предыдущих уроках, нам нужны такие методы, как промпт-инжиниринг и генерация с дополненной выборкой (RAG), чтобы улучшить качество ответов модели на вопросы пользователя («промпты»).

План урока

1. Иллюстрированное руководство
2. Что такое дообучение для языковых моделей?
3. Когда и почему следует дообучать модели?
4. Как можно дообучить предварительно обученную модель?
5. Дообучение (fine-tuning) в Microsoft Foundry
6. Шаг 1: Выберите технику обучения
7. Шаг 2: Выберите уровень обучения
8. Шаг 3: Выберите базовую модель