О чём урок
Шаблоны чата играют ключевую роль в структурировании взаимодействий между языковыми моделями и пользователями. Независимо от того, создаете ли вы простой чат-бот или сложного AI-агента, понимание того, как правильно форматировать ваши беседы, крайне важно для получения наилучших результатов от вашей модели. В этом руководстве мы рассмотрим, что такое шаблоны чата, почему они важны и как эффективно их использовать.
[!СОВЕТ] Шаблоны чата критически важны для:
- Поддержания согласованной структуры беседы
- Обеспечения правильной идентификации ролей
- Управления контекстом на протяжении нескольких реплик
- Поддержки расширенных функций, таких как tool use
Базовая модель обучается на необработанных текстовых данных для предсказания следующего token, в то время как instruct-модель специально fine-tuned для следования инструкциям и ведения диалогов. Например, SmolLM2-135M — это базовая модель, а SmolLM2-135M-Instruct — её instruction-tuned вариант.
Instruction-tuned модели обучаются следовать определённой структуре беседы, что делает их более подходящими для приложений чат-ботов. Кроме того, instruct-модели могут обрабатывать сложные взаимодействия, включая tool use, мультимодальные входы и function calling.
Чтобы базовая модель вела себя как instruct-модель, нам необходимо форматировать наши prompt'ы согласованным образом, понятным для модели. Именно здесь на помощь приходят шаблоны чата. ChatML — один из таких форматов шаблонов, который структурирует беседы с чёткими индикаторами ролей (system, user, assistant). Вот руководство по ChatML.
[!ВНИМАНИЕ] При использовании instruct-модели всегда проверяйте, что вы используете правильный формат шаблона чата. Использование неверного шаблона может привести к низкой производительности модели или неожиданному поведению. Самый простой способ убедиться в этом — проверить конфигурацию токенизатора модели на Hub. Например, модель SmolLM2-135M-Instruct использует эту конфигурацию.
Прежде чем углубляться в конкретные реализации, важно понять, как различные модели ожидают форматирования своих бесед. Давайте рассмотрим несколько распространённых форматов шаблонов, используя простой пример диалога:
Для всех примеров мы будем использовать следующую структуру беседы:
Это шаблон ChatML, используемый в моделях, таких как SmolLM2 и Qwen 2:
Это использует формат шаблона mistral:
Ключевые различия между этими форматами включают:
- Обработка системных сообщений: Llama 2 заключает системные сообщения…
План урока
- Введение
- Типы моделей и шаблоны
- Базовые модели против instruct-моделей
- Распространённые форматы шаблонов
- Расширенные функции
- Лучшие практики
- Общие рекомендации
- Практическое упражнение
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.