Урок из полного доступа, первые уроки курса бесплатно Официальный курс Hugging Face Learn на русском
Урок 88 · Текст · ~5 мин

Шаблоны чата

Урок 88 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Шаблоны чата играют ключевую роль в структурировании взаимодействий между языковыми моделями и пользователями. Независимо от того, создаете ли вы простой чат-бот или сложного AI-агента, понимание того, как правильно форматировать ваши беседы, крайне важно для получения наилучших результатов от вашей модели. В этом руководстве мы рассмотрим, что такое шаблоны чата, почему они важны и как эффективно их использовать.

[!СОВЕТ] Шаблоны чата критически важны для:

  • Поддержания согласованной структуры беседы
  • Обеспечения правильной идентификации ролей
  • Управления контекстом на протяжении нескольких реплик
  • Поддержки расширенных функций, таких как tool use

Базовая модель обучается на необработанных текстовых данных для предсказания следующего token, в то время как instruct-модель специально fine-tuned для следования инструкциям и ведения диалогов. Например, SmolLM2-135M — это базовая модель, а SmolLM2-135M-Instruct — её instruction-tuned вариант.

Instruction-tuned модели обучаются следовать определённой структуре беседы, что делает их более подходящими для приложений чат-ботов. Кроме того, instruct-модели могут обрабатывать сложные взаимодействия, включая tool use, мультимодальные входы и function calling.

Чтобы базовая модель вела себя как instruct-модель, нам необходимо форматировать наши prompt'ы согласованным образом, понятным для модели. Именно здесь на помощь приходят шаблоны чата. ChatML — один из таких форматов шаблонов, который структурирует беседы с чёткими индикаторами ролей (system, user, assistant). Вот руководство по ChatML.

[!ВНИМАНИЕ] При использовании instruct-модели всегда проверяйте, что вы используете правильный формат шаблона чата. Использование неверного шаблона может привести к низкой производительности модели или неожиданному поведению. Самый простой способ убедиться в этом — проверить конфигурацию токенизатора модели на Hub. Например, модель SmolLM2-135M-Instruct использует эту конфигурацию.

Прежде чем углубляться в конкретные реализации, важно понять, как различные модели ожидают форматирования своих бесед. Давайте рассмотрим несколько распространённых форматов шаблонов, используя простой пример диалога:

Для всех примеров мы будем использовать следующую структуру беседы:

Это шаблон ChatML, используемый в моделях, таких как SmolLM2 и Qwen 2:

Это использует формат шаблона mistral:

Ключевые различия между этими форматами включают:

  1. Обработка системных сообщений: Llama 2 заключает системные сообщения…

План урока

  1. Введение
  2. Типы моделей и шаблоны
  3. Базовые модели против instruct-моделей
  4. Распространённые форматы шаблонов
  5. Расширенные функции
  6. Лучшие практики
  7. Общие рекомендации
  8. Практическое упражнение

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы HuggingFace 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от HuggingFace (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды