Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 04 · Текст · ~5 мин

Дистилляция: учим маленькую модель у большой

Урок 4 из 17 курса «Llama: начало работы»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook проведет вас через процесс дистилляции знаний модели из Llama 4 в меньшую модель Llama 3.2 с использованием синтетических обучающих данных из Synthetic Data Kit.

Цель этого notebook — дистиллировать знания из более мощной модели (Llama 4 Scout) в меньшую, менее мощную модель (Llama 3.2 3B).

Меньшие модели имеют несколько преимуществ по сравнению с более крупными: они быстрее генерируют текст, имеют меньшее время до первого token и обходятся дешевле в хостинге, поскольку требуют меньше оборудования. Однако более крупные модели, как правило, являются универсалами – то есть они способны хорошо выполнять широкий спектр задач. В специфических или специализированных задачах меньшие модели могут быть так же хороши, как и универсальные, более крупные модели. Дистилляция позволяет взять знания, присутствующие в более крупной модели, и передать их меньшей модели с минимальным снижением качества для узкоспециализированных задач.

Этот notebook использует данные управления воздушным движением для демонстрации fine-tuning модели под специализированную область. В процессе дистилляции мы полностью сгенерируем пары с нуля, поскольку наша универсальная модель-учитель хорошо понимает фразеологию УВД. В ходе оценки мы будем оценивать как синтетические пары, так и реальные данные УВД.

Мы будем использовать корпус ATCO2 данных воздушного движения, набор данных под лицензией MIT, который содержит аудиозаписи, транскрипции, а также дополнительную контекстную информацию и метаданные для каждого взаимодействия. Для этого упражнения мы будем использовать только текстовые транскрипции и небольшой (1 час) выборочный набор данных, чтобы продемонстрировать, как на самом деле необходимо лишь небольшое количество данных для fine-tuning модели.

Для оценки нашей модели мы будем использовать стандартные метрики оценки языка, такие как perplexity и точность. Мы также будем использовать BLEU (bilingual evaluation understudy) для измерения сходства, не требуя, чтобы модель точно соответствовала каждому слову. Хотя изначально BLEU был разработан для машинного перевода, он сравнивает сходство n-грамм, что означает, что незначительные различия в порядке слов не наказываются.

  • NVIDIA GPU с не менее 80 ГБ VRAM…

План урока

  1. Цель
  2. Данные
  3. Оценка
  4. Предварительные требования
  5. Требования к оборудованию
  6. Требования к программному обеспечению
  7. Подготовка окружения
  8. Генерация синтетического набора данных

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды