Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 41 · Текст · ~5 мин

Дистилляция: учим маленькую модель у большой

Урок 41 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

OpenAI Дистилляция использует выходные данные более крупной модели для fine-tuning меньшей. Переход к меньшей модели может снизить latency и стоимость для конкретных задач. В этом cookbook мы будем дистиллировать выходные данные gpt-4o в gpt-4o-mini и сравнивать результат с обычной, недистиллированной моделью gpt-4o-mini.

Мы также будем использовать Structured Outputs для классификации с помощью enum. Мы измерим, как structured outputs влияют на fine-tuned модель, и покажем, что они работают с каждой моделью, включая дистиллированную.

Сначала мы проанализируем dataset, получим output как 4o, так и 4o mini, подчеркивая разницу в производительности обеих моделей, затем перейдем к дистилляции и проанализируем производительность этой дистиллированной модели.

Установим и загрузим зависимости. Убедитесь, что ваш API key OpenAI определен в вашей среде как "OPENAI_API_KEY" и будет загружен клиентом напрямую.

Для этого cookbook мы загрузим данные из следующего Kaggle challenge: https://www.kaggle.com/datasets/zynicide/wine-reviews.

Этот dataset содержит много строк, и вы можете запустить этот cookbook на полном dataset. Как предвзятый любитель французских вин, я сужу dataset до французских вин, чтобы мы могли сосредоточиться на меньшем количестве строк и сортов винограда.

Мы рассматриваем задачу классификации, где мы хотели бы предсказать сорт винограда на основе доступных критериев, включая описание, субрегион и провинцию, которые мы включим в prompt. Это дает модели много информации. Вы можете удалить информацию, которая значительно упростила бы задачу, например, регион производства винограда, чтобы увидеть, насколько хорошо модель предсказывает сорт.

Отфильтруем сорта винограда, которые встречаются менее пяти раз в обзорах.

Перейдем к подмножеству из 500 случайных строк из этого dataset.

Получим все сорта винограда, чтобы включить их в prompt и в наш список enum для structured outputs.

Создадим функцию для генерации нашего prompt и опробуем ее для первого вина из нашего списка.

Перед выполнением запросов используйте tiktoken для оценки количества token и стоимости completion.

Поскольку ответ должен быть одним из фиксированного набора сортов винограда…

План урока

  1. Предварительные условия
  2. Загрузка и анализ dataset
  3. Генерация prompt
  4. Подготовка функций для хранения Completions
  5. Параллельная обработка
  6. Сравнение gpt-4o и gpt-4o-mini
  7. Дистилляция output gpt-4o в gpt-4o-mini
  8. Запуск completions для дистиллированной модели

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды