Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 05 · Текст · ~5 мин

Сжатие модели в формат EXL2

Урок 5 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Более новый формат, основанный на методе оптимизации GPTQ, но с использованием смешанных уровней квантования. Он достигает желаемого среднего битрейта с меньшими ошибками, чем GPTQ, при сохранении того же или схожего битрейта. Может иметь немного более высокое потребление VRAM, но обеспечивает лучшую скорость inference и качество.

Давайте проведем краткую демонстрацию и квантуем Mistral 7B!

Давайте установим exllamav2 и все необходимые зависимости.

После установки всего необходимого мы можем загрузить модель.

Время для квантования! Давайте выберем битрейт 4.0

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды