О чём урок
Более новый формат, основанный на методе оптимизации GPTQ, но с использованием смешанных уровней квантования. Он достигает желаемого среднего битрейта с меньшими ошибками, чем GPTQ, при сохранении того же или схожего битрейта. Может иметь немного более высокое потребление VRAM, но обеспечивает лучшую скорость inference и качество. Давайте проведем краткую демонстрацию и квантуем Mistral 7B! Давайте установим exllamav2 и все необходимые зависимости. После установки всего необходимого мы можем загрузить модель. Время для квантования! Давайте выберем битрейт 4.0
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.