Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 06 · Текст · ~5 мин

Сжатие модели в формат GGUF

Урок 6 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Ранее известный как GGML, GGUF пользуется большой популярностью в сообществе благодаря своей способности эффективно работать на CPU и устройствах Apple, перенося нагрузку на GPU, если он доступен! Это делает его хорошим выбором для локального тестирования и развертывания, поскольку он может эффективно использовать как RAM (так и VRAM, если она доступна).

Ниже представлен список возможных вариантов квантизации с llama.cpp:

  • q2_k
  • q3_k_l
  • q3_k_m
  • q3_k_s
  • q4_0: <- 4-битный
  • q4_1
  • q4_k_s
  • q4_k_m <- Рекомендуется
  • q5_0: <- 5-битный
  • q5_1
  • q5_k_s
  • q5_k_m: <- Рекомендуется
  • q6_k: <- Рекомендуется
  • q8_0: <- 8-битный, очень близок к без потерь по сравнению с исходными весами

Давайте проведем короткую демонстрацию и квантуем Mistral 7B!

Сначала установим все необходимые зависимости и llama.cpp, а также скачаем модель.

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды