Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 49 · Текст · ~5 мин

Деквантизация эмбеддингов

Урок 49 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

При использовании нескольких видов эмбеддингов вам может потребоваться квантовать или деквантовать эмбеддинги в различные форматы. Причины могут быть разными, но среди них:

  • Более быстрый поиск: меньшие векторы означают более быстрый поиск сходства.
  • Экономия памяти: в 8–32 раза меньший объем хранения для того же количества векторов.

Этот сборник рецептов показывает полный цикл: получение эмбеддингов от Mistral AI, их квантование в компактные целочисленные/битовые представления, а затем их деквантование обратно в числа с плавающей запятой.

Он охватывает шесть форматов, в порядке убывания точности и размера: Формат | Диапазон | Байтов на измерение | Примечания | |-----------|----------------|---------------|------------------------------------------| | int8 | [-127, 127] | 1 | Знаковый 8-битный, масштабированный на 127 | | uint8 | [0, 255] | 1 | Беззнаковый 8-битный, сдвинутый к [-1, 1] | | int4 | [-7, 7] | 1/2 | Знаковый 4-битный, масштабированный на 7 (15 уровней) | | uint4 | [0, 15] | 1/2 | Беззнаковый 4-битный, сдвинутый к [-1, 1] | | binary | {-1, +1} | 1/8 | Биты знака, знаковая упаковка | | ubinary | {0, 1} | 1/8 | Биты знака, беззнаковая упаковка |

Сначала получите эмбеддинг с плавающей запятой для фрагмента текста. API эмбеддингов Mistral AI возвращает список чисел с плавающей запятой (одно на измерение), обычно в диапазоне [-1, 1].

Остальная часть этого сборника рецептов квантует этот же x в четыре формата, а затем деквантует каждый из них обратно в числа с плавающей запятой.

Квантование означает уменьшение точности хранимых значений. Ниже приведены прямые функции (float → квантованные) для каждого формата.

Умножьте на 127 и округлите до ближайшего целого числа в диапазоне [-127, 127]. Каждое число с плавающей запятой становится одним знаковым байтом.

Отобразите [-1, 1] на [0, 255] с помощью x * 127.5 + 127.5, затем округлите. Беззнаковые байты удобны для форматов хранения, которые не любят знаковые целые числа.

На полпути между int8 и binary: умножьте на 7 и округлите до ближайшего целого числа в [-8, 7], сместите до беззнакового [0, 15], затем упакуйте два полубайта на байт для 2-кратного сжатия по сравнению с…

План урока

  1. Установка
  2. Эмбеддинги
  3. Квантование
  4. int8 — масштабированные знаковые байты
  5. uint8 — сдвинутые беззнаковые байты
  6. int4 — упакованные знаковые полубайты
  7. uint4 — упакованные беззнаковые полубайты
  8. binary / ubinary — упакованные биты знака

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды