О чём урок
При использовании нескольких видов эмбеддингов вам может потребоваться квантовать или деквантовать эмбеддинги в различные форматы. Причины могут быть разными, но среди них:
- Более быстрый поиск: меньшие векторы означают более быстрый поиск сходства.
- Экономия памяти: в 8–32 раза меньший объем хранения для того же количества векторов.
Этот сборник рецептов показывает полный цикл: получение эмбеддингов от Mistral AI, их квантование в компактные целочисленные/битовые представления, а затем их деквантование обратно в числа с плавающей запятой.
Он охватывает шесть форматов, в порядке убывания точности и размера: Формат | Диапазон | Байтов на измерение | Примечания | |-----------|----------------|---------------|------------------------------------------| | int8 | [-127, 127] | 1 | Знаковый 8-битный, масштабированный на 127 | | uint8 | [0, 255] | 1 | Беззнаковый 8-битный, сдвинутый к [-1, 1] | | int4 | [-7, 7] | 1/2 | Знаковый 4-битный, масштабированный на 7 (15 уровней) | | uint4 | [0, 15] | 1/2 | Беззнаковый 4-битный, сдвинутый к [-1, 1] | | binary | {-1, +1} | 1/8 | Биты знака, знаковая упаковка | | ubinary | {0, 1} | 1/8 | Биты знака, беззнаковая упаковка |
Сначала получите эмбеддинг с плавающей запятой для фрагмента текста. API эмбеддингов Mistral AI возвращает список чисел с плавающей запятой (одно на измерение), обычно в диапазоне [-1, 1].
Остальная часть этого сборника рецептов квантует этот же x в четыре формата, а затем деквантует каждый из них обратно в числа с плавающей запятой.
Квантование означает уменьшение точности хранимых значений. Ниже приведены прямые функции (float → квантованные) для каждого формата.
Умножьте на 127 и округлите до ближайшего целого числа в диапазоне [-127, 127]. Каждое число с плавающей запятой становится одним знаковым байтом.
Отобразите [-1, 1] на [0, 255] с помощью x * 127.5 + 127.5, затем округлите. Беззнаковые байты удобны для форматов хранения, которые не любят знаковые целые числа.
На полпути между int8 и binary: умножьте на 7 и округлите до ближайшего целого числа в [-8, 7], сместите до беззнакового [0, 15], затем упакуйте два полубайта на байт для 2-кратного сжатия по сравнению с…
План урока
- Установка
- Эмбеддинги
- Квантование
- int8 — масштабированные знаковые байты
- uint8 — сдвинутые беззнаковые байты
- int4 — упакованные знаковые полубайты
- uint4 — упакованные беззнаковые полубайты
- binary / ubinary — упакованные биты знака
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.