Top P: отбор токенов по накопленной вероятности

О чём урок

Top P — это параметр семплера, который позволяет ограничить количество рассматриваемых токенов на основе процентного соотношения. Идея заключается в том, чтобы при семплировании учитывать не весь словарь, а лишь определённое количество токенов в рамках заданной вероятностной массы. Допустим, мы установим Top P равным 0.1; это будет означать, что будут рассматриваться только лучшие токены, сумма вероятностей которых составляет 10%. Для следующих демонстраций мы сначала установим Temperature, а затем Top P равным 50%. Обратите внимание, что Temperature, равный 0, всегда будет детерминированным, и в этом сценарии Top P ничего не изменит. Порядок действий следующий: Сначала применяется Temperature. После этого Top P, равный 0.5, оставляет только наиболее вероятные токены. Их вероятности изменяются, поскольку некоторые токены перестают быть вариантом выбора. Распределение изменится следующим образом: Различные значения Temperature и 5 лучших токенов с использованием Mistral 7B с точностью 4 бита. ↓ Top P будет учитывать только самые верхние токены до достижения целевого значения 50%. ↓ Вероятности остальных токенов теперь равны 0, а вероятности для оставшихся токенов скорректированы. Top P полностью исключает возможность выбора менее вероятных токенов, основываясь на вероятностной массе, всегда сохраняя только верхнюю часть спектра для рассмотрения исключительно высококачественных токенов. Это позволяет сохранить определённое разнообразие вариантов выбора, полностью исключая при этом возможность выбора очень плохих токенов, поскольку они не будут учитываться. Обычно крайне сложно сбалансировать как Temperature, так и Top P, поэтому мы обычно рекомендуем фиксировать один из них и изменять только другой. Однако вы можете свободно экспериментировать и находить оптимальные настройки для ваших сценариев использования! Роль Top P: Top P — это параметр семплера, который ограничивает количество рассматриваемых токенов на основе заданной вероятностной массы. Он помогает сосредоточиться на наиболее вероятных токенах, тем самым улучшая качество выходных данных, генерируемых LLM. При установке значения Top P учитываются только токены, чьи кумулятивные вероятности в сумме составляют указанный процент.