О чём урок
Top K — это более простая настройка семплера, похожая на Top P, которая позволяет ограничить количество рассматриваемых токенов не процентом, а конкретным числом. Цель состоит в том, чтобы установить жёсткое ограничение на количество токенов, которые могут быть учтены. Если Top K равно 5, то будут рассмотрены только верхние 5 токенов. Для следующих демонстраций мы сначала установим Temperature, а затем Top K равным 3. Обратите внимание, что Temperature, равное 0, всегда будет детерминированным, и в этом сценарии Top K ничего не изменит. Порядок действий следующий: Сначала применяется Temperature. После этого Top K, равное 3, оставляет только верхние 3 токена. Их вероятности изменяются, поскольку другие токены больше не являются вариантом. Распределение изменится следующим образом для следующего вопроса: "Какое мифическое существо лучшее? Ответьте одним словом." Токены Dragon Un Drag Peg Phoenix T=0 100% 0% 0% 0% 0% T=0.2 65.1% 34.8% 0% 0% 0% T=0.4 56.6% 41.4% 1.5% 0.2% 0% T=0.8 46.1% 39.4% 7.6% 2.7% 1.3% T=1.6 21.3% 19.7% 8.6% 5.2% 3.6% Верхние 5 токенов, полученных с использованием Mistral 7B с точностью 4 бита для различных значений Temperature. ↓ Токены Dragon Un Drag Peg Phoenix T=0 100% 0% 0% X X T=0.2 65.1% 34.8% 0% X X T=0.4 56.9% 41.6% 1.5% X X T=0.8 46.1% 39.4% 7.6% X X T=1.6 21.3% 19.7% 8.6% X X Top K будет учитывать только верхние 3 токена.
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.