О чём урок
Top K — это более простая настройка семплера, похожая на Top P, которая позволяет ограничить количество рассматриваемых токенов не процентом, а конкретным числом. Цель состоит в том, чтобы установить жёсткое ограничение на количество токенов, которые могут быть учтены.
Если Top K равно 5, то будут рассмотрены только верхние 5 токенов.
Для следующих демонстраций мы сначала установим Temperature, а затем Top K равным 3. Обратите внимание, что Temperature, равное 0, всегда будет детерминированным, и в этом сценарии Top K ничего не изменит. Порядок действий следующий:
- Сначала применяется Temperature.
- После этого Top K, равное 3, оставляет только верхние 3 токена.
- Их вероятности изменяются, поскольку другие токены больше не являются вариантом.
Распределение изменится следующим образом для следующего вопроса: "Какое мифическое существо лучшее? Ответьте одним словом."
Top K сохраняет только верхние токены независимо от их вероятностей; это более простой способ семплирования по сравнению с Top P.
- Роль Top K: Top K — это настройка семплера, которая ограничивает количество рассматриваемых токенов до заданного числа. В отличие от Top P, который использует кумулятивную вероятность, Top K устанавливает жёсткое ограничение на количество токенов, которые могут быть учтены. Например, если Top K установлено на 5, будут рассмотрены только верхние 5 токенов.
- Взаимодействие с Temperature: Подобно Top P, Top K обычно применяется после установки Temperature. Temperature корректирует распределение вероятностей токенов, а затем Top K сужает выбор до верхних K токенов.
- Влияние на Outputs: Используя Top K, модель фокусируется на наиболее вероятных токенах, что может помочь в поддержании определённого уровня качества и связности в Outputs. Однако это происходит более прямолинейно по сравнению с Top P, поскольку не учитываются кумулятивные вероятности.
Посетите другие настройки семплера здесь -> Семплирование
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.