Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 09 · Текст · ~5 мин

Top K: выбор из K самых вероятных токенов

Урок 9 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Top K — это более простая настройка семплера, похожая на Top P, которая позволяет ограничить количество рассматриваемых токенов не процентом, а конкретным числом. Цель состоит в том, чтобы установить жёсткое ограничение на количество токенов, которые могут быть учтены.

Если Top K равно 5, то будут рассмотрены только верхние 5 токенов.

Для следующих демонстраций мы сначала установим Temperature, а затем Top K равным 3. Обратите внимание, что Temperature, равное 0, всегда будет детерминированным, и в этом сценарии Top K ничего не изменит. Порядок действий следующий:

  • Сначала применяется Temperature.
  • После этого Top K, равное 3, оставляет только верхние 3 токена.
  • Их вероятности изменяются, поскольку другие токены больше не являются вариантом.

Распределение изменится следующим образом для следующего вопроса: "Какое мифическое существо лучшее? Ответьте одним словом."

Top K сохраняет только верхние токены независимо от их вероятностей; это более простой способ семплирования по сравнению с Top P.

  1. Роль Top K: Top K — это настройка семплера, которая ограничивает количество рассматриваемых токенов до заданного числа. В отличие от Top P, который использует кумулятивную вероятность, Top K устанавливает жёсткое ограничение на количество токенов, которые могут быть учтены. Например, если Top K установлено на 5, будут рассмотрены только верхние 5 токенов.
  2. Взаимодействие с Temperature: Подобно Top P, Top K обычно применяется после установки Temperature. Temperature корректирует распределение вероятностей токенов, а затем Top K сужает выбор до верхних K токенов.
  3. Влияние на Outputs: Используя Top K, модель фокусируется на наиболее вероятных токенах, что может помочь в поддержании определённого уровня качества и связности в Outputs. Однако это происходит более прямолинейно по сравнению с Top P, поскольку не учитываются кумулятивные вероятности.

Посетите другие настройки семплера здесь -> Семплирование

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды