Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 10 · Текст · ~5 мин

Top P: отбор токенов по накопленной вероятности

Урок 10 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Top P — это параметр семплера, который позволяет ограничить количество рассматриваемых токенов на основе процентного соотношения. Идея заключается в том, чтобы при семплировании учитывать не весь словарь, а лишь определённое количество токенов в рамках заданной вероятностной массы.

Допустим, мы установим Top P равным 0.1; это будет означать, что будут рассматриваться только лучшие токены, сумма вероятностей которых составляет 10%.

Для следующих демонстраций мы сначала установим Temperature, а затем Top P равным 50%. Обратите внимание, что Temperature, равный 0, всегда будет детерминированным, и в этом сценарии Top P ничего не изменит. Порядок действий следующий:

  • Сначала применяется Temperature.
  • После этого Top P, равный 0.5, оставляет только наиболее вероятные токены.
  • Их вероятности изменяются, поскольку некоторые токены перестают быть вариантом выбора.

Распределение изменится следующим образом:

Различные значения Temperature и 5 лучших токенов с использованием Mistral 7B с точностью 4 бита.

Top P будет учитывать только самые верхние токены до достижения целевого значения 50%.

Вероятности остальных токенов теперь равны 0, а вероятности для оставшихся токенов скорректированы.

Top P полностью исключает возможность выбора менее вероятных токенов, основываясь на вероятностной массе, всегда сохраняя только верхнюю часть спектра для рассмотрения исключительно высококачественных токенов. Это позволяет сохранить определённое разнообразие вариантов выбора, полностью исключая при этом возможность выбора очень плохих токенов, поскольку они не будут учитываться. Обычно крайне сложно сбалансировать как Temperature, так и Top P, поэтому мы обычно рекомендуем фиксировать один из них и изменять только другой. Однако вы можете свободно экспериментировать и находить оптимальные настройки для ваших сценариев использования!

  1. Роль Top P: Top P — это параметр семплера, который ограничивает количество рассматриваемых токенов на основе заданной вероятностной массы. Он помогает сосредоточиться на наиболее вероятных токенах, тем самым улучшая качество выходных данных, генерируемых LLM. При установке значения Top P учитываются только токены, чьи кумулятивные вероятности в сумме составляют указанный процент.
  2. Взаимодействие с Temperature: Top P обычно применяется после настройки Temperature…

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды