Температура: насколько смелые ответы

О чём урок

Температура, часто тесно связанная со случайностью, является фундаментальным параметром в больших языковых моделях (LLM) и широко используется как наиболее популярная настройка семплера. Эта концепция играет решающую роль в исследовании разнообразия для получения широкого спектра output-ов из одного и того же input-а. Более низкие значения Temperature связаны с детерминированным поведением, заставляя модель предсказывать наиболее вероятные ответы, сосредоточиваясь на точности. Напротив, более высокие значения Temperature связаны с креативностью, заставляя модель выдавать более разнообразные и творческие ответы. Когда LLM обучается на больших объемах данных, она изучает закономерности из этого текстового корпуса, чтобы предсказывать и формировать набор возможных токенов при дополнении текста. Если быть точнее, когда LLM задают вопрос, она начинает с выдачи набора токенов, а не одного. Она отвечает набором токенов, каждый из которых имеет связанную вероятность. Эта вероятность вычисляется с помощью функции softmax, которая принимает так называемые logits, связанные с каждым токеном в зависимости от их вероятности, и преобразует их в вероятности, сумма которых равна 1. В этой функции softmax Temperature влияет на то, как функция softmax масштабирует эти logits. Чем выше Temperature, тем больше сглаживаются различия между logits, делая распределение вероятностей более плоским. Напротив, более низкие значения Temperature более значительно приоритизируют и влияют на более высокие logits, уменьшая при этом значения более низких logits, что усиливает разницу между logits. Функция softmax для данного токена-кандидата i с logits yi определяется как: $$ \text{softmax}(y_i) = \frac{e^{y_i / T}}{\sum_{k=1}^{n} e^{y_k / T}} $$ Где: e — число Эйлера. T — параметр Temperature. n — размер словаря. yi — logit для i-го токена-кандидата. yk — logits для всех токенов-кандидатов k в словаре. Эта формула нормализует logits в распределение вероятностей по словарю, где параметр Temperature T контролирует резкость распределения.Исходное распределение вероятностей эквивалентно Temperature, равному 1.

План урока

1. Формула Softmax
2. Визуализация
3. Оптимальная Temperature
4. Детерминизм
5. Креативность
6. Что мы узнали?