采样参数
温度 temperature
核采样 top_p
快捷:
候选词与 logits
概率柱(按调整后概率降序)
核内(可能被选中)
核外(被截掉)
T = 1 的原分布
累积概率
top_p 线
大模型每一步给每个候选词一个 logit。先除以温度 T 再 softmax(T 小 → 尖锐,T 大 → 平滑),再按 top_p 从高到低累加概率,保留累积首次 ≥ p 的最小词集合(核),核内重新归一化后随机抽一个。
预设里的 logit 取 ln(概率),T = 1 时恰好还原笔记中的概率。
PT(x) = exp(zx/T) / Σ exp(z/T);当 z = ln P 时等价于笔记公式 P1/T / Σ P1/T。先调温度、再做 top_p 截断(与常见推理框架顺序一致)。温度和 top_p 一般只调其中一个。