温度 / Top-p 采样实验台 temperature · nucleus sampling

大模型每一步给每个候选词一个 logit。先除以温度 T 再 softmax(T 小 → 尖锐,T 大 → 平滑),再按 top_p 从高到低累加概率,保留累积首次 ≥ p 的最小词集合(核),核内重新归一化后随机抽一个。 预设里的 logit 取 ln(概率),T = 1 时恰好还原笔记中的概率。

预设

采样参数

温度 temperature
核采样 top_p
快捷:

候选词与 logits

概率柱(按调整后概率降序)

核内(可能被选中) 核外(被截掉) T = 1 的原分布 累积概率 top_p 线

逐步计算

随机采样 0 次

实际频数期望次数 = 次数 × 核内概率

PT(x) = exp(zx/T) / Σ exp(z/T);当 z = ln P 时等价于笔记公式 P1/T / Σ P1/T。先调温度、再做 top_p 截断(与常见推理框架顺序一致)。温度和 top_p 一般只调其中一个。