Temperature 与 Top-p：大模型采样参数解析

这套教程讲什么

拆解大模型生成时的两个关键采样参数：从生成分数、Softmax 概率到加权采样的完整三步出发，说明 Temperature 怎样改变概率分布让输出稳定或发散、Top-p 怎样剪掉长尾词防止跑题，并讨论两者的区别与怎么搭配更合理。

你会学到什么

• 还原生成分数到 Softmax 再到采样的三步
• 说明 Temperature 如何拉伸或压平概率分布
• 解释 Top-p 剪掉长尾词抑制跑题的机制

适合谁

适合调用模型 API 时只会照抄默认参数、想知道什么时候该调低或调高的开发者与提示词使用者。

学习建议

建议在同一段提示下固定其他条件，只改一个参数多跑几次，直观感受输出从稳定到发散的变化，比记结论更有效。

常见问题

Temperature 调高会发生什么？

它会把原本的概率分布拉平，让低概率词也有机会被选中，输出更发散、更有创意，但也更容易跑题或出现事实错误；调低则让高概率词更集中，结果稳定、可复现。做抽取、分类等确定性任务通常偏低更合适。

Temperature 和 Top-p 需要一起调吗？

一般建议优先只动其中一个，便于判断效果来源。Temperature 改变整体分布的陡峭程度，Top-p 则把候选词限定在累计概率达到阈值的最小集合里，直接砍掉长尾。同时大幅调整两者，输出往往难以预期。