• 2024-12-21大模型--采样技术 TopK TopP 惩罚系数--37
    目录1.参考2.概述重复惩罚(RepetitionPenalty)1.参考https://mp.weixin.qq.com/s/mBZA6PaMotJw7WeVdA359g2.概述大型语言模型(LLMs)通过“根据上下文预测下一个token的概率分布”来生成文本。最简单的采样方法是贪心采样(GreedySampling),它在每一步选择概率最高的token。