大白话讲明白DeepSeek推理几个关键参数

推荐语

探索DeepSeek推理背后的神秘力量，带你深入了解AI对话生成的逻辑和创意。

核心内容：
1. 温度参数：如何控制AI输出的随机性和准确性
2. TOP-P：筛选词汇的概率大师
3. 重复处罚与频率处罚：避免重复，引入新主题的技巧

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

• 温度：控制随机性的魔法棒

• TOP-P:筛选词汇的概率大师

• 重复处罚与频率处罚：避免重复与引入新主题

• 参数组合的艺术：精确、即兴创作与平衡分布

温度：控制随机性的魔法棒

温度的定义与原理

温度参数是 DeepSeek 推理中控制输出随机性的关键因素，其取值范围通常在 0 到 1 之间 。简单来说，温度决定了模型在生成文本时对不同可能性的探索程度。从数学角度看，模型在生成每个 token（文本中的最小单位，比如一个单词或一个字）时，会计算出一个概率分布，而温度通过对这个概率分布进行调整，来影响最终生成的 token。可以将温度类比为烹饪中的火候，低温如同小火慢炖，能精准控制输出，使其更稳定、确定；高温则像大火爆炒，让模型的输出充满创意和多样性 。

不同温度值的效果

低温（接近 0）：当温度接近 0 时，模型倾向于选择概率最高的输出。这意味着它会给出最为常见、确定的回答，缺乏变化但准确性高。例如，当询问 “中国的首都是哪里？”，在低温设置下，模型一定会回答 “北京”，不会有其他多余的表述。在代码生成任务中，设定温度为 0.2，要求生成 Python 计算两个数之和的代码，模型会输出非常标准、规范的代码，不会出现任何多余的创意。

中温（接近 0.5）：中温下，模型在确定性和创造性之间取得平衡。它会在多种可能的回答中进行较为均衡的选择，生成的内容既有一定的逻辑性，又具备一定的多样性。比如在回答 “如何提高学习效率？” 这个问题时，模型不仅会给出常见的方法，如制定学习计划、合理安排时间等，还可能会结合一些新颖的观点，如利用记忆宫殿、使用时间管理工具等，使回答更加丰富全面。在创作一篇关于旅游的文章时，中温设定能让文章既有清晰的结构，又有一些独特的描述和见解，不会过于平淡。

高温（接近 1）：高温会使模型更多地考虑低概率选项，输出更加随机和多样化。它能产生一些意想不到、充满创意的内容，但也可能导致逻辑不那么连贯。以诗歌创作为例，当设置温度为 1.5，要求创作一首关于春天的诗歌时，模型可能会生成一些极具想象力的诗句，打破常规的表达方式，充满了独特的意象和情感。但如果温度过高，生成的文本可能会出现逻辑混乱、脱离主题的情况，比如在回答科学问题时，可能会给出一些毫无根据的奇思妙想，偏离问题本身。

适用场景分析

精准问答：在需要准确答案的场景，如知识问答、技术文档生成、法律条文解读、金融数据计算等任务中，低温设置更为合适。因为这些场景要求模型给出确定性的回答，不允许有过多的不确定性和创意发挥，确保信息的准确性和可靠性。

创意写作：对于需要激发创造力的场景，如故事创作、广告文案撰写、诗歌创作、头脑风暴等，高温设置能够帮助模型产生更多新颖独特的想法，突破常规思维，为创作带来更多灵感和可能性。

通用任务：像文章写作、智能客服、日常对话、内容摘要等场景，中温设置通常能取得较好的效果。它既能保证回答的流畅性和逻辑性，又能在一定程度上展现出个性化和灵活性，满足大多数用户的一般性需求 。

Top - P：筛选词汇的概率大师

Top - P 的工作机制

Top - P，全称是累积概率采样（Cumulative Probability Sampling），也被称为核心采样。在 DeepSeek 推理生成文本的过程中，模型会根据当前已有的文本内容，计算出下一个可能出现的词汇的概率分布 。而 Top - P 就像是一个精明的筛选器，它会按照概率从高到低的顺序，依次累加这些词汇的概率，直到累加的概率总和超过设定的 Top - P 值。然后，模型只会从这些累加概率范围内的词汇中随机选择一个作为下一个生成的词汇。

比如，当你向 DeepSeek 输入 “我今天想去”，模型会在后台生成一个包含各种可能后续词汇及其概率的列表，假设 “公园” 概率为 0.4，“商场” 概率为 0.3，“图书馆” 概率为 0.15，“爬山” 概率为 0.1，“看电影” 概率为 0.05。如果此时 Top - P 设置为 0.8，那么模型会将 “公园”（0.4）、“商场”（0.3）、“图书馆”（0.15）这三个词汇纳入候选范围，因为它们的累积概率 0.4 + 0.3 + 0.15 = 0.85 超过了 0.8，然后从这三个词汇中随机选择一个输出 。可以把这个过程想象成一个抽奖池，池子里的奖品（词汇）按照中奖概率（词汇出现概率）从高到低排列，Top - P 决定了抽奖池的大小，只有池子里的奖品（词汇）才有机会被抽中（被选择生成）。

取值变化的影响

低 Top - P 值：当 Top - P 值较低，比如设置在 0.5 - 0.7 之间时，模型生成的内容会非常保守。这是因为模型只会从概率非常高的词汇中选择，这样生成的文本会非常符合常见的语言模式和逻辑，几乎不会出现意外的表达。例如，当要求 DeepSeek 续写 “太阳每天从”，在低 Top - P 值下，它大概率会输出 “东方升起”，这是最常见、最符合常规认知的表达，不会有其他奇特的想法。在撰写科技论文的摘要时，低 Top - P 值能确保摘要内容准确、规范，严格遵循专业术语和固定表达方式，不会出现偏离主题或不恰当的表述。

高 Top - P 值：当 Top - P 值较高，如 0.8 - 1.0 时，模型生成的内容则更加多样化和富有创意。因为此时模型的候选词汇范围更广，那些概率相对较低但仍有可能的词汇也有机会被选中。比如，还是续写 “太阳每天从”，在高 Top - P 值下，它可能会输出 “宇宙的神秘角落悄悄探出头来”，这种表述充满了想象力，打破了常规的思维模式。在创作科幻小说时，高 Top - P 值可以让作者获得更多新奇的灵感，创造出独特的情节和设定，使故事更加引人入胜 。但需要注意的是，如果 Top - P 值过高，模型可能会生成一些逻辑不连贯、甚至荒诞离奇的内容，因为它选择了过多低概率的词汇，导致文本失去了一定的逻辑性和合理性。

应用场景探讨

工作报告场景：在撰写工作报告时，需要内容准确、规范、逻辑清晰，避免出现模糊或奇怪的表述。因此，低 Top - P 值（0.6 左右）是比较合适的选择。这样可以确保生成的报告内容符合工作汇报的标准，准确传达信息，如数据、成果、问题等，让阅读报告的人能够清晰地了解工作情况，不会因为创意性的表达而产生误解。

童话故事创作场景：创作童话故事则需要丰富的想象力和创造力，激发读者的兴趣和好奇心。此时，高 Top - P 值（0.85 左右）更能发挥作用。它可以让模型生成各种奇妙的情节、独特的角色和奇幻的场景，如会说话的动物、神奇的魔法道具、神秘的异世界等，使童话故事充满奇幻色彩，吸引小读者的注意力，满足他们对未知世界的想象 。

重复处罚与频率处罚：避免重复与引入新主题

重复处罚（Presence Penalty）

存在重复处罚参数是控制模型在生成文本时对已出现词汇再次使用的惩罚力度，取值范围一般在 -2 到 2 之间 。其作用在于控制模型引入新主题的程度，当重复处罚值为正数时，模型会对已经在生成文本中出现过的词汇进行惩罚，使得这些词汇在后续生成中再次出现的概率降低，从而鼓励模型探索新的主题和内容 。简单来说，如果一篇文章中已经多次提到 “苹果”，较高的重复处罚会让模型尽量避免再次提及 “苹果”，转而寻找其他相关或不相关的话题来丰富内容。在创作一篇关于旅游景点介绍的文章时，如果设置较高的重复处罚值，当模型描述完一个景点的自然风光后，会更倾向于引入关于该景点的历史文化、当地美食等新的主题，而不是反复强调自然风光 ，从而使文章内容更加丰富多元。

重复处罚通过降低已生成 token 的概率，抑制重复内容，可以避免模型陷入循环（例如重复同一句话或短语）。例如，若某个 token 已出现多次，其后续生成概率会被惩罚性降低。对已生成 token 的概率进行缩放（如乘以 0.8 或指数惩罚）。

• 数值1.2时：抑制明显重复，但可能错过必要强调
• 数值2.0时：强制多样性，但可能导致关键信息丢失
• 在技术文档生成中，1.5-1.8是最佳实践区间。

频率惩罚（Frequency Penalty）

频率惩罚参数同样取值范围在 -2 到 2 之间，主要用于控制模型对重复内容的惩罚力度 。它会根据词汇在文本中出现的频率来调整其再次出现的概率。当频率惩罚值较高时，模型会更严格地惩罚那些频繁出现的词汇，使得生成的文本更努力避免重复表述，从而提高文本的多样性 。比如在一段对话中，如果没有设置频率惩罚，模型可能会反复使用 “好的” 来回应不同的问题，显得单调乏味。但当设置了合适的频率惩罚值后，模型会尝试用 “没问题”“可以的”“行嘞” 等多种表达方式来回应，让对话更加自然生动 。在撰写一篇科普文章时，频率惩罚能避免模型多次重复相同的专业术语或解释，促使其使用不同的表述方式来传达相同的信息，增强文章的可读性 。

二者协同作用

存在处罚和频率惩罚虽然侧重点不同，但在实际应用中相互配合，共同提升生成文本的质量和多样性。存在处罚更关注词汇是否出现过，推动模型引入全新的主题和内容；频率惩罚则侧重于控制词汇的重复频率，使文本在表达上更加丰富多变 。在创作一篇长篇小说时，存在处罚可以帮助作者开拓思路，不断引入新的情节线索、人物关系或场景描写，避免局限于单一主题；频率惩罚则确保在描述这些内容时，语言表达不会过于重复，让读者保持阅读兴趣 。在一个多轮对话系统中，存在处罚能引导对话转向新的话题，拓展对话的深度和广度；频率惩罚保证每一轮对话的回复都具有多样性，避免机械重复之前的回答 。通过合理调整这两个参数，我们可以让 DeepSeek 生成的文本既富有新意，又在逻辑和表达上更加出色 。

平衡分布模式

在通用任务中，我们既希望模型的输出稳定可靠，又希望它能展现出一定的创意和灵活性。以文章写作任务为例，当我们要求 DeepSeek 生成一篇科普文章时，需要文章既有准确的科学知识阐述，又能以生动有趣的方式吸引读者。这时，温度可以设置为 0.8，在保证一定逻辑性和准确性的基础上，让模型有一定的创造性发挥空间。Top - P 值设置为 0.75 左右，既不会过于保守导致文章内容平淡，也不会过于开放而使文章逻辑混乱。存在处罚和频率惩罚设置为适中值，比如 0.5，在保证文章内容连贯的同时，适当引入新的观点和表述方式，避免重复。通过这样的参数平衡，DeepSeek 生成的科普文章既能传达准确的科学知识，又能以通俗易懂、富有创意的方式呈现给读者 。在智能客服场景中，平衡分布模式的参数组合也非常重要。客服需要快速、准确地回答用户问题，同时又要提供个性化、友好的服务。因此，采用适中的温度和 Top - P 值，确保回答既符合常见的问题解决方案，又能根据用户的具体情况进行一定的灵活调整。存在处罚和频率惩罚的适中设置，能够避免客服回答过于机械重复，为用户提供更加优质的服务体验 。

另外说两个重要的参数max_length和 max_tokens，max_length和 max_tokens是控制文本生成长度的关键参数，二者分工明确且应用场景不同：

1. max_length‌：

定义设定模型处理的‌输入+输出总 token 上限‌，例如支持超过 128K tokens 的超长本处理‌7。‌

作用域‌同时限制输入文本和生成输出的总长度，确保不超出模型处理能力。

应用场景‌，输入文本较长时（如文档分析），需预留足够空间给输出内容。

2. max_tokens‌

定义单独控制模型‌生成输出的最大 token 数量‌，需在 API 请求体中显式设置‌。

作用域仅限制生成内容的长度，不影响输入文本。

应用场景需精准控制输出长度时（如生成摘要、代码补全）。

注意事项

在调整参数时，一定要避免将参数设置得过于极端。比如，将温度设置为 0 虽然能保证输出的绝对准确性，但会使内容变得非常机械和单调，缺乏任何灵活性；而将温度设置为 2 可能会导致输出过于随机，甚至偏离主题，出现逻辑混乱的情况 。同样，Top - P 值如果设置得过低，会让模型的输出过于受限，缺乏多样性；设置过高则可能产生大量不合理的内容 。存在处罚和频率惩罚值如果设置过大，可能会使模型在避免重复和引入新主题时过度 “用力”，导致生成的文本不连贯或语义模糊 。因此，在调整参数时，要充分考虑任务需求和模型的实际表现，通过不断尝试和优化，找到最适合的参数组合 。