粤ICP备17114055号
微信扫码
添加专属顾问
支持私有云部署
我要投稿
贪心搜索、波束搜索、Top-K采样、Top-p采样和温度都是影响LLM如何生成token的推理时参数，它们只是从离散概率分布中采样的方法，根据LLM输出的概率分布进行操作。
在Gradio中也是有这些常用的参数，而且合理的调参才有合适的输出。
Greedy search（贪婪搜索）是指在每个t时刻选择下一个词时，根据选择概率最高的词。
缺点：
Beam search（集束搜索）对贪心搜索进行了改进，扩大了搜索空间，更容易得到全局最优解。Beam Search 包含一个参数 beam size k，表示每一时刻均保留得分最高的 k 个序列，然后下一时刻用这 k 个序列继续生成。
从这里来看，该算法算是基于贪婪搜索的缺点来设计实现的。
缺点：
维特比算法能做到全局最优。
Top-K采样限制在一定数量要考虑的tokens。
在 Top-K 采样中，概率最大的 K 个词会被选出，然后这 K 个词的概率会被重新归一化，最后就在这重新被归一化概率后的 K 个词中采样。
Top-p采样限制在一定概率质量内的tokens。
其作用如下：
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-03-07
企业如何选择适合自己的大模型
2025-03-07
深度拆解：为什么Manus能成为第一个通用AI Agent
2025-03-07
Manus炸翻朋友圈，教你如何申请试用：AI Agent的“GPT时刻”已经到来
2025-03-07
一夜刷爆全网的Manus，说是比DeepSeek还牛B？
2025-03-07
实测 Manus ：我用它生成了 10 个邀请码……好玩，但崩溃
2025-03-07
2万美元一月！OpenAI将推出博士级AI Agent
2025-03-07
正式开启AI Agents元年：Manus技术深度解析
2025-03-06
Manus：通用AI代理的技术深度剖析与产业变革潜力(内附核心标的)
2024-08-13
2024-06-13
2024-09-23
2024-08-21
2024-05-28
2024-07-31
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-03-07
2025-03-05
2025-03-05
2025-03-05
2025-03-04
2025-03-03
2025-03-03
2025-03-01
回到顶部