粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
贪心搜索、波束搜索、Top-K采样、Top-p采样和温度都是影响LLM如何生成token的推理时参数，它们只是从离散概率分布中采样的方法，根据LLM输出的概率分布进行操作。
在Gradio中也是有这些常用的参数，而且合理的调参才有合适的输出。
Greedy search（贪婪搜索）是指在每个t时刻选择下一个词时，根据选择概率最高的词。
缺点：
Beam search（集束搜索）对贪心搜索进行了改进，扩大了搜索空间，更容易得到全局最优解。Beam Search 包含一个参数 beam size k，表示每一时刻均保留得分最高的 k 个序列，然后下一时刻用这 k 个序列继续生成。
从这里来看，该算法算是基于贪婪搜索的缺点来设计实现的。
缺点：
维特比算法能做到全局最优。
Top-K采样限制在一定数量要考虑的tokens。
在 Top-K 采样中，概率最大的 K 个词会被选出，然后这 K 个词的概率会被重新归一化，最后就在这重新被归一化概率后的 K 个词中采样。
Top-p采样限制在一定概率质量内的tokens。
其作用如下：
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-05-28
2024-04-26
2024-04-11
2024-08-21
2024-07-09
2024-08-13
2024-07-18
2024-10-25
2024-07-01
2024-06-17
回到顶部