粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
【行客按】在最近举行的国际学习表征会议（ICLR）上，来自加州大学圣地亚哥分校和上海交通大学的研究团队发表了一项创新的研究成果，这项研究涉及到了一种名为“一致性大语言模型”（Consistency Large Language Models, CLLMs）的技术。该技术利用Jacobi解码算法，并通过“一致性损失函数”显著提升了文字生成速度，达到了2.4至3.4倍的性能提升。
CLLMs通过修改传统的自回归（AR）解码过程，引入了并行计算能力，这使得在生成文本时可以同时处理多个token，从而大幅提升推理效率。这一技术特别适用于需要处理大量数据和复杂模型的场景，如GPT和LLaMA系列大模型。CLLM的核心在于其能够有效映射任意Jacobi轨迹上的点至一个固定点，这一过程与神经网络中用于图像生成的一致性模型（Consistency Models）有着类似的理论基础。CLLM 在多个领域的应用中实现了2至3倍的速度提升，同时未增加推理过程的额外成本。特别是在 GSM8K 和 Spider 任务上，相较于今年1月新推出的 Medusa 2，CLLM 展现出了显著的性能优势。
CLLM的训练涉及到两个主要的损失函数：一致性损失（Consistency Loss）和自回归损失（AR Loss）。一致性损失确保模型能够从Jacobi轨迹上的任何中间状态预测出固定点，这类似于扩散模型中用于加速图像生成的技术。自回归损失则确保CLLM不会偏离原始大语言模型的输出分布，从而保证输出的质量。
在实验中，CLLM在多个具体领域的基准测试中显示出2.4到3.4倍的速度提升，几乎不损失准确性。这包括文本到SQL的转换（如Spider数据集），代码生成（如CodeSearchNet Python），以及更一般的问答任务（如ShareGPT和GSM8K数据集）。这种显著的性能提升证明了CLLM不仅适用于特定任务，也能够处理开放领域的交互。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？
2024-08-15
对话AI教育从业者们：AI如何解决因材施教的难题？
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及：NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26
回到顶部