杨植麟再掀 AI 风暴！Kimi-Audio 如何让机器听懂人类 “弦外之音”？

继Kimi智能助手爆红后，又在语音交互领域投下重磅炸弹Kimi-Audio模型。

这篇论文不仅刷新了行业对 AI 语音理解的认知，更可能彻底改变我们与机器对话的方式。

当外界还在热议月之暗面的仲裁风波时，杨植麟和团队已用技术突破证明：真正的 AI 革命，正在无声处惊雷。

让机器不仅 “听到” 声音，更能 “听懂” 语言背后的情感、意图和语境。

Kimi-Audio 的核心突破，在于构建了一个全流程端到端的实时语音对话系统。

用户说话时，音频数据通过 WebRTC 协议实时传输至服务器，经语音活动检测模块判断结束后，Kimi-Audio 会同步完成三大动作：

音频理解：将连续语音转化为离散语义tokens，同时提取声学特征向量；

多模态交互：结合系统提示、对话历史和文本指令，生成连贯的回复tokens；

语音合成：通过反分词器将tokens转换为自然流畅的语音波形。

这一流程将传统语音交互的延迟压缩至毫秒级，实现了 “你刚说完，AI 已回应” 的丝滑体验。

【论文链接】https://arxiv.org/pdf/2504.18425v1

源码见文末

模型架构概述：Kimi-Audio 由三个主要组件构成。

音频分词器将输入音频转换为 12.5Hz 帧率的离散语义tokens，并提取连续声学向量。

音频 LLM 通过共享变压器层处理多模态输入，然后分支为文本头和音频头，分别预测文本tokens和音频语义tokens。

音频反分词器利用流匹配方法将音频LLM预测的离散语义tokens转换回连贯的音频波形。

音频分词器：采用混合音频分词策略，结合离散语义tokens和连续声学向量。

离散语义tokens来自 GLM-4-Voice，通过在Whisper编码器架构中引入向量量化层，将连续语音表示转换为低帧率离散tokens。

连续特征由预训练的 Whisper 模型提取，经适配器下采样后与离散语义tokens嵌入相加作为音频 LLM 的输入。

音频 LLM：核心是音频 LLM，为实现同时生成音频语义tokens和文本响应的功能，对标准 LLM 架构进行调整

部分底层变压器层作为共享层处理输入序列并学习跨模态表示，在此基础上分为文本头和音频头，分别负责预测文本tokens和音频语义tokens。

共享层和文本头参数从预训练文本 LLM 初始化，音频头随机初始化。

音频反分词器：采用与 MoonCast 相同的反分词器架构，包含将12.5Hz语义tokens转换为 50Hz 梅尔频谱图的流匹配模块和从梅尔频谱图生成波形的声码器。

为降低语音生成延迟，设计了分块流式反分词器，采用分块自回归流式框架和前瞻机制，解决分块边界处的音频生成问题。

训练

实验结果

实验结果

结论