生成式人工智能正以令人惊叹的速度实现突破，像与 ChatGPT、豆包这类 AI 智能助手对话，不再局限于文字，也可以通过语音通话进行实时、生动的交流。语音是人类最自然便捷的沟通方式，语音交互大幅降低与 AI 对话的门槛。人们只需说出需求，AI 就能快速理解并反应，无需复杂的操作，都在简单的话语中。

在这一趋势推动下，诸多领域出现 AI 实时语音创新应用，如 AI 社交陪伴、AI 口语学习、游戏 AI NPC 及 AI 呼叫中心等。这些应用既展现 AI 技术潜力，也体现人们对更自然、更丰富的 AI 交流体验的期望。

01

WebSocket VS RTC，RTC更快、更高效的网络基础设施

02

自然流畅的AI实时语音应用，一站式搞定

随时打断，交流自然

要让与 AI 的交流像和朋友一样自然，随时打断甚至直接插话，关键在于：当用户和 AI 同时说话时，如何解决互相干扰的音频“双讲”现象。火山引擎 RTC 基于成熟的音频 3A 处理技术，针对“双讲”通过传统回声消除算法和深度学习算法的结合，不仅有效去除回声，还能避免用户语音被过度处理，确保云端语音识别（ASR）能准确捕捉和识别用户的语音信息。此外，火山引擎 RTC 通过简化算法提高处理速度，避免因算法复杂性带来的额外延时。

AI 实时语音

实时秒回，全球畅聊

火山引擎 RTC 依托于 WebRTC 传输网络（WTN），优选全球海量优质节点，实现全球用户就近接入和音视频数据超低延传输，即使在复杂弱网环境下也能保持低延时、高质量的通信能力。同时，火山引擎 RTC 结合云端语音识别流式处理，优化端到端链路延迟，整体响应延时可低至1s。此外，火山引擎实时信令 RTS 可提供稳定可靠、低延时、高并发的信令收发能力，可对文字信令高效传输。

不受限于 AI 服务部署区域，用户无论身处何地，是语音交流还是文字对话，都可以享受无延迟、流畅的 AI 交互体验。

产品融合，高效架构

在方案中，客户端提供音频帧级别的语音活动性检测（VAD），可以精准检测出音频信号中何时有人正在说话，何时是静默状态。帮助整体语音系统更有效地处理语音输入，更准确地识别和理解用户的指令或话语，减少误识别。同时，避免对无意义的背景声进行处理，从而节省计算资源，提高系统的整体效率。

当前人工智能领域创新和突破正以前所未有的速度发生，几乎“每周”都有新的进展。AIGC 交互形态和规模也在快速发展中，如从文字到语音再到视频等多模态，从1对1到多人多 Agent 互动。火山引擎大模型多模态实时交互服务在支持实时语音基础上，也支持拓展多模态视频对话和多人群聊等场景，帮助开发者能够快速迭代和创新，不断推出新的应用场景和玩法。

03

灵活、多样化的接入方案

通过这些方案，企业可以根据自己的技术栈和业务场景，选择最合适的接入方式，实现高质量的 AI 实时语音场景。

火山引擎方案不仅与业内头部大模型合作打造端到端多模态大模型，在 AI 原生应用上，也已为国内 Top AI 虚拟人物聊天应用提供鲜活逼真的 AI 实时语音能力，给用户带来了全新的互动体验。火山引擎将持续以高质量音视频能力、灵活的技术方案和出色的 AI 能力，助力广大企业在 AI 实时音视频领域实现创新，激发业务增长潜能。