开源本地实时语音AI，三分钟看懂下一代AI语音助手的实时多模态交互

现在的AI助手基本都能发语音来提问，本质上还是要先把语音转换成文字，也就是大家能够看得懂并理解，跟平时大家微信聊天发语音一个道理。

Ichigo的创新点在于砍掉了语音转文本这一步，直接把语音转换成离散令牌，大幅降低了算力消耗，那速度上也会提高非常多。

从抽象的角度讲，这是AI真正的听懂了语音。

这也就是为什么说Ichigo是实时语音AI。

项目简介

Ichigo 是一个开源的多模态AI语音助手，采用混合模态模型，能够实时处理语音和文本的交织序列。通过将连续的语音信号量化为离散令牌，Ichigo 利用统一的转换器基础架构同时处理语音和文本，无需单独的适配器。这种方法实现了跨模态的联合推理和生成，大幅提高了处理速度，首令牌生成的延迟仅为111毫秒，显著低于现有模型。

交互能力演示

Ichigo在处理复杂交互中的高效和灵活性是非常大的亮点。

1.跨模态指令理解

Ichigo能够无缝处理语音和文字的输入，实现真正的跨模态交互。无论是通过语音指令还是文本输入，Ichigo都能准确理解并作出反应。这种能力使它在需要快速响应的场景中可以发挥很大的作用。

2. 多轮对话处理

在多轮对话测试中，Ichigo展现了出色的语境跟踪能力。它可以理解并记住对话的历史，以此来提供更为准确和个性化的回答。这对于复杂的查询处理和提供连贯的用户体验至关重要。

3. 应对模糊输入

面对语音不清晰或背景噪音干扰的情况，Ichigo不会简单地猜测用户意图，而是会以礼貌的方式请求用户重复指令。这种策略有效防止了误解，保证了交互的准确性和效率。

技术亮点

1.混合模态早期融合技术：

Ichigo采用了一种创新的早期融合技术，能够在输入阶段就将语音和文本数据合并处理。这种方法与传统的级联处理模型（先识别语音，再处理文本）相比，能够更加高效地处理混合数据，减少数据处理时间，提高响应速度。

2.统一的变换器架构：

该模型使用了统一的变换器架构来处理量化后的语音和文本令牌，这种架构允许模型不仅仅是并行处理两种类型的数据，还能在处理过程中进行交叉学习和特征共享。这样不仅提升了模型处理的一致性，也增强了从复杂查询中提取信息的能力。

3.语音到令牌的转换：

Ichigo通过将语音输入转换为离散令牌的方式处理语音数据，这一点类似于文本处理中的字词分割。使用WhisperVQ技术，模型可以将连续的语音信号转换为一系列离散的令牌，这些令牌随后被统一的模型架构处理，实现了高效的语音解析。

4.实时性能与低延迟：

Ichigo展示了出色的实时处理能力，其首令牌生成的平均延迟仅为111毫秒，远低于现有的多模态处理系统。这一点对于需要快速反应的应用场景（如实时通讯和互动游戏）尤为重要。

5.多语言处理：

除了处理英语数据外，Ichigo还被训练支持多种语言，这得益于其在预训练阶段使用了大规模的多语言语音识别数据集。这种多语言能力使Ichigo能够服务于全球用户，具有更广泛的应用前景。