在 GPT-4o 的发布会上，有这么一个场景：

这位父亲告诉 gpt-4o，辅导他的孩子完成这个数学题目，但是不要直接告诉他答案。而是要一步异步的辅导他完成这个题目。gpt-4o 理解了这个意图，真的就是在和这个学生的对话中，经历了数个步骤，这个学生终于弄懂了解决这个题目的方法。这个过程中，gpt-4o 通过语音沟通的方式辅助这个学生完成了这个数学题目。

请注意，我这里强调是语音沟通。作为一个对体验有追求的人，我非常肯定的觉得，仅仅是语音描述，他不是这个场景下的终极状态，试着想一想，如果这个学生戴着智能眼镜，眼镜上显示着题目，他可以直接在题目上进行划线标注，做生动直观的数学动画的模拟，这才是一个非常直观的辅助解决问题的方式。

OK，这个产品就是在学习辅导的场景下，它将是一个超级学习辅导机器人，它的形态是一个智能眼镜，内置了大模型的实时识别和理解能力，可以实时捕捉用户周围的信息，并通过语音、图形、动画等方式辅助用户完成各种任务。用户可以通过眼镜上的显示屏看到实时的辅助信息，也可以通过语音交互与系统进行沟通，你可能想到了，这是：

大模型+AR+智能眼镜 的完美结合！

产品的关键技术点

这个产品目前还没有，但是我们可以通过以下几个步骤来实现，预计很开就会推出。

1. 1. 视频捕捉、传输与压缩：

• • 实时捕捉用户视野中的视频流，确保视频质量高且延迟低。

• • 关键技术点：确保摄像头的高帧率和低延迟，避免视频捕捉过程中出现卡顿。

• • 实现视频压缩和分帧处理，降低数据传输量。

• 2. 大模型决策与AR增强：

• • 在服务器端部署大模型，处理传输过来的视频数据，识别和理解用户视野中的信息。

• • 大模型基于识别结果和当前上下文做出决策，调用function call接口驱动AR增强模块。

• • AR增强模块生成注释和提示信息，叠加显示在用户视野中。

系统架构图

技术上，需要解决，大模型+AR 这块的联动，这里使用的是 function call 的方式，大模型基于识别结果和当前上下文做出决策，调用 function call 接口驱动 AR 增强模块。这里的关键技术点是设计高效的 API 接口，实现大模型与 AR 增强模块的无缝通信，确保决策的及时性和准确性。这个方案的实现细节，在 GitHub 上开源，欢迎大家一起讨论。

展望

这个产品的未来是非常广阔的，它可以应用在很多场景下，比如学生做作业，医生手术，工程师维修等等。这个产品的核心是大模型+AR，这个组合是非常强大的，可以说这个就是人类的超级助手，它可以帮助人类更好的理解和处理复杂的任务和场景，提高工作效率，减少错误率。

目前，该方案我已经申请了专利。