引言

最近翻看小红书的时候就发现了一个不错的AIGC落地产品【智语面试】，展示的效果是：一个面试者通过视频会议进行面试，旁边AI助手实时显示提问者的问题，并给出相应的提示；

已知服务

1: 在线面试教练

2：AI面试助手

视频地址：https://www.bilibili.com/video/BV1cx421271Q

基础业务逻辑拆解

使用图示

从官网上来看，视频会议的是腾讯视频

基础业务流程

技术难点

1: 代理声卡/通过外放获取音频

https://github.com/jxlpzqc/TMSpeech

TMSpeech 是一个Windows下的中文实时语音字幕，通过WASAPI的CaptureLoopback捕获电脑声音（录内音），将语音实时转文字，并以歌词字幕的形式展示。即使完全关闭电脑声音也能使用。

https://k2-fsa.github.io/sherpa/onnx/index.html

使用下一代 Kaldi 和 onnxruntime 进行语音转文本、文本转语音和说话人识别，无需互联网连接。支持嵌入式系统、Android、iOS、Raspberry Pi、RISC-V、x86_64 服务器、websocket 服务器/客户端、C/C++、Python、Kotlin、C#、Go、NodeJS、Java、Swift、Dart、JavaScript、Flutter

2: 本地知识库

需要有大量的企业面试题库

以dify为例子

3：对外提供业务就需要线上知识库

1: 准备数据

计算机百科数据库

计算机题库

编程语言数据库

简历数据库 或者按照模型维度拆分数据

2: 模型预训练

• 模型预训练脚本：train/pretrain/pretrain.sh

• 预训练实现代码：train/pretrain/pretrain_clm.py

• DeepSpeed加速：

• 对于单卡训练，可以采用ZeRO-2的方式，参数配置见 train/pretrain/ds_config_zero2.json

• 对于多卡训练，可以采用ZeRO-3的方式，参数配置见 train/pretrain/ds_config_zero3.json

• 训练效果度量指标：train/pretrain/accuracy.py

3: 模型微调

4：推理加速

总结：如果实际线上使用的话 直接建议 智谱AI 他顺带还可以微调 这样的话 也方便

5：部署运行

6: WebUI