杭州六小龙之群核科技--AI助力测试提效与大模型落地应用实践

推荐语

AI在测试领域提效的突破性进展，群核科技的实践分享。

核心内容：
1. 群核科技如何利用AI提升测试效率
2. 2025年重点建设方向：AI模型探索与测试平台搭建
3. 实践成果分享及对行业未来的展望

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

从2023年底起，群核科技质量团队便反复强调AI可能对测试团队带来的价值，旋即我们组建了专门的AIGC虚拟小组，进行了一系列的基建能力搭建和部分领域的探索。

从建设进度来看，AI带来的价值是非常大的。2024年年底，deepseek的发布，给业界带来了非常大的震撼，AI推理能力已经非常强大，行业内纷纷围绕AI质量测试和效能领域进行了大量探索。从这些探索、经验和我们取得的结果上看，我们必须紧跟这个潮流，通过运用各种AI工具武装我们自己，结合我们的工作流，提升我们的效能。

经过一段时间的实践探索，我们2025年将重点在以下几个方面进行建设：

• 探索更好的AI模型，从而助力测试提效

• 搭建更易用的AI测试平台，方便大家应用接入

• 不断助力各项测试效能领域/流程提效

• 持续推广和带领测试同学认识AI、使用AI

现将取得的一些进展分享给大家，也欢迎更多的内外部团队共建和使用。我们希望通过本文的分享，能够激发更多创新思维，推动这一领域的深入发展，同时也鼓励开发者积极探索，让AI发挥更大作用，为行业带来更多价值。

01  探索更好的AI模型，助力测试提效

2025年开年至今，我们测试平台已接入如下业界领先的大模型，这些模型也在各个领域得到较好反馈。

接入时间	模型	应用领域	接入效果/反馈
2025年1月	DeepSeek v3&r1	知识库问答
2025年2月	text-embedding-3-small bge-m3-embedding	向量模型&知识库领域	较之前准确度有20%提升
2025年2月	Claude3.5&Claude 3.7 Sonnet	自动化测试代码编写	业务线试用中，本地生成比较稳定，准确率大幅提升

02  搭建更易用的AI测试平台，方便大家应用接入

目前已有20+各类应用接入质量部AI测试平台FastQA，平台也在不断优化升级能力中。

时间	平台优化	预期/效果
2025年2月	模型对接优化
2025年2月	平台版本升级	同步升级，支持插件、工作流编排等，与公司模型对接，版本更稳定
2025年1月	企信对接问答优化	支持企信群 @机器人方式对话，方便对接知识库应用

03  不断助力各项测试效能领域/流程提效

在提升AI模型和AI测试平台能力的同时，我们也积极把这些能力推广到真实的测试应用场景中，让AI助力提效。这也是目前我们落地场景最多的地方，我们已经在以下测试效能领域取得了关键进展。

3.1【AI助力工单提效】

思路：

• 通过维护工单AI知识库以及对接openAPI方式，实现AI在线问答&自动创建工单等功能

进展：

• 目前在技术支持团队最佳实践

• 80%内部咨询自动回复，帮助客服&技术支持岗告别重复劳动

• 自动创建工单，减少提单的提交工作量，提升了工单提交质量，节省各方澄清工单问题的沟通成本。
• 整体上提升用户问题的服务体验，减少问题处理角色和流程，提升客户满意度。

• 群聊群内@AI虚拟账户，进行问题咨询，自助解决FAQ类问题;
• 群聊群内@AI虚拟账户发送创建工单指令，自动创建工单 

  

• 应用内，点击【客服酷小宝】，进行问题咨询，自助解决FAQ类问题 ;
• 应用内，点击【客服酷小宝】，发送创建工单指令，自动创建工单

• 利用vs ode 插件能力和 AI 知识库，让AI根据用例描述生成自动化脚本。

• 利用油猴插件和AI 能力，生成符合酷家乐 UI自动化规范的xpath 表达式。

• 针对三个业务试点，生成的代码准确率在 50~80% 之间。降低编写 xpath编写成本（约30%），提升 xpath 的质量。

• 利用AI根据高质量文档规则，爬取分析近期文档，并推送高质量文档方便学习。

• 目前已经在整个质量部门进行爬取和AI分析推送，得到众多同学的点赞认可

• 根据cf标签进行文档爬取，快速将cf文档转换为FastQA平台知识库内容

• 目前已经在质量效能部门内部进行推广，运行2周累计录入知识量2k页面，快速扩增中
• 配套提供AI知识库创建、cf文档AI打标规则，AI知识库自动导入，及丰富的AI应用落地（企信答疑群的AI智能机器人自助应答 && openAPI接入等）等配套一条龙服务 
• 预计在Q2进行流程规范的评审，作为新流程并纳入公司级别ITM流程标准

• 可以大幅提升用例编写效率

• 针对国际化翻译中容易出现的多语言问题，根据国际化网页设计规范利用AI知识库能力，预设正确错误国际化翻译及布局情况，通过AI动态检测当前版本多语言、文本规范性、页面布局情况

• 基本流程已经调通（典型页面错误识别率超过80%），工程化并建立常态化运行中。 

04  测试管理平台接入AI能力

4.1【测试分析报告撰写】

针对大项目编写测试分析报告，引入 LLM 大模型（文本+视觉），根据需求文档/CF文档链接/设计稿，生成初步的测试分析报告。这些报告有助于测试人员拓展思维，为撰写详尽的测试分析报告提供有力的启发与参考。

4.2【AI用例生成】

生成新功能用例时，运用 LLM 大模型依据需求文档，初步生成功能用例，二次确认修改后，一键导入系统。这不仅能为测试人员打开编写思路，还能辅助他们编写更为全面、细致的功能用例。

4.3【影响用例自动识别（调研中）】

由于受影响功能在开发阶段已确认，且相关功能用例已存在用例库中，在评估影响范围时，采用 RAG/KAG 模型通过检索增强技术，能够快速从用例库中精准定位相关功能用例，呈现给测试人员。这将极大地节省查找时间，为测试人员编写回归用例提供了重要辅助参考依据。

4.4【AI用例评审】

用例评审环节也可以用 LLM 大模型。具体方法是制定一系列严谨的评审规则，让大模型在这些严格条件下运行。大模型会给出用例的合格分数，并提供具有针对性的修改意见，助力测试人员对用例进行修改与优化，以保障测试用例达到较高质量标准。

除了上述介绍之外，我们还进行了以下探索的应用建设，值得我们持续期待！

5.1【用户分析-AI辅助七鱼会话分类打标 】

目标：实现70%以上的七鱼分类自动精准打标

思路：七鱼会话结束后，通过输入会话信息及七鱼分类后，让大模型给出一个精准的四级分类再回传给七鱼平台打标，减少客服的工作量

进度：进行中，基础建设完成，提示词待调优

5.2【自动化测试平台接入AI能力】

目标：

• 目标1：阿波罗自动化测试平台AI辅助提效，包括接口测试和UI自动化测试，提升自动化执行失败和异常情况的排查能力，和小助手自助率应答能力，在去年基础上提升20%。

• 目标2：自动化issue有效性在去年基础上提升10%

思路：

• Jenkins错误日志排查工具，提升问题排查分析能力，结合已有常见典型的错误日志特征进行聚合归类

• 利用CI链路问题排查分析能力，在上述错误日志排查基础之上，进一步按照链路顺序分析，按照常规SRE排查思路进行链路问题的识别和智能分析

• 平台开放功能布点，当发现有在平台上面执行自动化测试失败的场景，测试同学通过点击智能分析进行快速诊断，提升排查自动化环境以及脚本问题的耗时，进一步提升用户在平台体验

• 和业务线形成合力，共同维护自动化知识库经典案例库，提升问题智能小助手自助回答&问题分析能力

进度：目前整体处于前期技术设计框架阶段

06  持续推广使用AI

我们整个部门团队非常重视AI领域提效，也希望整个团队同学提升这方面的能力和意识，因此制定了三步走计划：

• 团队进行AI相应的培训学习和考试

• 团队熟悉使用各个AI工具和考试

• 结合自身业务及测试能力/平台，需要进行AI提效思考并探索接入。

当前培训计划如下：AIGC知识培训

对外分享方面，我们团队在2024MTSC大会进行了AI方面的分享，目前也计划投稿2025年MTSC。同时我们的质量效能公众号也有众多外部公司测试同学热烈讨论测试AI建设。

07  小结

随着AI的持续发展，我们已然看到了它对于互联网及软件工程领域带来的巨大价值，测试领域也是受用方之一。

AI是一个万花筒，对于我们测试同学来说不仅要持续学习AI、掌握AI，更要结合我们实际业务场景和诉求，合理利用AI能力，与我们现有的系统、流程做深度结合，才能发挥它最大的价值。