微信扫码
与创始人交个朋友
我要投稿
测试用例作为质量保障的核心,影响着研发-测试-发布-上线的全过程,如单元测试用例、手工测试用例、接口自动化用例、UI 自动化用例等,但用例撰写的高成本尤其是自动化用例,导致了用例的可持续积累、更新和迭代受到非常大制约。长久以来,我们在用例创作技术上一直未有过很大的突破,协助 QA 做好最基本的工作。
直到2023年,生成式 AI 的到来,为用例智能创作带来了可能,借由 AI 技术,尤其是生成式 AI,一切就变得不一样了。
我们可以通过 AI 更好地理解需求,理解 UI 页面,理解接口访问的含义,智能化的生成测试用例,辅助研发测试提效的同时借由数据飞轮不断巩固沉淀测试经验。
为此,百度移动生态质量效能部启动了 QAMate 用例智能创作项目,从基于需求生成脑图用例,基于真机操作的 UI 自动化用例录制回放,基于流量或代码生成接口自动化用例三个场景深耕,通过 AI 技术实现测试用例的智能创作,进而辅助研发测试提效,为业务质量保驾护航。
Prompt 层开源共建:采用开放 Prompt 层同各业务同学协同共建的模式,使得分业务可以规范输入输出、规则明确、针对特定场景优化 Prompt,从而最大程度激发大模型效果
数据飞轮构建:完成了「用例生成 -> 生成用例采纳/删除;人工修正/添加用例 -> 业务个性化模型训练」数据飞轮的构建,经业务线评估,启用个性化模型的生成效果会优于92%通用模型的输出效果
建构外挂知识库:持久化测试经验&业务知识,进一步增强了生成效果
80%以上的自动化测试场景,都是非常简单直接的单控件检测和点击操作。建设以视觉建模、识别能力为核心的通用控件定位算法解决。
对于剩余的20%场景,往往存在大量复杂的多控件协同检测和复杂操作方式。建设综合使用视觉、dom 处理能力的多控件协同控件定位算法进行解决。
低成本:eBPF 实时引流方式,用户仅需知道 BNS 就可以配置生成任务,一键完成总引流到生成case的工作,无需任何开发工作
多渠道:提供 eBPF 流量实时录制、XSTP GoReplay 引流、用户流量文件上传等流量接入方式,覆盖不同业务形态的模块
能力强:突破长连接、SSE、chunked 等接口引流能力,支持点到点、inbound 录制模式,提供单接口录制上限等接口录制丰富度相关配置
流量采样策略:提供精简采样、优先采样、普通采样、高覆盖采样4种标准采样模式
case 生成策略:提供枚举值遍历、边界值异常、必填项异常、枚举值异常、字段类型异常等多种异常策略
相对原人工维护 case,自动生成的 case 函数覆盖率从14.8%->46.7%,行覆盖率从9.9%->34.7%。单 API 行覆盖率从66%->74.3%
简单的 LUI 支持复杂的用例修改能力:通过 LUI 和 LLM 技术识别用户对于流量用例请求参数、响应断言以及特定场景的复杂修改诉求,保证用例在其他环境的可运行性和问题拦截能力
业务知识库:构建业务知识库存储不同业务的 case 特征,在生成过程中通过检索业务知识,转化为生成诉求的方式,实现生成出满足业务诉求的用例
接口文档生成:基于调用链、大模型、业务变更代码影响的接口分析能力,支持直接从变更代码挖掘出影响的接口文档,使得没有标准化、平台化的接口文档管理能力的业务也可接入
业务知识库:通过离线的历史 case 分析和手动录入的方式构件字段字典信息、断言和参数特征等业务知识,解决新接口难以生成正确参数值的问题
端到端方案:生成推荐过程融入业务 RD 和 QA 的日常工作流程中,业务无需调整或增加流程,在原有工作流程中就能直接使用到生成好的用例结果
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-05-28
2024-04-26
2024-08-13
2024-08-21
2024-07-09
2024-08-04
2024-04-11
2024-06-13
2024-07-18
2024-07-01