我要投稿

大模型实现测试用例生成，头部企业实战经验分析

发布日期：2024-11-27 07:50:48 浏览次数： 1541 来源：沙丘社区

作者｜沙丘智库研究团队

来源｜沙丘社区（www.shaqiu.cn）

在软件开发过程中，测试是确保软件质量和性能的关键环节。传统的测试用例生成依赖于人工编写，这不仅耗时耗力，而且容易受到测试人员经验的限制。随着大模型的出现，这一局面正在被改变。

大模型能够生成测试用例（用于正向测试和负向测试的手动测试和自动化测试脚本）和测试数据（用于填充应用程序数据库或驱动动态测试用例的执行），测试完成后，大模型可以将测试结果总结成执行报告，并对发现的缺陷进行分析，提高软件测试团队的工作效率，最大限度地减少人工操作，并提高代码质量。

根据沙丘智库发布的《2024中国企业IT部门大模型应用场景评估报告》，测试用例和数据生成是当前对企业IT部门来说可以进行战略选择的大模型应用场景之一，具有较高的业务价值和技术可行性。

当前很多企业在探索大模型+智能测试时都将测试用例生成作为切入点，沙丘社区通过研究腾讯、字节跳动、优酷、荔枝集团等4家互联网企业测试用例生成场景的大模型实践，旨在为其他企业提供参考。

▎案例1：腾讯测试用例生成场景大模型实践

当前互联网产品对迭代速度的要求越来越高，腾讯大部分产品以单周/双周的速度进行迭代，快速的版本节奏对测试用例编写效率和用例质量带来极大挑战。

腾讯基于大模型能力，将测试用例作为大模型在质效提升领域的切入点，开发Case Copilot，提升测试用例质量及编写效率，不断拓展能力边界，帮助业务解决质效问题，推进业务质量内建，提升研发效率和产品质量。

完整内容：腾讯测试用例生成场景大模型实践

▎案例2：字节跳动基于大模型的单元测试用例自动生成实践

在单测生成产品研发中，最重要以及最容易遇到挑战的两个部分是数据质量和代码生成效果：

• 在数据质量方面，字节跳动通过工程化分析的方式协助大模型解决数据难题。针对数据质量提升，一是要提升数据真实性及充分度（入参、出参、依赖返回及断言数据）；二是要准确提供模型提示词数据（路径、分支、条件等）；

• 在代码生成方面，字节跳动通过模型化建设提升代码效果。首先是数据工程建设，包括样本打标、筛选、隐私过滤等，然后是提示工程和模型微调，最后建立了面向业务的评测指标。

完整内容：字节跳动基于大模型的单元测试用例自动生成实践

▎案例3：优酷基于大模型的测试用例生成实践

优酷从测试用例生成场景切入，探索大模型在质量保障工作中的应用。通过向量化、图谱存储、混合检索方案等技术，以及模型的预训练、微调和强化学习，优酷实现了与原有工作流程的无缝衔接，提升了测试用例生成的效率和质量。

完整内容：优酷基于大模型的测试用例生成实践

▎案例4：荔枝集团基于大模型的测试用例设计实践

荔枝集团面临测试用例编写效率低下和全面性不足的挑战，采用基于大模型的技术，通过标准化需求处理、向量库方案和测试平台建设，提升测试用例设计效率50%以上。实践证明，该方法有效提升了效率和用例采纳率，尤其是在中小型需求上表现更佳。

完整内容：荔枝集团基于大模型的测试用例设计实践

更多研究：

百度智能测试助理testmate建设实践

华为基于LLM的测试自动化代码生成实践

中国邮储银行智能测试场景大模型实践

支付宝小程序基于AI大模型的自动化测试实践

字节跳动全流程质量保障智能化实践

...

*更多生成式AI研究可前往“沙丘智库”小程序查阅

*有任何需求可咨询客服微信：zimu738

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

FP8 低精度训练：Transformer Engine 简析

2024-07-11

万字综述 10+ 种 LLM 投机采样推理加速方案

2024-07-11

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-07-09

太爽了！o1 现在可以天天享用了

2024-09-18

通义千问超越GPT4了？

2024-06-11

Qwen2大模型微调入门实战-命名实体识别（NER）任务

2024-07-23

基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

2024-07-20

DifySandbox 的构建背景和实现机制

2024-07-12

彻底理解系列之：FP32、FP16、TF32、BF16、混合精度

2024-07-26

大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）

2024-07-23

大家都在问

打造自己的RAG解析大模型：如何进行版面分析模型的训练？

2024-11-26

Ollama与vLLM部署对比：哪个更合适？

2024-11-25

LLM实践系列-聊聊大模型STF的数据清洗过程有多繁琐？

2024-11-18

深入理解预训练与微调，为什么需要预训练，什么是微调？

2024-11-16

GenAI部署：成功率与ROI为何双下滑？

2024-11-16

Cursor：如何构建 AI Coding 最佳实践？

2024-10-31

百度如何打造AI原生研发新范式？