我要投稿

当你有一台大模型一体机——我们基于AI的测试知识库、智动化流程、及产品智动演示

发布日期：2024-05-01 21:45:06 浏览次数： 1790

内容提要

本文分享了我们在LLM大模型应用领域的创新实践。借助自主研发的大模型一体机，我们构建了私域测试知识库，改造了智动化提单流程，并部署了一套AI驱动的智动化项目--该项目能根据随机需求自主完成一系列浏览器操作，实现Web智动化测试和产品智动化演示。

Hello 大模型

随着技术的飞速发展，大模型及AI应用已成为企业数字化转型的新趋势。这一变化，不仅仅是对技术的追求，更是对未来的布局。在OpenAI的引领下，各类大模型层出不穷，基于AI的应用如雨后春笋，不少企业纷纷提出All in AI的战略，试图在这场数字化革命中抢占先机。

然而，大模型技术的驾驭并非易事。高昂的学习成本、硬件成本、平台搭建成本，以及复杂的研发流程，让许多企业望而却步。如何在有限资源下，快速掌握和应用AI技术，成为企业面临的一大挑战。

我们看到了这样的需求，也感受到了这样的挑战。作为云计算和基础设施平台的深耕者，我们深知大模型技术对于企业的重要性。因此，我们投入了大量精力，研发了大模型一体机，旨在为企业提供一套软硬件一体化平台，简化大模型操作，降低企业门槛。大模型一体机，它来了！

我们云测实验室在这个平台上实践了若干AI应用场景，包括“基于大模型的测试知识库”、“基于提示词工程的智动化流程”、以及“基于AI Agent的智能产品演示”等，均展现了大模型一体机的强大机能和便利性。

基于大模型的测试知识库

本节中，我们的目标是基于大模型一体机，搭建一个私域知识库，帮助测试人员快速掌握新产品新功能的业务场景、客户诉求、技术细节。测试人员无需再花费大量时间学习，而是通过知识库系统，迅速了解被测对象的基本使用方法，完成测试环境的搭建、配置和调试。当遇到问题时，知识库能够提供专家级经验和建议，帮助测试人员高效分析和解决问题。

相较于ChatGPT，我们能放心将涉及商业机密和客户隐私的部分数据输送给私域知识库，能根据自己的业务场景和客户需求对知识库进行定制和优化、并保持更新。借助大模型一体机，私域知识库的部署和使用变得轻松而高效。

知识库创建和知识管理

知识库的发布和使用

基于提示词工程的智动化流程

我们知道提示词工程是一种基于AI的智能交互技术，通过分析用户的问题描述，自动生成解决方案。典型场景包括客服、在线问答等。本节中，我们尝试应用提示词工程，让AI来帮我们处理各种工作流程。

我们将利用大模型一体机内置的应用开发平台，打造了一个智能提单流程。该流程能够借助提示词工程理解测试人员提交的问题描述，并转化为一定的输出格式。它将识别模块、操作、问题、现象等，并自动在问题单数据库中搜索是否存在同类重复问题。若存在则返回问题单编号及描述，若不存在则将问题描述转化为JSON格式并提交至问题单平台。

创建和调试提示词模板

应用开发平台创建和编排流程

在流程编辑器中关联提示词模板

调试测试并发布流程流程调试过程中，我们将检查流程的每个节点，确保能够套用提示词模板处理数据输入，生成符合预期的JSON输出并流转至下一节点。遗憾的是，由于问题单数据库在版本测试期间频繁更新，我们尚未掌握动态更新大型模型问题单记忆的技术，因此流程无法准确识别重复提交的问题。我们正在研究此问题，并将在未来进行改进。

基于AI Agent的产品智动演示

我们不仅期待AI能够进行知识库问答和特定领域的AIGC，还希望它能像智能机器人一样，自主完成各种任务。

例如，当测试人员提出一个测试目标或演示需求时，AI能够理解我们的意图，并自主地访问目标网站、登录系统、点击菜单、输入表单、获取数据，并反馈结果。整个过程无需人为介入，也无需事先准备各种自动化脚本，真正实现了智动化执行。让我们直接通过Demo来展示这一能力（注意Demo中“执行任务”之后的所有动作，均由AI自主完成）：

该项目名为Skyvern，是Github上一个基于LLM和计算机视觉的浏览器自动化方案。作为一类AI Agent应用（注：AI Agent是一种能够感知环境、进行决策和执行动作的智能实体），其实现原理为：首先，使用Playwright工具作为“手”，负责执行浏览器操作，如页面导航、点击、输入等。与此同时，SoM视觉标记作为“眼睛”，帮助识别页面元素，确保自动化流程的准确性。最后，LLM大模型作为“大脑”，负责理解用户需求，规划操作步骤，并协调“手”和“眼”完成一系列复杂的浏览器操作，实现高度智能化的自动化流程。

Github上还有许多类似的AI Agent初创项目，我们可以打开想象力，持续调研和实践各类基于LLM大模型的AI应用。而大模型一体机为这些AI应用的孵化提供了有力支撑，我们能够快速实现各类AI应用的接入和调试，支撑AI应用从研发到发布、部署再到商用的完整流程：

创建大模型实例并获取API接口

AI应用对接私域大模型API为了让AI Agent对接到我们的私域大模型，通常需要阅读AI Agent源码，定位Agent与LLM交互的那部分代码和逻辑，并对其进行一些改造，例如引入LiteLLM库来代理Agent到LLM的API调用（注：LiteLLM是一个用于管理LLM大型语言模型的Python库。它支持多种LLM提供者，如OpenAI、Anthropic、VertexAI等，并能够通过Custom API Server与自定义的大模型API进行对接）。本例中，我们即使用LiteLLM的Custom API Server功能来对接我们的私域大模型API，改造代码示例如下：

AI应用的打包发布和部署上线

总结和展望

大模型一体机不仅为我们的AI应用和场景提供了丰富的可能性，还激发了我们对未来创新的无限憧憬。我们正不断开发新的AI应用场景，包括多模态大模型生成测试用例、Code大模型分析代码缺陷，以及部署AI编程助手以提升产品开发效率。

目前，我们的大模型一体机已正式发布，并有效支持了我们的AI创新实践，如打造智动化流程、实践基于AI Agent的全智能测试等。敬请期待其正式面市，与我们一同探索AI的无限可能！关注我们的官方公众号，了解更多。

END

往期推荐

AI辅助测试脚本开发？CodeWhisperer值得一试！

2024-03-31

人工智能时代，我们的Web自动化测试如何识别图形验证码？

2023-05-31

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

2024-09-23

为什么需要Agent?

2024-09-22

阿里巴巴发布Qwen2.5，对标GPT o1？

2024-09-22

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

2024-09-22

OpenAI o1的架构流程已被Claude破解了？

2024-09-21

从 Data 到 Data + AI，必然之路还是盲目跟风？

2024-09-21

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

2024-09-20

在长上下文LLM的时代，RAG是否仍然必要？

2024-09-20

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的&#39;阉割&#39;?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?