AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


使用Coze平台开发一个看图配诗的智能体
发布日期:2024-11-19 18:27:05 浏览次数: 1514 来源:一起AI技术


前言

AI Agent(AI代理)是一种能够感知外部环境、进行自动决策和执行动作的智能实体。随着大模型技术的快速迭代,Agent的能力也逐步增强,目前部分场景已经开始有相应的落地,例如:我们曾借助LinkAI平台搭建了一个微信公众号智能客服

本章,我们将借助最近国内比较火热的Coze(扣子)平台构建一个智能体。

项目目标

你是否有过这样的烦恼:在朋友圈发图的时候,特别想配上几句应景的诗词,让图片更有韵味,可就是想不出来。

本次我们将实现一个看图配诗的智能体

产品简介

产品概述

扣子是新一代 AI 应用开发平台。无论你是否有编程基础,都可以在扣子上快速搭建基于大模型的各类智能体,并将智能体发布到各个社交平台、通讯软件或部署到网站等其他渠道。

主要功能

  • • 丰富的插件系统 平台提供了多种类型的插件,例如识图插件、文本处理插件、数据存储插件等。这些插件可以轻松地集成到应用中,极大地拓展了应用的功能。

  • • 工作流设计 开发者可以通过可视化的方式设计应用的工作流程。将不同的插件和交互操作按照一定的逻辑顺序组合起来,实现复杂的业务流程。

  • • 数据处理与存储 具备RAG数据处理功能,可以上传并管理多种数据,包括本地文档、Excel表格、飞书等

    file
  • • 多渠道的接入能力 支持微信公众号、企业微信、飞书、抖音小程序、豆包等多种渠道接入,使得开发者的应用可以方便快捷地部署到接入到各个平台。

实现过程

注册Coze开发者账号

访问https://www.coze.cn/,注册基础版账号登录。

新建一个智能体

登录Coze平台后,点击新建智能体

配置智能体的相关信息,以便将来在应用商店显示时,用户了解智能体的功能。

此处也可以使用AI创建,可以参考类似prompt的写法,给出目的、规则、功能,这样就能自动生成对应的智能体并且配置插件等功能,非常方便。

新建一个工作流

在新建智能体页面,点击新建工作流

配置工作流

第一步:配置起始节点,添加输入image并选择image图片类型

第二步:添加一个图片内容解析插件

根据插件的使用样例,我们需要传入图片的url,所以在input中将url选择为前序开始节点的image。

第三步:添加一个大模型节点

在这一节点中,我们配置相应的大模型prompt,内容如下:

系统提示词:
你是一个诗词专家,可以通过图片联想相应的诗词

用户提示词:
## 目的
通过输入的图片描述内容,联想相应的诗词

## 输入
{{input}}

## 输出
key_word:诗词搜索关键词,关键词之间使用,
tags:图像内容的tags,多个标签使用|连接

## 规则
根据input的图片描述内容,联想相关的诗词,形成相应的搜索关键字和tags,以便进一步调用工具搜索诗词

在输出配置key_word和tags两个变量,用户下一节点插件使用。

第四步:添加古诗词搜索插件,并将输入tags和keyword分别选择上一节点的输出。

第五步:添加内容二次加工大模型节点

在这一节点中,我们除了将故事搜索结果的input输入配置之外,还可以配置相应的决策逻辑,例如prompt内容如下:

系统提示词:
你是一个专业的艺术家,擅长美术,对诗词也有很深的理解。

用户提示词:
## 目的
根据输入的诗词内容进行审核,选择最合适的诗词并给出结果

## 输入
{{poem}}是搜索的诗词信息
{{image_description}}是图片的描述

## 输出
1.选择与图片描述最为匹配的诗词
2.对诗词进行详细解释,包括诗词的背景、含义以及与照片的关联。回复示例:
=====
-?诗词内容:<诗词的完整内容>
-?‍♂️作者:<作者名字>
-?️朝代:<朝代名称>
-?解释:<诗词的详细解释>
=====

## 规则
1.解释部分,请对诗词的背景、含义以及与图片的关联进行详细介绍。
2.如果有多个诗词比较匹配,请返回最为适合的前两首,输出时按照匹配度降序排序。

最后配置相应的输入content

第六步:将输出节点与上一个节点 内容二次加工 相连,并配置相应的输入和输出。

调试运行

第七步:配置完毕以上工作流之后,返回智能体,配置人设与回复逻辑如下:

# 角色
你是一个诗词匹配助手,能够根据用户提供的照片理解其内容并生成关键字,然后搜索匹配的诗词。为用户提供诗词内容、作者、朝代以及详细解释,以方便用户在朋友圈发表。

## 技能
### 技能 1:分析照片从而联想生成对应的诗词
1.当用户发送照片时,调用工作流create_poetry_from_image
回复示例:
=====
-?诗词内容:<诗词的完整内容>
-?‍♂️作者:<作者名字>
-?️朝代:<朝代名称>
-?解释:<诗词的详细解释>
=====
2.如果有多个匹配的诗词,请按照匹配度降序排序。

## 限制:
-只针对用户提供的照片进行诗词匹配,拒绝回答与照片无关的问题。
-所输出的内容必须按照给定的格式进行组织,不能偏离框架要求。
- 解释部分要简洁明了,突出重点。

最后使用右侧的预览与调试,试验智能体的使用过程,如果有问题进行微调。

发布应用

第八步:点击右上角的发布→确认发布→待审核通过之后→点击商店链接→将URL发送给朋友,他们就可以试用了。

运行效果

试用地址:

https://www.coze.cn/store/agent/7435852230575718409?bot_id=true&bid=6ecnpuprg7g1m


Tips:
1、点击左下角"阅读原文" ,可以试用体验。

自己传了张登山时的图片,效果如下:

发给好朋友后,他的试验效果如下:

内容小结

  • • Coze平台是一个低代码化的Agent开发平台,可以快速搭建智能体。

  • • Coze平台上提供了丰富的插件(即Agent中的Tools),RAG检索功能等。

  • • Coze平台的应用接入渠道丰富,可以接入微信公众号、企业微信、抖音小程序、豆包等。


欢迎关注公众号以获得最新的文章和新闻



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询