AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


对扣子coze驱魅,有这3个拉垮点,自测完乖乖换回FastGPT
发布日期:2024-05-09 07:40:59 浏览次数: 3284


简单来说,功能看着很强大,实际使用很拉垮。怪不得我看在Youtube coze阅读量最高的视频都是些国人和coze自己发的

之前用coze也是想要有fastGPT更好的替代,因为fastGPT个个都得自定义,工具调用也得自己接API,看介绍说coze已经准备好很多一键可用的工具调用了而且还支持GPT,就自己去试了一遍

先说大多数人对coze的初印象,先立再破,之后再说我用完coze的不爽

大多数人对coze初印象


不知道为什么一直很抗拒体验字节的 Coze,今天才体验了一下。真心觉得 Coze 是非常聪明的,也确定了一些产品的方向是最好不要去做的。下面来展开聊聊我的观点。

首先 Coze 上有这么几种要素,第一个是 GPT4 的大语言模型免费用;第二个是官方实现了很多工具箱(各种类型的工具链接 API);第三个是支持用户自己编辑处理流程。

如果我们连起来,其实这就是大家现在都在疯狂做的 Agent,只是 Coze 定义的这个 Agent 完全是用户来编排实现的,非常确定。举个例子,比如现大家实现 Agent 的方式是给 Agent 一大堆的工具箱,然后给 Agent 再配个监督员,多个 LLM 交互+上面提到的工具箱,反复反复验证最后完成任务,流程很长,也非常慢,并且成功率相对低。Coze 则是用户自己来编排一个非常确定的一个流程,这样肯定不会出错。更像是一个人人可用的低代码任务处理流水线。

Coze 的聪明就在这个地方,每个真正有需求的用户,他一定能在自己能理解的深度下完成自己的某一个工作流的 AI 替代流水线的创建。

再聊聊什么样的产品最好可以先尽量避开这个范围。Coze 能实现的这类应用,都可以尽量去避开,Coze 肯定最后会变得更简单,就算不是 Coze 跑出来了,也会是其他的 Coze,除非你能体验上和场景上做的比 Coze 厉害;或者你在 Coze 覆盖的平台和用户之外。

Coze 覆盖的场景非常多,建议在考虑的时候可以逐个去跟 Coze 提供的工具箱+用户自定义流程编排就能实现的任务去做比较;当然,有些场景下的 Coze 的体验也不好,这也有机会,甚至足够熟悉的话还可以在 Coze 上找到机会。

除了 Coze 覆盖的,其实还有很多方向的东西可以做。比如 Copilot 方向的、嵌入增强型的、可以自动化现有应用程序的、非常依赖交互和用户体验的、非聊天对话式的 AI 应用等等。

Coze 真的非常聪明,如果我猜测的话,Coze 甚至可以通过观测用户自己构建的单个任务流的使用和成功情况,最后可以更快地实现前面提到的大家做的 Agent,而且效果可能能做的比其他家做的好得多。现在更像是用户在提供数据和想法的阶段。


之前看到上面的用户推文,我自己种草就去体验了,一登录上去,咋一看,有免费模型,自定义工作流,各种已经预设好的插件和trigger、全局变量、语音回复、额外问题建议、对话记忆等各种辅助功能

我在这里测试的是海外版Coze,不用国内版原因主要2点(国内版也有个好处,很容易把创建好的bots对接到飞书、微信号上)

  1. 国内扣子免费模型是抖音的国产大模型;国外的是GPT3.5和GPT4

  2. 国内插件没有google等主流搜索插件,总体插件数量没有coze多



实际上在我自己试用了主要的自定义知识库、插件和工作流功能后,效果并不满意,还不如我测的FastGPT,下面是具体的问题

插件和工作流

以构建一个搜索近10天内的ai新闻为例。得做英文版本,因为Coze提供的GPT模型还没有ChatGPT(openai plus都一年了)回答质量高,中文回答内容质量只有kimi、秘塔效果的一半,这也是为什么我选择让他就做个搜索+总结的简单功能,而不是写作等考验文字生成水平的

就你去bot store看别人公开的机器人,我测试的效果都还不如我自己去chatGPT4或者去kimi,包括英文翻译、小红书标题、比价和各种还不如我下面这个搜索机器人的各种搜索机器人

文章开题说:有自定义工作流workflow,有自定义插件,我测试下来的结果是:

  1. 在执行操作时只会执行一个插件的返回结果,如下图,那么多插件,就只用Get top News;并且我加了自定义的搜索工作流(里面主要用的谷歌搜索插件),结果根本就不会执行workflows



  1. 再说工作流,在工作流搜索是不能像插件搜索返回真实的链接 上面截图的右边的链接地址都是真实存在的,而只用workflow(要用workflow执行,plugins则不能填,不然执行不到这)链接地址几乎都是404 not found

很多上面展示的Github插件、twitter搜索插件都用不了,感觉很多插件都徒有其表,更别说里面的头条、微博、公众号插件了。虽说插件可以自定义,自定义部署,自己导入api,我用coze不就为了省掉自己部署各种api的工具



公开发布的工作流跟公开发布的bot水平都偏下,都是很简单的。上图左侧提供的nodes类型也都没有FastGPT多,当你真的想自定义会发现有很多限制:

  • LLM模型不能自定义,提供的GPT内容质量水平不高

  • 搜索插件,好多用不了

  • 搜索插件和LLM nodes的结合也很困难,把搜索的结果全部作为input给LLM,LLM也会回答它没有网络搜索和直接访问权限的功能,不能回答插件内容,即使在谷歌插件的display result已经返回结果了

  • 各个模块的输入、输出等参数不能自定义,在fastGPT上面的各种参数都可以自定义修改的

自定义知识库

主要说它支持的知识库类型,跟大多自定义知识库支持的数据类型类似,都是有文本、图表两种方式



我测试了结果如下:

  • 飞书不行,输入飞书文档检测的内容是让你飞书扫码

  • 微信文章不行,扫出来的是让你 open in weixin

  • 谷歌表格内容太多不行,同样的10条csv(每条问答对文字内容稍稍有点多)在fastGPT完全没问题,到这就不行。coze支持表格上限大概是1040 token,也就几百汉字

  • 自己上传csv也失败

  • 想输入一个链接爬取一个网站的所有内容不行,即使是手动用coze scrape的chrome插件,也只能爬去那一个页面的文字、图片



PS:说一句左下角的api,每个账户有100个免费api调用额度。api付费价格跟GPT、kimi和国内外模型差不多,都是10--15美元1M个token,1M token大概能40万汉字左右。api价格国内外也很稳定了



总结

整体测试下来感觉coze还是太生硬!coze提供自定义功能,但自定义又有太多限制(主要是自定义工作流和自定义大模型,提供的GPT模型质量也不够),提供方便直接可用的插件调用大多插件都用不着,提供知识库又对知识库的上传不友好

上面这些点刚好把开篇对coze初印象那3点赞赏点做了对应,只是简单又那些功能,但大多都不好用

要说做个结合知识库和AI搜索的私人助理,目前还是fastGPT。要只是搜索ai新闻,coze又只能调用一个插件,我还不如直接谷歌搜索,或者自己上专业的ai新闻网站呢

大家有更好的知识库+ai搜索的私人助理的工具可以看我公众号简介找我沟通。再有,谁知道有什么实体经济中的AI应用吗?看了一圈,好多都是教育、金融、媒体领域的应用

ps:本来说下个月618就买个5w+的macbook pro顶配跑大模型啥的,128G+8T,结果今年年底又要出m4芯片了,又得再等半年


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询