AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Javis真的来了?智谱AutoGLM的Phone Use时刻!
发布日期:2024-10-28 15:04:52 浏览次数: 1771 来源:云中江树


  • "Jarvis,帮我订一下明天去上海的机票。"
  • "好的,先生,已为您预订明天上午9点的航班,经济舱靠窗,已自动完成支付。"

还记得第一次看钢铁侠时,被Tony Stark和他的AI管家Jarvis帅到不能自已。那个能帮你打理生活、管理行程、随叫随到的AI助手,简直就是所有科技迷的终极梦想。

但在2024年的今天,这个梦想,真的要照进现实了。

它就是智谱刚刚发布的重磅产品:AutoGLM

前几天的时候,我们收到了一个内测邀请。当我第一次使用它的时候,我的下巴差点没合上——这哥们,不就是移动版的Jarvis吗?! 


一通操作猛如虎,一看结果真牛逼,当我亲眼看着它帮我完成一系列操作时,那种科幻照进现实的震撼感,让我无以言语。

当时就想赶紧发布出来给大家介绍,但是因为一些原因没法发出来...

前两天Claude发布“Computer Use”功能的时候,我就想说,我们的“Phone Use”已经投入使用了!ps.当时就觉得智谱可能被狙击了(笑cry

我们看一下它的过程,倾听你的指令,拆解你的意图,自动调用工具,完成任务,这不就是我们梦寐以求的Jarvis?

想象一下:

  • 你说:"帮我订个酒店。"(它秒懂,自己打开APP、筛选、比价、下单)
  • 你说:"给我朋友朋友圈点赞,评论。"(它立马帮你翻看、点赞、写评论,社交管家附体)

不信?让我把经历过的"真实震撼"分享给你。

这一次,不是在实验室里跑的Demo,不是PPT里画的大饼,而是直接发布产品,没有预告,直接体验。一如既往地智谱系的“质朴”风格。

说实话,作为一个经历过"你好小冰"、"Hi Siri"时代的老江湖,我以为离真正的AI助手还要再等个十年八年。直到遇见了AutoGLM...

让我们来看看,这个来自未来的AI管家,到底有多强?

这次,是真的"能干"

还记得第一次用Siri时的失望吗?

"Siri,帮我订个奶茶。"

"抱歉,我不明白您的意思。"

但当我对AutoGLM说出同样的话:"帮我订个奶茶,我要茶百道家的茉莉奶绿。" 然后...我就看呆了:


自动打开美团,定位到我周围的奶茶店,搜索选择了我最常点的原装茉莉奶绿,并且根据商品规格问我要不要加一些调料,我直接说“默认”,之后甚至自动选择了我的常用地址,帮我下单,一气呵成。(ps.最后的付款当然是我自己做的)

全程我就像看魔术一样:"???这就好了?"

牛逼,AutoGLM这套操作行云流水,要知道,这可不是简单的语音助手,而是真的能"干活"的AI。它就像一只无形的手,帮你在手机上点来点去,完成各种操作。

文章开头的那个视频大家也看了,过两天我要去上海参加个活动。

我直接告诉它我下周三要去上海出差,请帮我订下车票。

就这一句话,它立刻开始了一连串操作:

打开12306,查找并筛选合适的高铁票,问我要选哪一趟,座次都能直接给你定好,创建订单。

当然,它目前还没有进一步的操作,比如选择乘坐人,之后买上保险等等行为,不过我想,迭代的齿轮已经开始转动,后续这些功能相信都会慢慢加上

之后,我继续问它,「我下周三要去上海出差,帮我找一下“西藏南路”地铁站附近评分4.0以上价格在600元以下有大床房型的酒店」,


就像任劳任怨的Jarvis一样,打开携程,自动筛选,评分,地点,价格,帮我一步步挑选好对应的酒店。

说实话,用过这么多年的智能助手,第一次感受到真正的"智能"。它不只是听懂你说什么,更重要的是,它真的能帮你把事情做了。

看完开胃菜,现在让我们系统地看看这位"现代版Jarvis"到底有多少能耐。我用了几天时间,把它的各项技能都试了个遍,说实话,越用越上瘾...

  1. 最好玩的也最实用的是社交场景

之前我每次出去旅游玩耍,免不了要展示一番,朋友圈还需要我自己发,现在可以直接让 AI 全程代劳。

"帮我发一条朋友圈,描述一下我现在爬长城高兴的心情"


它立即开始打开微信,根据我的描述,自动生成内容,直接生成关于人们爬长城的喜悦内容,直接发送!

有时,我们经常会错过好友朋友圈的一些重要内容,这会如果有人能够帮我快速给朋友圈点赞评论一下,


之后可以写个脚本批量点赞评论了哈哈哈。

这个Phone Use有可能会取代RPA工具....

同时还可以让它随时去骚扰微信好友,直接可以跟微信好友进行互动,各种发消息问候。。


还能直接发送位置,我麻了..


这一波,我感觉AutoGLM真的拿捏住了我们的人性——解决懒的问题...

  1. 双十一不是快到了么。。

这时候我就想着它能不能帮我囤几箱牛奶,结果就发现它能直接从你的历史订单中找到相关商品,开始下单..


目前的功能是支持商品选购,店铺查找,评价总结/撰写等等,主打突出的就是节省你的时间,也期待智谱的进一步迭代,比如能够根据我们所求,直接一键比价,淘宝、京东、拼多多等多平台商品搜索比价,选出性价比最高的一款!

  1. 我们的日常出行,以往还需要点开APP,输入我们的目的地,选择线路,现在直接一句话,天南海北随你去闯。 


    我想很多人都经历过去饭店就餐,买了团购券之后被店员硬控当场让你写好评。


之前我就经历过,憋了半天憋出来十几个字,社死当场,现在AutoGLM真是救了大命了。

"能干"的背后:技术突破

看到这里,你可能会问:为什么之前的AI助手都做不到,它却可以?

关键在于两点突破:

  1. 基于智谱自研的「基础智能体解耦合中间界面」:不是简单的打开APP,而是能在应用内完成实际操作
  2. 智谱自研「自进化在线课程强化学习框架」:其中的核心技术WebRL,克服了大模型智能体任务规划和动作执行存在的能力拮抗、训练任务和数据稀缺、反馈信号稀少和策略分布漂移等智能体研究和应用难题,加之自适应学习策略,能够在迭代过程中不断改进、持续稳定地提高自身性能。

期待智谱后续的技术报告,我们一览究竟~

在网页端,“AutoGLM”能力已经上线到清言插件,下载清言插件并点击「高级模式」,体验大模型理解用户语言指令,模拟人在网页上执行操作,自动搜索,筛选阅读、总结内容等行为。

理论上,AutoGLM 可以完成人类在电子设备上可以做的任何事,它不受限于简单的任务场景或 API 调用,也不需要用户手动搭建复杂繁琐的工作流,操作逻辑与人类类似。

我认为这就是个“iPhone时刻”~

当然,它也有不完美的地方...

现实与未来:离“完全态Jarvis”还有多远?

用了几天后,我不得不承认:虽然它已经很强大,但离完美的AI管家还是有一定差距。简单说几点局限性:

  • 操作链路还不够完整

虽然能跨应用操作,但有些场景还需要人工确认。比如在订酒店时,付款环节还是需要你自己完成。这一点理解,毕竟涉及资金安全,谨慎点好。

  • 支持的软件场景还不够多

目前已经支持微信、高德、美团、淘宝、携程等应用,但还不够全面,希望之后能兼容更多app,解锁更多场景方案~

  • 部分场景响应不够快

在处理复杂任务时,比如一个链路很长的复杂问题分解时,偶尔会遇到轻微卡顿或终止。不过考虑到它要同时处理这么多信息,这个响应速度已经相当不错了。

  • 个性化程度还可以提升

比如在我点奶茶的时候,能够记住我之前都是“无糖少冰”等基础习惯,这样在更细节的场景下就能更加契合我的个人偏好。


但!这才是开始...

说实话,看到这些"待优化的点",我反而更兴奋了。为什么?

想想看:

  • 2011年,Siri刚出来时只能打个电话查查天气等基础功能
  • 2016年,智能音箱最多帮你放首歌
  • 2019年,AI助手还停留在简单对话阶段

而现在,我们已经有了能真正帮我们"做事"的AI助手。这才是第一个版本啊!

我们来看一下智谱家族目前的体系产品:

人工智能在多大程度上能够做到像上图人脑那样,甚至超越它?成为许多人所说的超级人工智能?

从这个终极答案上看,他们也坦言将在未来相当长的一段时间处于42%这个阶段。

42 这个百分比灵感来自《银河系漫游指南》,是关于生命、宇宙以及任何事情的终极答案。这个梗玩的很nice!

AutoGLM 可以看作是智谱在 L3 工具能力方面的探索和尝试,他们也在致力于推动人机交互范式实现新转变,为构建 GLM-OS ,即以大模型为中心的通用计算系统打好基础。

现在的它,就像是一个婴儿,在成长过程中,会不断获取新技能,直到,实现我们心中的那个样子!

写在最后:我们正在见证历史

我们这一代人在这个时间点可能不够幸运,因为我们没有赶上中国改革开放30年的机遇期。

但我们这一代人又足够的幸运,因为不管是政治、金融、科技等各个领域,这么几年来我们一直在见证着历史。

而我们现在最大的幸运就是,回过头看,我们在 AI 黄金时代的起点。

回想起来,当前AutoGLM的发布,这可能就是那个转折点——AI从"会说话"到"真能干"的跨越,是完全体AI Agent的雏形,是L3级别能力的大幅度跨越。

就像当年第一代iPhone发布时,很多人还在吐槽它不支持复制粘贴。但现在回头看,那个"不完美"的iPhone,正是移动革命的开始。

AutoGLM今天的"不完美",可能正预示着AI助手时代的开启。

说不定几年后,当我们习惯了AI帮我们打理一切的生活,回头看这篇文章,会觉得:"当时我们居然还要自己动手点外卖?"

而现在,我们正在见证,也正在参与这个改变的过程。

就像钢铁侠的Jarvis,从最初的简单助手,逐渐进化成了能够管理整个钢铁战衣的超级AI。我相信,我们的AI助手也正在这条路上,一步步进化。

未来已来,只是尚未流行。

未来,我们人人都是 "Iron Man",

既见未来,为何不拜?

而你,愿意和我一起,见证这个AI助手新时代的到来吗?




53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询