AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


有视觉记忆的Agent、大变身的搜索、更强的AI全家桶和大一统的Gemini|现场围观Google I/O的绝地反击
发布日期:2024-05-15 04:16:59 浏览次数: 1980 来源:硅星人Pro


作者王兆洋
邮箱wangzhaoyang@pingwest.com
作者Jessica
邮箱JessicaZhang@pingwest.com

今年的Google Shoreline圆形剧场 ,弥漫着一种前所未有的角斗场般的气息。

前一天OpenAIGPT-4o和全新的ChatGPT把全世界掀翻,而Google要在今年甚至最近几年最重要的一场Google I/O上做何应对,似乎成了唯一的主题。 

事实上,据OpenAI的人士透露,GPT-4o是一个至少两年前就已经开始开发的模型,而硅谷AI圈子之小,互通有无之频繁,其实不仅OpenAI有机会故意选在Google的大会前狙击Google,后者同样也会对此有所预期。

所以,当Pichai走上舞台中央时,一场反狙击开始了。 

在这场持续两小时的发布中,Google有攻有守。 

它对自己的看家业务搜索做了最彻底的一次AI化改造,还再次全面更新了Gemini模型家族。 

守住OpenAI们猛攻的方向,同时发起进攻。 

一方面很有火药味的发布了效果超过Sora的模型Veo,并且是可以立刻申请体验的产品;另外还展示了与GPT-4o 相似的语音视觉交互功能Gemini Live,同时,还更进一步推出了比OpenAI等对手更激进的AI智能体Project Astra 

以下为现场实录。

1

Gemini,Gemini,还是Gemini

Google CEO Sundar Pichai走上台,在他的前几分钟讲话里,Gemini的频率甚至超过了Google这个词。

Gemini是去年Google I/O上正式推出的最核心的模型,而一年以后,Google已经用它完成了对自己内部的大一统。模型是Gemini,智能助手是GeminiAndroid的核心是Gemini。甚至,Pichai都不叫自己Googler了,他们叫:

Geminier

而当天大会上Gemini模型首先进行了更新。此前几个月,Gemini 1.5的长文本版本以预览版本推出,今天它正式对所有人发布。此前的Gemini 1.5版本上下文长度为100token。而Pichai似乎轻描淡写的公布:

新版本长度再次刷新,达到200token

现场的开发者爆发出当天的第一阵欢呼。

我们正式进入了Gemini时代。”Pichai直入主题说。目前有超过1500万开发者在使用Gemini做开发。而Gemini最近三个月时间达到了100万订阅用户。

关于Gemini的具体信息,自然是由Deepmind的CEO Demis Hassabis来讲。这也是这位传奇人物第一次Google I/O演讲。

在他的演讲中,第一个发布是Gemini 1.5 flash。这是一个针对端侧的模型,同样有100万和200token的版本。这似乎指向了Google接下来对端侧的野心。

我们总有很多模型同时在训练,我们会用我们最强的模型来帮助小模型。

而对于此前推出的单独版本的Gemini AppGoogle也做了更新,推出了更高级别的订阅服务Gemini Advanced。也就是对标ChatGPT Plus的最高级别服务。

在这个服务里,一个新的功能看起来正是对昨天ChatGPT的更新的回应——Gemini Live。你可以在Gemini里实时无延迟地打电话来与AI互动,也就是GPT-4o昨天做的事情。遗憾的是这部分只是一带而过,看起来Google更多是想说,哪怕晚一天,也要告诉世界,不是只有你能做。 

不过现场似乎对此略显失望,人们显然希望看到更多针尖对麦芒的发布。

1

有视觉记忆的AI Agent

于是,大的来了。

一个充满野心的AI Agent

面对OpenAI的进攻,不能只是防守。Google也需要一些更加激进的东西来反击。这个东西就是Project Astra。这是一个还在研发中的AI Agent,而Pichai形容Google的梦想一直就是做出一个强大的AI Agent

Google Deepmind CEO Hassabis亲自上台,讲解和展示了Astra的一个原型的运作视频。

在展示中,一开始一切都和我们见过的AI Agent差不多,可以通过用户打开的摄像头识别物体,与用户实时语音交互。而惊人的一刻在最后到来,当用户带着Astra走了一大圈后,突然提出一个此前没有涉及到的问题:

你记得我把眼镜放哪了么?

这是此前没有询问的问题,但摄像头扫过的时候Astra到过他的眼镜,而AI Agent居然以视觉的形式记录了下来。

你的眼镜在桌上苹果旁边。”Astra回答道。

这让现场一阵惊呼,也是此次发布会上最长的一次掌声。

此外,Google还明显针对Sora做了一次进攻。发布了一款全新的视觉模型,Voe。这是Google过往许多视觉模型的集大成者,也可以看作Sora逼迫下的一次内部资源整合。

Voe的展示中,用户可以通过点击扩展,而继续增加视频生成的时长,这让它可以超过了Sora一开始的1分钟,并且可以保持一致性。

Google还着重展示了他们开发这些产品过程里与艺术家的合作。似乎也在隔空喊话那些对Sora不满的艺术家,来这里来这里,我更好。

1

终于对搜索下手:Google搜索最大的一次改造

除了对OpenAI的进攻的反应,人们也关心一件事:Google的搜索改造得怎么样了。

Google什么时候对搜索下手,是所有人期待的那个重要时刻。OpenAI此前的烟雾弹,Perplexity不停地碰瓷,都让Google一直显得太过安静。而这一次终于有了最大的一次更新和变化。

当数亿美国用户今天打开Google时,他们将看到近几年最大变化的Google

AI overview,也就是AI生成的搜索答案总结,会出现在所有人的搜索框下。

而且,这个总结并不是一个固定的模版,而是根据你的问题进行调整。

比如,Google可以根据你的问题帮你做规划。这时候在搜索框下,会显示正在进行的步骤,然后在Overview里展示给你不同卡片,把需要的信息整理出来提供给你。

Google表示这是必须有强大的实时搜索才能做的,言外之意,那些没有搜索能力基础的公司,就别来碰瓷了。

而搜索的改造也只是个开始,它看起来很像是要变成Google激发用户AI需求的一个超级入口。

比如Google展示了一个场景,当用户哪怕不知道自己该具体问什么的时候,Google也可以给你推荐,与你做头脑风暴。而此时这个搜索的界面也进一步完全变成了另一个样子。像是不同卡片的信息流,每一个都可以进一步操作。

“Google会替你Google这是Pichai对此的定义。

更进一步,Google还展示了一个用实时视频对话来搜索的功能。而这也是全场进行了半小时后的第一次Live demo的环节。

当你买了一台唱片播放器,但你对此毫无了解,它出了播放问题,但你不知道问题到底在哪里的时候,你可以直接打开摄像头拍摄并询问。

Google直接给出了AI整理的答案和解决建议。

这就是Gemeni时代的搜索。”Pichai说。现场掌声再次响起。

1

对全家桶的AI能力进一步改造升级

Google I/O上的保留节目是对全家桶的新功能展示。而Gemini时代来了,这些全家桶也自然要更新。

Pichai在当天展示的第一个应用案例,是“Ask Photo”9年前,Google Photo发布。每天有60亿的照片视频上传。GeminiAI编辑更简单。

你现在可以ask photo,与照片进行对话。比如,你可以问Photo app我的汽车牌照是多少。然后Gemini就在照片里寻找出来你的车告诉你答案。

或者你可以询问Photo我女儿是什么时候学会游泳的,然后还可以进一步询问,她的进步是怎样的Photo都可以把对应的照片和视频给你展示出来。这对于每天都抱着手机看自己宝贝孩子成长历程的人们来说,实在是太有用了。

这个功能的展示也让全场一阵欢呼。

此外Workspace也有了很多新功能,Google还展示了一个基于多模态能力的教学工具,你可以用语音提出教学要求,比如给我一个用篮球解释力学原理的案例Motion就会自动用很自然的语音讲出来。

另一个让现场观众眼前一亮的功能,是AndroidGemnini的使用。现场展示的一个live demo中,一个诈骗电话打来,像我们经常遇到的电话那样,在一通义正严辞的提醒后,对方要求你把钱转到一个安全的账户。

而就在这句话说出来时,Gemini被激发了,直接弹出一个警告框,阻止了电话的继续进行。

全场响起可能是当天第二长的一次欢呼。

在发布会的最后,Pichai做最后总结时开玩笑说,肯定有人在数,我今天说了多少次AI

不用数了,Gemini数完了。

然后大屏幕显示120

我说了这么多次AI

然后Gemini又加了1,变成了121

现场都笑了。

很明显,Google依然正在一个整合资源的过程里。无论是对全家桶的能力提升,还是对搜索的改造,背后都是一个逻辑,要把Google这么多年积累下来的能力和资源用起来,由Gemini来做唯一的大脑,改造一切,守住并继续抢夺新的用户。

Google不会轻易下牌桌,AI大战会继续进行下去。

以下为当天Google I/O上各种发布的更多信息:

(1)Gemini 1.5 Flash :更快、更经济的轻量化推理模型

为了满足用户对低延迟和低成本的需求,谷歌首先带来轻量化模型Gemini 1.5 Flash。它专为大规模服务设计,速度更快、成本低至0.35美元每百万tokens。

尽管1.5 Flash体积小巧,仍实现了100万个标记的长上下文窗口,开发人员还能注册尝试200万个标记。此外,它在跨大量信息的多模态推理方面表现出色,适用于摘要、聊天应用、图像和视频字幕、长文档和表格的数据提取等多种任务。

这种强大性能来源于“蒸馏”技术,该技术将1.5 Pro中最重要的知识和技能转移到更小、更高效的模型中。从今天起,超过200个国家的用户都可以在Google AI Studio和Vertex AI中使用Gemini 1.5 Flash。


(2) Gemini 1.5 Pro 迎来重大升级:200万上下文、更强大的推理和理解能力

今天起,Google最先进的多模态大模型Gemini 1.5 Pro 将在 Gemini Advanced 中直接供消费者使用100万标记上下文窗口,并在私人预览中扩展到 200 万标记。这使得Gemini 1.5 Pro能处理更更大量的复杂信息,生成更准确、更细致的输出。

同时,通过数据和算法改进,增强了模型的代码生成、逻辑推理和规划、多轮对话以及音频和图像理解能力。升级后的Gemini 1.5 Pro在MMMU、AI2D、MathVista、ChartQA、DocVQA、InfographicVQA和EgoSchema等多项公共基准测试中取得了显著改进,在多项图像和视频理解基准测试中也实现了最先进性能。

此外Gemini 1.5 Pro还能够遵循越来越复杂和细微的指示,包括指定产品级行为的指示,如角色、格式和风格等。谷歌也在 Gemini API 和 Google AI Studio 中增加了音频理解,支持跨图像和音频进行推理。

用户可以通过 Gemini Advanced 订阅服务体验最新的Gemini 1.5 Pro,支持超过150个国家的35种语言。


(3) 首个AI Agent产品Project Astra

Hassabis表示,Project Astra旨在像人类一样理解和响应复杂的动态世界,记住所见所闻以理解上下文并采取行动。同时,它需要主动、可教和个性化,使用户能够自然地与之交流,无延迟。

其挑战之一是将响应时间缩短到对话级别,这是一个困难的工程难题。Astra基于Gemini和其他特定任务模型,通过持续编码视频帧、将视频和语音输入结合到事件时间线上,并缓存信息以便高效回忆,从而更快地处理信息。

“基于 Gemini 模型,我们开发了能够高效调用视频帧和语音输入的代理,并增强了其语调范围,使其更好地理解上下文并快速响应。” Hassabis补充道。

未来,用户就可以通过手机或眼镜拥有一个专家级别助手。今年晚些时候,这些功能将出现在Gemini应用程序等Google产品中,如Gemini应用程序。


媒体生成工具


(4)Veo:比Sora更强的视觉模型

Veo能够生成超过一分钟的高质量1080p视频,涵盖多种电影和视觉风格。据介绍,Veo具备高级的自然语言和视觉语义理解能力,能准确呈现细节并捕捉情感基调。它理解“延时摄影”等电影术语,提供高度创作控制,生成的镜头中人、动物和物体的运动非常真实。

Google已邀请电影制片人和创作者试用Veo,并根据他们的反馈改进技术。Veo基于Google多年生成视频模型的工作,如GQN、DVD-GAN、Imagen-Video等,结合新技术提高质量和分辨率。Veo将作为VideoFX的私人预览提供给特定创作者,所有人可申请注册候补名单,未来可能直接引入YouTube Shorts。


(5)Imagen 3发布,文生图模型升级

Imagen 3是Google最高质量的文本到图像生成模型。它能生成细节丰富、栩栩如生的图像,视觉干扰明显少于之前的模型。并且能更好地理解自然语言和提示背后的意图,结合长提示中的细微细节,掌握多种风格。它还是迄今为止Google最好的文字渲染模型,使生成个性化生日祝福和演示文稿标题页成为可能。

从今天起,Imagen 3将作为ImageFX中的私人预览提供给特定创作者,用户可以注册加入候补名单。很快,Imagen 3也将在Vertex AI上提供。

此外,Google还设计并构建了音乐AI工具Music AI Sandbox,旨在为创意打开新的天地,让人们从零开始创作新的器乐部分并以新的方式转换声音。


(6)AI搜索

Gemini时代的搜索正在全面改变搜索的呈现方式、服务体验和广告方式。首先,美国用户将体验到近年来最大的交互界面变动。搜索框下方的信息会先呈现一个AI生成的概览,据Google透露,用户已通过搜索实验室数十亿次使用AI概览。这一功能增加了搜索频率,并提高了用户对搜索结果的满意度。本周,数亿用户将可使用AI概览,预计到年底覆盖超过十亿人。

搜索也不再是“一次性”的服务,而是一个AI智能体的入口。用户提出复杂问题后,AI会将其分解为小模块,提供准确的答案和建议,还可以根据问题和搜索结果为你拟定计划。例如,用户可以搜索“创建一个易于准备的3天餐计划”,获得来自网络的各种食谱,并能提出进一步需求和修改建议使答案更个性化,再快速将餐点计划导出到Docs或Gmail,“一条龙”式服务极大提升了搜索的实用性和便捷性。

此外,AI不仅提供答案,还能主动帮助用户寻找灵感并进行头脑风暴,创建AI组织的结果页面。未来,Google还会推出视频AI搜索功能。

这种改动也对广告产生了影响。Google表示,通过AI概览,用户会访问更多样化的网站,以解决更复杂的问题。AI概览中包含的链接获得的点击次数比传统网页列表更多。随着这一体验的扩展,Google将继续专注于为出版商和创作者带来有价值的流量,广告仍会出现在专用位置,并清晰标注以区分有机和赞助结果。

——从回答、计划、需求定制到组织和视频搜索,Google都会替你完成,而你需要做的只有提问。


(7)TPU

十多年来,Google一直在开发专用的AI硬件——Tensor Processing Units(TPU)。今天大会上展示的Gemini 1.5 Flash、Imagen 3和Gemma 2.0这些创新模型都是在TPU上训练和部署的。今天,谷歌也推出自己迄今为止性能最高、能效最优的第六代TPU——Trillium。

Trillium TPUs提供比TPU v5e高4.7倍的峰值计算性能,同时将高带宽内存(HBM)和芯片间互连(ICI)带宽翻倍。配备第三代SparseCore加速器,能更快地训练基础模型并降低延迟和成本。其能效比TPU v5e提高67%以上,是最可持续的TPU。它也可以在单个集群中扩展到256个TPU,并通过多切片技术和Titanium IPU扩展到数百个集群,构建大规模的超级计算机。

多项技术突破使得Trillium TPUs能够大幅提升AI工作负载训练和服务性能,处理更大模型,提升计算能力,改进大模型训练和服务性能。


(8)Gemini on Android

Google此次也在安卓平台上推出一系列全新AI功能,将搜索和智能服务提升到一个新的水平。此前,"Circle to Search"允许用户无需切换应用即可搜索,现在起它还可以作为学习伴侣,解答数学题、图表等复杂问题。目前这一功能已在超过1亿台安卓设备上提供,预计到年底这一数字将翻倍。

在与朋友的信息对话中,用户可以随时召唤Gemini生成图片,针对YouTube教程视频或较长的PDF文档提出特定问题,Gemini会在几秒钟内提供解答,就像把数据中心装进了口袋。

端侧模型上,接入具备多模态能力的Gemini Nano。用户可以询问照片信息或获取关于服装搭配的意见。Gemini Nano还将集成到Android Studio中,为开发者提供助力。此外,当收到不明诈骗电话时,AI系统还会自动发出警报,提示用户可能存在诈骗风险。

总之,Gemini正在将AI融入所有安卓平台的服务和应用中,为用户带来更加智能和便捷的使用体验。




53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询