AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


开源大模型巅峰对决!谷歌Gemma2被国产开源大模型秒了?
发布日期:2024-06-28 20:01:31 浏览次数: 2329 来源:袋鼠帝AI客栈


大家好,我是袋鼠帝,就在今天谷歌又推出了他们最新、最强的开源大模型Gemma2。看官方的对比数据是力压了Meta的llama3

刚刚发布没多久,Gemma2在ollama的模型库里面就已经有18k的下载量了,足见其非常火爆。

这篇文章教大家在本地轻松一键部署、使用Gemma2:

本地一键部署 谷歌开源大模型 Gemma2

袋鼠帝,公众号:袋鼠帝AI客栈力压llama3!谷歌最强开源大模型Gemma2 抢先体验【喂饭级教程】
我突然就非常好奇Gemma2能力到底怎么样,跟目前市面上其他开源大模型比又如何?

我很快锁定了一个同样是最近刚发布的智谱AI的开源大模型--GLM-4-9b,想来一次国内外最新开源大模型的碰撞。最关键的是他们都有90亿参数量级。

找到一组数据,这组数据显示GLM-4-9b非常强(看下面的对比数据)。只有9b的参数量,但是各方面能力甚至赶上比自身参数量大3倍的Gemma2 27b了。

比赛前也先给大家简单科普一下这场比赛的"另一位选手":

GLM-4-9B 是智谱 在今年6月初推出的最新开源大模型。其在语义、数学、推理、代码和知识等多方面的测评中,都表现出相当不错的水准。

据说智谱的所有开源大模型在全球累计已经有超1700 万次的下载。

2023 年智谱开源的ChatGLM-6B系列模型,在github上就斩获了高达40k star

而最近发布的GLM-4-9B就是在ChatGLM-6B的基础上升级的开源大模型。

GLM-4-9B github地址:https://github.com/THUDM/GLM-4

目前在智谱开放平台open.bigmodel.cn 就能直接体验GLM-4-9B

体验中心->模型选择GLM-4-Flash

为了防止大家都是自卖自夸,我认为只有实践是检验真理的唯一标准,为了进一步确认GLM-4-9b和Gemma2 9b到底谁强谁弱,我进行了如下测评(测评样本较少,仅供参考)我从Z-Bench(一个大语言模型中文测试集)中获取了部分测试问题进行测评。

Z-Bench地址:https://github.com/zhenbench/z-bench

进行了几十个问题的测试,以下是部分测试结果,总体感受在文末给大家揭晓。

GLM-4-9B VS Gemma2 9B

第一回合(数学题)

有若干只鸡和兔子,共40个头,100只脚,请问有多少只鸡?多少只兔?

第一回合双方都回答正确,平局


第二回合(数学题)

百货公司托搬运公司运送1000个玻璃花瓶,每个玻璃花瓶的运费是1元5角,如果打破一个,这一个不但不支付运费,搬运公司还要赔偿9元5角.百货公司最后付了1456元.搬运过程中一共打破了几个花瓶?


PART 01



PART 01


正确答案是:4个花瓶

这一回合GLM-4-9b回答正确,但Gemma2 9b回答0个。GLM-4-9b胜


第三回合(脑筋急转弯)

导盲犬禁止入内,是给盲人看的,还是给但盲犬看的?

PART ONE


PART ONE


这一回合还是GLM-4-9b胜Gemma2 9b感觉有点语无伦次,并且回答的很简答。


第四回合(写作题)

写一个悬疑故事,背景在唐朝,主人公是锦衣卫,从小事引入发现更多背后故事,写出前三章


这一回合又是GLM-4-9b胜Gemma2 9b感觉有点语无伦次,后面甚至开始“抽风”胡乱打印一些标签啥的,我赶紧叫停了。

而GLM-4-9b完整的把整个故事三章内容写出来了,而且质量还不错。


第五回合(逻辑推理题)

列的三组输出与输入存在一定的符号逻辑规律,请在该规律上完成第三组的输出
第一组:输入:
86
64
输出:
868686
646464
686868
464646
868686
646464

第二组:输入:
79
43
输出:
797979
434343
979797
343434
797979
434343

第三组:输入:32
78
输出:

GLM-4-9b输出了正确答案,没什么可说的,还是GLM-4-9b胜利了。


第六回合(逻辑题)

问:五个兄弟,住在一起,名字不同,高矮不齐,打一人体器官 答:肝。你觉得这个答案对吗?有什么要改的?

这一回合答案很明显是手指,但是Gemma2 9b还是答错了,有点儿失望。

GLM-4-9b回答正确,并且有详细的推理过程。GLM-4-9b胜

好了GLM-4-9b最终以6局5胜的战绩拿下了本场比赛的胜利!恭喜GLM-4-9b。

不过实话实说,我还是测试了有几十个问题,也有好些问题是双方都回答错误、或者都回答正确的。大家不要觉得我偏向GLM-4-9b实际情况确实是,大部分的问题GLM-4-9b回答的更好,更详细。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询