微信扫码
与创始人交个朋友
我要投稿
大家好,我是袋鼠帝,就在今天谷歌又推出了他们最新、最强的开源大模型Gemma2。看官方的对比数据是力压了Meta的llama3。
刚刚发布没多久,Gemma2在ollama的模型库里面就已经有18k的下载量了,足见其非常火爆。
这篇文章教大家在本地轻松一键部署、使用Gemma2:
本地一键部署 谷歌开源大模型 Gemma2
袋鼠帝,公众号:袋鼠帝AI客栈力压llama3!谷歌最强开源大模型Gemma2 抢先体验【喂饭级教程】
我很快锁定了一个同样是最近刚发布的智谱AI的开源大模型--GLM-4-9b,想来一次国内外最新开源大模型的碰撞。最关键的是他们都有90亿参数量级。
找到一组数据,这组数据显示GLM-4-9b非常强(看下面的对比数据)。只有9b的参数量,但是各方面能力甚至赶上比自身参数量大3倍的Gemma2 27b了。
比赛前也先给大家简单科普一下这场比赛的"另一位选手":
GLM-4-9B 是智谱 在今年6月初推出的最新开源大模型。其在语义、数学、推理、代码和知识等多方面的测评中,都表现出相当不错的水准。
据说智谱的所有开源大模型在全球累计已经有超1700 万次的下载。
2023 年智谱开源的ChatGLM-6B系列模型,在github上就斩获了高达40k star
而最近发布的GLM-4-9B就是在ChatGLM-6B的基础上升级的开源大模型。
GLM-4-9B github地址:https://github.com/THUDM/GLM-4
目前在智谱开放平台open.bigmodel.cn 就能直接体验GLM-4-9B。
体验中心->模型选择GLM-4-Flash
为了防止大家都是自卖自夸,我认为只有实践是检验真理的唯一标准,为了进一步确认GLM-4-9b和Gemma2 9b到底谁强谁弱,我进行了如下测评(测评样本较少,仅供参考)我从Z-Bench(一个大语言模型中文测试集)中获取了部分测试问题进行测评。
Z-Bench地址:https://github.com/zhenbench/z-bench
我进行了几十个问题的测试,以下是部分测试结果,总体感受在文末给大家揭晓。
第一回合(数学题)
有若干只鸡和兔子,共40个头,100只脚,请问有多少只鸡?多少只兔?
第一回合双方都回答正确,平局。
第二回合(数学题)
百货公司托搬运公司运送1000个玻璃花瓶,每个玻璃花瓶的运费是1元5角,如果打破一个,这一个不但不支付运费,搬运公司还要赔偿9元5角.百货公司最后付了1456元.搬运过程中一共打破了几个花瓶?
PART 01
PART 01
正确答案是:4个花瓶
这一回合GLM-4-9b回答正确,但Gemma2 9b回答0个。GLM-4-9b胜
第三回合(脑筋急转弯)
导盲犬禁止入内,是给盲人看的,还是给但盲犬看的?
PART ONE
PART ONE
这一回合还是GLM-4-9b胜,Gemma2 9b感觉有点语无伦次,并且回答的很简答。
第四回合(写作题)
写一个悬疑故事,背景在唐朝,主人公是锦衣卫,从小事引入发现更多背后故事,写出前三章
这一回合又是GLM-4-9b胜,Gemma2 9b感觉有点语无伦次,后面甚至开始“抽风”胡乱打印一些标签啥的,我赶紧叫停了。
而GLM-4-9b完整的把整个故事三章内容写出来了,而且质量还不错。
第五回合(逻辑推理题)
列的三组输出与输入存在一定的符号逻辑规律,请在该规律上完成第三组的输出
第一组:输入:
86
64
输出:
868686
646464
686868
464646
868686
646464
第二组:输入:
79
43
输出:
797979
434343
979797
343434
797979
434343
第三组:输入:32
78
输出:
GLM-4-9b输出了正确答案,没什么可说的,还是GLM-4-9b胜利了。
第六回合(逻辑题)
问:五个兄弟,住在一起,名字不同,高矮不齐,打一人体器官 答:肝。你觉得这个答案对吗?有什么要改的?
这一回合答案很明显是手指,但是Gemma2 9b还是答错了,有点儿失望。
而GLM-4-9b回答正确,并且有详细的推理过程。GLM-4-9b胜。
好了GLM-4-9b最终以6局5胜的战绩拿下了本场比赛的胜利!恭喜GLM-4-9b。
不过实话实说,我还是测试了有几十个问题,也有好些问题是双方都回答错误、或者都回答正确的。大家不要觉得我偏向GLM-4-9b,实际情况确实是,大部分的问题GLM-4-9b回答的更好,更详细。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-25
【开源】基于AI的数据建设平台
2024-11-23
人生搜索引擎免费用,开源版哈利波特“冥想盆”登GitHub热榜,支持中文
2024-11-23
o1圈杀疯了,阿里又开源Marco-o1
2024-11-22
Kotaemon:开源基于文档检索的聊天系统(RAG Chat)
2024-11-22
不可思议!AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理?
2024-11-22
刚刚,OpenAI公开o1模型测试方法,人机协作时代!
2024-11-21
22.4K+ Star!Chatbox:你的终极AI桌面助手
2024-11-21
Magentic-One:微软开源多智能体系统,让 AI 自己动手解决问题
2024-05-06
2024-07-25
2024-08-13
2024-06-12
2024-07-11
2024-06-16
2024-07-20
2024-06-15
2024-07-25
2024-07-25
2024-11-22
2024-11-19
2024-11-13
2024-11-13
2024-10-07
2024-09-22
2024-09-20
2024-09-14