AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


简单说说微软发布会感受
发布日期:2024-05-22 08:26:34 浏览次数: 1796 来源:信息平权


1. 看起来提供了AMD MI300 VM计算服务,更像是陪跑,几个CSP未来加速卡策略大概相同:一供NVDA+二供+自研ASIC,比例不确定,三者得都有。所以你说目前阶段除了分散供应风险,二供和ASIC的真实商业价值有多大?从模型上也一样,一供GPT-4+二供一堆开源+自研phi-3等一堆小模型。实质上策略都是一样的。但从目前来看,同为一供的NVDA+GPT-4/5,正在形成商业、生态上的正循环,其他真不好说。多说一句,有位读者提过,微软的确在fix AMD MI300的软件问题...

2. 英伟达与微软进入“全栈合作”,除了GPU、DGX Cloud,Azure AI Platform上支持了NIM,之前我们分享过Al Enterprise是一个端到端的云原生软件平台,如果打开去看其里面的Infra、框架、工具、应用,这就是一个基于GPU的操作系统。上到各家CSP服务是第一步,能否建立操作系统的地位还是未知。之前我们听到过单卡收了4500美金/年的软件收入,更多针对enterprise,对微软谷歌亚马逊能收到这么钱吗?目前还真不确定。但未来随着推理服务的扩大、复杂化,serving本身变成一件极其专业、且严重依赖于GPU infra的事情,“操作系统”的价值会越来越突出。

3. 过去一年,GPT-4速度性能提升了6倍,但cost降低到了之前的1/12,对应性能/成本提升了70倍。这基本符合我们之前说的推理成本基本半年降低一个数量级。考虑到下一步硬件加成、模型架构继续优化,GPT-4推出免费版本的时间越来越近了

4. 微软自身的算力过去一年提升了30倍。且CTO Kevin Scott强调这种算力的扩张“ the end is nowhere in sight”,看不到头。之前大概匡算过微软手里目前等效H100可能到了40-60w张,今年整个还要翻三倍到180w张。

5. copilot从C端进入B端企业工作流,或者从office进入enterprise software。与过去微软发展路径差不多,在大家预料之内。但要注意的是这相比之前office对模型准确度提出了更高要求,说实话个人觉得会比昨天AIPC 类似rewind那种功能更难。比如rewind未来依赖于更多模态统一压缩降维到latent后的大幅降本,可能是个工程问题,而long thinking、复杂推理精确度,需要模型能力实质提高。此微软target是今年年底推出相关产品,不知道是否与新模型发布节奏有关。

欢迎私信讨论



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询