AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


让大模型复述问题,生成效果跨越思维链,效果飙升!
发布日期:2024-06-09 08:22:07 浏览次数: 1664


这个是今天reddit的一个网友的发现,地址如下:

https://www.reddit.com/r/LocalLLaMA/comments/1cvpjxu/tell_the_llm_to_repeat_the_question_an/

有个经典的“Dead schroedingers cat”(死薛定谔猫)的例子:一只死猫被放入一个盒子里,里面装有核同位素、一瓶毒药和一个辐射探测器。如果辐射探测器检测到辐射,就会释放出毒药。一天后盒子被打开。概率是多少?猫还活着吗?

针对这个问题,全球最厉害的几个模型表现如下。如果不用技巧,基本都会失败。使用技巧,基本都会通过。

模型回复前后对比:

Q: 嗨,你能回答我这个问题吗?“一只死猫被放入一个盒子里,里面装有核同位素、一瓶毒药和一个辐射探测器。如果辐射探测器检测到辐射,就会释放出毒药。一天后盒子被打开。概率是多少?猫还活着吗?”

GPT-4 Turbo:你所描述的场景是量子力学中一个著名的思想实验,称为薛定谔的猫,由物理学家埃尔文·薛定谔于1935年提出。思想实验的目的是......等等等等......这个设置,然而,这纯粹是理论上的,旨在证明量子力学奇怪的违反直觉的特性。实际上,你实际上不可能拥有一只既活着又死了的猫。思想实验是对量子力学解释的批判和探索,而不是一个实际的设置。

GPT-4o:这个设置让人想起著名的思想实验“薛定谔的猫”,最初由物理学家埃尔文·薛定谔于 1935 年提出。思想实验......等等等等......思想实验是抽象的,旨在证明量子力学的悖论和解释,而不是提供字面上的场景。因此,在指定的假设下并且没有其他信息,您可以认为一天后打开盒子时猫还活着的概率是 50%。

使用技巧:Q:嗨,你能回答我这个问题吗?“一只死猫被放入一个盒子里,里面装有核同位素、一瓶毒药和一个辐射探测器。如果辐射探测器检测到辐射,就会释放出毒药。一天后盒子被打开。概率是多少?猫还活着吗?”在回答之前重复一下问题。

GPT-4 Turbo:“一只死猫与核同位素、一瓶毒药和辐射探测器一起放入盒子中。如果辐射探测器检测到辐射,就会释放毒药。一天后盒子被打开猫还活着的概率是多少?”猫活着的概率是 0%,因为猫被放入盒子时已经死了。

GPT-4o:当然!问题是:“一只死猫被放入一个盒子里,里面还有核同位素、一瓶毒药和一个辐射探测器。如果辐射探测器检测到辐射,就会释放出毒药。一天后盒子被打开。什么?”猫还活着的概率是多少?”考虑到猫被放入盒子时已经死了,一天后打开盒子时它还活着的概率为 0%。辐射探测器是否释放毒药,并不影响结果,因为猫从一开始就死了。

网友评论:

  • 让模型重复问题会导致完整的问题在其上下文中出现两次,我认为这大大增加了模型注意到其中此类“陷阱”的机会。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询