微信扫码
与创始人交个朋友
我要投稿
像GPT-4这样的大型语言模型一直处于最近人工智能热潮的前沿,提供了令人瞠目结舌的能力,可以(看起来)理解和生成类似人类的文本。这些模型经过大规模数据集的训练,在各种任务中展示出熟练的能力,从撰写文章到编码(还展示出他们通过一个最终的MBA考试,克隆文本方言以自动化Whatsapp回复,并在WSJ创新奖颁奖典礼上发表了一个搞笑的获奖感言)。
然而,最近的研究发现揭示出这些大型语言模型的性能不一致性。研究表明,准确性和可靠性水平波动,这引发了对它们在关键应用中的可靠性的质疑,正如今年在达沃斯会议上所强调的那样。
对于上述轻松的用例来说,模型漂移的这种程度可能并不成问题。但是在高风险的情况下,精确和真实的信息至关重要(如医疗保健、供应链管理、财务会计等),组织机构不能冒险在准确性上赌博。
斯坦福大学和伯克利大学的研究人员进行的一项研究发现,LLM在处理诸如解决数学问题和生成代码等任务时的能力随时间变化而显著不同。该研究显示了GPT-4在某些任务上的准确性显著下降,凸显了LLM可靠性方面的重大问题。
尤其是准确性的这种变化,特别是向下的趋势,对于那些严重依赖这些模型的一致且准确的输出的应用来说,带来了重大挑战。研究结果凸显了需要解决方案来提高LLM在实际应用中的稳定性和可靠性。
OpenAI的模型是专有的,所以准确性下降的确切原因尚未得到确认。然而,我们可以广泛归因于“模糊匹配”和模型漂移的循环组合。
模型漂移指的是性能逐渐下降,原因是:
在随时间推移,LLM的原始模型训练变得不那么相关的变化的数据环境。
在试图微调模型的一个领域时,无意中导致另一个领域的性能变差。
结合LLM模型的模糊匹配方法来回答问题,我们开始看到严重的影响。
模型的输入/输出采用模糊匹配的方法,基于概率模型建模,LLM根据从大规模数据集学习到的词序列的出现概率生成内容。虽然这种方法可以产生流畅且类似人类的文本生成,但它本质上缺乏对事实正确性或实体间具体关系的精确理解。它只知道下一个可能的词序列是什么 —— 可以想象一下Google Docs中的“自动填充”或iPhone上的建议文本回复,只不过训练的不仅是您的文字,还有互联网上的文字。
这种方法的技术基础在于机器学习算法,特别是神经网络,它们处理输入数据(文本)并根据学习到的模式生成输出。这些模型不像人一样“理解”内容,而是依赖于统计相关性。这意味着它们可以有效地模仿语言模式,但在需要精确的、特定上下文准确性的情况下可能会出现问题。
例如,在被问及特定的事实信息或微妙的主题时,LLM可能会产生看似合理但未必准确的答案。我们称之为“幻觉”问题。
在追求事实准确性和一致性至关重要的场景中,这种概率性方法可能会造成重大的限制,潜在地导致不可靠或误导性的信息。结合模型漂移的必然性,模糊匹配可能对希望以可持续准确性部署生产 AI 模型的企业构成严重威胁。
进入知识图谱
当涉及 LLM 的准确性时,“模糊匹配”的相反是什么?答案是:明确的、结构化的数据。
与模糊匹配的概率方法不同,结构化数据表示依赖于明确定义的数据、定义和关系。
这就是知识图谱(如 Fluree)所擅长的地方。
当 LLM 可能存在模糊性时,知识图谱提供明确性。
一个快速的知识图谱简介
知识图谱是以实体和它们之间的关系为图网络表示信息的数据库。它们通常用于高级分析、推荐系统、语义搜索引擎、数据发现、目录和集成。
在知识图谱中,数据以语义对象(或实体)的形式表示,并且这些对象之间的连接或关系是显式映射的。重要的是,它们利用本体论,提供有关数据和数据内关系的正式、结构化表示。
在目前的问题中,最重要的是,知识图谱是显式的。它们不仅包含原始数据,还以全球可理解且可机读的方式定义和映射数据点之间的关系。这种明确性确保了每个信息片段都具有其上下文,使数据不仅更易访问,而且更有意义和可靠。知识图谱的这一特性从根本上增强了它们在需要精确性和上下文关系至关重要的应用中的实用性。
知识图谱可以大幅度提升LLM的准确性和一致性,为这些模型面临的波动性能和可靠性挑战提供切实可行的解决方案。知识图谱所组织的明确、结构化和语义化定义的数据对于充分发挥LLM的潜力至关重要:
准确性:通过整合知识图谱,LLM可以利用一个良好组织的、明确定义的上下文信息存储库,显著提高其准确性和一致性。
可靠性:知识图谱的结构化性质确保LLM具有可靠的参考点,降低生成不正确或不一致响应的可能性。
此外,知识图谱有助于优先处理相关和重要的内容。
安德鲁·阮(Andrew Nyguen)在他提倡的“数据为中心的人工智能”论述中指出,高质量的少量数据对于模型的训练和部署要比当今大型语言模型的广泛通用数据更为优越。而企业人工智能将通过这种小型数据方法取得成功。知识图谱可以通过跨领域互联并提供富有上下文的定向信息来服务这种“小型数据”方法,从而增强模型的理解和决策能力。
LLMs并不是失败了。它们正在执行它们被设计为完成的任务;根据统计相关性生成概率输出。LLMs只需要语境基础。如果LLMs被释放在明确定义、结构良好和治理良好的数据上,它们的准确性和可靠性会在规模和时间上保持非常高的水平。
《IEEE》发表的一篇论文代表了知识图谱和LLMs之间的协同关系,指出了每个技术如何互补。
LLMs在隐式知识方面缺乏语境基础时,知识图谱提供了结构化的真实性。而在知识图谱可能缺乏完整性和概括性知识时,LLMs则帮助填补了这一空白。
企业真正构建有效的人工智能应将结构化数据管理和治理作为他们的策略优先,并应指定知识图谱为传递和维护这些能力的工具。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-03-30
2024-04-26
2024-05-10
2024-04-12
2024-05-28
2024-05-14
2024-04-25
2024-07-18
2024-04-26
2024-05-06
2024-12-22
2024-12-21
2024-12-21
2024-12-21
2024-12-21
2024-12-20
2024-12-20
2024-12-19