微信扫码
与创始人交个朋友
我要投稿
哈佛医学院和辉瑞推出了 MedAI,这是一种基于知识图谱的新智能体KGAREVION,旨在改变复杂医学问答的格局。这种创新智能体通过整合LLM的非编码知识和KG的结构化知识,解决了医疗保健领域大型语言模型 (LLM) 的关键缺陷,特别是它们难以检索精确且与上下文相关的信息。通过巧妙地融合结构化和非结构化知识,MedAI 显著提高了医疗信息检索的准确性和可靠性。
KGAREVION 结合了大型语言模型 (LLM) 的非编码知识和知识图谱 (KG) 的结构化知识,以解决复杂医学问答中的挑战。KGAREVION 通过“生成阶段(生成医疗三元组)、审查阶段(利用UMLS代码将三元组与知识图谱进行比对验证)、修正阶段(修正不完整或不正确的医疗三元组)和回答阶段(选择最佳答案)。”四个步骤,确保答案的准确性和相关性。
KGAREVION 在四个标准医学问答数据集和三个新的具有不同语义复杂性的数据集上均优于其他15个模型,准确率提升超过5.2%。 对答案的顺序和索引不敏感,展现了其鲁棒性。
KGAREVION 可以与不同的LLM和KG一起使用,具有很强的适应性和通用性。
KGAREVION 在开放式问答设置中也表现出色,并通过消融实验验证了各个模块的有效性。
研究人员创建了新的MedDDx数据集,用于评估模型处理语义复杂答案的能力。
MedAI 的方法涉及几个关键步骤:
基于LLM的推理。通用LLM(GPT(OpenAI,2024)、LLaMA系列(Dubey等,2024;Touvron等,2023)、Mistral(Jiang等,2023))以及针对生物医学数据进行微调的LLM(BioMedLM(Venigalla等,2022)、Codex(Liévin等,2024)、MedAlpaca(Han等,2023)、Med-PaLM(Singhal等,2023)、PMC-LLaMA(Wu等,2024a))通过利用其丰富的嵌入知识用于医疗推理。其他模型利用LLM的开放式推理能力将查询分解为子任务,逐步得出最终答案,例如思维链(Chain-of-Thought,CoT)(Wei等,2024)、CODEX COT(Gramopadhye等,2024)。但是,这些方法在处理需要多来源特定知识的知识密集型医疗查询时常常显得捉襟见肘。
基于RAG的模型。Self-RAG(Asai等,2024)是一种开创性框架,通过检索和自我反思来增强LLM性能。LLM-AMT(Wang等,2023b)通过将权威医学教科书整合到具有专业知识检索和自我优化技术的大型语言模型中,来改善医学问答。自适应RAG(Jeong等,2024)引入了一种动态RAG框架,根据问题复杂度调整检索策略。然而,其准确性受限于检索知识的质量(Zhang等,2024)。
基于KG的模型。在LLM兴起之前,多个模型(如QAGNN(Yasunaga等,2021)、JointLK(Sun等,2022)和Dragon(Yasunaga等,2022))被开发出来,旨在通过KG以端到端的方式解决医学查询。然而,这些方法难以应用于涉及未见节点或图中不完整知识的问题。此外,KG因其结构化和可靠的信息,已推动研究朝向基于图数据的RAG模型,激励了GraphRAG(Edge等,2024)、KG-RAG(Soman等,2023)和MedGraphRAG(Wu等,2024b)等模型的发展。为提高检索准确性,引入KG-Rank(Yang等,2024)对检索到的三元组进行排名并过滤掉无关知识。此外,GenGround(Shi等,2024)使用生成-再验证(Generate-then-Ground)流程,通过提示LLM验证检索到的知识来定位答案。然而,所有这些方法都过于依赖语义依赖关系,忽视了KG中丰富的结构信息。
图:a)KGAREVION的概述。b)在审核动作中微调阶段的架构,其中从知识图谱(KGs)获得的嵌入是结构嵌入,而来自大型语言模型(LLMs)的嵌入是概念嵌入。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-21
SAC-KG:利用大型语言模型一键构建领域知识图谱 - 中科大&阿里
2024-12-19
北大Chatlaw - 基于知识图谱增强混合专家模型的多智能体法律助手
2024-12-18
Elasticsearch vs 向量数据库:寻找最佳混合检索方案
2024-12-16
轻量高效的知识图谱RAG系统:LightRAG
2024-12-16
5种方法,让文本信息瞬间变成结构化图谱!
2024-12-16
向量数据库到底算不算一种NoSQL数据库?
2024-12-14
大模型能自动创建高质量知识图谱吗?可行性及人机协同机制 - WhyHow.AI
2024-12-12
大模型+知识图谱在工业领域落地的4大场景
2024-07-17
2024-07-11
2024-08-13
2024-07-13
2024-07-12
2024-06-24
2024-07-08
2024-06-10
2024-07-26
2024-07-04
2024-12-16
2024-12-10
2024-12-04
2024-12-01
2024-11-30
2024-11-22
2024-11-04
2024-10-10