为什么医学的“沟通问题”依然存在，应该如何解决？

医学信息常常以难以处理的非结构化自然语言形式存在，尽管通过深度学习对信息进行结构化的进展取得了一定成就，但仍然存在着显著的“交流问题”。

有人提出，大型语言模型带来的技术进步，自2022年以来已经在社会的许多领域产生了深远影响，可能会为包括医学在内的许多领域的语义“交流问题”带来非常重要的突破，甚至可能提供解决方案。大型语言模型是基于深度学习的模型，通过对大规模文本语料进行训练，以提供概率自动补全被隐藏单词的功能。通过对人类反馈进行强化学习等方式进行微调，大型语言模型可以生成对人类来说合理的回应，为对话agent提供动力。它们还展示了在医学领域中进行信息结构化和分类的卓越能力。

然而，大型语言模型存在偏见、幻觉和不准确性，当这些问题与貌似确定性的回应结合呈现时，容易误导用户，对其在临床医学中的许多任务包括医学知识的互操作性和链接性产生疑虑。

这就引出了一个问题：如何在组织医疗保健信息方面发挥大型语言模型的优势，同时遏制它们的弱点？我们将介绍将大型语言模型与包括知识图谱在内的其他数据技术相结合的潜力，以解决数字医学中的交流互通问题。

消除LLM的局限性

虽然LLMs是一个显著的进步，但它们缺乏一个事实模型，并且在可靠地检查自身准确性方面能力有限。LLMs和KGs的一个有趣特点是它们在很多优缺点上互补（表1）。这种互补性打开了将这些方法相结合，创造出一种“梦之队”医学信息处理和交流方法的可能性。

将LLMs和KGs结合的概念方法有很多种：使用LLMs增强KGs，使用KGs增强LLMs，以及以整体的方式结合LLMs和KGs。在第一种方法中，可以利用LLMs从文本中构建、丰富和完善KGs，利用LLMs提取和识别结构的能力（图1a），例如在构建饮食KGs和精准医学KGs方面的应用。这是一个重要的应用，它展示了现代KGs如何通过自动化机器学习方法高效地生成，而不是通过费时费力且不可扩展的手动方法输出。在第二种类别中，KGs可以用于增强LLMs，通过丰富提示信息、验证或解释回答（图1b），例如在医学领域中用于提供可解释的输出。在第二种形式的RAG中，LLMs和KGs可以并行使用或混合使用，以解决特定任务（图1c），例如：

（i）用于回答医学查询；以及

（ii）SapBert，它将在PubMed上训练的语言模型与统一医学语言系统（UMLS）本体知识相结合。

尽管该领域还处于初级阶段，但这些研究工作展示了在未来几年中，关于将LLMs和KGs结合在数字医学中的研究将朝着哪些方向发展。一种相关的方法被称为向量嵌入，它也是RAG的一种形式，但不使用KGs，而是使用从医学网站收集到的非结构化信息（图1b，c）。

我们不专注于这种方法，因为它不使用LLMs进行推理链，因此缺乏KG方法所具有的与LLMs互补的许多特性（表1）。

总结

将组合的LLM和KG方法如何演化？这些方法可以成为强大的个体患者数字孪生的实现者（即，以数字形式呈现最新个体患者数据的代表，用作个体患者健康记录并实现个性化预测分析的基础），其中LLM用于快速创建稳定的个体患者KG，作为稳定的健壮数据结构，可用于补充和验证LLM从新进行的会诊中解释的数据。这种方法有潜力减少LLM的环境影响，因为“传统”的非结构化健康记录中的历史信息可以为患者编码一次，创建一个“数字孪生”，其中的信息可在计算成本较低的情况下检索，并在只有在LLM方法需要时进行更新。

即使将LLMs和KGs相结合，用于自动化医疗信息任务时仍可能导致重要的不准确性。这些技术的特点是增强医生处理这些信息、做出医疗决策的能力的关键。这可能包括设计用于质量控制和交付确认的界面，就像市场上基于LLM的产品（如微软的Nuance Dragon Experience）中所设计的那样，并对解释信息的可靠程度进行差异化标记，以在需要手动验证信息时进行标记提示。

尽管LLM已经迅速应用于医学信息管理的上市产品中（包括信息检索、结构化和相互关联，例如，微软早期将基于GPT-4的Voice-to-SNOMED CT添加到微软Nuance Dragon Experience中），但对于其在这一任务中的准确性和适用性仍存在许多问题。其中一个关于其在医学中使用的最有趣的问题是如何优化它们的优势同时遏制弱点。在此，监管机构和政策制定者需要保持一定程度的合理怀疑，同时也要认识到这些技术的变革潜力。

有人质疑LLMs是否能够在医学上应用，原因是它们的弱点，尤其是幻觉问题；而其他人则描述了现有LLM工具在诊断或治疗决策中获得监管批准的非常具有挑战性的路径（表1，图2），但是通过将LLMs与向量嵌入或知识图谱的增强来至少部分解决了LLMs在独立应用中的许多限制。

在辩论的另一方面，有人建议单独使用LLM方法，也许基于医学特定的训练集、更多的数据以及核心方法的改进，可以达到真正自动化临床文档编制所需的准确性，甚至用于医疗决策，并且可能不需要回退到较旧的方法（图2）。

我们认为RAG方法，尤其是将LLMs与知识图谱相结合，并具有交互式的前后补充性，显示出在关键的医学任务中更好地服务医学的潜力，尤其是在准确性和偏见控制方面。

在这里提出的观点所呈现的，似乎是一个替代性的观点，最近有人描述了三个人工智能时代的模型：

（i）人工智能1.0符号主义AI和概率模型（包括知识图谱）；

（ii）人工智能2.0连接主义深度学习；以及

（iii）人工智能3.0基础模型。

我们描述的“跨时代模型”可能看起来有些天真——新概念肯定会取代旧概念吗？技术、实践和治理的进步通常会整合早期和后期的概念，当早期技术具有互补优势时，这种做法是合理的。

的确，传统的人工智能方法在构建知识图谱方面的自动化不足的局限性，常常存在人为逻辑错误和开发人员偏见编码在规则中，必须通过基于语言模型和深度学习的混合自动化知识图谱生成来取而代之。

最终，只有时间会证明知识图谱本身以及通过知识图谱增强大语言模型的混合方法是否具有持久的力量。矢量嵌入方法是目前用于RAG增强语言模型的研究领域，在一般和医学目的上。它们还不能提供在许多医学信息记录任务中所要求的可验证的“事实模型”。矢量嵌入方法可能会继续发展，最终达到一种水平，具有性能、准确性和可重复性的水平，从而消除基于知识图谱的回答生成的优势，如表1所示。

我们认为，将来会有一系列的回答生成方法，根据具体的临床用例需求（包括监管考虑因素）选择，利用语言模型的强大能力，最终解决医学领域的“沟通问题”。

尽管在监管这些工具的监督方面仍然面临一些挑战，并且在控制它们对环境的影响方面也存在挑战，但毫无疑问，现在毕业的医疗保健专业人员将享受到高度互操作的工具和对临床信息的概括的访问，而这在仅仅5年前是难以想象的。