具身智能被众多大佬看好，通往AGI的路最终肯定需要多个模态的大模型互相融合。多个模态配合好也是有可能去构建一个模拟现实的世界模型的。

最近一直在研究和尝试多模态大模型在一些VQA领域的前瞻研究和实际落地部署问题，遇到一个值得思考的问题：如果当预测结果出问题的时候，怎么去溯源是哪个模态的数据出的问题呢？这个方向感觉探索的足够深入是可以发论文的。

由于基于注意力机制去溯源的方法在大模型时代成本极高，因此最后还是需要考虑建模后的可解释性方法，目前主要是找到一些比较经典的可解释性机器学习方法，大家有更好的思路也可以提一提啊~

下面是一个快捷目录。

1. 可解释性机器学习分类

2. 推荐方法

1. 内置 or 建模后

• 内置可解释性：将可解释模块嵌入到模型中，比如说线性模型的权重、决策树的树结构。

• 建模后可解释性：在模型训练结束后使用解释技术去解释模型。

2. 特定于模型 or 模型无关

• 特定于模型的解释：意味着必须将解释方法应用到特定的模型体系结构中

• 模型无关：解释方法与所用模型无关联，应用范围广

3. 全局解释 or 局部解释

• 全局解释：解释模型的全局行为

• 局部解释：在单条数据或者说单个实例上的解释

主要推荐两个方法：Permutation Importance 和  SHAP；另外还介绍了一下类似于LIME (Local Interpretable Model-agnostic Explanations) 的思路，大家还可以基于这个思路去延伸~

1. Permutation Importance

前提：在model训练完成后，才可以计算

思想：

基于“置换检验”的思想对特征重要性进行检测。简单来说，就是打乱某种模态的数据，保持其余特征不动，看其对预测精度的影响有多大。

计算步骤：

1）用多模态数据训练一个MLLM。（也可以直接用开源的）  

2）验证集预测得到得分。  

3）验证集的某个单模态数据进行随机打乱，比如把文本给打乱，预测得到得分。  

4）将上述得分做差即可得到该模态对预测的影响。  

5）同理可以在3）中把另一个模态的数据随机打乱进行验证，最后比较即可。

2. SHAP (SHapley Additive exPlanation)

前提：在model训练完成后计算

思想：

计算特征对模型输出的边际贡献，再从全局和局部两个层面对“黑盒模型”进行解释。

SHAP构建一个加性的解释模型，所有的特征都视为“贡献者”：

对于每个预测样本，模型都产生一个预测值，SHAP value就是该样本中每个特征所分配到的数值。

具体来说，计算一个特征加入到模型时的边际贡献，然后考虑到该特征在所有的特征序列的情况下不同的边际贡献，取均值，即某该特征的SHAP baseline value，包括Kernel Shap，Deep Shap和Tree Shap。

这也是目前可解释机器学习在风控、金融中最实用的一个方法。

3. 类似于LIME (Local Interpretable Model-agnostic Explanations) 的思路

之所以说“类似于”是因为LIME暂时无法实现对图像的解释，但这个思路本身是值得借鉴的。

前提：在model训练完成后计算

思路：

使用训练的局部代理模型来对单个样本进行解释。

假设对于需要解释的黑盒模型，取关注的实例样本，在其附近进行扰动生成新的样本点，并得到黑盒模型的预测值，使用新的数据集训练可解释的模型（如线性回归、决策树），得到对黑盒模型良好的局部近似。

实现步骤

1）如上图是一个非线性的复杂模型，蓝/粉背景的交界为决策函数；

2）选取关注的样本点，如图粗线的红色十字叉为关注的样本点X；

3）定义一个相似度计算方式，以及要选取的K个特征来解释；

4）在该样本点周围进行扰动采样（细线的红色十字叉），按照它们到X的距离赋予样本权重；

5）用原模型对这些样本进行预测，并训练一个线性模型（虚线）在X的附近对原模型近似。

这样就可以使用可解释性的模型对复杂模型进行局部解释。

上述方向只是一些示例和思路，具体一些实现可以看看参考文献。

本文只是抛砖引玉，大家如果有更好的思路也可以一起讨论看看有没有论文可发~