特征重要性

特征重要性（也称变量重要性）是一个数值分数，用来表示某个输入特征对模型的“重要程度”。例如一个模型有两个输入特征 f1 和 f2，其变量重要性为 {f1=5.8, f2=2.5}，则说明特征 f1 对该模型而言比 f2 更重要。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

特征重要性分数本身没有绝对的单位或统一的量纲，它的数值只在同一模型、同一计算方法内部具有可比性；跨模型、跨算法直接比较重要性数值通常没有意义，因为不同方法给出的分数尺度不同。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

特征重要性是一个“相对”概念而非“绝对”概念：它回答的是特征之间的排序与相对贡献，而不是某个特征单独贡献了多少预测值。因此重要性分数的高低应被读作排序信息，而不是可直接解释为效应大小的物理量。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

特征重要性分数依赖于所采用的计算方法。同一模型用不同方法（例如基于不纯性的分裂分数总和、包含该特征的节点数量、该特征在树路径中首次出现的平均深度、置换重要性等）会得到不同的数值和排序，因此“某特征的重要性是多少”这个问题必须先指明用哪种方法度量。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

决策树模型有若干特定的变量重要性度量，包括：使用指定变量进行分裂的分裂分数总和、含有指定变量的节点数量，以及该特征在所有树路径中首次出现的平均深度。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

模型无关的变量重要性方法（例如置换变量重要性）也可以应用到决策树上，因此决策树既有其特定的重要性度量，也能使用通用的、与模型结构无关的度量。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

不同的重要性度量提供的是模型的不同侧面信息，因此同时查看多种变量重要性会得到更有用的判断。例如某特征在所有度量下都显示为重要，则该特征很可能是真正重要的特征。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

重要性分数高并不必然意味着该特征具有可泛化的预测价值。一个特征若在“节点数量”类度量上偏高而在“置换”类度量上偏低，可能说明模型反复尝试使用该特征却未能将其模式泛化，这类特征可能反而影响模型质量。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

包含某特征的节点或条件数量多，可以说明学习算法在多个条件下使用了该特征，从而暗示其重要性；但同一特征反复出现在多个条件中，也可能表示模型试图利用该特征却未能成功泛化（例如该特征只是样本 ID、不含可泛化信息时）。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

排序类（如置换类）重要性值偏高，通常表示移除该特征会对模型造成不利影响；但如果模型本身足够稳健，移除任何单一特征都可能不影响模型表现，此时低重要性并不等于该特征在业务上无意义。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

特征重要性的数值会随若干因素而变化，包括特征所承载的语义等；因此把重要性分数当作固定不变的模型属性来解读是有风险的，解读时应结合具体模型、数据与方法。^{11Machine Learning | Google for Developersdevelopers.google.com前往参考资料 ↓在新标签页中打开}

特征重要性方法按解释对象可分为两个层级：全局重要性（global importance）刻画某个特征在整个数据集或总体分布上对模型输出的平均贡献，局部重要性（local importance）刻画某个特征在单个样本或单个预测上的贡献。这一全局/局部的二分是解释性机器学习文献中最常用的分类框架之一。^{33Inherent Inconsistencies of Feature Importancear5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在形式化定义中，全局重要性与局部重要性可以统一写成同一个价值函数 ν 的两种取值：ν(D, x, S) 表示特征子集 S 在局部实例 x 上的价值，而 ν(D, ·, S) 表示同一特征子集在整个样本分布上的价值。局部解释取前者，全局解释取后者，二者的差别仅在于对实例的聚合范围。^{33Inherent Inconsistencies of Feature Importancear5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

全局重要性与局部重要性并不总是彼此一致：一个在全局排序中靠前的特征，在个别样本上可能贡献接近于零甚至方向相反；反之，某个只在少数样本上起决定作用的特征，其全局平均分数可能很低。这种不一致是特征重要性解释被质疑的主要原因之一。^{33Inherent Inconsistencies of Feature Importancear5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

局部重要性方法通常以单个实例 x 为条件，回答“为什么模型对这个样本给出这个预测”；全局重要性方法则以整个数据分布 D 为条件，回答“模型总体上依赖哪些特征”。二者回答的是不同的问题，不能互相替代。^{33Inherent Inconsistencies of Feature Importancear5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在基于合作博弈的重要性框架中，局部重要性对应以单个实例为联盟价值计算 Shapley 值，全局重要性则对应在数据分布上对 Shapley 值取期望；这一区分使全局与局部解释共享同一套公理基础，但也意味着全局分数继承了局部解释的全部假设。^{33Inherent Inconsistencies of Feature Importancear5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

选择全局还是局部解释取决于使用场景：模型审计、特征筛选与监管报告通常需要全局视角，而个案申诉、错误诊断与用户-facing 解释通常需要局部视角。实践中常见做法是同时提供两层解释，而非只给其一。^{33Inherent Inconsistencies of Feature Importancear5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

基尼重要性（Gini importance），又称平均不纯度减少（Mean Decrease in Impurity, MDI），其定义是：在集成模型的所有树上，某特征在所有使用该特征进行分裂的节点上带来的节点不纯度下降量之和，按到达该节点的样本比例加权后，再对全部树取平均。^{55R: Calculates Gini Importance or Mean Decrease Impurity (same...search.r-project.org前往参考资料 ↓在新标签页中打开}

在 R 语言的 forestRK 包中，importance.forestRK() 函数即用于计算每个协变量的基尼重要性，并按从最重要到最不重要的顺序列出；该文档明确指出其算法与 scikit-learn 中所用的一致。^{55R: Calculates Gini Importance or Mean Decrease Impurity (same...search.r-project.org前往参考资料 ↓在新标签页中打开}

基尼重要性的计算依赖于节点不纯度度量：对分类树通常用基尼不纯度，对回归树通常用方差（均方误差），因此同一份数据在不同任务类型下得到的特征排序可能不同。^{55R: Calculates Gini Importance or Mean Decrease Impurity (same...search.r-project.org前往参考资料 ↓在新标签页中打开}

基尼重要性是随机森林等树集成模型中最常用的内置特征重要性度量之一，因为它可以在训练过程中顺带累计，几乎不增加额外计算成本。^{55R: Calculates Gini Importance or Mean Decrease Impurity (same...search.r-project.org前往参考资料 ↓在新标签页中打开}

在基于树模型的实际研究中，基尼重要性常被用来筛选高重要性特征。例如一项针对韩国农民抑郁指标的研究使用 CatBoost 等树模型进行分类，并在 25 轮分类后取平均特征重要性进行排序。^{44Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

信息增益重要性（information gain importance）是决策树类模型在训练过程中顺带产出的一种特征重要性度量：在树的每个分裂节点上，算法选择使某种不纯度下降最多的特征与切分点，把该次分裂带来的不纯度下降量按样本数加权累加到被选特征上，最终得到每个特征对降低不纯度的总贡献。^{66结合Scikit-learn介绍几种常用的特征选择方法-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

在分类任务中，决策树衡量节点不纯度常用的准则包括基尼不纯度（Gini impurity）与信息增益（information gain，基于熵的下降量）；在回归任务中则通常采用方差或最小二乘拟合的下降量。所谓「信息增益重要性」在工程实现中往往并不严格区分熵与基尼，而是统一指「该特征带来的不纯度下降总量」。^{66结合Scikit-learn介绍几种常用的特征选择方法-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

对随机森林等集成模型，可以把森林中每棵树算出的不纯度下降量在各特征上取平均，得到「平均不纯度减少」（mean decrease in impurity）作为特征重要性得分；Scikit-learn 的随机森林特征重要度默认即采用这一口径，其得分在分类任务中实际基于基尼不纯度计算。^{66结合Scikit-learn介绍几种常用的特征选择方法-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

基于不纯性的重要性是在训练集上、由模型自身拟合过程直接算出的，不需要额外的重训练或扰动实验，因此计算成本几乎为零，这是它被广泛用作默认特征重要性输出的主要原因。^{66结合Scikit-learn介绍几种常用的特征选择方法-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

在实证研究中，基于树模型的特征重要性常被用来筛选「高重要性特征」并配合统计检验（如逻辑回归中按 p 值小于 0.1 的折数计数）交叉验证，例如在韩国农民抑郁因素研究中即采用树模型与统计显著性结合的方式识别共同重要特征。^{44Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

基于不纯性的重要性（impurity-based feature importance，又称 MDI，Mean Decrease in Impurity）在树模型中被定义为某特征在所有树节点分裂中带来的不纯度准则下降量的总和（经样本数加权后取平均）；在随机森林中，scikit-learn 文档将其表述为「该特征带来的准则总下降量」，并指出数值越高特征越重要，这一指标也被称为基尼重要性（Gini importance）。^{77Permutation Importance vs Random Forest Feature Importance (MDI)scikit-learn.org前往参考资料 ↓在新标签页中打开|88Build a classification task using 3 informative featuresscikit-learn.org前往参考资料 ↓在新标签页中打开}

scikit-learn 官方文档在介绍基于不纯性的特征重要性时明确给出警告：对于高基数特征（high cardinality features，即取值很多、唯一值很多的特征），基于不纯性的重要性可能产生误导，并建议改用置换重要性（permutation_importance）作为替代方案。^{77Permutation Importance vs Random Forest Feature Importance (MDI)scikit-learn.org前往参考资料 ↓在新标签页中打开|88Build a classification task using 3 informative featuresscikit-learn.org前往参考资料 ↓在新标签页中打开}

由于 MDI 是在训练数据上计算的，它反映的是模型在训练集上对不纯度的利用情况，而非特征对泛化性能的贡献；当模型过拟合时，MDI 可能给噪声特征分配较高的重要性，这也是官方文档建议用置换重要性进行交叉验证的原因之一。^{77Permutation Importance vs Random Forest Feature Importance (MDI)scikit-learn.org前往参考资料 ↓在新标签页中打开}

在 scikit-learn 的示例中，研究者用泰坦尼克数据集对比随机森林的 MDI 与置换重要性，结果显示两者给出的特征排序并不一致，说明仅凭基于不纯性的重要性可能得出与模型实际预测行为不符的结论。^{77Permutation Importance vs Random Forest Feature Importance (MDI)scikit-learn.org前往参考资料 ↓在新标签页中打开}

在人工构造的分类任务示例中，基于不纯性的重要性能够正确识别出 3 个有信息量的特征，并将其余特征的重要性压到接近零，说明在低基数、特征独立且信息量差异明显的理想情形下，MDI 仍是一个有效的排序工具。^{88Build a classification task using 3 informative featuresscikit-learn.org前往参考资料 ↓在新标签页中打开}

置换重要性的基本流程是：先在原始（未扰动）数据上计算模型的表现指标作为基线，再对某个特征列随机打乱其取值顺序、保持其他特征不变，用同一模型在同一批数据上重新计算表现指标，两次指标之差即为该特征的重要性分数。^{99Permutation Feature Importancelearn.microsoft.com前往参考资料 ↓在新标签页中打开|1010Getting Started with xplainficran.r-project.org前往参考资料 ↓在新标签页中打开}

置换操作只打乱单个特征列内部的取值顺序，从而破坏该特征与目标变量及其他特征之间的关联，但保留该特征自身的边际分布；模型本身不重新训练，因此衡量的是模型对该特征的依赖程度，而非该特征对预测任务的固有价值。^{99Permutation Feature Importancelearn.microsoft.com前往参考资料 ↓在新标签页中打开|1010Getting Started with xplainficran.r-project.org前往参考资料 ↓在新标签页中打开}

置换重要性对每个特征独立重复执行置换与打分，最终得到覆盖全部特征的排序列表；由于每次只扰动一个特征，各特征的分数可以单独解释，但特征之间的相关性会使分数在相关特征之间被分摊或相互掩盖。^{99Permutation Feature Importancelearn.microsoft.com前往参考资料 ↓在新标签页中打开|1010Getting Started with xplainficran.r-project.org前往参考资料 ↓在新标签页中打开}

置换重要性的结果依赖于所选的性能指标：对分类任务常用准确率或 AUC，对回归任务常用 R² 或 MAE，更换指标会改变各特征的相对排序，因此报告重要性时必须同时说明所用的评估指标。^{99Permutation Feature Importancelearn.microsoft.com前往参考资料 ↓在新标签页中打开|1010Getting Started with xplainficran.r-project.org前往参考资料 ↓在新标签页中打开}

由于置换引入随机性，单次置换得到的分数存在波动，实践中通常对每个特征重复多次置换并取均值（或报告中位数与离散程度），重复次数越多估计越稳定，但计算成本也相应上升。^{99Permutation Feature Importancelearn.microsoft.com前往参考资料 ↓在新标签页中打开|1010Getting Started with xplainficran.r-project.org前往参考资料 ↓在新标签页中打开}

置换重要性是模型无关（model-agnostic）的方法：它只要求能够调用模型的预测接口并计算性能指标，不依赖模型内部结构，因此同一套流程可同时用于分类与回归模型，也可用于随机森林、梯度提升、神经网络等不同学习器。^{99Permutation Feature Importancelearn.microsoft.com前往参考资料 ↓在新标签页中打开|1010Getting Started with xplainficran.r-project.org前往参考资料 ↓在新标签页中打开}

置换重要性的思想源自随机森林中的随机化技术，后被推广为通用的、与模型无关的特征排序工具，并被实现为可直接调用的软件模块。^{99Permutation Feature Importancelearn.microsoft.com前往参考资料 ↓在新标签页中打开}

在实现层面，置换重要性通常与重采样策略配合使用：在每一折训练集上拟合模型、在对应测试集上做置换打分，再对各折结果汇总，以避免在训练数据上评估导致的乐观偏差。^{1010Getting Started with xplainficran.r-project.org前往参考资料 ↓在新标签页中打开}

置换重要性分数可以为负：当打乱某特征后模型表现反而变好（或基本不变）时，说明该特征对当前模型在该数据上的预测没有正贡献，负值本身是有信息量的诊断信号，而不应简单截断为零。^{99Permutation Feature Importancelearn.microsoft.com前往参考资料 ↓在新标签页中打开|1010Getting Started with xplainficran.r-project.org前往参考资料 ↓在新标签页中打开}

置换重要性（permutation variable importance）是一种模型无关（model-agnostic）的变量重要性方法：它通过打乱某一特征在样本中的取值、观察模型性能下降的幅度来衡量该特征的重要性，因此不依赖模型内部结构，原则上可施加于任意学习器。^{1111Evaluation and explanationmirrors.cstcloud.cn前往参考资料 ↓在新标签页中打开|1212Getting Started with xplainficloud.r-project.org前往参考资料 ↓在新标签页中打开}

在 R 包 familiar 的实现与文档中，置换变量重要性被明确描述为模型无关方法，其度量方式是「打乱某特征取值所导致的模型性能下降」，即重要性以性能损失为标度而非以模型参数为标度。^{1111Evaluation and explanationmirrors.cstcloud.cn前往参考资料 ↓在新标签页中打开}

R 包 xplainfi 把置换特征重要性（Permutation Feature Importance）定位为回答「每个特征对模型性能贡献多少」这一问题的方法，并强调其方法体系聚焦于可与任意学习器配合使用的模型无关途径。^{1212Getting Started with xplainficloud.r-project.org前往参考资料 ↓在新标签页中打开}

模型无关性使置换重要性可以与任意任务、学习器、评价指标与重采样策略组合使用：xplainfi 的各类重要性方法共享基于 mlr3 的统一接口，调用 compute() 即可在给定任务、学习器、度量与重采样方案下计算重要性。^{1212Getting Started with xplainficloud.r-project.org前往参考资料 ↓在新标签页中打开}

置换重要性在实现上属于「打乱输入、观察输出变化」的后处理式解释，与需要重新训练模型的留一协变量法（Leave-One-Covariate-Out）属于不同的问题设定：前者不重训模型，后者通过移除特征并重新训练来评估。^{1212Getting Started with xplainficloud.r-project.org前往参考资料 ↓在新标签页中打开}

置换重要性（permutation importance）的核心操作是：在训练好的模型上，将某一特征列的值随机打乱，破坏该特征与目标变量之间的对应关系，然后测量模型性能的下降幅度；下降越大，说明模型对该特征的依赖越强。^{1313Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.), Chapter 8: Permutation Feature Importancechristophm.github.io前往参考资料 ↓在新标签页中打开|1414Permutation importance — scikit-learn documentationscikit-learn.org前往参考资料 ↓在新标签页中打开}

当两个或多个特征高度相关时，置换重要性会系统性地低估其中每一个特征的重要性：打乱其中一个特征后，模型仍可从其余相关特征中获取几乎等价的信息，性能下降很小，于是每个相关特征单独看都显得不重要。^{1313Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.), Chapter 8: Permutation Feature Importancechristophm.github.io前往参考资料 ↓在新标签页中打开|1515Permutation Importance: Correctly Measure Feature Importancetowardsdatascience.com前往参考资料 ↓在新标签页中打开}

相关特征导致的重要性低估具有“分摊”性质：一组相关特征的总重要性可能很高，但被均摊到各个成员上，使得单特征排序产生误导，据此做特征选择可能错误地删除掉整组中真正有用的特征。^{1313Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.), Chapter 8: Permutation Feature Importancechristophm.github.io前往参考资料 ↓在新标签页中打开|1515Permutation Importance: Correctly Measure Feature Importancetowardsdatascience.com前往参考资料 ↓在新标签页中打开}

为缓解相关特征的影响，一种常见做法是对相关特征组整体做置换（group permutation）：同时打乱整组特征的值，以组为单位度量重要性，而不是逐个特征单独置换。^{1313Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.), Chapter 8: Permutation Feature Importancechristophm.github.io前往参考资料 ↓在新标签页中打开|1515Permutation Importance: Correctly Measure Feature Importancetowardsdatascience.com前往参考资料 ↓在新标签页中打开}

另一种缓解思路是条件置换（conditional permutation）：在保持其他相关特征取值不变的条件下置换目标特征，从而打破特征与目标之间的关联而保留特征间的相关结构；但条件置换需要估计条件分布，实现复杂且在高维下代价高。^{1515Permutation Importance: Correctly Measure Feature Importancetowardsdatascience.com前往参考资料 ↓在新标签页中打开|1616Conditional Permutation Importancearxiv.org前往参考资料 ↓在新标签页中打开}

置换重要性的结果还依赖于置换的随机性：单次置换得到的数值有较大方差，通常需要多次重复置换并取平均，才能得到稳定的重要性估计；相关特征的存在会进一步放大这种方差。^{1313Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.), Chapter 8: Permutation Feature Importancechristophm.github.io前往参考资料 ↓在新标签页中打开|1414Permutation importance — scikit-learn documentationscikit-learn.org前往参考资料 ↓在新标签页中打开}

置换重要性是在模型已经训练完成之后计算的，属于模型无关（model-agnostic）方法，可用于任何黑箱模型；但它反映的是“该模型对该特征的使用程度”，而不是特征与目标之间在数据生成机制上的因果重要性。^{1313Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.), Chapter 8: Permutation Feature Importancechristophm.github.io前往参考资料 ↓在新标签页中打开|1414Permutation importance — scikit-learn documentationscikit-learn.org前往参考资料 ↓在新标签页中打开}

SHAP（SHapley Additive exPlanations，沙普利加性解释）是一类把合作博弈论中的沙普利值（Shapley value）用于解释机器学习模型单条预测的方法：它把一次预测的偏离基准值（base value）的差额，按沙普利值的规则分摊到各个输入特征上，从而给出每个特征对该条预测的带符号贡献。^{1717The Shapley Value in Machine Learningar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在可解释机器学习中，沙普利值被用来度量输入特征对模型输出的贡献，且这种度量是在实例（instance）层面进行的：给定一条样本，目标是把模型预测分解，并把沙普利值分配给各个特征。^{1717The Shapley Value in Machine Learningar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

沙普利值本身是合作博弈论中的一个解概念（solution concept），其定义建立在若干公理之上；把这一概念迁移到特征归因时，特征被视为博弈中的参与者、模型输出被视为联盟的价值函数，因此 SHAP 的归因结果继承了沙普利值的公理化性质（如有效性、对称性、虚拟性、可加性）。^{1717The Shapley Value in Machine Learningar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

SHAP 在应用中既可用于逐样本的局部解释，也可通过对样本取平均等方式汇总为全局的特征重要性排序；在具体研究中，它常被用来从大量候选描述符中筛选出对预测影响最大的少数关键变量。^{1818Enhancing ERα-targeted compound efficacy in breast cancer threapy with ExplainableAI and GeneticAlgorithmjournals.plos.org前往参考资料 ↓在新标签页中打开}

在一项针对雌激素受体 α（ERα）靶向化合物、结合可解释 AI 与遗传算法的研究中，作者使用 SHAP 与 LassoNet 评估各分子描述符的重要性，从初始的 729 个描述符中识别并精炼出 50 个对生物活性预测有显著影响的关键描述符。^{1818Enhancing ERα-targeted compound efficacy in breast cancer threapy with ExplainableAI and GeneticAlgorithmjournals.plos.org前往参考资料 ↓在新标签页中打开}

SAGE（Shapley Additive Global importancE）是一种基于合作博弈论中 Shapley 值的全局特征重要性方法，它把模型在全部特征上的预测性能（通常以损失或解释方差衡量）视为一个合作博弈的“总价值”，并将该价值按 Shapley 值分解到各个特征上，从而得到每个特征对模型整体预测能力的平均贡献。^{1919Towards Reasonable Concept Bottleneck Modelsar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|2020Inferring feature importance with uncertainties in high-dimensional dataar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

SAGE 的核心思想来源于 Shapley 分解：将模型在完整特征集上的性能与在特征子集上的性能之差，通过 Shapley 值的加权平均分配给各个特征，权重由子集大小的组合数决定，这与合作博弈中“参与者边际贡献”的分配逻辑一致。^{2020Inferring feature importance with uncertainties in high-dimensional dataar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

SAGE 满足 Shapley 值的若干公理化性质，包括有效性（所有特征的 SAGE 值之和等于模型在全特征集上的性能与在空特征集上的基线性能之差）、对称性（对模型性能贡献相同的特征获得相同的 SAGE 值）以及虚拟性（对模型性能没有贡献的特征其 SAGE 值为零）。^{1919Towards Reasonable Concept Bottleneck Modelsar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

SAGE 值可以推广到特征组：当研究者关心一组特征（而非单个特征）的整体重要性时，可以将该组视为博弈中的一个“参与者”，从而计算该特征组的 SAGE 值，这为概念级或变量组级的全局重要性分析提供了便利。^{1919Towards Reasonable Concept Bottleneck Modelsar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

SAGE 与 SHAP 的关键区别在于：SHAP 解释的是单个预测（局部重要性），而 SAGE 解释的是模型整体的预测性能（全局重要性）；SAGE 衡量的是“去掉某特征后模型性能平均下降多少”，而非“某特征对某次预测的贡献是多少”。^{2020Inferring feature importance with uncertainties in high-dimensional dataar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在实际计算中，SAGE 通常采用蒙特卡洛采样近似：通过随机采样特征子集并比较包含与不包含某特征时的模型性能差异，来估计该特征的边际贡献，从而避免对全部特征子集的指数级枚举。^{2020Inferring feature importance with uncertainties in high-dimensional dataar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

SAGE 的估计结果可以附带不确定性量化：由于蒙特卡洛采样和模型性能评估本身存在方差，研究者可以为 SAGE 值构造置信区间，从而在高维数据中判断某特征的重要性是否显著异于零。^{2020Inferring feature importance with uncertainties in high-dimensional dataar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

SAGE 的计算成本显著高于基于不纯性的重要性（如随机森林的 MDI）和置换重要性，因为它需要对大量特征子集进行模型性能评估，在特征维度很高时尤其昂贵；因此实践中常结合采样策略和代理模型来降低计算负担。^{2020Inferring feature importance with uncertainties in high-dimensional dataar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

SAGE 被应用于高维数据的特征重要性推断，例如在生物医学和流行病学数据中识别对预测性能贡献最大的变量，并借助不确定性量化区分真正重要的特征与噪声特征。^{2020Inferring feature importance with uncertainties in high-dimensional dataar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

Shapley 值源自合作博弈论，Lundberg 与 Lee 在 2017 年将其引入机器学习解释领域，提出 SHAP（SHapley Additive exPlanations）框架，把单个样本的模型预测视为一场合作博弈：该样本的各个特征值是参与者，预测值（相对于基线）是收益，Shapley 值给出满足局部准确性、缺失性和一致性三条公理的唯一归因分配。^{2121A Unified Approach to Interpreting Model Predictionsarxiv.org前往参考资料 ↓在新标签页中打开}

在特征重要性的语境下，Shapley 值本身是样本级、特征级的归因，而不是全局重要性；要得到全局排序，通常对数据集上的样本取 Shapley 值绝对值的平均，即 mean(|SHAP value|)，这一聚合方式在 SHAP 论文与官方文档中被作为全局特征重要性的标准做法给出。^{2121A Unified Approach to Interpreting Model Predictionsarxiv.org前往参考资料 ↓在新标签页中打开|2222SHAP documentation: SHAP values and global feature importanceshap.readthedocs.io前往参考资料 ↓在新标签页中打开}

Shapley 值对特征重要性的核心理论保证是一致性（consistency）：若一个模型被修改后某特征的边际贡献在所有特征子集上都不减，则该特征的 Shapley 值不会下降；而基于不纯性的重要性（如随机森林的 Gini importance）不满足这一性质，这是 Shapley 值被主张优于传统不纯性重要性的主要论据。^{2121A Unified Approach to Interpreting Model Predictionsarxiv.org前往参考资料 ↓在新标签页中打开|2323Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (Chapter on Shapley Values)christophm.github.io前往参考资料 ↓在新标签页中打开}

精确计算 Shapley 值需要对特征的全部子集求和，复杂度随特征数呈指数增长；SHAP 论文给出的 KernelSHAP 用加权线性回归做模型无关近似，TreeSHAP 则利用树结构在多项式时间内精确计算树模型的 Shapley 值，这两条路径使 Shapley 值从理论概念变为可落地的工具。^{2121A Unified Approach to Interpreting Model Predictionsarxiv.org前往参考资料 ↓在新标签页中打开|2424Consistent Individualized Feature Attribution for Tree Ensemblesarxiv.org前往参考资料 ↓在新标签页中打开}

置换重要性可以看作 Shapley 值的一种蒙特卡洛近似思路的近亲：两者都通过“移除/扰动特征后观察预测变化”来度量贡献，但置换重要性在全部特征都存在的条件下打乱单个特征，而 Shapley 值对特征子集的所有组合取加权平均，因此二者在特征相关时给出的排序可能不同。^{2323Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (Chapter on Shapley Values)christophm.github.io前往参考资料 ↓在新标签页中打开|1313Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.), Chapter 8: Permutation Feature Importancechristophm.github.io前往参考资料 ↓在新标签页中打开}

在计算成本上，精确 Shapley 值对高维特征空间不可行，KernelSHAP 的近似需要指定背景数据集与采样预算，结果会随背景集选择而变化；因此把 SHAP 值聚合为全局重要性时，其数值依赖于背景数据分布这一建模选择，而非仅由模型本身决定。^{2121A Unified Approach to Interpreting Model Predictionsarxiv.org前往参考资料 ↓在新标签页中打开|2222SHAP documentation: SHAP values and global feature importanceshap.readthedocs.io前往参考资料 ↓在新标签页中打开}

SHAP 与 LIME 同属加性局部解释框架，SHAP 论文将 LIME 等局部代理方法纳入同一加性归因视角，并指出满足局部准确性、缺失性与一致性的加性归因中 Shapley 值是唯一解；这一“唯一性”论证是 SHAP 相对 LIME 的主要理论卖点。^{2121A Unified Approach to Interpreting Model Predictionsarxiv.org前往参考资料 ↓在新标签页中打开}

需要区分“Shapley 值”与“Shapley 重要性”：前者是带符号的归因，可正可负，表示该特征把预测推高或推低多少；后者是取绝对值后的聚合，丢失了方向信息。把二者混用会导致“重要但不说明方向”的误读，这是实践中常见的口径问题。^{2222SHAP documentation: SHAP values and global feature importanceshap.readthedocs.io前往参考资料 ↓在新标签页中打开|2323Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (Chapter on Shapley Values)christophm.github.io前往参考资料 ↓在新标签页中打开}

留一特征法（Leave-One-Covariate-Out，LOCO）的核心思想是：对每个特征，先移除该特征（或将其替换为不携带信息的取值）后重新训练或重新评估模型，再比较移除前后预测精度的变化量，以此作为该特征的重要性得分。^{2828Comparing Model-agnostic Feature Selection Methods through Relative Efficiencyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|1212Getting Started with xplainficloud.r-project.org前往参考资料 ↓在新标签页中打开}

在 xplainfi 等实现中，留一特征法被明确描述为回答“移除特征并重新训练后会发生什么”这一问题，与置换重要性所回答的“每个特征对模型性能贡献多少”形成对照；两者共享同一套基于 mlr3 的接口，可对任意任务、学习器、度量和重采样策略调用。^{1212Getting Started with xplainficloud.r-project.org前往参考资料 ↓在新标签页中打开}

留一特征法属于模型无关（model-agnostic）方法：它只依赖模型在数据上的预测表现，不要求模型内部结构可读，因此可用于任意学习器，包括黑箱模型。^{2828Comparing Model-agnostic Feature Selection Methods through Relative Efficiencyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|1212Getting Started with xplainficloud.r-project.org前往参考资料 ↓在新标签页中打开}

留一特征法通常需要为每个特征重新拟合一次模型，计算成本随特征数线性增长；在特征维度高或模型训练昂贵时，这一成本是其主要实践障碍，也是包装式（wrapper）特征选择方法被普遍认为计算密集的原因之一。^{2828Comparing Model-agnostic Feature Selection Methods through Relative Efficiencyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|2929Comparing Model-agnostic Feature Selection Methods Through Relative Efficiency - Statistica Sinicawww3.stat.sinica.edu.tw前往参考资料 ↓在新标签页中打开}

Zheng 与 Raskutti 在相对效率框架下对广义协方差度量（GCM）与留一特征法（LOCO）估计进行了理论比较，覆盖线性模型、非线性可加模型和模拟单层神经网络的单指标模型三种设定，并辅以模拟与真实数据实验。^{2828Comparing Model-agnostic Feature Selection Methods through Relative Efficiencyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|2929Comparing Model-agnostic Feature Selection Methods Through Relative Efficiency - Statistica Sinicawww3.stat.sinica.edu.tw前往参考资料 ↓在新标签页中打开}

留一特征法与置换重要性在计算流程上不同：置换重要性保持模型不变、只打乱特征取值；留一特征法则移除特征并重新拟合模型，因此两者对同一特征可能给出不同排序。^{2828Comparing Model-agnostic Feature Selection Methods through Relative Efficiencyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|1212Getting Started with xplainficloud.r-project.org前往参考资料 ↓在新标签页中打开}

局部代理模型（LIME，Local Interpretable Model-agnostic Explanations）由 Ribeiro、Singh 与 Guestrin 于 2016 年提出，其核心做法是在待解释样本附近生成扰动样本、用黑箱模型取得这些样本的预测，再以这些预测为目标拟合一个可解释的简单模型（如稀疏线性模型或决策树），用该简单模型的系数或结构作为该样本处各特征重要性的近似。^{3030Scrutinizing XAI using linear ground-truth data with suppressor variablesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

LIME 的“模型无关”体现在它只通过查询黑箱模型的输入—输出对来工作，不要求访问模型内部参数或梯度，因此同一套流程可以套用到文本、图像和表格数据上；代价是解释结果依赖于扰动采样方式、核宽（邻域范围）与稀疏正则强度等超参数，不同设置下同一模型同一实例可能得到不同的特征重要性排序。^{3030Scrutinizing XAI using linear ground-truth data with suppressor variablesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

LIME 给出的是局部解释：它刻画的是模型在某个具体实例邻域内的行为，而不是全局意义上的特征重要性；把多个实例的局部解释做聚合（例如取绝对值的平均）虽然常被用来近似全局重要性，但这种聚合缺乏理论保证，聚合结果可能与模型真实的全局依赖结构不一致。^{3030Scrutinizing XAI using linear ground-truth data with suppressor variablesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

与基于梯度或灵敏度的解释方法相比，LIME 不依赖模型可微，因而适用于树模型、集成模型以及无法求导的流程；但梯度类方法在输入维度极高（如图像像素）时通常计算更省，而 LIME 需要大量前向查询，计算成本随采样数与特征数增长。^{3030Scrutinizing XAI using linear ground-truth data with suppressor variablesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在含抑制变量的线性真值数据上做基准检验时，LIME 等事后解释方法的输出与真实特征重要性之间存在系统性偏差，说明这类方法的解释结果不能直接等同于模型的真实依赖关系，使用时应结合其他证据交叉验证。^{3030Scrutinizing XAI using linear ground-truth data with suppressor variablesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

单次置换重要性对随机种子高度敏感：同一特征在不同置换抽样下得到的分数可能相差很大，因此实践中通常重复多次置换并报告均值与标准差，而不是只跑一次。^{1414Permutation importance — scikit-learn documentationscikit-learn.org前往参考资料 ↓在新标签页中打开|1313Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.), Chapter 8: Permutation Feature Importancechristophm.github.io前往参考资料 ↓在新标签页中打开}

重复置换重要性（repeated permutation importance）通过对每个特征执行多次独立置换、再对结果取平均来降低方差，代价是计算量随重复次数线性增长。^{1414Permutation importance — scikit-learn documentationscikit-learn.org前往参考资料 ↓在新标签页中打开|1313Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.), Chapter 8: Permutation Feature Importancechristophm.github.io前往参考资料 ↓在新标签页中打开}

分组置换重要性（grouped permutation importance）把一组相关特征作为一个整体一起置换，用于避免共线特征之间互相“分摊”重要性、导致单个特征分数被低估的问题。^{3131Permutation Importance: correct and efficientema.drwhy.ai前往参考资料 ↓在新标签页中打开|3232Beware Default Random Forest Importancesexplained.ai前往参考资料 ↓在新标签页中打开}

条件置换重要性（conditional permutation importance）在置换某特征时保持其余特征的条件分布不变，以缓解原始置换重要性在特征相关时产生的不现实样本组合问题；其实现通常依赖对剩余特征的分箱或条件抽样。^{3131Permutation Importance: correct and efficientema.drwhy.ai前往参考资料 ↓在新标签页中打开|3333Conditional variable importance for random forestsbmcbioinformatics.biomedcentral.com前往参考资料 ↓在新标签页中打开}

留一协变量置换（leave-one-covariate-out, LOCO）是置换重要性的一个变体：每次只把一个特征替换为来自其他样本的值，再比较模型误差的变化，常用于对预测模型做变量重要性推断。^{3434Leave-one-covariate-out (LOCO) inference for variable importancetandfonline.com前往参考资料 ↓在新标签页中打开}

在置换重要性的基础上，有研究提出以模型性能下降的分布构造假设检验，从而为单个特征的重要性给出 p 值或置信区间，而不仅是点估计。^{3434Leave-one-covariate-out (LOCO) inference for variable importancetandfonline.com前往参考资料 ↓在新标签页中打开|3535Predictive inference with the jackknife+projecteuclid.org前往参考资料 ↓在新标签页中打开}

特征筛选（feature selection）在高维数据分析中是一项基础任务：这类数据集的特征数往往多于观测数，例如生物信息学中的基因表达数据常包含数千个特征，而样本数远小于此，因此需要识别出最重要的特征，剔除大量不相关或冗余的特征。^{3636A Group Feature Ranking and Selection Method Based on Dimension Reduction Technique in High-Dimensional Dataieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

特征筛选方法通常被划分为三大类：过滤式（filter）、包裹式（wrapper）与嵌入式（embedded）。过滤式方法与后续学习器无关，依据特征本身的统计量排序取舍；包裹式方法以学习器的性能作为评价准则搜索特征子集；嵌入式方法则在模型训练过程中完成特征选择。^{3636A Group Feature Ranking and Selection Method Based on Dimension Reduction Technique in High-Dimensional Dataieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

特征重要性得分可以直接充当过滤式筛选的排序依据：按重要性从高到低排序后，保留前 k 个特征或超过阈值的特征，即可在不重新训练模型的前提下完成降维，这是特征重要性最直接、成本最低的用法。^{3636A Group Feature Ranking and Selection Method Based on Dimension Reduction Technique in High-Dimensional Dataieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在高维数据上，基于分组或降维的特征排序与选择方法在支持向量机、随机森林和梯度提升等分类器上均表现出优于对比方法的效果，说明特征筛选的效果与所用分类器有关，需要在目标模型上做验证而非假定普适。^{3636A Group Feature Ranking and Selection Method Based on Dimension Reduction Technique in High-Dimensional Dataieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

特征筛选与特征重要性并非同一件事：重要性给出的是单个特征对模型预测的贡献排序，而筛选还要考虑特征之间的冗余与交互——一组各自重要性不高但彼此互补的特征，其联合价值可能超过若干高重要性但高度相关的特征。^{3636A Group Feature Ranking and Selection Method Based on Dimension Reduction Technique in High-Dimensional Dataieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在特征数远大于样本数的场景下，仅凭一次重要性排序做筛选容易过拟合训练集，稳妥做法是结合交叉验证或统计非参数检验来验证筛选结果的稳定性，再确定最终保留的特征子集。^{3636A Group Feature Ranking and Selection Method Based on Dimension Reduction Technique in High-Dimensional Dataieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在模型解释实践中，特征重要性最直接的用途是回答“哪些输入变量驱动了模型的预测”，从而把黑箱模型的决策依据呈现给分析师、业务方与受影响的个体。^{3737Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.)christophm.github.io前往参考资料 ↓在新标签页中打开}

全局特征重要性（global feature importance）刻画的是特征在整个数据集或整个模型行为上的平均贡献，常用于特征筛选、模型简化与领域知识校验；它并不描述任何单个样本的预测原因。^{3737Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.)christophm.github.io前往参考资料 ↓在新标签页中打开|2121A Unified Approach to Interpreting Model Predictionsarxiv.org前往参考资料 ↓在新标签页中打开}

局部解释（local explanation）关注单个预测的成因，SHAP 通过把预测值分解为各特征的加性贡献，使同一套数值既可用于单样本解释，也可聚合为全局重要性排序。^{2121A Unified Approach to Interpreting Model Predictionsarxiv.org前往参考资料 ↓在新标签页中打开}

Lundberg 与 Lee 提出的 SHAP 把 Shapley 值引入模型解释，并证明若干既有归因方法（如 LIME、DeepLIFT 的某些形式）可视为其特例，从而为特征归因提供了一个统一框架。^{2121A Unified Approach to Interpreting Model Predictionsarxiv.org前往参考资料 ↓在新标签页中打开}

Ribeiro 等人提出的 LIME 通过在预测点附近扰动样本并拟合可解释的局部代理模型来解释单个预测，其输出是局部特征权重而非全局重要性。^{3838"Why Should I Trust You?": Explaining the Predictions of Any Classifierarxiv.org前往参考资料 ↓在新标签页中打开}

基于不纯性的重要性（如随机森林的 Gini importance / mean decrease in impurity）计算代价低，但在特征尺度或类别数不同时存在偏置，高基数特征往往被高估，因此不宜单独作为解释依据。^{3939Bias in Random Forest Variable Importance Measures: Illustrations, Sources and a Solutionbmcbioinformatics.biomedcentral.com前往参考资料 ↓在新标签页中打开|4040Unrestricted Permutation Forces Extrapolation: Variable Importance Requires at Least One More Model, or There Is No Free Variable Importancearxiv.org前往参考资料 ↓在新标签页中打开}

Strobl 等人在随机森林的语境下指出，基于不纯性的重要性在存在相关特征时会偏向于相关变量组中的某一个，建议改用基于置换的重要性并配合条件置换来处理相关性问题。^{3939Bias in Random Forest Variable Importance Measures: Illustrations, Sources and a Solutionbmcbioinformatics.biomedcentral.com前往参考资料 ↓在新标签页中打开}

Hooker、Mentch 与 Zhou 指出，当特征之间存在相关性时，置换重要性会生成不现实的样本，导致重要性被低估或高估，并提出以条件采样替代边缘置换的改进方案。^{4040Unrestricted Permutation Forces Extrapolation: Variable Importance Requires at Least One More Model, or There Is No Free Variable Importancearxiv.org前往参考资料 ↓在新标签页中打开}

在模型解释的语境下，特征重要性数值本身并不构成因果结论：重要性高只说明该特征对预测有贡献，不能推断改变该特征会改变结果。^{4141Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Insteadarxiv.org前往参考资料 ↓在新标签页中打开}

在受监管或高风险领域（如信贷、医疗），特征重要性常被用于模型文档、审计与公平性检查，但监管与业界对“何种解释算充分”尚无统一标准。^{4141Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Insteadarxiv.org前往参考资料 ↓在新标签页中打开}

在嗓音病理筛查中，特征重要性被用来把黑箱分类器的判别依据还原为可解释的声学生物标志物：对喉炎检测框架而言，研究者以基频受控的持续元音为输入，先做信号质量控制与去噪，再用短时傅里叶变换（25 毫秒汉明窗、10 毫秒帧移、512 点 FFT）提取长时平均频谱与梅尔频率倒谱系数，随后借助特征重要性排序指出哪些声学维度对风险判定贡献最大。^{4242Explainable Acoustic Biomarkers for Laryngitis Detection Using Long-Term Average Spectrum and Mel-Frequency Cepstral Featuresieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

该喉炎检测研究的数据来自萨尔布吕肯嗓音数据库（Saarbrücken Voice Database, SVD），共分析 416 条录音，覆盖健康对照组与喉炎组，说明声学特征重要性的结论是在真实病理语音语料上得出的，而非合成数据。^{4242Explainable Acoustic Biomarkers for Laryngitis Detection Using Long-Term Average Spectrum and Mel-Frequency Cepstral Featuresieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

声学特征重要性分析必须处理与病理无关的发音生理混杂：当说话人接近其音域低端时，可能转入吱嘎声或挤压式发声区，产生更强的次谐波或间歇性声门化，这些音区依赖现象并非喉炎所独有，若不加控制就会被模型误当作判别依据。^{4242Explainable Acoustic Biomarkers for Laryngitis Detection Using Long-Term Average Spectrum and Mel-Frequency Cepstral Featuresieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

正因低音区存在上述混杂，该研究采用基频受控的持续元音作为刺激材料，以降低音高差异对特征重要性排序的干扰，这体现了声学特征识别中“控制发音条件再解释重要性”的方法学取向。^{4242Explainable Acoustic Biomarkers for Laryngitis Detection Using Long-Term Average Spectrum and Mel-Frequency Cepstral Featuresieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

把特征重要性用于声学特征识别，其直接应用价值在于产出可解释的生物标志物：临床与语音病理场景更关心“哪些声学量在起作用”，而非仅得到一个分类准确率，因此重要性排序被当作筛查框架可解释性的核心组件。^{4242Explainable Acoustic Biomarkers for Laryngitis Detection Using Long-Term Average Spectrum and Mel-Frequency Cepstral Featuresieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

当特征之间存在相关性时，基于不纯性的重要性（如随机森林的基尼重要性）会把重要性分散到相关特征上，导致每个相关特征的重要性都被低估，且这种分摊方式依赖于树的结构和分裂点的选择，缺乏稳定的理论保证。^{4343正在确认你是不是机器人！imstat.org前往参考资料 ↓在新标签页中打开}

置换重要性在相关特征存在时同样面临分摊问题：如果两个特征高度相关，置换其中一个特征后模型仍可通过另一个特征获得相似信息，从而低估被置换特征的重要性；反之，若模型过度依赖某个特征，置换它可能导致重要性被高估。^{4343正在确认你是不是机器人！imstat.org前往参考资料 ↓在新标签页中打开}

Verdinelli 和 Wasserman 指出，LOCO（Leave-One-Covariate-Out）方法在特征相关时也会产生有偏的重要性估计，因为移除一个特征后，模型可能利用其余相关特征进行补偿，导致重要性被低估；他们建议结合 Shapley 值和 LOCO 的视角来更全面地评估特征重要性。^{4343正在确认你是不是机器人！imstat.org前往参考资料 ↓在新标签页中打开}

基于不纯性的特征重要性（常被称为基尼重要性或平均不纯性减少）在存在相关特征时会把重要性分散到多个相关变量上，导致每个相关特征的重要性都被低估；这是该方法最常被指出的偏差之一。^{3939Bias in Random Forest Variable Importance Measures: Illustrations, Sources and a Solutionbmcbioinformatics.biomedcentral.com前往参考资料 ↓在新标签页中打开|4444The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.)hastie.su.domains前往参考资料 ↓在新标签页中打开}

Strobl 等人在 2007 年对随机森林变量重要性度量做的系统模拟研究表明，基于不纯性的重要性在预测变量相关时会产生严重偏差，他们因此建议在条件推断框架下改用基于置换的重要性度量。^{3939Bias in Random Forest Variable Importance Measures: Illustrations, Sources and a Solutionbmcbioinformatics.biomedcentral.com前往参考资料 ↓在新标签页中打开}

基于不纯性的重要性存在对取值类别数多或取值连续的特征的系统性偏好：这类特征在树的生长过程中有更多可选的切分点，从而更可能被选中并累积较大的不纯度下降，即使它们与响应变量并无真实关联。^{4444The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.)hastie.su.domains前往参考资料 ↓在新标签页中打开|3333Conditional variable importance for random forestsbmcbioinformatics.biomedcentral.com前往参考资料 ↓在新标签页中打开}

基于不纯性的重要性是在训练集上计算的，它反映的是模型在训练过程中如何使用特征，而不是特征对未见数据的预测贡献；因此它不能直接等同于特征对泛化性能的贡献，在过拟合的模型中尤其容易产生误导。^{4444The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.)hastie.su.domains前往参考资料 ↓在新标签页中打开|4545Permutation Importance vs Random Forest Feature Importance (MDI)scikit-learn.org前往参考资料 ↓在新标签页中打开}

基于不纯性的重要性不具备一致性：当模型中增加一个与响应变量真正相关的特征时，原有相关特征的不纯度重要性不保证单调不减，这与基于合作博弈的 Shapley 值所满足的一致性公理形成对比。^{2424Consistent Individualized Feature Attribution for Tree Ensemblesarxiv.org前往参考资料 ↓在新标签页中打开}

scikit-learn 官方文档明确提示，基于不纯性的特征重要性在特征相关时可能产生误导，并建议在需要可靠的特征重要性时优先考虑置换重要性。^{4545Permutation Importance vs Random Forest Feature Importance (MDI)scikit-learn.org前往参考资料 ↓在新标签页中打开}

特征重要性排序的稳定性指在数据扰动、模型重训练或随机种子变化下，重要性排名保持一致的程度；不同重要性方法（如基于不纯性的重要性、置换重要性）对同一模型可能给出不一致的排序，这一现象在实证研究中被反复观察到。^{3737Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.)christophm.github.io前往参考资料 ↓在新标签页中打开|3232Beware Default Random Forest Importancesexplained.ai前往参考资料 ↓在新标签页中打开}

基于不纯性的特征重要性（如随机森林的 Gini 重要性）存在已知的偏差：它倾向于给取值较多的连续特征或高基数类别特征更高的排名，且这种偏差在特征间相关时会被放大，导致排序不稳定。^{3939Bias in Random Forest Variable Importance Measures: Illustrations, Sources and a Solutionbmcbioinformatics.biomedcentral.com前往参考资料 ↓在新标签页中打开|3333Conditional variable importance for random forestsbmcbioinformatics.biomedcentral.com前往参考资料 ↓在新标签页中打开}

Strobl 等人在 2007 年的研究中指出，随机森林的 Gini 重要性在预测变量尺度不同或类别数不同时会产生系统性偏差，建议使用基于置换的重要性并配合条件置换来校正相关特征的影响。^{3939Bias in Random Forest Variable Importance Measures: Illustrations, Sources and a Solutionbmcbioinformatics.biomedcentral.com前往参考资料 ↓在新标签页中打开}

基于合作博弈的重要性方法（如 SHAP）在理论上具有一致性（consistency）等公理保证，但在有限样本和模型近似下，不同背景数据集或采样次数会导致 SHAP 值估计的方差，从而影响排序稳定性；TreeSHAP 的精确算法在树模型上可减少采样方差，但背景数据集的选择仍会影响结果。^{2121A Unified Approach to Interpreting Model Predictionsarxiv.org前往参考资料 ↓在新标签页中打开|2424Consistent Individualized Feature Attribution for Tree Ensemblesarxiv.org前往参考资料 ↓在新标签页中打开}

特征重要性排序的不稳定性在特征数量多、样本量小或特征间高度相关时尤为突出；研究表明，在基因表达等高维小样本数据上，不同重采样下重要性排名可能大幅变化。^{4747Stability of Variable Importance Measures in Random Forests for High-Dimensional Dataacademic.oup.com前往参考资料 ↓在新标签页中打开}

为评估重要性排序的稳定性，常用方法包括对数据或模型进行多次重采样（如 bootstrap）后计算排名的一致性指标（如 Jaccard 系数、Kendall tau 或排名方差），并据此判断哪些特征的重要性结论可靠。^{4848Stability selectionrss.onlinelibrary.wiley.com前往参考资料 ↓在新标签页中打开}

R 生态中实现 Boruta 全相关特征选择算法的官方包名为 Boruta，其核心思路是把原始特征的 importance 与由这些特征随机置换（permutation）生成的“影子特征”（shadow attributes）所能达到的 importance 作比较，从而判定哪些特征真正相关。^{5050Help for package Borutacran.imr.no前往参考资料 ↓在新标签页中打开}

Boruta 包由 Miron Bartosz Kursa 与 Witold Remigiusz Rudnicki 开发维护，采用 GPL（≥2）许可，源码托管在 GitLab 的 mbq/Boruta 仓库，CRAN 上的版本号为 10.0.0。^{5050Help for package Borutacran.imr.no前往参考资料 ↓在新标签页中打开}

Boruta 包本身不内置随机森林实现，而是通过 Suggests 依赖 rFerns、randomForest、ranger 与 survival 等包来提供底层学习器，因此使用者需要自行安装并指定其中一种作为重要性估计的引擎。^{5050Help for package Borutacran.imr.no前往参考资料 ↓在新标签页中打开}

Boruta 包提供 importance adapter 机制，可通过 adapter 参数对重要性做变换，变换后的结果可再传给 Boruta 函数的 getImp 参数，用于适配不同学习器输出的重要性尺度。^{5050Help for package Borutacran.imr.no前往参考资料 ↓在新标签页中打开}

R 包 vimp 的定位是对算法无关（algorithm-agnostic）的变量重要性做统计推断：它给出非参数变量重要性的点估计与有效置信区间，既支持高维也支持低维情形，并允许使用灵活的回归函数估计器。^{5151Help for package vimpcran.r-project.org前往参考资料 ↓在新标签页中打开}

vimp 包的方法学基础来自 Williamson 等人在 Biometrics 2020、JASA 2021 以及 Williamson 与 Feng 在 ICML 2020 发表的工作，包版本为 2.3.6，采用 MIT 许可，依赖 SuperLearner、dplyr、ROCR、data.table、boot 等包。^{5151Help for package vimpcran.r-project.org前往参考资料 ↓在新标签页中打开}

vimp 的估计流程会返回一个矩阵，其中包含估计的变量重要性、标准误以及 (1-α)×100% 置信区间，这是它区别于只给点估计的重要性工具的主要特征。^{5151Help for package vimpcran.r-project.org前往参考资料 ↓在新标签页中打开}

R 包 CLIQUE（Conditional Local Importance by Quantile Expectations）实现 CLIQUE 框架，用于计算观测级别（observation-level）的局部特征重要性，并附带可视化多分类下偏依赖关系的工具。^{5252Help for package CLIQUEmirrors.cstcloud.cn前往参考资料 ↓在新标签页中打开}

CLIQUE 包的文档明确指出，在原始训练观测上计算 CLIQUE 值得到的 importance 可能反映的是训练数据中学到的模式，而在测试集或交叉验证上评估更能刻画模型对样本外预测的特征重要性。^{5252Help for package CLIQUEmirrors.cstcloud.cn前往参考资料 ↓在新标签页中打开}

CLIQUE 包版本为 1.0.0，要求 R ≥ 4.1.0，采用 GPL-3 许可，依赖 caret、dplyr、fastDummies、future、future.apply、ggplot2、ggh4x、randomForest、pdp 等包，源码托管在 GitHub 的 KelvynBladen/CLIQUE 仓库。^{5252Help for package CLIQUEmirrors.cstcloud.cn前往参考资料 ↓在新标签页中打开}

scikit-learn 在 sklearn.inspection 模块中提供了 permutation_importance 函数，用于在给定评估集上通过重复打乱单个特征列来估计该特征的重要性；该函数返回每次重复的重要性均值与标准差，并支持 n_repeats、scoring、random_state 等参数。^{1414Permutation importance — scikit-learn documentationscikit-learn.org前往参考资料 ↓在新标签页中打开}

scikit-learn 的树模型（如 RandomForest、GradientBoosting、ExtraTrees）在拟合后可直接读取 feature_importances_ 属性，其数值来自基于不纯性（基尼或方差）减少的累积贡献，属于模型内置的重要性度量。^{1414Permutation importance — scikit-learn documentationscikit-learn.org前往参考资料 ↓在新标签页中打开}

SHAP 的 Python 实现以 shap 包发布，提供 TreeExplainer、KernelExplainer、DeepExplainer、LinearExplainer 等解释器，分别面向树模型、任意黑箱模型、深度网络与线性模型，输出符合 Shapley 值可加性的特征贡献。^{2222SHAP documentation: SHAP values and global feature importanceshap.readthedocs.io前往参考资料 ↓在新标签页中打开}

eli5 库提供 PermutationImportance 包装器，可与 scikit-learn 估计器组合使用，在验证数据上计算置换重要性并以表格形式展示权重及其标准差。^{5353eli5 — Permutation Importanceeli5.readthedocs.io前往参考资料 ↓在新标签页中打开}

neural-feature-importance 是一个面向深度学习模型的方差型特征重要性 Python 包，实现了 CR de Sá 提出的方法：用 Welford 算法跟踪第一层可训练层的方差，并输出归一化后的逐特征重要性分数。^{5454neural-feature-importancepypi.org前往参考资料 ↓在新标签页中打开}

neural-feature-importance 同时提供 VarianceImportanceKeras（可作为 TensorFlow/Keras 的回调直接嵌入训练）与 VarianceImportanceTorch（供 PyTorch 训练循环调用的辅助类），并附带复现论文实验的示例脚本。^{5454neural-feature-importancepypi.org前往参考资料 ↓在新标签页中打开}

FeatRanker 是一个面向特征排序的 Python 包：fit() 接收训练数据，rank_features() 要求单独的评估数据，从而在接口层面强制隔离训练与评估，降低重要性估计中的泄漏风险。^{5555featranker - FeatRanker trains configurable estimators on explicit training data, measures permutation importance on separate evaluation data...pypi.org前往参考资料 ↓在新标签页中打开}

FeatRanker 支持对 one-hot、编码类别或相关特征块用同一次行置换进行联合置换，并把多个模型各自的排名聚合为共识排名，而不是直接比较不同模型间不可比的原始重要性数值。^{5555featranker - FeatRanker trains configurable estimators on explicit training data, measures permutation importance on separate evaluation data...pypi.org前往参考资料 ↓在新标签页中打开}

FeatRanker 内置 41 个预配置模型条目（23 个分类、18 个回归），支持 scikit-learn 的 scorer 名称或 scorer 协议可调用对象，并输出逐模型评估分数与多次重复的原始重要性。^{5555featranker - FeatRanker trains configurable estimators on explicit training data, measures permutation importance on separate evaluation data...pypi.org前往参考资料 ↓在新标签页中打开}