Interpreting and Disentangling Feature Components of Various Complexity from DNNs
Shanghai Jiao Tong University（上海交通大学）
本文提出通用特征复杂度定义与解耦方法，并设计指标评估特征分量，揭示了特征复杂度与 DNN 性能的关系，可分析网络压缩和知识蒸馏。
2023-12-01 cs.AI cs.CV cs.LG
Disentangled Attribution Curves for Interpreting Random Forests and Boosted Trees
UC Berkeley（加州大学伯克利分校）
树集成，如随机森林和AdaBoost，是普遍存在的机器学习模型，以在各种领域实现强大的预测性能而闻名。然而，这种强大的性能是以可解释性为代价的（即用户无法理解经过训练的随机森林已经学习的关系以及它为什么要进行预测）。特别是，理解特定特征或特征组的贡献如何随着其值的变化而变化是具有挑战性的。为了解决这个问题，我们引入了分解属性曲线（DAC），一种以（多变量）特征重要性曲线的形式提供树集成方法的解释的方法。对于一个给定的变量或一组变量，DAC绘制变量值变化时变量的重要性。我们验证DAC的真实数据显示，曲线可以用来提高逻辑斯谛回归的准确性，同时保持可解释性，包括DAC作为一个额外的功能。在模拟研究中，DAC被证明在恢复条件期望方面优于竞争方法。最后，通过对自行车共享数据集的案例研究，我们展示了使用DAC来揭示数据集的新见解。
2019-05-18 cs.LG stat.ME stat.ML
Interpreting and improving deep-learning models with reality checks
University of California, Berkeley（加州大学伯克利分校）
最近的深度学习模型通过学习许多变量的复杂函数，取得了令人印象深刻的预测性能，但往往以可解释性为代价。本章涵盖了最近的工作，旨在解释模型归因于重要性的功能和功能组的一个单一的预测。重要的是，除了孤立的功能外，所提出的属性还重视功能之间的相互作用。这些属性被证明可以在现实世界的领域中产生见解，包括生物成像，宇宙学图像和自然语言处理。然后，我们将展示如何使用这些属性来直接提高神经网络的泛化能力，或将其提炼成一个简单的模型。在整个章节中，我们强调使用现实检查来仔细检查所提出的解释技术。
2021-08-19 cs.LG stat.ML
Causal Regularization
Amazon Development Center（亚马逊开发中心）
我认为，标准回归方法中的正则化项不仅有助于防止过度拟合有限数据，而且有时也会在无限样本制度中产生更好的因果模型。我首先考虑一个多维变量线性影响一个目标变量与一些多维未观察到的共同原因，其中混杂效应可以通过保持岭和拉索回归中的惩罚项，即使在人口限制减少。然而，选择惩罚项的大小是具有挑战性的，因为交叉验证是毫无意义的。在这里，首先通过前面提出的方法估计混杂的强度来完成，该方法对模拟和真实数据产生了一些合理的结果。此外，我证明了一个“因果泛化界”的状态（受特定模型的混淆），解释任何非线性回归的因果模型的错误可以从上面有界的功能时，从一个不太丰富的类。换句话说，边界保证了从观察分布到干预分布的“泛化”，这通常不是统计学习理论的主题（并且只有由于混淆模型的潜在对称性才是可能的）。
2019-06-28 cs.LG stat.ML
Interpreting random forest classification models using a feature contribution method
University of Bradford（布拉德福德大学）；University of Leeds（利兹大学）；Liverpool John Moores University（利物浦约翰摩尔斯大学）
模型解释是模型评估过程的关键环节之一。由于模型参数的可用性及其统计意义，解释模型变量和输出之间的关系对于统计模型（如线性回归）相对容易。对于“黑箱”模型，如随机森林，这些信息隐藏在模型结构中。本文提出了一种计算随机森林分类模型特征贡献的方法。它允许确定每个变量对单个实例的模型预测的影响。通过分析训练数据集的特征贡献，可以确定最重要的变量，以及它们对各个类的预测的典型贡献，即，类特定的特征贡献“模式”被发现。这些模式代表了模型的标准行为，并允许对新数据的模型可靠性进行额外评估。两个UCI基准数据集的特征贡献的解释显示了所提出的方法的潜力。通过对大量生成的随机森林模型计算的特征贡献进行广泛的分析，证明了结果的鲁棒性。
2013-12-04 cs.LG
When saliency goes off on a tangent: Interpreting Deep Neural Networks with nonlinear saliency maps
将复杂的机器学习系统用于关键应用的一个根本瓶颈是不知道它们为什么要做以及它们做什么，从而阻止了任何关键安全协议的开发。到目前为止，还没有一种方法可以提供对神经网络决策过程粒度的全面了解。在过去，显着图是通过敏感性计算解决这个问题的早期尝试，其中数据点的维度是根据系统输出对它们的敏感程度来选择的。然而，显着图的成功充其量是有限的，主要是因为它们通过线性近似来解释底层学习系统。我们提出了一类新的方法来生成非线性显着图，充分考虑到底层学习系统的非线性。虽然在线性显着图正确的简单问题上同意线性显着图，但他们清楚地识别了非线性更明显的复杂示例的更具体的分类驱动因素。这类新方法显著地有助于深度神经网络和相关机器学习系统的可解释性。至关重要的是，它们为在严肃的应用程序中更广泛地使用它们提供了一个起点，在这些应用程序中，“为什么”与“是什么”同样重要。
2023-01-16 cs.LG stat.ML
Interpreting Layered Neural Networks via Hierarchical Modular Representation
NTT Communication Science Laboratories（NTT通信科学实验室）
解释复杂模型的预测机制是目前机器学习领域最重要的任务之一，特别是分层神经网络，它已经在各种实际数据集上取得了很高的预测性能。为了以一种可解释的方式揭示一个训练好的神经网络的全局结构，已经提出了一系列的聚类方法，这些方法根据推理角色的相似性将单元分解成簇。这些研究中的主要问题是：（1）我们没有关于分解的最佳分辨率或适当的聚类数量的先验知识，以及（2）没有方法来获取关于每个聚类的输出是否与输入和输出维度值呈正相关或负相关的知识。在本文中，为了解决这些问题，我们提出了一种方法，用于获得分层神经网络的分层模块化表示。层次聚类方法的训练网络的应用程序揭示了隐藏层单元之间的树结构的关系，根据其特征向量定义的输入和输出维度值的相关性。
2018-10-03 cs.LG stat.ML
Interpreting CNN for Low Complexity Learned Sub-pixel Motion Compensation in Video Coding
BBC Research and Development（BBC研发部）；Dublin City University（都柏林城市大学）
深度学习在图像和视频压缩任务中显示出巨大的潜力。然而，它带来的比特节省的成本显着增加编码的复杂性，这限制了其在实际应用中的实施潜力。在本文中，提出了一种新的基于神经网络的工具，提高了分数精度运动补偿所需的参考样本的插值。与以前的努力相反，所提出的方法侧重于通过解释网络学习的插值滤波器来降低复杂度。当该方法在通用视频编码（VVC）测试模型中实现时，与基线VVC相比，单个序列的BD速率节省高达4.5%，而与全神经网络的应用相比，学习插值的复杂性显着降低。
2020-06-11 cs.CC cs.CV cs.LG
A Unified Approach to Interpreting Model Predictions
在许多应用中，理解模型为什么做出某种预测与预测的准确性一样重要。然而，大型现代数据集的最高准确性通常是由复杂的模型实现的，即使是专家也难以解释，例如集成或深度学习模型，从而在准确性和可解释性之间产生了紧张关系。作为回应，最近提出了各种方法来帮助用户解释复杂模型的预测，但通常不清楚这些方法是如何相关的，以及何时一种方法优于另一种方法。为了解决这个问题，我们提出了一个统一的框架来解释预测，SHAP（SHapley加法解释）。SHAP为每个特征分配特定预测的重要性值。其新颖的组成部分包括：（1）一类新的加性特征重要性度量的识别，以及（2）理论结果表明在这类中存在具有一组期望性质的唯一解。新的类统一了六个现有的方法，值得注意的是，因为类中的几个最近的方法缺乏建议的理想属性。基于这种统一的见解，我们提出了新的方法，显示出更好的计算性能和/或更好的一致性与人类的直觉比以前的方法。
2017-11-25 cs.AI cs.LG stat.ML
Scalable Circuit Learning for Interpreting Large Language Models
University of California, Berkeley（加州大学伯克利分校）
提出CircuitLasso方法，基于稀疏线性回归高效学习LLM中的稀疏电路，以SAE特征为单元，在保持结构准确性的同时大幅降低计算成本，并揭示语义特征传播机制。
2026-10-12 cs.AI cs.LG
WinTSR: A Windowed Temporal Saliency Rescaling Method for Interpreting Time Series Deep Learning Models
University of Virginia（弗吉尼亚大学）；School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院）
本文提出 WinTSR 解释方法，通过窗口化时间显著性重标定捕捉时间依赖性并缩放特征重要性，在多个最新深度模型和真实数据集上显著优于现有局部解释方法，并提供开源框架。
2025-03-09 cs.AI cs.LG
Interpreting Criminal Charge Prediction and Its Algorithmic Bias via Quantum-Inspired Complex Valued Networks
Stevens Institute of Technology（史蒂文斯理工学院）；Rutgers University（罗格斯大学）
虽然预测性警务在协助刑事司法系统的决定方面越来越普遍，但这些结果的使用仍然存在争议。一些基于深度学习的软件缺乏准确性（例如，在F-1中），而且重要的是，许多决策过程并不透明，这引起了人们对决策偏见的怀疑，例如感知到的种族和年龄差异。本文讨论了偏见问题与事后的解释，提供一个可信的预测，一个人是否会收到未来的刑事指控，一个人以前的犯罪记录，通过学习时间的行为模式超过二十年。Bi-LSTM缓解了消失梯度问题，注意力机制允许学习和解释特征重要性，复值网络启发了量子物理学，以促进决策过程建模的一定程度的透明度。我们的方法在真实数据集上显示出一致和可靠的预测精度和召回率。我们对每个输入特征的重要性的分析显示了对决策的关键因果影响，这表明犯罪历史是统计上重要的因素，而种族和年龄等标识符则不是。最后，我们的算法表明，嫌疑人倾向于，而不是突然增加犯罪严重程度随着时间的推移逐渐。
2021-07-14 cs.LG
Proper Complex Gaussian Processes for Regression
University of Seville（塞维利亚大学）
复值信号用于工程和科学中许多系统的建模，因此具有根本的意义。通常，随机复值信号被认为是适当的。一个真正的复随机变量或过程与它的复共轭是不相关的。在许多问题中，这个假设是基本物理的一个很好的模型，并且简化了计算。虽然线性处理和神经网络已被广泛研究这些信号，复值非线性核方法的发展仍然是一个悬而未决的问题。在本文中，我们提出回归高斯过程作为开发1）适当复值核回归的解决方案和2）使用互协方差的卷积方法设计复值输入的再生核的框架。在这种设计中，我们注意保持，在复杂的域，附近的输入之间的相似性的措施。学习核的超参数，使用Wirtinger导数最大化边际似然。此外，该方法连接到多输出学习场景。在包括的实验中，我们首先解决了一个适当的复高斯过程，其中互协方差不抵消，当处理适当的复信号时，这是一个具有挑战性的场景。然后，我们成功地使用这些新的结果来解决以前提出的一些问题，在文献中作为基准，报告的估计误差显着改善。
2015-02-18 cs.LG stat.ML
Hypothesis Testing and Machine Learning: Interpreting Variable Effects in Deep Artificial Neural Networks using Cohen's f2
University of South Carolina（南卡罗来纳大学）；University of Kassel（卡塞尔大学）；University of Wales（威尔士大学）；Technical University Munich（慕尼黑工业大学）；University of Newcastle upon Tyne（纽卡斯尔大学）；Università per Stranieri di Perugia（佩鲁贾外国人大学）
本文提出一种模型无关的假设检验框架，通过改进Fisher置换算法计算Cohen's f2效应量，并结合Mann-Kendall检验和Theil-Sen估计器分析累积局部效应图，以解释深度神经网络的变量效应。
2023-02-02 cs.AI cs.LG stat.ME
On the Sample Complexity of Rank Regression from Pairwise Comparisons
Northeastern University（东北大学）
我们考虑秩回归设置，其中具有$\mathbb{R}^d$中的特征的$N$样本的数据集由Oracle通过$M$成对比较进行排名。具体来说，存在一个潜在的总排序的样本;当一对样本，一个嘈杂的预言机识别排名较高的一个相对于底层的总排序。学习者观察这种比较的数据集，并希望从它们的特征回归样本排名。我们表明，学习模型参数与$ε> 0$的准确性，它足以进行$M \in Ω(dN\log^3 N/ε^2)$比较均匀随机$N$时，$Ω(d/ε^2)$。
2021-05-04 cs.LG stat.ML
Deep transformation models: Tackling complex regression problems with neural network based transformation models
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；Konstanz University of Applied Sciences（康斯坦茨应用科学大学）
我们提出了一个概率回归的深度转换模型。深度学习以在复杂数据上进行非常准确的预测而闻名，但在回归任务中，它主要用于预测单个数字。这忽略了大多数任务的非确定性特征。特别是如果关键决策是基于预测的，比如在医疗应用中，量化预测的不确定性是至关重要的。所提出的深度学习转换模型估计整个条件概率分布，这是捕获结果不确定性的最彻底方法。我们将来自统计转换模型（最可能的转换）的想法与来自深度学习（标准化流）的最新转换模型相结合，以预测复杂的结果分布。该方法的核心是一个参数化的转换函数，可以使用梯度下降与通常的极大似然框架进行训练。该方法可以与现有的深度学习架构相结合。对于小型机器学习基准数据集，我们报告了大多数数据集的最新性能，部分甚至优于它。我们的方法适用于复杂的输入数据，我们通过在图像数据上采用CNN架构来证明这一点。
2020-04-01 cs.LG stat.ML
Low Complexity Approximate Bayesian Logistic Regression for Sparse Online Learning
Google（谷歌）；Purdue University（普渡大学）
理论结果表明，贝叶斯方法可以实现在线逻辑回归的遗憾下界。然而，在实践中，这种技术可能不可行，特别是对于非常大的特征集。对于巨大的稀疏特征集，必须使用各种近似，从而减少理论上的优势。通常，他们应用随机梯度方法，超参数必须根据一些替代损失进行调整，从而击败贝叶斯方法的理论优势。替代损失，定义为近似的混合，需要的技术，如蒙特卡罗抽样，增加每个例子的计算。我们提出了低复杂度的分析近似稀疏在线逻辑和概率回归。与变分推理和其他方法不同，我们的方法使用解析闭合形式，大大降低了计算量。与密集的解决方案不同，作为高斯混合，我们的方法允许具有巨大特征集的稀疏问题，而不会增加复杂性。使用解析闭合形式，也不需要对代理损失应用随机梯度方法，也不需要调整和平衡学习和正则化超参数。经验结果顶部的性能更涉及计算的方法。像这样的方法，我们的方法仍然揭示每个功能和每个例子的不确定性措施。
2021-01-28 cs.LG stat.ML
Complex-Valued Kernel Methods for Regression
University of Seville（塞维利亚大学）；University Carlos III de Madrid（马德里卡洛斯三世大学）
通常，复值RKHS是实值情况的直接应用。在本文中，我们证明了这个过程产生一个有限的解决方案回归。我们证明了另一个内核，这里表示为伪内核，需要学习复值域中的任何函数。因此，我们推导出一种新的RKHS，广泛的RKHS（WRKHS）。当伪核取消时，WRKHS减少到以前方法的复值RKHS。我们解决了内核和伪内核的设计，注意内核和伪内核是复值的。在实验中，我们报告显着的改进，在简单的情况下，实部和虚部有不同的相似关系，对于给定的输入或实部和虚部相关的情况下。在这些新的结果的背景下，我们重新审视非线性信道均衡的问题，表明WRKHS有助于设计更有效的解决方案。
2016-10-31 cs.LG stat.ML
Which bills are lobbied? Predicting and interpreting lobbying activity in the US
University of Tartu（塔尔图大学）；University of East Anglia（东英吉利大学）
使用来自OpenSecrets.org的游说数据，我们提供了几个应用机器学习技术的实验，以预测一项立法（美国法案）是否受到游说活动的影响。我们还调查了游说活动的强度的影响如何辨别游说法案是从一个不受游说。我们比较了许多不同模型（逻辑回归，随机森林，CNN和LSTM）和文本嵌入表示（BOW，TF-IDF，GloVe，Law 2 Vec）的性能。我们报告的结果超过0.85%ROC AUC评分，准确率为78%。当研究游说强度较高的法案时，模型性能显著提高（95% ROC AUC和88%准确度）。我们还提出了一种方法，可用于未标记的数据。通过这一点，我们表明，有相当数量的以前未标记的美国法案，我们的预测表明，一些游说活动发生。我们相信，我们的方法可能有助于美国游说披露法（LDA）的执行，指出可能受到游说影响但没有提交的法案。
2020-04-29 cs.CL cs.LG econ.GN
Complex Support Vector Machines for Regression and Quaternary Classification
University of Athens（雅典大学）；Research Academic Computer Technology Institute（学术计算机技术研究所）；Boston University（波士顿大学）
本文提出了一个新的框架复杂的支持向量回归机以及支持向量机的四元分类。该方法利用宽线性估计的概念来建模复值数据的输入-输出关系，并考虑两种情况：a）将复数据分成其实部和虚部，并采用典型的实核将复数据映射到复杂的特征空间; b）使用纯复核将数据直接映射到诱导的复特征空间。最近开发的Wirtinger的演算复再生核希尔伯特空间（RKHS），以计算拉格朗日和导出的对偶优化问题。作为我们的主要成果之一，我们证明了任何复杂的SVM/SVR任务是等效的解决两个真正的SVM/SVR任务利用一个特定的实内核，这是由所选择的复杂的内核。特别是，纯复杂内核的情况下，导致新的内核，这是以前没有考虑过的。在分类的情况下，所提出的框架固有地将复杂空间分成四个部分。这自然导致解决四类任务（四元分类），而不是真正SVM的典型两类。反过来，这个原理可以在多类问题中使用，作为基于四个类的分裂类场景，而不是一个对所有的方法;这可以导致显着的计算节省。实验表明，所提出的框架的回归和分类任务，涉及复杂的数据的有效性。
2014-07-15 cs.LG stat.ML
Building and Interpreting Deep Similarity Models
Berlin Institute of Technology（柏林工业大学）；Max Planck Institute for the History of Science（马克斯·普朗克科学史研究所）；Korea University（高丽大学）；Max Planck Institut für Informatik（马克斯·普朗克信息学研究所）
许多学习算法，如核机器、最近邻、聚类或异常检测，都是基于“距离”或“相似性”的概念。在相似性用于训练实际的机器学习模型之前，我们想验证它们是否与数据中有意义的模式相关联。在本文中，我们建议通过增加输入功能的解释来使相似性可解释。我们开发了BiLRP，一个可扩展的和理论上成立的方法，系统地分解对输入功能的相似性分数。我们的方法可以表示为LRP解释的组合，这在以前的作品中被证明是高度非线性函数。通过一系列广泛的实验，我们证明了BiLRP可以稳健地解释复杂的相似性模型，例如基于VGG-16深度神经网络特征构建的模型。此外，我们将我们的方法应用于数字人文领域的一个开放问题：详细评估天文表等历史文件之间的相似性。在这里，BiLRP再次提供了洞察力，并将可验证性带入了高度工程化和特定问题的相似性模型中。
2020-03-11 cs.LG stat.ML
Regression with Uncertainty Quantification in Large Scale Complex Data
Rochester Institute of Technology（罗切斯特理工学院）
虽然最近提出了几种预测深度网络上不确定性的方法，但它们并不容易转化为大型复杂的数据集。在本文中，我们利用简化形式的混合密度网络（MDNs）产生一个一次性的方法来量化回归问题中的不确定性。我们表明，我们的不确定性界限是在标准杆或优于其他现有的方法。当应用于标准回归基准数据集时，与现有的最先进的方法相比，我们在预测对数似然和均方根误差方面有所改进。我们还证明了这种方法的有效性随机，高度波动的时间序列数据，股票价格预测的下一个时间间隔。由此产生的不确定性图总结了股票价格图中的显著异常。此外，我们将此方法应用于具有挑战性的IMDb-Wiki数据集的50万张人脸图像的年龄估计任务。我们成功地预测了与预测相关的不确定性，并实证分析了不确定性的根本原因。这种不确定性量化可用于预处理低质量数据集并进一步实现学习。
2019-12-04 cs.LG stat.ML
Sheaves as a Framework for Understanding and Interpreting Model Fit
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
随着数据规模和复杂性的增长，找到有助于解释和分析的框架变得至关重要。当数据来自复杂的系统时尤其如此，在复杂的系统中，广泛的结构是可用的，但必须从外围来源提取。在本文中，我们认为在这种情况下，层可以提供一个自然的框架来分析统计模型在局部水平（即相关数据点的子集）与全局水平（所有数据）的拟合程度。我们提出的基于层的方法具有足够的通用性，可以在一系列应用中使用，从分析传感器网络到理解深度学习模型的特征空间。
2021-05-21 cs.CV cs.LG math.AT
A framework for predicting, interpreting, and improving Learning Outcomes
Indiavidual Learning Pvt Ltd（印度维亚杜尔学习私人有限公司）
人们早就认识到，学术成功是认知和非认知维度共同作用的结果。因此，任何旨在提高学习成果（LO）的智能学习平台都必须在这些方面为学习者提供可操作的输入。然而，在可扩展的生产环境中将这些投入投入付诸实施并非易事。我们开发了一个Embibe分数商数模型（ESQ），根据观察到的学生的学业，行为和考试的特点来预测考试成绩。ESQ可用于预测学生未来的得分潜力，并提供个性化的学习轻推，这两者对提高LO至关重要。针对预测任务评估多个机器学习模型。为了向学习者提供有意义的反馈，计算每个特征的个性化Shapley特征属性。通过应用非参数分位数回归获得预测区间，以量化预测中的不确定性。我们将上述建模策略应用于由Embibe学习平台上的一亿多个学习者交互组成的数据集。我们观察到，在几个用户细分中，观察到的和预测的分数之间的中位数绝对误差为4.58%，预测和观察到的反应之间的相关性为0.93。在反事实的例子中，类似游戏的假设场景被用来观察LO的变化。我们简要地讨论了理性代理如何通过将上述模型视为Oracle来应用最优策略来影响学习结果。
2020-10-12 cs.AI cs.CY cs.LG
From Outcome to Representation: Tracing Reasoning Mechanisms through Integrated Policy Gradient
Independent Researcher（独立研究者）；ShanghaiTech University（上海科技大学）
本文提出集成策略梯度框架，通过反向传播复合结果信号，实现对大语言模型推理行为的精确解释与控制。
2026-11-05 cs.AI cs.CL cs.LG
Variational Autoencoded Regression: High Dimensional Regression of Visual Data on Complex Manifold
Seoul National University（首尔国立大学）；Imperial College London（帝国理工学院）
本文将高斯过程回归方法融入到变分自编码器框架中，提出了一种新的高维回归方法。与其他回归方法相比，所提出的方法侧重于输出响应位于复杂高维流形（如图像）上的情况。我们的贡献总结如下：（i）提出了一种新的回归方法估计高维图像响应，这是不处理现有的回归算法，。(ii)所提出的回归方法引入了一种策略来学习潜在空间以及编码器和解码器，使得潜在空间中的回归响应的结果与数据空间中的相应响应一致。(iii)该方法被嵌入到生成模型中，整个过程由变分自编码器框架开发。我们证明了我们的方法的鲁棒性和有效性，通过各种视觉数据回归问题的实验。
2019-08-12 cs.CV cs.LG
A Unified Approach to Interpreting Knowledge Distillation for Large Language Models via Interactions
研究大语言模型知识蒸馏有效性背后机制，提出统一方法，通过交互分解输出分数，发现共同机制是交互稀疏化，不同方法性能差异源于处理复杂交互能力，进而提出CIP损失函数，实验证明其能提升多种KD方法性能。
2026-07-13 cs.AI cs.CL cs.GT
Interpreting artificial neural networks to detect genome-wide association signals for complex traits
University of Tartu（塔尔图大学）；Institute of Genomics（基因组学研究所）；Estonian Genome Centre（爱沙尼亚基因组中心）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；LISN（巴黎萨克雷大学国家科学研究实验室）；Paris-Saclay University（巴黎萨克雷大学）；Estonian Biobank（爱沙尼亚生物银行）
针对复杂疾病遗传结构研究中传统统计方法的局限性，本研究训练人工神经网络预测复杂性状，通过事后可解释性方法识别潜在关联位点并计算p值，模拟和真实队列数据验证了其有效性，为GWAS提供了新方法。
2025-02-10 cs.LG q-bio.GN q-bio.QM
The limits of interpretability in multiple linear regression
Indian Institute of Science Education and Research（印度科学教育与研究学院）；Innovation and Research Division, Ge-Room Inc.（Ge-Room公司创新与研究部）；Dipartimento di Fisica, Università di Trieste（特里este大学物理系）；Univ. Grenoble Alpes, CNRS, LIPhy（格勒诺布尔阿尔卑斯大学，CNRS，LIPhy）
本文通过分析特征相关矩阵的本征模，理论解释了多重共线性导致线性回归权重不稳定和振荡模式，从而丧失可解释性的机制，并验证了岭回归的缓解作用。
2026-06-16 cond-mat.dis-nn cs.LG physics.data-an
CORE: A Knowledge Graph Entity Type Prediction Method via Complex Space Regression and Embedding
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
实体类型预测是知识图谱研究中的一个重要问题。提出了一种新的KG实体类型预测方法CORE（Complex space Regression and Embedding）。所提出的CORE方法利用了两个复杂空间嵌入模型的表达能力，即RotatE和ComplEx模型。它使用RotatE或ComplEx在两个不同的复杂空间中嵌入实体和类型。然后，我们推导出一个复回归模型来连接这两个空间。最后，介绍了一种机制，以优化嵌入和回归参数联合。实验表明，CORE优于基准测试方法在代表KG实体类型推断数据集。分析了各种实体类型预测方法的优缺点。
2021-12-19 cs.AI cs.LG cs.SI
Complex-Valued Gaussian Processes for Regression
Universidad de Sevilla（塞维利亚大学）；Swiss Data Science Center（瑞士数据科学中心）；University Carlos III de Madrid（马德里卡洛斯三世大学）；Stevens Institute of Technology（史蒂文斯理工学院）
在本文中，我们提出了一种新的贝叶斯解决方案的非线性回归在复杂的领域。核方法的以前的解决方案通常假设复杂化方法，其中实值核被复值核取代。这种方法是有限的。基于复值线性理论和高斯随机过程中的结果，我们证明了伪核必须包括在内。这是发展高斯回归过程（CGPR）的新复值公式的起点。我们面对的协方差和伪协方差的设计基于卷积方法和几种情况。只有在输出正确的特定情况下，伪内核才会取消。此外，协方差的超参数{可以学习}使用Wirtinger演算和模式化复值矩阵导数最大化边际似然。在包括的实验中，我们展示了CGPR如何成功地解决实部和虚部相关的系统。此外，我们成功地解决了非线性信道均衡问题，通过开发一个递归的解决方案与基删除。与以前的解决方案相比，我们报告了显着的改进：MSE降低了2-4 dB，而以前的方法使用的训练样本仅为{四分之一}。
2018-02-28 cs.LG
Under the Microscope: Interpreting Readability Assessment Models for Filipino
National University（国立大学）；De La Salle University（德拉萨大学）
易读性评估是确定特定文本对于其预期受众的难易程度的过程。方法已经从使用算术公式发展到使用机器学习算法训练的更复杂的模式识别模型。虽然使用这些方法提供了有竞争力的结果，有限的工作是在分析语言变量如何影响模型推理定量。在这项工作中，我们解剖机器学习为基础的可读性评估模型在菲律宾进行全球和本地模型解释，以了解不同的语言特征的贡献，并讨论其影响的菲律宾语的上下文中。结果表明，使用从全球解释的顶部特征训练的模型获得了更高的性能比使用斯皮尔曼相关性选择的特征。同样，我们还根据经验观察了用于在极细粒度水平上区分阅读困难的局部特征权重边界，以及如果值被扰动时它们的相应影响。
2021-10-01 cs.CL cs.LG
Query Complexity of Least Absolute Deviation Regression via Robust Uniform Convergence
George Mason University（乔治梅森大学）；University of California, Berkeley（加州大学伯克利分校）
考虑一个回归问题，其中学习器被给予大量的$d$维数据点，但只能查询实值标签的一个小子集。需要多少次查询才能获得最佳值的$1+ε$相对误差近似值？虽然这个问题已被广泛研究的最小二乘回归，很少有人知道其他损失。一个重要的例子是最小绝对偏差回归（$\ell_1$回归），与最小二乘法相比，它对离群值具有更好的鲁棒性。我们开发了一个新的框架来分析回归问题中的重要性采样方法，这使我们能够证明最小一乘偏差回归的查询复杂性是$Θ(d/ε^2)$的对数因子。我们进一步扩展我们的技术，以显示查询复杂性的第一个界限的任何$\ell_p$损失与$p\in(1,2)$。在我们的分析中，作为一个关键的新颖性，我们引入了鲁棒一致收敛的概念，这是一个新的近似保证的经验损失。虽然它受到统计学习中的一致收敛的启发，但我们的方法还包含了一个校正项，以避免由于离群值而导致的不必要的方差。这可以被看作是统计学习理论和随机优化中的方差缩减技术之间的新联系，这应该是独立的兴趣。
2021-06-28 cs.DS cs.LG
Interpreting Inflammation Prediction Model via Tag-based Cohort Explanation
University of California, Davis（加利福尼亚大学戴维斯分校）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于局部特征重要性分数的队列解释框架，通过标签生成简洁的簇描述，并在食物炎症预测模型上验证其能产生符合领域知识的可靠解释。
2024-10-17 cs.AI cs.LG
What Do They See? Interpreting Complex Road Scenarios Through the Eyes of Vision-Language-Action Models for Safe and Trustworthy Autonomous Vehicle Learning
Birla Institute of Technology and Science, Pilani（贝拉理工科学学院皮拉尼分校）；University of California, Merced（加州大学默塞德分校）
研究自动驾驶模型内部逻辑不透明问题，提出反事实消融框架CVAA，通过移除摄像头图像中物体创建反事实集评估模型响应差异，应用于阿尔帕马约1轨迹预测器，分析物体因果影响，还通过可解释性技术深入理解模型，创建可解释驾驶系统巩固人机信任。
2026-07-21 cs.AI cs.CV cs.LG
Interpreting Machine Learning Malware Detectors Which Leverage N-gram Analysis
University of Windsor（温莎大学）
在网络攻击检测和预防系统中，网络安全分析师总是喜欢像基于规则或基于签名的检测一样可解释和可理解的解决方案。这是因为需要调整和优化这些解决方案，以减轻和控制误报和漏报的影响。解释机器学习模型是一个全新的开放性挑战。然而，预期可解释的机器学习解决方案将是领域特定的。例如，医疗保健中机器学习模型的可解释解决方案与恶意软件检测中的解决方案不同。这是因为这些模型很复杂，而且大多数都是黑箱。最近，恶意软件作者绕过反恶意软件系统的能力越来越强，这迫使安全专家将目光投向机器学习，以创建强大的检测系统。如果这些系统要在行业中得到依赖，那么除了其他挑战外，它们还必须解释它们的预测。本文的目的是评估当前最先进的ML模型可解释性技术应用于基于ML的恶意软件检测器时。我们在实践中展示了可解释性技术，并评估了现有的可解释性技术在恶意软件分析领域的有效性。
2020-01-27 cs.AI cs.CR cs.LG
scSiameseClu: A Siamese Clustering Framework for Interpreting single-cell RNA Sequencing Data
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；College of Life Science, Northeast Agricultural University（东北农业大学生命科学学院）；SKL-IOTSC and Department of CIS, University of Macau（澳门大学SKL-IOTSC和CIS系）；Jilin University（吉林大学）
针对scRNA-seq数据聚类面临的噪声、高维及GNN过平滑等问题，提出含双增强、孪生融合、最优传输聚类三步的scSiameseClu框架，在7个数据集的多项任务上性能优于现有最优方法。
2025-10-02 cs.AI cs.LG q-bio.GN
Interpreting core forms of urban morphology linked to urban functions with explainable graph neural network
Technical University of Munich（慕尼黑工业大学）；School of Tourism Management, Sun Yat-sen University（中山大学旅游学院）；Massachusetts Institute of Technology（麻省理工学院）
提出可解释深度学习框架CoMo，将复杂城市形态符号化为核心表征，在波士顿验证其与城市功能关联，并证明形态直接影响土地利用效率。
2025-02-22 cs.CE cs.LG
Interpreting Deep Learning based Cerebral Palsy Prediction with Channel Attention
Northumbria University（诺森比亚大学）；City University of Hong Kong（香港城市大学）；Durham University（杜伦大学）
脑瘫的早期预测是必不可少的，因为它导致早期治疗和监测。深度学习在生物医学工程中显示出了很有前途的结果，这要归功于它用非线性结构对复杂数据建模的能力。然而，由于其复杂的结构，深度学习模型通常无法被人类解释，这使得临床医生很难依赖这些发现。在这篇论文中，我们提出了一个通道注意力模块，用于深度学习模型从婴儿的身体运动预测脑瘫，它突出了模型识别为重要的关键特征（即身体关节），从而表明为什么会发现某些诊断结果。为了突出深度网络在建模输入特征方面的能力，我们使用原始关节位置而不是手工制作的特征。我们验证我们的系统与现实世界的婴儿运动数据集。我们提出的通道注意模块使网络考虑的这种疾病的重要关节可视化。我们的系统达到了91.67%的准确率，抑制了其他最先进的深度学习方法。
2021-06-08 cs.CV cs.LG eess.IV
Interpreting Time Series Transformer Models and Sensitivity Analysis of Population Age Groups to COVID-19 Infections
University of Virginia（弗吉尼亚大学）
本研究针对Transformer时间序列模型可解释性难题，收集美国3142县三年新冠数据，对比选出最优预测模型，提出基于扰动的年龄组敏感性评估方法，验证8种解释方法效果，且框架可推广至多时间序列领域。
2024-01-26 cs.AI cs.LG q-bio.PE
Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain)
Neuroscience Institute（神经科学研究所）；Department of Machine Learning（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
NLP的神经网络模型通常在没有语言规则的显式编码的情况下实现，但它们能够打破一个又一个的性能记录。这引起了人们对解释这些网络所学习的表征的大量研究兴趣。我们在这里提出了一种新的解释方法，它依赖于我们唯一能理解语言的处理系统：人脑。我们使用受试者阅读复杂自然文本的大脑成像记录来解释最近4个NLP模型- ELMo，USE，BERT和Transformer-XL的单词和序列嵌入。我们研究了它们的表示如何在层深度，上下文长度和注意力类型上有所不同。我们的研究结果揭示了这些模型中与上下文相关的表示的差异。此外，在Transformer模型中，我们发现层深度和上下文长度之间以及层深度和注意类型之间存在相互作用。我们最后假设，改变BERT以更好地与大脑记录保持一致，将使它能够更好地理解语言。使用句法NLP任务探测改变后的BERT显示，具有增加的大脑对齐的模型优于原始模型。认知神经科学家已经开始使用NLP网络来研究大脑，这项工作关闭了NLP和认知神经科学之间的互动，使其成为真正的交叉授粉。
2019-11-13 cs.AI cs.CL cs.LG
Complex support vector machines regression for robust channel estimation in LTE downlink system
Tunisia Polytechnic School（突尼斯综合理工学院）；Carthage University（迦太基大学）
本文研究了在高移动性环境下，参考信号受到非高斯脉冲噪声干扰的LTE下行链路信道估计问题。通过使用基于应用于长期演进（LTE）下行链路的非线性复支持向量机回归（SVR）的信道估计器来执行频率选择性时变多径衰落信道的估计。该估计算法利用导频信号估计高选择性衰落多径信道的总频率响应。该算法将训练数据映射到高维特征空间，利用结构风险最小化原理对衰落信道的频率响应函数进行回归估计。仿真结果表明，该方法比传统的最小二乘（LS）方法和判决反馈方法具有更好的跟踪性能。
2014-12-10 cs.IT cs.LG math.IT
Interpreting Imagined Speech Waves with Machine Learning techniques
Indian Institute of Technology Bombay（孟买印度理工学院）
本研究探讨了对想象语音信号进行解码的可能性，这种解码可用于创建一种新的人机接口设计。由于产生EEG信号的基本过程是未知的，各种特征提取方法，以及不同的神经网络（NN）模型，被用来近似数据分布和分类IS信号。基于实验结果，前馈神经网络模型的集成和协方差矩阵变换的功能相比，其他现有的方法表现出最高的性能。为了进行比较，使用了三个公开的数据集。我们报告的平均分类准确率为80%之间的休息和想象的状态，96%和80%的解码长和短的话在两个数据集。这些结果表明，有可能区分脑信号（在休息状态期间产生）与IS脑信号。基于实验结果，我们建议可以使用字长和复杂度来解码IS信号，具有高精度，和BCI系统可以设计与IS信号的计算机交互。这些思想和结果为开发商业级的基于信息系统的脑机接口系统提供了方向，该系统可用于日常生活中的人机交互。
2020-11-25 cs.HC cs.LG cs.SD
