RamanSeg: Interpretability-driven Deep Learning on Raman Spectra for Cancer Diagnosis
Department of Computer Science and Technology（计算机科学与技术系）；University of Cambridge（剑桥大学）；Department of Physics（物理系）；Department of Otorhinolaryngology（耳鼻喉科系）；Jena University Hospital（耶拿大学医院）；Section Pathology of the Institute of Forensic Medicine（法医学研究所病理学部）；Cambridge Raman Imaging Srl（剑桥拉曼成像有限公司）
RamanSeg通过可解释的深度学习方法在拉曼光谱中实现癌症诊断，提高了分割性能和可解释性。
2026-02-20 cs.AI cs.CV cs.LG
Interpretable Dimensionality Reduction by Feature Preserving Manifold Approximation and Projection
Frazer Institute（弗雷泽研究所）；University of Queensland（昆士兰大学）
本文提出可解释降维方法 featMAP，通过局部 SVD 逼近切空间并保持对齐嵌入低维空间，在保留局部相似性和原始密度的同时展示源特征及其重要性，成功用于解释数字分类、目标检测和 MNIST 对抗样本的误分类。
2024-04-02 cs.CV cs.LG
SVD Perspectives for Augmenting DeepONet Flexibility and Interpretability
Sandia National Laboratories（桑迪亚国家实验室）
深度运营商网络（DeepONets）是一种强大的架构，可以快速准确地模拟复杂的动态。由于其显着的泛化能力主要是由其基于投影的属性，我们调查的连接与低秩技术来自奇异值分解（SVD）。我们证明了适当正交分解（POD）-神经网络背后的一些概念可以改进DeepONet的设计和训练阶段。这些想法使我们产生了一种方法论扩展，我们将其命名为SVD-DeepONet。此外，通过多次SVD分析，我们发现DeepONet从其基于投影的属性中继承了以对称性为特征的动力学的强烈低效。受shifted-POD工作的启发，我们开发了flexDeepONet，这是一种架构增强，依赖于预转换网络来生成移动参考系并隔离动态的刚性组件。通过这种方式，可以在没有旋转、平移和拉伸的潜在空间上表示物理学，并且可以在低维基础上执行精确的投影。除了灵活性和可解释性之外，所提出的观点还提高了DeepONet的泛化能力和计算效率。例如，我们证明了flexDeepONet可以准确地替代燃烧化学应用中19个变量的动态，其依赖的可训练参数比vanilla架构少95%。我们认为，DeepONet和基于SVD的方法可以相互受益。特别是，前者在利用多个数据源和多保真度知识的形式，非结构化数据和物理信息约束的灵活性有可能大大扩展的方法，如POD和PCA的适用性。
2022-11-06 cs.LG math.AP physics.comp-ph
Orthogonal projection-based regularization for efficient model augmentation
Address 1（地址1）；Address 2（地址2）
本文提出一种基于正交投影的正则化技术，用于解决非线性系统辨识中加性模型增强结构的过参数化与物理可解释性丧失问题，有效提升了参数学习效果与模型精度。
2025-04-22 cs.LG cs.SY eess.SY
Approximated Orthogonal Projection Unit: Stabilizing Regression Network Training Using Natural Gradient
Zhejiang University（浙江大学）
针对工业软测量在线优化中稳定性和可解释性优先于精度的问题，提出具有坚实数学基础的新型神经网络 AOPU，通过截断梯度反向传播优化参数更新并近似自然梯度，在化学过程数据集上实现了更稳定的收敛。
2024-09-23 cs.AI cs.LG stat.ML
Exploring Local Explanations of Nonlinear Models Using Animated Linear Projections
Monash University（莫纳什大学）；Warsaw University of Technology（华沙理工大学）
针对局部变量归因难以处理预测变量关联的问题，本文将其转化为线性投影并借助radial tour动画检视交互、错误、异常值与聚类，且在R包cheem中实现。
2024-01-19 cs.AI cs.LG stat.ML
Understanding polysemanticity in neural networks through coding theory
LIACS, Leiden University（莱顿大学LIACS学院）；OpenAI（OpenAI公司）
针对神经元多义性导致神经网络可解释性不足的问题，本文结合神经科学与信息论工具，通过特征谱推断编码冗余度、用随机投影判断编码平滑性，提出新的可解释性方法并解释多义神经元的优势与相关研究趋势，推进了电路层面可解释性研究。
2024-01-31 cs.AI cs.LG
On the Interpretability of Deep Learning Based Models for Knowledge Tracing
ZheJiang GongShang University（浙江工商大学）；Southern Methodist University（南卫理公会大学）
知识追踪允许智能辅导系统推断学生已经掌握了哪些主题或技能，从而相应地调整课程。基于深度学习的模型，如深度知识跟踪（DKT）和动态键值记忆网络（DKVMN），与贝叶斯知识跟踪（BKT）和性能因素分析（PFA）等模型相比，已经取得了显着的改进。然而，这些基于深度学习的模型不像其他模型那样可解释，因为研究界并不完全理解深度神经网络学习的决策过程。在以前的工作中，我们批判性地研究了DKT模型，可视化和分析了DKT在高维空间中的行为。在这项工作中，我们用更大的数据集扩展了我们的原始分析，并增加了关于DKVMN模型的内存状态的讨论。我们发现，深度知识追踪有一些关键的陷阱：1）DKT更有可能学习一种“能力”模型，而不是通过时间来追踪每一种技能; 2）DKT的循环性质强化了它在追踪任务中使用的不相关信息; 3）未经训练的递归网络可以实现与训练的DKT模型类似的结果，支持了这样的结论，即递归关系没有被正确地学习，相反，改进仅仅是投影到高维稀疏向量空间中的益处。基于这些观察，我们提出了改进和未来的方向进行知识跟踪研究使用深度神经网络模型。
2021-01-27 cs.CY cs.LG
UDRN: Unified Dimensional Reduction Neural Network for Feature Selection and Feature Projection
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；China Telecom Corporation Limited, Hangzhou Branch（中国电信股份有限公司杭州分公司）
降维技术是将高维数据映射到一个低维的潜在空间，并以最小化的优化目标为优化目标。DR方法通常分为特征选择FS和特征投影FP。FS侧重于选择维度的关键子集，但有破坏数据分布（结构）的风险。另一方面，FP将所有输入特征组合到低维空间中，旨在保持数据结构，但缺乏可解释性和稀疏性。金融服务和金融产品传统上是不相容的类别;因此，它们没有被统一成一个友好的框架。我们建议理想的DR方法将FS和FP结合到统一的端到端流形学习框架中，同时执行基本特征发现，同时维护潜在空间中数据样本之间的内在关系。在这项工作中，我们开发了一个统一的框架，统一降维神经网络~（UDRN），以兼容的，端到端的方式集成FS和FP。我们改进了神经网络的结构，分别实现FS和FP任务使用两个堆叠的子网络。此外，为了提高该方法在处理大规模特征数据集时的泛化能力，设计了DR过程的数据增强，并设计了与数据增强相配合的损失函数。在四个图像和四个生物数据集上的大量实验结果，包括非常高维的数据，证明了DRN相对于现有方法（FS，FP和FS\&FP管道）的优势，特别是在分类和可视化等下游任务中。
2022-11-23 cs.LG
Ensembling geophysical models with Bayesian Neural Networks
University of Cambridge（剑桥大学）；Lancaster University（兰卡斯特大学）；British Antarctic Survey（英国南极调查局）
地球物理模型的集合提高了投影精度并表达了不确定性。我们开发了一种新的数据驱动的集成策略，使用贝叶斯神经网络，推断时空变化的模型权重和偏差，同时考虑异方差的不确定性的观察相结合的地球物理模型。这产生了更准确和不确定性感知的预测，而不会牺牲可解释性。应用于15个化学气候模型的集成总柱臭氧的预测，我们发现贝叶斯神经网络集成（BayNNE）优于现有的集成方法，实现了49.4%的时间外推的RMSE减少，和67.4%的RMSE减少极地数据空隙，相比加权平均值。不确定性也得到了很好的表征，我们的外推验证数据集中90.6%的数据点在2个标准差内，98.5%在3个标准差内。
2020-10-07 cs.LG physics.geo-ph stat.AP
Ontology Neural Networks for Topologically Conditioned Constraint Satisfaction
Department of Mechanical Engineering Soongsil University Seoul, Republic of Korea（机械工程系首尔大学韩国）
本研究提出一种结合拓扑条件和梯度稳定机制的本体神经网络框架，通过优化方法在约束满足任务中实现高效且可解释的优化。
2026-01-08 cs.LG stat.ML
Preserving Task-Relevant Information Under Linear Concept Removal
University of Amsterdam, Department of Quantitative Economics（阿姆斯特丹大学量化经济学系）；New York University, Center for Data Science（纽约大学数据科学中心）；Tinbergen Institute（廷伯根研究所）
针对现有线性概念移除方法易损害任务有用信号的问题，提出SPLINCE方法，通过斜向投影在移除敏感概念的同时保留标签协方差，在基准上取得更优效果。
2025-11-14 cs.LG
Contrastive Semantic Projection: Faithful Neuron Labeling with Contrastive Examples
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林技术大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Centre of eXplainable Artificial Intelligence, Technological University Dublin（可解释人工智能中心，都柏林技术大学）
本文提出对比语义投影(CSP)，通过视觉语言模型生成候选标签并结合CLIP-like编码器进行标签分配，改进神经元标注的准确性和语义粒度。
2026-04-29 cs.CV cs.LG
Emergent Latent-State Computation under Stochastic Volatility
Temple University（天普大学）；Dickinson College（迪金森学院）
研究序列模型在部分可观测下如何表示潜在随机动态，发现在随机波动率设置中有两阶段计算，Transformer中潜态可解码性在特定阶段出现，输出头替换揭示部分退化原因，为机械可解释性提供有用基准。
2026-07-29 cs.AI cs.LG q-fin.ST
Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics
Johns Hopkins University（约翰斯·霍普金斯大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出分解线性动力系统dLDS，通过字典学习和时变稀疏追踪，将复杂神经动力学表示为可解释成分的稀疏组合，实现平滑、重叠及多子网络动力学的建模与解混。
2023-06-16 cs.LG eess.SP q-bio.NC
Tversky Neural Networks: Psychologically Plausible Deep Learning with Differentiable Tversky Similarity
Department of Computer Science, 353 Jane Stanford Way（计算机科学系）
本文提出一种可微的Tversky相似度参数化方法及Tversky投影层，通过实验证明其在图像和语言任务中优于线性层，为构建心理学合理且可解释的神经网络提供了新范式。
2025-10-12 cs.AI cs.CL cs.CV
Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias
AMAP, Alibaba Group（阿里巴巴集团AMAP实验室）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Southern California（南加州大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
研究大语言模型作为评判者的偏差，提出偏差在隐藏状态有表示层面解释。通过七位评判者等实验发现，偏差输入沿特定子空间移动，操纵隐藏状态可控制评分，线性投影能预测评判失败，统一多方面内容。
2026-07-14 cs.AI cs.CL cs.LG
NBMLSS: probabilistic forecasting of electricity prices via Neural Basis Models for Location Scale and Shape
CNR（意大利国家研究委员会）；Institute of Intelligent Industrial Technologies and Systems for Advanced Manufacturing（智能工业技术与先进制造系统研究所）
提出位置尺度和形状的神经基模型（NBMLSS），结合GAMLSS的可解释性与可扩展共享基分解，在多市场电价预测中实现与分布神经网络相当的性能，同时提供更深入的模型行为见解。
2024-12-20 cs.LG
Anisotropic View Distance Metric for High-Dimensional Data: Theory, Geometry, and Fast Computation
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）
本文针对高维数据提出视图距离度量，通过正交投影实现特征耦合与各向异性处理，结合迭代最大权匹配策略将计算复杂度降至O(k)，在12个数据集上表现优于欧氏距离等度量，为相似性度量提供新方案。
2026-09-04 cs.LG cs.NA math.NA
Neural Network-based Partial-Linear Single-Index Models for Environmental Mixtures Analysis
Division of Biostatistics Department of Population Health NYU Grossman School of Medicine（生物统计学系人口健康部纽约大学 Grossman 医学院）
本文提出基于神经网络的偏线性单指数模型，用于分析环境混合物，兼顾可解释性和表达能力，支持多种结局类型，并提供开源工具实现。
2025-12-12 cs.LG stat.AP
NeuroHD-RA: Neural-distilled Hyperdimensional Model with Rhythm Alignment
Dept. of Electrical and Computer Engineering, Villanova University, Villanova, PA, USA（电气与计算机工程系，维拉诺瓦大学，维拉诺瓦，宾夕法尼亚州，美国）；Microsoft Research, Shanghai（微软研究院，上海）
本文提出NeuroHD-RA框架，通过RR间期节律对齐、神经蒸馏编码与二值超维投影提升ECG疾病检测性能，并在Apnea-ECG和PTB-XL上验证其优势。
2025-07-23 cs.AI cs.LG eess.SP
Learning with Boolean threshold functions
Department of Physics, Cornell（康奈尔大学物理系）
该研究提出了一种基于布尔阈值函数的神经网络训练方法，通过非凸约束形式实现稀疏表示和逻辑门等效，适用于多种离散任务。
2026-08-25 cs.AI cs.LG
A Weakly-Supervised Attention-based Visualization Tool for Assessing Political Affiliation
Virginia Tech（弗吉尼亚理工学院）
在这项工作中，我们试图微调一个弱监督的专家指导的深度神经网络（DNN），以确定政治派别。在这种情况下，立场检测用于确定政治派别或意识形态，其以低维空间中实体之间的相对接近度的形式构建。一个基于注意力的机制是用来提供模型的可解释性。使用静态和上下文嵌入的自然语言理解（NLU）深度神经网络被训练和评估。各种技术来可视化从网络生成的投影的可视化效率进行评估。这里给出了从数据摄取、处理和生成可视化的管道的概述。一个基于网络的框架，以促进这种互动和探索。总结了本研究的初步结果，并对今后的工作进行了展望。
2019-08-05 cs.AI cs.CL cs.HC
