Impact of Accuracy on Model Interpretations
Cornell University（康奈尔大学）
模型解释通常用于从机器学习模型中提取真实世界的见解。这些解释有着广泛的应用;它们可以作为业务建议或用于评估模型偏差。对于数据科学家来说，选择值得信赖的解释来推动现实世界的影响至关重要。这样做需要了解模型的准确性如何影响标准解释工具的质量。在本文中，我们将探讨模型的预测精度如何影响口译质量。我们提出了两个指标来量化解释的质量，并设计了一个实验来测试这些指标如何随模型精度而变化。我们发现，对于可以通过各种方法准确建模的数据集，更简单的方法可以产生更高质量的解释。我们还确定了哪种解释方法最适合较低水平的模型精度。
2020-11-17 cs.AI cs.LG
Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
Tokyo Institute of Technology（东京工业大学）；Gunma University（群马大学）；RIKEN AIP（理化学研究所先进智能项目中心）
在知识图谱嵌入中，softmax交叉熵与负采样损失函数之间的理论关系尚未得到研究。这使得很难公平地比较两个不同的损失函数的结果。我们试图通过使用Bregman散度来解决这个问题，以提供对softmax交叉熵和负采样损失函数的统一解释。在这种解释下，我们可以得出理论上的发现，以进行公平的比较。在FB 15 k-237和WN 18 RR数据集上的实验结果表明，理论研究结果在实际环境中是有效的。
2022-03-16 cs.CL cs.LG stat.ML
A Structural Interpretation of GELU and Threshold-Transmission Activations via the First-Order Loss Function
Business School, University of Edinburgh（爱丁堡大学商学院）
基于高斯互补一阶损失函数对GELU给出互补解释，将损失核算与前向信号传输分离，推广到阈值传输族，实验表明校准或学习的均匀阈值门有竞争力且能改进。
2026-07-27 cs.LG math.OC stat.ML
Contrastive Classification and Representation Learning with Probabilistic Interpretation
Toyota Motor Europe（丰田汽车欧洲公司）；Czech Technical University in Prague（捷克布拉格技术大学）
交叉熵损失已经作为基于分类的任务的主要目标函数。广泛用于学习神经网络分类器，它显示了有效性和概率解释。最近，在自监督对比表示学习方法取得成功之后，已经提出了监督对比方法来学习表示，并且与具有交叉熵损失的单独训练相比，监督对比方法已经显示出优越且更鲁棒的性能。然而，交叉熵损失仍然需要训练最终的分类层。在这项工作中，我们研究学习的表示和分类器使用一个目标函数，结合了对比学习的鲁棒性和交叉熵损失的概率解释的可能性。首先，我们重新审视了以前提出的基于对比度的目标函数，该目标函数近似交叉熵损失，并提出了一个简单的扩展来共同学习分类器。其次，我们提出了一个新版本的监督对比训练，它联合学习分类器和网络骨干的参数。我们的经验表明，我们提出的目标函数在各种具有挑战性的设置中具有更高的训练稳定性和鲁棒性，比标准交叉熵损失有显着改善。
2022-11-07 cs.CV cs.LG
Unified Interpretation of Smoothing Methods for Negative Sampling Loss Functions in Knowledge Graph Embedding
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；The University of Tokyo（东京大学）
本文从理论上统一解释了知识图谱嵌入中负采样损失的平滑方法，并提出三元组自适应负采样（TANS），在多个模型和数据集上验证了其合理性与性能提升。
2024-07-05 cs.CL cs.LG
Evaluating the Impact of Loss Function Variation in Deep Learning for Classification
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
损失函数可以说是神经网络最重要的超参数之一。到目前为止，已经设计了许多损失函数，使得正确的选择不是平凡的。然而，有关损失函数的选择，详细的理由没有在相关的工作。正如我们所看到的，这表明了深度学习社区缺乏经验基础的教条主义心态。在这项工作中，我们考虑了监督分类设置中的深度神经网络，并分析了损失函数的选择对训练结果的影响。虽然某些损失函数表现不佳，但我们的工作经验表明，代表性不足的损失（如KL Divergence）可以显着优于最先进的选择，突出表明需要将损失函数作为调整的超参数，而不是固定的选择。
2022-10-28 cs.LG
Visualizing Critic Match Loss Landscapes for Interpretation of Online Reinforcement Learning Control Algorithms
本文提出一种可视化批评匹配损失景观的方法，用于分析在线强化学习算法的动态控制问题，通过投影记录的批评参数轨迹，揭示批评学习行为的三维损失表面和二维优化路径。
2026-03-15 cs.AI cs.LG cs.RO
Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of British Columbia（不列颠哥伦比亚大学）
本文发现，在SCL的最终层引入ReLU激活，可在不损害测试准确性的情况下，有效恢复类别不平衡下学习表示的对称性，并提出了批绑定策略以确保该对称性。
2023-10-18 cs.LG stat.ML
Predictive Factors of Kinematics in Traumatic Brain Injury from Head Impacts Based on Statistical Interpretation
Technological University Dublin（都柏林理工大学）；Stanford University（斯坦福大学）；Ford Motor Company（福特汽车公司）
头部撞击导致的脑组织变形主要是由旋转引起的，可能导致创伤性脑损伤。为了量化基于头部运动学测量的脑损伤风险，已经开发了基于这些运动学的不同因素的有限元（FE）模型和各种脑损伤标准，但是不同运动学因素的贡献尚未以数据驱动的方式在不同类型的头部撞击中进行全面分析。为了更好地设计脑损伤标准，旋转运动学因素的预测能力，其在1）导数阶数（角速度、角加速度、角加加速度）、2）方向和3）功率（例如，平方根，平方，立方）的角速度，进行了分析，基于不同的数据集，包括实验室的影响，美式足球，混合武术（MMA），NHTSA汽车耐撞性测试和NASCAR碰撞事件。将运动学因子与95%最大主应变（MPS 95）建立普通最小二乘回归，比较零阶相关系数、结构系数、共性分析和优势分析。角加速度、幅度和一次幂因子显示出对大多数撞击的最高预测能力，包括实验室撞击、美式足球撞击，只有少数例外（MMA和NASCAR撞击的角速度）。三个方向（x：后前，y：左右，z：上下）的旋转运动学的预测能力随不同的运动和头部撞击类型而变化。
2021-06-10 cs.LG physics.bio-ph stat.AP
Dissecting the impact of different loss functions with gradient surgery
Microsoft（微软）；Geroge Washington University（乔治·华盛顿大学）
成对损失是度量学习的一种方法，它通过优化损失函数来学习语义嵌入，该损失函数鼓励来自相同语义类的图像比来自不同类的图像映射得更近。文献报道了一个大的和不断增长的成对损失策略的变化。在这里，我们将这些损失函数的梯度分解为与它们如何推动锚点正和锚点负对的相对特征位置相关的分量。这种分解允许统一当前成对损失函数的大集合。此外，显式地构建成对梯度更新以分离出这些影响，可以深入了解哪些影响最大，并产生一种简单的算法，该算法可以在CAR，CUB和Stanford Online产品数据集上进行图像检索。
2022-01-27 cs.AI cs.CV cs.IR
How Do Input Attributes Impact the Privacy Loss in Differential Privacy?
Technical University of Munich（慕尼黑工业大学）；Ludwig Maximilian University of Munich（慕尼黑大学）；Imperial College London（帝国理工学院）；Helmholtz Zentrum Munich（慕尼黑亥姆霍兹中心）
差分隐私（DP）通常被表述为数据库中所有个体的最坏情况隐私保证。最近，已经引入了对单个主题或其属性的扩展。在个体/每实例DP解释下，我们研究了DP神经网络中每个主体的梯度范数与个体隐私损失之间的联系，并引入了一种新的度量标准，称为隐私损失-输入敏感性（PLIS），它允许将主体的隐私损失分摊到其输入属性。我们的实验表明，这使得识别敏感属性和数据重建的高风险的主题。
2022-11-18 cs.CR cs.LG
Do Explanations Reflect Decisions? A Machine-centric Strategy to Quantify the Performance of Explainability Algorithms
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
最近，人们对可解释人工智能（XAI）的概念产生了极大的兴趣，其目标是为机器学习算法做出的决策提供解释。特别令人感兴趣的是如何深入神经网络作出决定的解释，鉴于这种网络的复杂性和“黑匣子”的性质。鉴于该领域的起步阶段，对可解释性方法的性能评估的探索非常有限，大多数评估都集中在对所产生的解释的主观视觉解释上。在这项研究中，我们探索了一种更加以机器为中心的策略，通过决策影响分析的概念来量化深度神经网络上可解释性方法的性能。我们引入了两个定量性能指标：i）影响分数，评估具有强烈信心降低影响或决策改变影响的关键因素的百分比，以及ii）影响覆盖率，评估输入中不利影响因素的覆盖率。使用这种方法对ResNet-50深度卷积神经网络上的几种最先进的可解释性方法（LIME，SHAP，Expected Quantients，GS Inquire）进行了全面分析，使用ImageNet的子集进行图像分类任务。实验结果表明，在测试图像中由LIME识别的关键区域对网络决策过程的影响最小（约38%），对SHAP（约44%），Expectedconstraints（约51%）和GSInquire（约76%）的决策影响逐渐增加。虽然绝不是完美的，但希望提出的以机器为中心的策略有助于推动对话朝着更好的指标发展，以评估可解释性方法，并提高对深度神经网络的信任。
2019-10-29 cs.LG cs.NE
The impact of feature importance methods on the interpretation of defect classifiers
Huawei（华为）；Queen’s University（女王大学）；University of Manitoba（曼尼托巴大学）；Kyushu University（九州大学）
分类器特定（CS）和分类器不可知（CA）的特征重要性方法被广泛使用（通常可互换）由现有的研究，从缺陷分类器获得特征重要性排名。然而，即使对于相同的数据集和分类器，不同的特征重要性方法也可能计算不同的特征重要性排名。因此，这种可互换使用的特征重要性的方法可能会导致结论不稳定，除非有一个很强的协议之间的不同的方法。因此，在本文中，我们通过对18个软件项目和6个常用分类器的案例研究，评估与所研究的分类器相关的特征重要性等级之间的协议。我们发现：1）CA和CS方法计算的特征重要性排名并不总是完全一致。2)所研究的CA方法计算的特征重要性排名表现出很强的一致性，包括在给定的数据集和分类器的前1名和前3名的排名报告的功能，而即使是常用的CS方法产生截然不同的特征重要性排名。这些发现引起了人们对重复研究结论稳定性的担忧。我们进一步观察到，常用的缺陷数据集充满了特征交互，这些特征交互影响CS方法（而不是CA方法）的计算特征重要性排名。我们表明，删除这些功能的相互作用，即使是简单的方法，如CFS提高CA和CS方法的计算特征的重要性等级之间的协议。根据我们的研究结果，我们为利益相关者和从业者提供了进行模型解释的指导方针，并为未来的研究提供了方向，例如，未来的研究需要调查高级特征交互去除方法对不同CS方法的计算特征重要性等级的影响。
2022-02-04 cs.AI cs.LG cs.SE
Learning from Imprecise and Fuzzy Observations: Data Disambiguation through Generalized Loss Minimization
University of Marburg（马尔堡大学）
近年来，从“模糊数据”中分析或学习的方法引起了越来越多的关注。然而，在许多情况下，现有的方法（精确的，非模糊的数据）被扩展到模糊的情况下，在一个特设的方式，并没有仔细考虑模糊集的解释时，用于建模数据。区分模糊集值数据的本体和认知解释，并专注于后者，我们认为，“模糊化”的学习算法的基础上的通用扩展原则的应用是不合适的。事实上，扩展原理未能正确利用统计和机器学习方法的归纳偏差，尽管这种偏差至少在原则上提供了一种“消除”模糊数据的方法。或者，我们因此提出了一种方法，它是基于经验风险最小化的损失函数的泛化，并同时进行模型识别和数据消歧。详细阐述了特定类型的损失的模糊化，我们建立了连接到著名的损失函数的回归和分类。我们比较我们的方法与相关的方法，并说明其使用逻辑回归二进制分类。
2013-05-03 cs.LG
Impact of Loss Weight and Model Complexity on Physics-Informed Neural Networks for Computational Fluid Dynamics
Department of Power Mechanical Engineering, National Tsing Hua University（国家交通机械工程系，国立清华大学）
针对物理信息神经网络对损失权重选择敏感的问题，提出两种基于量纲分析的加权方案，其中纳入不可量化项的方案在多个CFD基准测试中提升了稳定性与准确性，在高佩克莱特数问题中表现突出。
2025-09-24 cs.LG physics.flu-dyn
Robustness of different loss functions and their impact on networks learning capability
KU Leuven（鲁汶大学）
人工智能的最新发展使其无处不在，每个行业都在试图采用某种形式的智能数据处理。尽管在该领域取得了如此多的进展，但人工智能的全部能力还有待业界开发。涉及一些风险因素的行业仍然对人工智能的使用持谨慎态度，因为对这种自主系统缺乏信任。今天的人工智能可能在很多事情上都很好，但在推理方面却很糟糕，人工智能的这种行为可能会导致灾难性的结果。自动驾驶汽车撞到人或无人机卡在树上是人工智能决策导致灾难性结果的几个例子。为了深入了解并解释人工智能的学习能力，我们将尝试分析损失函数的工作原理。对于我们的情况，我们将使用两组损失函数，广义损失函数如二进制交叉熵或BCE和专用损失函数如骰子损失或焦点损失。通过一系列的实验，我们将确定组合不同的损失函数是否比使用单个损失函数更好，如果是，那么背后的原因是什么。为了确定广义损失和特殊损失之间的差异，我们将使用上述损失训练几个模型，然后比较它们在对抗性示例上的鲁棒性。特别是，我们将研究当我们改变与最显著梯度对应的像素时，不同模型的准确性下降的速度。
2021-11-09 cs.AI cs.LG
Domain aware medical image classifier interpretation by counterfactual impact analysis
VRVis Zentrum für Virtual Reality und Visualisierung Forschungs-GmbH（VRVis虚拟现实与可视化研究有限公司）
计算机视觉任务的机器学习方法的成功推动了医学和生物学计算机辅助预测的激增。基于输入图像和病理分类之间的数据驱动关系，这些预测器提供了前所未有的准确性。然而，试图解释这种学习关系的因果关系的许多方法都有不足之处：时间限制，粗糙，分散，有时误导性的结果，由高斯噪声和模糊等启发式技术的使用引起，阻碍了它们的临床应用。在这项工作中，我们讨论和克服这些障碍，引入一个基于神经网络的归因方法，适用于任何训练的预测。我们的解决方案通过测量局部图像扰动对预测器分数的影响，在单个前向传递中识别输入图像的显著区域。我们用一个强邻域条件修复方法取代启发式技术，避免解剖学上不可信的，因此对抗性的文物。我们对公开的乳腺X线摄影数据进行了评估，并与现有的最先进的方法进行了比较。此外，我们通过展示胸部X光片的结果来验证该方法的普遍性。我们的解决方案表明，无论是定量和定性，显着减少定位模糊和更清晰的传达结果，而不牺牲时间效率。
2020-10-01 cs.CV cs.LG
On Impact of Loss Function on the Performance of Neural Networks in Melanoma Diagnosis
Technological University Dublin（都柏林理工大学）；Research Ireland Centre for Research Training in Machine Learning, ML-Labs（爱尔兰研究中心机器学习研究培训中心，机器学习实验室）；Dublin City University（都柏林城市大学）；University College Dublin（都柏林大学学院）
本研究探讨不同损失函数对黑色素瘤诊断深度模型性能的影响，发现focal loss能同时兼顾AUC性能与不确定性校准（ECE）。
2026-10-06 cs.AI cs.CV cs.LG
On the Lack of Robust Interpretability of Neural Text Classifiers
Amazon（亚马逊）；University of California, Irvine（加州大学欧文分校）；Santa Clara University（圣克拉拉大学）
随着神经语言模型的复杂性不断增加，从业者已经转向用于理解这些模型的预测的方法。模型可解释性最常用的方法之一是基于特征的可解释性，即，根据特征对模型预测的影响对特征进行排序。一些先前的研究集中在评估基于特征的可解释性方法的保真度，即，测量丢弃排名靠前的特征对模型输出的影响。然而，在量化解释的稳健性方面开展的工作相对较少。在这项工作中，我们使用两个随机化测试来评估神经文本分类器的解释的鲁棒性，特别是那些基于预训练的Transformer编码器的文本分类器。第一个比较了两个模型的解释，这两个模型除了初始化之外是相同的。第二种方法测量具有训练参数的模型和具有随机参数的模型之间的解释是否不同。这两个测试都显示出与预期行为的惊人偏差，这就对从业者从解释中得出的见解程度提出了质疑。
2021-06-08 cs.CL cs.LG
