Intriguing Properties of Data Attribution on Diffusion Models
Singapore Management University(新加坡管理大学);Sea AI Lab(Sea AI实验室)
本研究通过广泛实验发现,扩散模型数据归因中理论上不合理的简单设计反而大幅优于现有基线,提出更高效方法并揭示理论假设在非凸场景可能限制归因性能。
2024-03-15 cs.AI cs.CV cs.LG
Feature Importance Depends on Properties of the Data: Towards Choosing the Correct Explanations for Your Data and Decision Trees based Models
Ecole polytechnique, IP Paris(巴黎综合理工学院(巴黎IP大学));Société Générale(法国兴业银行);Imperial College London(帝国理工学院)
针对机器学习模型解释方法的优势与局限认知不足问题,通过合成多属性数据集及公开二分类数据集,实证评估局部解释方法对决策树模型特征重要性估计的质量,发现估计受数据属性影响且方法存在场景局限性,为解释方法选择提供依据。
2025-02-11 cs.AI cs.LG
Intriguing Properties of Contrastive Losses
Google Research(谷歌研究院)
我们研究了对比学习的三个有趣的性质。首先,我们将标准的对比损失推广到更广泛的损失家族,并且我们发现,在多层非线性投影头的存在下,广义损失的各种实例表现相似。其次,我们研究基于实例的对比学习(具有全局图像表示)是否可以在存在多个对象的图像上学习得很好。我们发现,有意义的层次结构的本地功能,可以学习,尽管这些目标上的全球实例级功能。最后,我们研究了增强视图中共享的竞争特征之间的特征抑制现象,例如“颜色分布”与“对象类”。我们构建了具有明确和可控的竞争特征的数据集,并表明,对于对比学习,一些易于学习的共享特征可以抑制甚至完全阻止其他竞争特征集的学习。在图像中存在多个对象的场景中,主要对象将抑制较小对象的学习。现有的对比学习方法严重依赖于数据增强来支持某些特征集,并且可能在现有增强无法完全解决特征抑制的情况下遭受学习饱和。这对现有的对比学习技术提出了挑战。
2021-10-23 cs.AI cs.CV cs.LG
Intriguing Properties of Input-dependent Randomized Smoothing
Institute of Science and Technology Austria(奥地利科学技术研究所);Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所)
该研究指出输入依赖型随机平滑缺乏形式化保证且受维数灾难影响,提出严格限制下可用的理论实践框架与方差函数设计,在CIFAR10、MNIST上验证其可缓解经典平滑部分问题。
2024-03-08 cs.AI cs.LG stat.ML
Transparent Trade-offs between Properties of Explanations
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保罗森工程与应用科学学院);Harvard University(哈佛大学);Wellesley College(韦尔斯利学院)
本文提出直接针对期望属性优化解释,以替代现有“鼓励”式方法,从而更一致地获得最优属性并支持用户控制属性间的权衡。
2025-07-21 cs.LG
Intriguing Properties of Vision Transformers
Monash University(莫纳什大学);Linköping University(林雪平大学);University of California, Merced(加利福尼亚大学默塞德分校);Australian National University(澳大利亚国立大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Stony Brook University(石溪大学);Yonsei University(延世大学);Google Research(谷歌研究院)
视觉Transformer(ViT)在各种机器视觉问题上表现出令人印象深刻的性能。这些模型是基于多头自我注意力机制,可以灵活地参加一系列的图像补丁编码上下文线索。一个重要的问题是,在以给定块为条件的关注图像范围上下文方面的这种灵活性如何能够促进处理自然图像中的干扰,严重的遮挡、域移位、空间排列、对抗性和自然扰动。我们通过一系列广泛的实验系统地研究了这个问题,这些实验包括三个ViT家族,并与高性能卷积神经网络(CNN)进行了比较。我们展示并分析了ViT的以下有趣特性:(a)Transformers对严重的遮挡、扰动和域偏移具有高度鲁棒性,例如,即使在随机遮挡80%的图像内容后,仍能在ImageNet上保持高达60%的top-1准确率。(b)对遮挡的鲁棒性能不是由于对局部纹理的偏见,与CNN相比,ViT对纹理的偏见明显更少。当经过适当的训练来编码基于形状的特征时,ViTs表现出与人类视觉系统相当的形状识别能力,这在文献中是前所未有的。(c)使用ViTs对形状表示进行编码导致了一个有趣的结果,即精确的语义分割而无需像素级监督。(d)来自单个ViT模型的现成特征可以被组合以创建特征集成,从而在传统和少样本学习范例中跨一系列分类数据集实现高准确率。我们表明,有效的功能ViTs是由于灵活和动态的感受野可能通过自我注意力机制。
2021-11-25 cs.AI cs.CV cs.LG
What Makes a Good Explanation?: A Harmonized View of Properties of Explanations
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Harvard University(哈佛大学)
针对机器学习解释属性术语不统一、难以跨方法比较和场景匹配的问题,研究调研整合了可解释ML论文中的属性定义,梳理其表述权衡,为属性选型与领域标准化提供支撑。
2024-07-12 cs.LG
Intriguing Properties of Modern GANs
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文通过实验揭示现代GAN学习到的流形和密度并不拟合训练数据分布,反而更接近分布外图像,挑战了“GAN捕获训练数据流形”的普遍认知。
2024-02-21 cs.CV cs.LG
DCTdiff: Intriguing Properties of Image Generative Modeling in the DCT Space
Utrecht University(乌得勒支大学);Moonshot AI(月之暗面);Shandong University(山东大学);Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);University of Innsbruck(因斯布鲁克大学)
本文提出DCTdiff,一种在DCT空间进行图像建模的端到端扩散生成范式,揭示了其关键设计因素,在生成质量与训练效率上优于像素扩散,并证明图像扩散可视为频谱自回归。
2025-05-30 cs.CV cs.LG eess.IV
What will it take to generate fairness-preserving explanations?
Brown University(布朗大学);Harvard University(哈佛大学)
在解释黑箱模型可能有用的情况下,黑箱的公平性往往也是一个相关的问题。然而,黑箱模型的公平性和对黑箱的解释行为之间的联系尚不清楚。我们专注于应用于表格数据集的解释,这表明解释不一定保持黑盒算法的公平性。换句话说,解释算法可能会忽略或模糊关键的相关属性,从而产生不正确或误导性的解释。更广泛地说,我们提出了未来的研究方向,以评估和生成解释,使它们从公平的角度提供信息和相关。
2021-06-24 cs.AI cs.CY cs.LG
Axiomatic Characterisations of Sample-based Explainers
IRIT;CNRS(法国国家科学研究中心);Toulouse University(图卢兹大学)
该研究针对基于样本的黑盒分类器解释器展开公理化研究,提出合意属性并梳理其相容关系,刻画了满足不同相容属性子集的全部解释器族,还提出首个保证解释存在性与全局一致性的广义解释器族及多项式时间可求解的实例。
2024-08-12 cs.AI cs.LG
Diagnostics-Guided Explanation Generation
University of Copenhagen(哥本哈根大学)
解释阐明了机器学习模型的基本原理,并有助于识别其推理过程中的缺陷。解释生成模型通常在给定人类解释的情况下以监督的方式进行训练。当这样的注释不可用时,解释通常被选择为使下游任务的性能最大化的输入的那些部分,这对应于优化解释对给定模型的忠实性。忠实性是几个所谓的诊断属性之一,之前的工作已确定其对于在不需要注释的情况下衡量解释的质量很有用。其他诊断属性是数据一致性(Data Consistency)和置信度指示(Confidence Indication),数据一致性衡量相似输入实例的相似解释程度,置信度指示显示解释是否反映了模型的置信度。在这项工作中,我们展示了如何直接优化这些诊断属性时,训练一个模型,以生成高级解释,这显着提高了解释质量,与人类的基本原理,并在三个复杂的推理任务下游任务的性能。
2021-09-08 cs.LG
Intriguing properties of neural networks
Google Inc.(谷歌公司);New York University(纽约大学);University of Montreal(蒙特利尔大学);Facebook Inc.(脸书公司)
深度神经网络是高度表达的模型,最近在语音和视觉识别任务上实现了最先进的性能。虽然他们的表现力是他们成功的原因,但这也导致他们学习到无法解释的解决方案,这些解决方案可能具有违反直觉的特性。在本文中,我们报告两个这样的属性。首先,我们发现,有没有个别的高层次单位和高层次单位的随机线性组合之间的区别,根据各种方法的单元分析。这表明,在神经网络的高层中,是空间而不是单个单元包含语义信息。其次,我们发现深度神经网络学习的输入-输出映射在很大程度上是不连续的。我们可以通过施加某种不可感知的扰动来使网络对图像进行错误分类,这种扰动是通过最大化网络的预测误差来发现的。此外,这些扰动的特定性质不是学习的随机伪影:相同的扰动可能导致在数据集的不同子集上训练的不同网络对相同的输入进行错误分类。
2014-02-19 cs.CV cs.LG cs.NE
Properties and Challenges of LLM-Generated Explanations
Linköping University(林雪平大学)
本研究分析大语言模型生成解释的性质,发现其具有选择性和说明性,但较少主观或误导,并探讨了这些性质对自我合理化系统的影响。
2024-02-16 cs.AI cs.CL cs.CY
On Spectral Properties of Gradient-based Explanation Methods
Department of Computer Science, Royal Institute of Technology(计算机科学系,皇家理工学院)
本文从概率与谱视角正式分析了深度网络解释方法,揭示了梯度导致的谱偏置,并提出标准扰动尺度机制与SpectralLens聚合方法以解决SmoothGrad等方法中的解释不一致问题。
2025-08-14 cs.AI cs.CV cs.LG
To trust or not to trust an explanation: using LEAF to evaluate local linear XAI methods
University of Turin(都灵大学);ISI Foundation(ISI基金会)
可解释人工智能(XAI)的主要目标是为黑盒分类器提供有效的解释。现有的文献列出了许多有用的解释所需的属性,但在实践中如何定量评估解释并没有达成共识。此外,解释通常只用于检查黑盒模型,而解释作为决策支持的主动使用通常被忽视。在XAI的许多方法中,广泛采用的范例是局部线性简化-LIME和SHAP作为最先进的方法出现。我们发现,这些方法是困扰着许多缺陷,包括不稳定的解释,从承诺的理论性质的实际实现的分歧,和错误的标签的解释。这突出了需要有标准和公正的评价程序,局部线性偏差在XAI领域。在本文中,我们解决的问题,确定一个明确的和明确的一组指标的评价局部线性方程。这一组包括专门为这类解释定义的现有指标和新指标。所有指标都包含在一个名为LEAF的开放Python框架中。LEAF的目的是为最终用户提供一个参考,以标准化和公正的方式评估解释,并指导研究人员开发改进的可解释技术。
2021-06-01 cs.AI cs.CY cs.LG
Issues with post-hoc counterfactual explanations: a discussion
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);AXA(安盛);Polish Academy of Science(波兰科学院)
反事实事后可解释性方法已被证明是有用的工具,以生成解释的训练黑盒分类器的预测。然而,他们对数据和分类器的假设使他们在许多情况下不可靠。在本文中,我们讨论了三个理想的属性和方法来量化它们:邻近性,连通性和稳定性。此外,我们还说明了事后反事实方法不满足这些属性的风险。
2019-06-11 cs.AI cs.LG stat.ML
AR-Pro: Counterfactual Explanations for Anomaly Repair with Formal Properties
University of Pennsylvania(宾夕法尼亚大学)
针对现有异常检测方法缺乏可解释性的问题,研究提出AR-Pro框架,基于扩散模型生成反事实异常修复样本,支持跨领域形式化规约,在多类异常数据集上验证了有效性。
2024-10-31 cs.LG
Intriguing Properties of Adversarial Examples
Google Brain(谷歌大脑)
越来越明显的是,许多机器学习分类器容易受到对抗性样本的影响。在试图解释对抗性例子的起源时,以前的研究通常集中在神经网络对高维数据进行操作的事实上,它们过拟合,或者它们过于线性。在这里,我们认为对抗性例子的起源主要是由于神经网络对它们的预测具有固有的不确定性。我们证明了这种不确定性的函数形式与体系结构、数据集和训练协议无关;只取决于网络的logit差异的统计数据,这些数据在训练过程中不会发生显著变化。这导致对抗性误差具有相对于对抗性扰动的大小的普遍缩放,如幂律。我们证明了这种普遍性适用于广泛的数据集(MNIST,CIFAR 10,ImageNet和随机数据),模型(包括最先进的深度网络,线性模型,对抗训练的网络和在随机洗牌标签上训练的网络)和攻击(FGSM,步骤l.l.,PGD)。受这些结果的启发,我们研究了减少预测熵对对抗鲁棒性的影响。最后,我们研究了网络结构对对抗敏感性的影响。为此,我们使用神经架构搜索和强化学习来寻找CIFAR 10上的对抗性强大的架构。我们得到的架构是更强大的白色\emph{and}黑盒攻击相比,以前的尝试。
2017-11-08 cs.LG stat.ML
On the stability, correctness and plausibility of visual explanation methods based on feature importance
Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室);University of Bordeaux(波尔多大学);LaBRI(计算机科学研究实验室)
本文研究了图像分类器基于特征重要性的解释的稳定性、正确性与合理性,发现现有评估指标存在不一致性,并针对稳定性和正确性提出了考虑模型局部行为的新指标。
2023-10-25 cs.AI cs.CV cs.LG
A Sim2Real Approach for Identifying Task-Relevant Properties in Interpretable Machine Learning
Harvard University(哈佛大学);National University of Singapore(新加坡国立大学)
本文提出XAIsim2real流水线,利用解释属性与合成用户研究,在三个任务上准确预测用户偏好,并揭示认知预算限制复杂解释参与度的关系。
2024-09-18 cs.HC cs.LG
Global Human-guided Counterfactual Explanations for Molecular Properties via Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Harvard University(哈佛大学);Visa Inc.(维萨公司)
针对分子科学中全局反事实解释缺乏人工真值难评估、大数据下随机搜索法受限的问题,提出基于强化学习的RLHEX模型,结合VAE生成器与适配器对齐人类原则,提升解释覆盖度与贴近度,可灵活融合领域知识。
2024-06-19 cs.LG q-bio.BM
Provably Robust Model-Centric Explanations for Critical Decision-Making
Carnegie Mellon University(卡内基梅隆大学)
我们建议使用以模型为中心的布尔可满足性(SAT)形式主义来获得对训练模型行为的有用解释,这与从LIME和SHAP(人工智能(AI)中流行的以数据为中心的解释工具)中收集到的信息不同,也是对它们的补充。我们比较和对比这些方法,并表明,以数据为中心的方法可能会产生有限的实际效用脆弱的解释。然而,以模型为中心的框架可以为在实践中使用AI模型的风险提供可操作的见解。对于人工智能的关键应用,瞬间决策最好通过对数据属性不变的强大解释来提供信息,这是以模型为中心的框架所提供的功能。
2021-10-26 cs.AI cs.LG cs.RO
Framework for Evaluating Faithfulness of Local Explanations
University of California San Diego(加利福尼亚大学圣地亚哥分校);Tel Aviv University(特拉维夫大学)
我们研究了解释系统对潜在预测模型的忠诚度。我们表明,这可以被捕获的两个属性,一致性和充分性,并引入定量措施的程度,这些举行。有趣的是,这些措施取决于测试时的数据分布。对于各种现有的解释系统,如锚,我们分析研究这些量。我们还提供了估计和样本的复杂性界限,经验确定的忠实性的黑盒解释系统。最后,我们通过实验验证了新的性质和估计。
2022-02-01 cs.LG stat.ML
A Formal Approach to Explainability
Facebook AI Research(脸书人工智能研究院);Tel Aviv University(特拉维夫大学);Technion(以色列理工学院)
我们把解释看作是输入样本和模型输出的混合,并提供了一些定义,这些定义捕捉了生成这些解释的函数的各种所需属性。我们研究了这些属性之间的联系,以及学习模型的解释生成函数和中间表示之间的联系,并且能够证明,例如,如果给定层的激活与解释一致,那么所有其他后续层也是如此。此外,我们还研究了解释的交集和并集,作为构建新解释的一种方式。
2020-01-15 cs.LG stat.ML
FASTER-CE: Fast, Sparse, Transparent, and Robust Counterfactual Explanations
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amira Learning(Amira学习);CognitiveScale(认知规模)
在过去的几年里,反事实解释作为一种以人为中心的理解个体黑箱模型预测的有用方式,已经越来越受欢迎。虽然在文献中已经确定了高质量反事实所需的几个属性,但三个关键问题:解释生成的速度,解释的鲁棒性/敏感性和简洁性(稀疏性)相对未被探索。在本文中,我们提出了FASTER-CE:一套新的算法来生成快速,稀疏和强大的反事实解释。其关键思想是有效地找到有前途的搜索方向,通过自动编码器指定的潜在空间中的反事实。这些方向是基于相对于每个原始输入特征以及目标的梯度来确定的,如在潜在空间中估计的。快速检查最有希望的梯度方向的组合以及结合额外的用户定义的约束的能力使我们能够生成多个反事实的解释,这些解释是稀疏的,现实的,并且对输入操作是鲁棒的。通过对不同复杂度的三个数据集的实验,我们表明,FASTER-CE不仅比其他最先进的方法更快地生成多个解释,而且在考虑更大的理想(而且往往是冲突)属性集时也显着优越。具体来说,我们提出了多个性能指标的结果:稀疏性,接近性,有效性,生成速度和解释的鲁棒性,以突出FASTER-CE系列的功能。
2022-10-12 cs.LG
ExSum: From Local Explanations to Model Understanding
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院)
可解释性方法的开发是为了理解黑盒模型的工作机制,这是他们的负责任的部署至关重要。实现这一目标需要这些方法产生的解释是正确的,并且人们可以轻松可靠地理解它们。虽然前者已经在以前的工作中得到了解决,后者往往被忽视,导致非正式的模型理解来自少数地方的解释。在本文中,我们介绍解释摘要(ExSum),量化模型理解的数学框架,并提出其质量评估的指标。在两个领域,ExSum强调了当前实践中的各种局限性,帮助开发准确的模型理解,并揭示了模型容易被忽视的属性。我们还将可理解性与解释的其他属性联系起来,例如人类对齐,鲁棒性,反事实最小化和可解释性。
2022-04-30 cs.CL cs.LG
Understanding Disparities in Post Hoc Machine Learning Explanation
New York University(纽约大学)
该研究探究数据与模型属性对事后机器学习解释差异的影响,通过模拟和Adult收入数据集实验验证多种因素的作用,并为缓解解释差异的方法设计提供建议。
2024-01-25 cs.CY cs.LG stat.ML
XAudit : A Theoretical Look at Auditing with Explanations
UC San Diego(加州大学圣地亚哥分校);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文形式化解释在模型审计中的作用,提出基于解释审计线性分类器与决策树特征敏感性的算法,并证明反事实解释及平均情形下 Anchors、决策路径的有效性。
2023-06-05 cs.LG
Intriguing Properties of Adversarial ML Attacks in the Problem Space [Extended Version]
King’s College London(伦敦国王学院);University College London(伦敦大学学院);TU Berlin(柏林工业大学);Ruhr University Bochum(波鸿鲁尔大学);ICSI(国际科学应用公司)
本文提出问题空间对抗性ML攻击的一般形式化,定义了攻击存在的充要条件,并设计针对Android恶意软件的新型攻击,证明其能规避最先进分类器,同时揭示对抗训练的局限及“对抗恶意软件即服务”的现实威胁。
2024-06-27 cs.CR cs.LG
Unifying Formal Explanations: A Complexity-Theoretic Perspective
The Hebrew University of Jerusalem(海法大学);Nanyang Technological University(南洋理工大学)
本文从复杂性理论视角提出统一框架,揭示解释计算的复杂性由单调性、次模性和超模性等属性决定,并在全局可解释性设置中证明多项式时间算法,而在局部设置中计算变得NP难。
2026-02-20 cs.CC cs.DS cs.LG
Personalized explanation in machine learning: A conceptualization
University of Liechtenstein(列支敦士登大学)
在机器学习和相关领域(如人工智能)中的解释旨在使机器学习模型及其决策为人类所理解。现有的工作表明,个性化的解释可能有助于提高可理解性。在这项工作中,我们得到了一个概念化的个性化解释的定义和结构的问题的基础上,以前的工作机器学习解释,个性化(在机器学习)和概念和技术,如隐私和知识的启发。我们对个性化过程中使用的解释数据进行分类,并描述收集这些数据的方法。我们还确定了三个关键的解释属性,是与个性化:复杂性,决策信息和演示。我们还通过引入额外的必要条件和措施来量化个性化解释的质量,从而加强现有的解释工作。
2019-04-26 cs.LG stat.ML