Operational Abstractions of Neural Network Concepts via Topological Representations
RPTU Kaiserslautern-Landau(莱茵兰-普法尔茨凯泽斯劳滕工业大学);University of the Witwatersrand(威特沃特斯兰德大学)
提出拓扑概念表示(TCR),一种事后操作抽象,通过拓扑编码概念组织,统一干预框架,提升擦除方法最差组准确率21.89和概念迁移可恢复性5.54。
2026-10-06 cs.AI cs.LG
Sound Explanation for Trustworthy Machine Learning
University of YYY(YYY大学);Institute of WWW(WWW研究所)
该研究形式化探讨机器学习可解释性问题,证明归因算法无法同时满足四项性质,定义了“可靠解释”概念,并将特征选择作为癌症预测模型的可靠解释以建立临床信任。
2023-06-08 cs.AI cs.LG
Detecting Explanatory Insufficiency in Learned Representations: A Framework for Representational Vigilance
Laboratory of Bioengineering and Nanosciences (LBN), University of Montpellier(蒙彼利埃大学生物工程与纳米科学实验室);EuroMov Digital Health in Motion, University of Montpellier, IMT Mines Alès(蒙彼利埃大学EuroMov数字健康运动实验室,IMT阿莱斯矿业学院);Certified Sophrologist, Sensorimotor Practice(认证心理放松治疗师,感觉运动实践);Emeritus Professor, University of Montpellier(蒙彼利埃大学名誉教授)
提出VER框架,通过识别持久残差结构来监测学习表示的充分性,补充传统评估方法。
2026-09-22 cs.LG
FastCAV: Efficient Computation of Concept Activation Vectors for Explaining Deep Neural Networks
Institute of Data Science, German Aerospace Center(德国航空航天中心数据科学研究所)
针对现有概念激活向量计算成本高的问题,提出FastCAV方法,将CAV提取加速高达63.6倍,保持性能且更稳定,可替代传统方法并支持追踪训练中概念演化。
2025-05-23 cs.AI cs.CV cs.LG
ICICLE: Interpretable Class Incremental Continual Learning
Jagiellonian University(雅盖隆大学);Ardigen SA(阿迪根公司);Autonomous University of Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心);IDEAS NCBR(IDEAS国家计算智能研究中心)
针对持续学习中的可解释性概念漂移问题,提出免样本的原型部分方法ICICLE,通过可解释性正则化、基于邻近性的原型初始化和任务近因偏差补偿减少概念漂移,在基于概念的模型上优于现有免样本类增量学习方法。
2023-07-31 cs.AI cs.CV cs.LG
Strategies for Conceptual Change in Convolutional Neural Networks
Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所)
人类的一个显著特征是创造性行为的能力,指的是他们以新颖、令人惊讶和有用的方式对问题作出反应的能力。转换创造力是一种创造力形式,其中创造性行为是由行为者的概念空间的转换引起的,即行为者解释其环境的表征系统。在这份报告中,我们专注于如何适应系统的学习表示,因为他们从执行一个任务切换到执行另一个。我们描述了一个实验比较多个策略的学习功能的适应,并评估如何有效地实现这些策略的适应,在训练量方面,并在他们的能力,以应付有限的可用性的训练数据。除其他外,我们还表明,在手写数字、自然图像和古典音乐中,自适应策略比从头开始学习的基线方法更有效。
2019-06-25 cs.AI cs.LG
Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints
生成对抗网络(GANs)的最新进展表明,在生成逼真图像方面取得了越来越大的成功。但它们也对视觉取证和模型归属提出了挑战。我们提出了学习GAN指纹对图像属性的第一项研究,并使用它们将图像分类为真实或GAN生成的。对于GAN生成的图像,我们进一步识别它们的来源。我们的实验表明:(1)GANs携带不同的模型指纹,并在其生成的图像中留下稳定的指纹,这支持图像属性;(2)即使GAN训练中的微小差异也会导致不同的指纹,这使得能够进行细粒度的模型认证;(3)指纹在不同的图像频率和补丁中持续存在,并且不会受到GAN伪影的影响;(4)指纹微调可以有效地免疫五种类型的对抗性图像扰动;(5)比较还显示,我们学习的指纹在各种设置中始终优于几个基线。
2019-08-16 cs.CR cs.CV cs.CY
Inter-model Interpretability: Self-supervised Models as a Case Study
American University of Beirut(贝鲁特美国大学)
自早期的机器学习模型以来,准确性和精确度等指标一直是评估和比较训练模型的实际方法。然而,一个单一的度量数字并不能完全捕捉模型之间的相似性和差异,特别是在计算机视觉领域。在某个数据集上具有高准确性的模型可能在另一个数据集上提供较低的准确性,而没有任何进一步的见解。为了解决这个问题,我们建立在最近的可解释性技术称为解剖介绍\textit{inter-model interpretability},它确定模型如何相互关联或补充的基础上,他们学到的视觉概念(如对象和材料)。为了实现这一目标,我们将13个表现最好的自监督模型投影到学习概念嵌入(LCE)空间中,该空间从学习概念的角度揭示了模型之间的接近性。我们进一步将这些信息与这些模型在4个计算机视觉任务和15个数据集上的性能进行了交叉。该实验允许我们将模型分为三类,并首次揭示了不同任务所需的视觉概念类型。这是设计跨任务学习算法的一个进步。
2022-07-31 cs.CV
Who Gets Credit or Blame? Attributing Accountability in Modern AI Systems
Harvard University, Cambridge, MA, USA(哈佛大学);University of California, Los Angeles, Los Angeles, CA, USA(加州大学洛杉矶分校);University of Illinois Urbana-Champaign, Urbana-Champaign, IL, USA(伊利诺伊大学厄巴纳-香槟分校)
提出一个归因框架,通过反事实问题量化模型开发各阶段(预训练、微调等)对最终行为的影响,并设计无需重训练的估计器,成功识别并移除多阶段任务中的虚假关联。
2026-05-29 cs.AI cs.LG
Language Guided Concept Bottleneck Models for Interpretable Continual Learning
School of Computer Science and Engineering, Tianjin University of Technology(天津理工大学计算机科学与工程学院);School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院);Institute of Automation, University of Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出集成语言引导概念瓶颈模型(CBMs)的持续学习框架,利用概念瓶颈层与CLIP对齐学习可跨任务泛化的人类可理解概念,在缓解灾难性遗忘的同时提供透明决策洞察,在多个数据集上优于现有方法。
2025-03-30 cs.CV
Embodied Concept Learner: Self-supervised Learning of Concepts and Mapping through Instruction Following
HKU(香港大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);CUHK(香港中文大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);MIT BCS(麻省理工学院脑与认知科学系);CBMM(脑、心智与机器中心);UMass Amherst(马萨诸塞大学阿默斯特分校)
提出具身概念学习器ECL,通过模块化设计在3D环境中仅凭人类演示和语言指令自监督学习视觉概念与深度,实现透明可解释的语义地图构建与指令跟随,在ALFRED基准上优于前人工作且支持下游任务。
2023-04-07 cs.CV
From What to How: Attributing CLIP's Latent Components Reveals Unexpected Semantic Reliance
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林技术大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Centre of eXplainable Artificial Intelligence, Technological University Dublin(可解释人工智能中心,都柏林技术大学)
本研究提出可扩展框架,通过归因修补和语义对齐分数揭示CLIP潜在组件的激活原因、语义对齐及预测重要性,发现数百个与多义词等相关的意外依赖,并指出文本嵌入比图像嵌入分类器更稳健。
2025-05-26 cs.AI cs.LG
ConceptLearner: Discovering Visual Concepts from Weakly Labeled Image Collections
MIT(麻省理工学院);eBay Research Labs(eBay研究实验室)
从弱标记数据中发现视觉知识对于扩大计算机视觉识别系统是至关重要的,因为获得大量概念类别的完全标记数据是昂贵的。在本文中,我们提出了ConceptLearner,这是一个可扩展的方法来发现视觉概念,从弱标记的图像集合。成千上万的视觉概念检测器是自动学习的,没有人在循环中进行额外的注释。我们表明,这些学习的检测器可以应用于识别图像级的概念,并在图像区域级准确地检测概念。在特定领域的监督下,我们进一步评估了SUN数据库上的场景识别和Pascal VOC 2007上的目标检测的学习概念。与完全监督和弱监督方法相比,ConceptLearner表现出良好的性能。
2014-11-19 cs.AI cs.CV cs.LG
Concept Boundary Vectors
本文提出概念边界向量,从概念潜在表示的边界构造概念向量,实验证明其能捕获语义含义,并优于概念激活向量。
2024-12-20 cs.LG
Neural Activation Patterns (NAPs): Visual Explainability of Learned Concepts
Ulm University(乌尔姆大学);Linköping University(林雪平大学)
破译神经网络内部工作原理的关键是理解模型学习了什么。用于发现学习特征的有前景的方法基于分析激活值,由此当前技术集中于分析高激活值以揭示神经元水平上的感兴趣的特征。然而,分析高激活值限制了层级概念发现。我们提出了一种方法,而是考虑到整个激活分布。通过在神经网络层的高维激活空间中提取相似的激活配置文件,我们找到了被相似处理的输入组。这些输入组表示神经激活模式(NAP),可用于可视化和解释学习的层概念。我们发布了一个框架,可以从预训练的模型中提取NAP,并提供一个可用于分析NAP的可视化内省工具。我们用各种网络测试了我们的方法,并展示了它如何补充现有的分析神经网络激活值的方法。
2022-06-20 cs.AI cs.LG
Discovering Concepts in Learned Representations using Statistical Inference and Interactive Visualization
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
概念发现是可解释性文献中的开放问题之一,对于弥合非深度学习专家和模型最终用户之间的差距非常重要。在当前的公式中,概念将它们定义为学习表示空间中的方向。该定义使得可以评估特定概念是否显著影响感兴趣类别的分类决策。然而,寻找相关的概念是繁琐的,因为表示空间是高维的,很难导航。目前的方法包括手工制作概念数据集,然后将它们转换为潜在空间方向;或者,该过程可以通过对潜在空间进行聚类来自动化。在这项研究中,我们提供了另外两种方法来引导用户发现有意义的概念,一个基于多个假设检验,另一个交互式可视化。我们探索这些方法的潜在价值和局限性,通过模拟实验和演示可视化界面的真实数据。总的来说,我们发现,这些技术提供了一个很有前途的策略,发现相关的概念,在用户没有预定义的描述,但没有完全自动化的过程设置。
2022-02-09 cs.CV cs.LG
Generative Continual Concept Learning
University of Pennsylvania(宾夕法尼亚大学);HRL Laboratories, LLC(HRL实验室有限责任公司);Stanford University(斯坦福大学)
在学习了一个概念之后,人类还能够通过只观察少数标记的实例而不干扰过去学习的知识来不断地将他们学习的概念推广到新的领域。相比之下,在持续学习环境中有效地学习概念仍然是当前人工智能算法的公开挑战,因为持续的模型再训练是必要的。受并行分布式处理学习和互补学习系统理论的启发,我们开发了一个计算模型,该模型能够使用少量标记样本有效地将先前学习的概念扩展到新的领域。我们将概念的新形式与其过去学习的形式结合在一个嵌入空间中,以实现有效的持续学习。这样做,生成分布被学习,使得它在嵌入空间中的任务之间共享,并对抽象概念进行建模。这个过程使模型能够生成伪数据点来重放过去的经验,以解决灾难性遗忘。
2019-09-07 cs.AI cs.LG stat.ML
Abstraction Alignment: Comparing Model-Learned and Human-Encoded Conceptual Relationships
CSAIL\ Institute of Technology Cambridge Massachusetts USA;IBM Research AI Cambridge Massachusetts USA;CSAIL\ Institute of Technology;IBM Research AI
提出抽象对齐方法,通过构建抽象图比较模型行为与形式化人类知识,评估模型是否学习到与人类对齐的抽象,从而区分相似错误并改进现有指标与人类抽象。
2025-11-01 cs.AI cs.CL cs.HC
ConEx: Human-Interpretable Saliency Maps via Concept-Aware Attribution
Tel Aviv University(特拉维夫大学);The Open University(开放大学)
ConEx提出了一种结合显著性可视化与概念推理的框架,通过自动发现概念激活向量生成忠实且可解释的显著性图,并引入VCM和CCM指标,在多个基准上达到最先进性能。
2026-10-06 cs.AI cs.CV cs.LG
Cognitively Inspired Learning of Incremental Drifting Concepts
University of Southern California(南加州大学)
针对持续学习中的分布漂移与灾难性遗忘,提出融合 PDP 与 CLS 理论的计算模型,通过多模态嵌入和伪数据回放实现新概念的增量学习。
2023-04-21 cs.AI cs.LG
Explaining Concept Shift with Interpretable Feature Attribution
Carnegie Mellon University(卡内基梅隆大学)
提出SGShift方法,通过将概念漂移建模为特征选择任务,利用广义加性模型、敲除和吸收等统计工具识别导致源域与目标域模型性能差异的稀疏漂移特征。
2026-05-28 cs.LG stat.ML
Carefully choose the baseline: Lessons learned from applying XAI attribution methods for regression tasks in geoscience
Colorado State University(科罗拉多州立大学);Cooperative Institute for Research in the Atmosphere(大气研究合作研究所)
可解释人工智能(XAI)的方法用于地球科学应用,以深入了解神经网络(NN)的决策策略,突出输入中的哪些特征对NN预测贡献最大。在这里,我们讨论我们的经验教训,即将预测归因于输入的任务没有单一的解决方案。相反,归因结果及其解释在很大程度上取决于XAI方法使用的基准(有时称为参考点);这是迄今为止文献中忽略的一个事实。这个基线可以由用户选择,也可以在方法的算法中通过构造来设置,通常用户不知道这个选择。我们强调,不同的基线可以导致不同的科学问题的不同见解,因此,应该相应地选择。为了说明基线的影响,我们使用了一个大型的历史和未来气候模拟集合,强迫使用SSP 3 -7.0情景,并训练一个完全连接的NN来预测集合和全球平均温度(即,强迫全球变暖信号)给出来自单个集合成员的年度温度图。然后,我们使用各种XAI方法和不同的基线将网络预测归因于输入。我们表明,归因在考虑不同的基线时有很大的不同,因为它们对应于回答不同的科学问题。最后,我们讨论了一些重要的影响和考虑使用基线在XAI研究。
2022-08-19 cs.LG physics.geo-ph
Geometric Understanding of Deep Learning
Dalian University of Technology(大连理工大学);Harvard University(哈佛大学)
深度学习是许多机器学习任务的主流技术,包括图像识别、机器翻译、语音识别等,它在各个领域都优于传统方法,并取得了巨大的成功。不幸的是,对它如何工作的理解仍然不清楚。为深度学习奠定理论基础具有重要意义。在这项工作中,我们给出了一个几何视图来理解深度学习:我们证明了成功的基本原理是数据中的流形结构,即自然高维数据集中在低维流形附近,深度学习学习流形及其概率分布。我们进一步引入了深度神经网络的校正线性复杂度的概念来衡量其学习能力,描述学习难度的嵌入流形的校正线性复杂度。然后,我们证明了对于任何具有固定架构的深度神经网络,都存在一个网络无法学习的流形。最后,我们建议应用最优质量运输理论来控制潜在空间中的概率分布。
2018-05-31 cs.LG stat.ML
SAE++: Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs
Rutgers University(罗格斯大学);Microsoft Research(微软研究院)
提出级联稀疏自编码器(CSAEs),通过在第一级SAE解码器权重上训练第二级SAE来学习层次化视觉概念,避免嵌套或堆叠SAE的缺点,在多个MLLM和数据集上提升了概念层次一致性和干预效果。
2026-10-08 cs.AI cs.CV cs.LG
Fast Concept Mapping: The Emergence of Human Abilities in Artificial Neural Networks when Learning Embodied and Self-Supervised
Institute of Cognitive Science(认知科学研究所);University of Osnabrück(奥斯纳布吕克大学)
大多数用于目标检测和识别的人工神经网络都是在完全监督的设置中训练的。这不仅非常消耗资源,因为它需要大量的标记示例数据集,而且与人类的学习方式非常不同。我们介绍了一种设置,其中人工代理首先通过自我监督探索在模拟世界中学习。在此之后,通过与世界的交互学习的表示可以用于关联语义概念,例如不同类型的门。为此,我们使用一种称为快速概念映射的方法,该方法使用神经元的相关放电模式来定义和检测语义概念。这种关联在很少有标记的例子的情况下就能立即发生,类似于我们在人类身上观察到的一种称为快速映射的现象。引人注目的是,这种方法已经用一个标记的例子来识别对象,这突出了通过使用好奇心驱动的探索的实施例来自我监督学习的编码质量。因此,它提出了一个可行的策略,学习的概念,没有太多的监督,并表明,通过纯粹的互动与世界有意义的表征的环境可以学习。
2021-02-03 cs.CV cs.LG
Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
提出一种结合无监督解释生成器与 GAN 对抗训练的概念学习框架,使视觉分类器的潜在概念对齐人类可解释属性,并验证了其鲁棒性与语义一致性。
2024-04-03 cs.AI cs.CV cs.LG
ConceptTracer: Interactive Analysis of Concept Saliency and Selectivity in Neural Representations
KI-Werkstatt, University of Applied Sciences Berlin(柏林应用科学大学KI-Werkstatt)
ConceptTracer通过人类可解释的概念视角,分析神经网络表示中的概念显著性与选择性,帮助识别响应强的概念神经元,展示其在TabPFN表示中的实用性。
2026-04-08 cs.AI cs.LG
Prototype-Grounded Concept Models for Verifiable Concept Alignment
Department of Computer Science, KU Leuven(卢森堡大学计算机科学系);IBM Research, Zurich(苏黎世IBM研究院)
本研究提出了一种基于原型的概念模型(PGCMs),通过将概念与学习到的视觉原型关联起来,从而提高概念对齐的可验证性和可解释性,同时保持预测性能。
2026-05-21 cs.AI cs.LG cs.NE
Learning Interpretable Concept Groups in CNNs
Technical University of Kaiserslautern(凯泽斯劳滕工业大学);Technical University of Berlin(柏林工业大学);University of Birmingham(伯明翰大学);NPZ Innovation GmbH(NPZ创新有限公司);University of St.Gallen(圣加仑大学)
我们提出了一种新的训练方法-概念组学习(CGL)-通过将每层中的过滤器划分为概念组,每个概念组都被训练来学习单个视觉概念,从而鼓励训练可解释的CNN过滤器。我们通过一种新的正则化策略来实现这一点,该策略迫使同一组中的过滤器在给定层的相似图像区域中处于活动状态。我们还使用正则化器来鼓励每一层中概念组的稀疏加权,以便少数概念组可以比其他概念组具有更大的重要性。我们定量评估CGL的模型的可解释性,使用标准的可解释性评估技术,发现我们的方法在大多数情况下增加了可解释性分数。我们比较了使用CGL学习的过滤器与没有CGL学习的过滤器下最活跃的图像区域,发现CGL激活区域更强烈地集中在语义相关的特征周围。
2021-09-21 cs.CV cs.LG
Concept backpropagation: An Explainable AI approach for visualising learned concepts in neural network models
Norwegian University of Science and Technology(挪威科技大学)
针对神经网络黑盒不可解释的问题,提出概念反向传播方法,通过概念探针引导输入扰动最大化目标概念,实现概念在输入空间的可视化,可用于分析概念信息内化方式与表征纠缠程度。
2023-07-24 cs.LG
Revealing Similar Semantics Inside CNNs: An Interpretable Concept-based Comparison of Feature Spaces
Continental AG(大陆集团);Hochschule Anhalt(安哈尔特应用技术大学)
本文提出两种基于XAI技术的方法,通过比较CNN潜在空间中概念激活向量的激活,估计不同架构及层间的语义相似性,发现不同CNN会学习相似概念且出现在相似相对层深度,为语义模型可比性提供新途径。
2023-06-27 cs.AI cs.CV cs.LG
Symbolic Regression with a Learned Concept Library
UT Austin(德克萨斯大学奥斯汀分校);Foundry Technologies(Foundry科技公司);MIT(麻省理工学院);University of Cambridge(剑桥大学)
提出 LaSR 符号回归方法,通过 LLM 零样本查询构建并演化抽象概念库,结合进化搜索提升假设发现,在 Feynman 等基准上超过现有方法并发现新的 LLM 缩放定律。
2024-12-10 cs.AI cs.LG cs.NE
SketchEmbedNet: Learning Novel Concepts by Imitating Drawings
University of Toronto(多伦多大学);Vector Institute(向量研究所);CIFAR(加拿大高等研究院)
素描捕捉视觉概念的突出信息。以前的工作表明,神经网络能够从少量的类中绘制自然对象的草图。虽然早期的方法侧重于生成质量或检索,但我们探索了通过训练模型来生成图像草图的图像表示的属性。我们表明,这种生成,类不可知模型产生信息嵌入的图像从新的例子,类,甚至新的数据集在一个Few-Shot设置。此外,我们发现,这些学到的表示表现出有趣的结构和组合性。
2021-06-22 cs.CV cs.LG cs.NE
Discovering Undisclosed Concepts in LoRA Adapters for Diffusion-Based AIGC Models
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
针对扩散AIGC模型LoRA适配器的未公开概念,提出两阶段框架SGES与PVI,实现高效可靠的概念发现,以应对其带来的审核风险。
2026-10-13 cs.AI cs.LG
CEIR: Concept-based Explainable Image Representation Learning
Kyoto University(京都大学);The University of Tokyo(东京大学)
针对自监督图像表示可解释性差、验证有偏差的问题,提出CEIR方法,结合CBM、CLIP与GPT-4生成的概念构建可解释表示,在聚类基准上达SOTA,还能免微调提取开放世界图像概念。
2023-12-17 cs.CV cs.LG
Med2Meta: Learning Representations of Medical Concepts with Meta-Embeddings
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Northwestern University(西北大学)
最近,医学概念的分布式表示已被用于支持下游临床任务。电子健康记录(EHR)捕捉患者医院遭遇的不同方面,并通过学习强大的医疗概念嵌入来作为增强临床决策的丰富来源。然而,相同的医学概念可以以不同的模态记录(例如,临床记录、实验室结果)-每个都捕获该模态特有的显著信息-并且整体表示要求来自所有信息源的相关特征集合。我们假设从异构数据类型中学习的表示将导致各种临床信息学和预测建模任务的性能增强。为此,我们提出的方法利用元嵌入,从学习的嵌入聚合的嵌入。首先,每个医学概念的模态特定嵌入是用图自编码器学习的。然后,所有嵌入的集合被建模为元嵌入学习问题,以通过联合重建来合并它们的相关和互补信息。我们的模型在定量和定性临床评价方面的实证结果表明,与最先进的嵌入模型相比,我们的模型有所改进,从而验证了我们的假设。
2020-01-04 cs.CL cs.LG
Algorithmic Concept-based Explainable Reasoning
University of Cambridge(剑桥大学);DeepMind(深度思维)
最近的研究图神经网络(GNN)模型成功地应用GNNs的经典图算法和组合优化问题。这样做有很多好处,比如在不满足先决条件时允许应用算法,或者在没有足够的训练数据或无法生成时重用学习模型。不幸的是,这些方法的一个关键障碍是它们缺乏可解释性,因为GNN是无法直接解释的黑箱模型。在这项工作中,我们通过将现有的基于概念的解释应用于GNN模型来解决这一限制。我们引入了概念瓶颈GNN,它依赖于GNN读出机制的修改。使用三个案例研究,我们证明了:(i)我们提出的模型能够准确地学习概念,并根据每个目标类的学习概念提取命题公式;(ii)我们基于概念的GNN模型与最先进的模型实现了比较性能;(iii)我们可以导出全局图概念,而无需显式地提供对图级概念的任何监督。
2021-07-15 cs.LG
Analyzing Representations inside Convolutional Neural Networks
University of California Riverside(加州大学河滨分校)
我们如何发现并简洁地总结神经网络已经学习的概念?这样的任务是非常重要的网络应用领域的推理,涉及分类,如基于功能磁共振成像/X射线等的医疗诊断在这项工作中,我们提出了一个框架来分类的概念网络学习的基础上,它集群的方式一组输入的例子,集群神经元的基础上,他们激活的例子,和输入功能都在同一个潜在的空间。该框架是无监督的,可以在没有任何输入特征标签的情况下工作,它只需要访问每个输入示例的网络内部激活,从而使其具有广泛的适用性。我们广泛评估了所提出的方法,并证明它产生了ResNet-18在CIFAR-100数据集上学习的人类可理解和连贯的概念。
2020-12-23 cs.CV cs.LG
Safe and Certifiable AI Systems: Concepts, Challenges, and Lessons Learned
TRUSTIFAI GMBH(TRUSTIFAI公司);TÜV AUSTRIA HOLDING AG(TÜV奥地利控股公司);Software Competence Center Hagenberg(哈根贝格软件竞争力中心);Johannes Kepler University Linz - Institute for Machine Learning(林茨约瑟夫·约瑟夫斯大学-机器学习研究所)
本文提出TÜV AUSTRIA可信人工智能审计框架,将欧盟AI法案转化为可测试标准,通过功能可信性概念实现安全认证,并总结实践中的常见陷阱与未来研究方向。
2025-09-08 cs.AI cs.CY cs.LG
On convex decision regions in deep network representations
Section for Cognitive Systems, DTU Compute, Technical University of Denmark(认知系统部门,DTU计算学院,丹麦技术大学)
本文研究深度网络潜在空间中概念区域的凸性,开发测量工具并发现近似凸性普遍存在,且预训练凸性可预测微调性能。
2023-10-06 cs.AI cs.LG
Multitask Learning via Shared Features: Algorithms and Hardness
Northeastern University(东北大学);Stanford University(斯坦福大学)
我们调查的计算效率的多任务学习的布尔函数的$d$维超立方体,这是相关的大小$k \ll d$的特征表示在所有任务共享的装置。我们提出了一个多项式时间的多任务学习算法的概念类的半空间与利润$γ$,这是基于同步提升技术,只需要$\textrm{poly}(k/γ)$样本每任务和$\textrm{poly}(k\log(d)/γ)$样本总数。此外,我们证明了一个计算分离,假设存在一个概念类,不能学习的属性有效的模型,我们可以构建另一个概念类,可以学习的属性有效的模型,但不能多任务学习效率-多任务学习这个概念类要么需要超级多项式时间复杂性或更大的样本总数。
2022-09-07 cs.DS cs.LG
DER: Dynamically Expandable Representation for Class Incremental Learning
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心);University of Chinese Academy of Sciences(中国科学院大学)
我们解决了类增量学习的问题,这是实现自适应视觉智能的核心步骤。特别地,我们考虑了有限记忆下的增量学习任务设置,旨在实现更好的稳定性-可塑性权衡。为此,我们提出了一种新的两阶段学习方法,利用动态可扩展的表示更有效的增量概念建模。具体地说,在每一个增量步骤中,我们冻结先前学习的表示,并使用来自新的可学习特征提取器的附加特征维度来扩充它。这使我们能够将新的视觉概念与保留所学知识相结合。我们动态地扩展表示根据新概念的复杂性,通过引入一个通道级的掩码为基础的修剪策略。此外,我们引入了一个辅助损失,以鼓励模型学习不同的和歧视性的新概念的功能。我们在三个类的增量学习基准上进行了广泛的实验,我们的方法始终优于其他方法,具有很大的优势。
2021-03-31 cs.CV cs.LG
Fair In-Context Learning via Latent Concept Variables
University of Arkansas(亚拉巴马大学);Baylor University(贝勒大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对LLMs在表格数据上下文学习中的固有偏见问题,提出利用潜在概念变量的最优演示选择方法,通过数据增强降低预测与敏感变量的相关性,经内部LLM学习概念并泛化至外部LLMs,提升了表格数据集上的公平性结果。
2025-11-14 cs.AI cs.CL cs.LG
Comparing Deep Neural Nets with UMAP Tour
The University of Arizona(亚利桑那大学)
神经网络应该是人类可以理解的。特别是,人们对层中学习的概念和层之间的相似性越来越感兴趣。在这项工作中,一个工具,UMAP旅游,建立了视觉检查和比较内部行为的真实世界的神经网络模型使用良好对齐,实例级表示。在可视化中使用的方法也意味着一个新的相似性度量之间的神经网络层。使用可视化工具和相似性度量,我们发现了在最先进的模型中学习的概念以及它们之间的差异,例如GoogLeNet和ResNet。
2021-10-18 cs.CV cs.HC cs.LG
Expedition: A System for the Unsupervised Learning of a Hierarchy of Concepts
Cisco Secure Workload(思科安全负载)
我们提出了一个系统自下而上的累积学习的无数概念对应的有意义的字符串,其部分相关的和预测的边缘。学习是自我监督的,因为发现的概念被用作预测器和预测目标。我们设计了一个目标分割与学习的概念,来自比较基线预测系统,促进制作和使用更大的概念,这反过来又允许预测更大的文本跨度,我们描述了一个简单的技术,以促进探索,即尝试新生成的概念在分割过程中。我们激励和解释的概念分层,以帮助分离的(条件)分布之间的概念。概念的分层大致对应于部分-整体概念层次结构。由于具有基本的分割和学习算法,该系统很有前途,因为它获得了许多概念(在我们的小规模实验中有数万个),它学会了很好地分割文本:当输入去除了空格的英文文本时,从字符级开始,所学习的大部分内容尊重单词或短语边界,并且随着时间的推移,分割内的“坏”分割的平均数量,即在词内分裂,随着发现更大的概念而减小,并且系统学习在分割期间何时使用它们。我们报告有前途的实验时,输入文本转换为二进制和系统开始只有两个概念,“0”和“1”。该系统是透明的,在这个意义上,它很容易告诉学习的概念对应于什么,哪些是活跃的分割,或系统如何“看到”它的输入。我们希望这个框架是可扩展的,我们讨论了目前的限制和一些方向,以提高学习和推理能力。
2021-12-17 cs.CL cs.LG
Incorporating Hierarchical Semantics in Sparse Autoencoder Architectures
University of Chicago(芝加哥大学)
本文提出一种显式建模概念语义层级的改进稀疏自编码器架构,用于大型语言模型内部表示,证明可学习语义层级并同时提升重构质量、可解释性与计算效率。
2025-06-01 cs.AI cs.CL cs.LG
A Survey of Learned Indexes for the Multi-dimensional Space
Purdue University(普渡大学);Keystone Strategy(基石策略公司);Snowflake(雪花公司)
本文综述学习型多维索引,梳理现有方法、核心概念与文献,提出分类体系和发展时间线,并指出开放挑战与未来方向。
2024-03-11 cs.DB cs.LG
DisenGCD: A Meta Multigraph-assisted Disentangled Graph Learning Framework for Cognitive Diagnosis
Anhui University(安徽大学);Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education(教育部智能计算与信号处理重点实验室);Anhui Province Key Laboratory of Intelligent Computing and Applications(安徽省智能计算与应用重点实验室);Department of Information Materials and Intelligent Sensing Laboratory of Anhui Province(安徽省信息材料与智能感知实验室)
本文提出DisenGCD框架,通过在三个解耦图上分别学习学生、习题和概念表示,并利用元多重图模块融合低阶习题表示,以提升认知诊断的性能和抗噪鲁棒性。
2024-10-23 cs.CY cs.LG
Interference Beyond Geometry in Concept Extraction
University of Alberta(阿尔伯塔大学);Amii(阿尔伯塔机器智能研究所);Harvard University(哈佛大学)
本文提出有效干扰概念,结合特征几何与代码统计,刻画架构约束通过四种机制影响干扰,实验表明干扰取决于特征使用及架构,超越单纯几何。
2026-09-29 cs.LG
Neural Painters: A learned differentiable constraint for generating brushstroke paintings
我们探索神经画家,从一个真正的不可微和非确定性绘画程序学习的笔触生成模型。我们表明,当训练一个代理使用笔触“画”图像时,使用可微分神经画家会导致更快的收敛。我们提出了一种方法,鼓励这个代理人在重建数字时遵循人类的笔画。我们还探讨了使用神经画家作为可微图像参数化。通过直接优化笔触来激活预先训练的卷积网络中的神经元,我们可以直接可视化ImageNet类别并生成每个类别的“理想”绘画。最后,我们提出了一个新的概念,称为内在风格转移。通过最大限度地减少神经风格转移的内容损失,我们允许艺术媒介,在这种情况下,笔触,自然地决定了最终的风格。
2019-04-22 cs.CV cs.LG stat.ML
Adversarial TCAV -- Robust and Effective Interpretation of Intermediate Layers in Neural Networks
National University of Singapore(新加坡国立大学);Untangle AI(Untangle人工智能公司)
由于不透明的内部状态和共享的非线性交互,解释神经网络决策和在中间层学习的信息仍然是一个挑战。虽然(Kim et al,2017)提出通过量化其区分用户定义概念(与随机示例)的能力来解释中间层,但鲁棒性(针对随机示例选择的变化)和有效性(概念图像的检索率)的问题仍然存在。我们调查这两个属性,并提出改进,使概念激活可靠的实际使用。有效性:如果中间层已经有效地学习了用户定义的概念,那么它应该能够在测试步骤中回忆起包含所提出的概念的大多数图像。例如,我们观察到,在VGG 16中,使用“鳍”作为用户定义概念的ImageNet数据集中,虎鲨和大白鲨的召回率仅为18.35%。为了提高概念学习的有效性,我们提出了A-CAV --对抗性概念激活向量--这导致用户概念和(负)随机示例之间的更大裕度。该方法将VGG 16的上述召回率提高到76.83%。对于鲁棒性,我们将其定义为中间层对于不同随机种子的召回率(有效性)一致的能力。我们观察到,TCAV在不同的随机种子中回忆一个概念时有很大的差异。例如,猫图像的召回率(来自学习尾巴概念的层)从18%到86%不等,VGG 16的标准差为20.85%。我们提出了一个简单的和可扩展的修改,采用Gram-Schmidt过程从概念中采样随机噪声,并学习一个平均的“概念分类器”。该方法将上述标准偏差从20.85%改善到6.4%。
2020-02-26 cs.CV cs.LG stat.ML
Deep Feature Factorization For Concept Discovery
EPFL(洛桑联邦理工学院);Swiss Data Science Center(瑞士数据科学中心);ETHZ(苏黎世联邦理工学院)
我们提出了深度特征因子分解(DFF),一种能够在图像或一组图像中定位相似语义概念的方法。我们使用DFF来深入了解深度卷积神经网络的学习特征,其中我们检测特征空间中的分层聚类结构。这被可视化为热图,它突出了一组图像中语义匹配的区域,揭示了网络“感知”的相似之处。DFF也可以用于执行共分割和共定位,我们报告这些任务的最先进的结果。
2018-10-08 cs.CV cs.LG stat.ML
Obliviator Reveals the Cost of Nonlinear Guardedness in Concept Erasure
Michigan State University(密歇根州立大学)
本文提出Obliviator方法,通过迭代优化消除非线性依赖,揭示消除过程中属性保护与效用保持之间的动态关系,其消解-效用权衡曲线优于基线方法。
2026-04-29 cs.LG
Sample-efficient Learning of Concepts with Theoretical Guarantees: from Data to Concepts without Interventions
Korteweg-de Vries Institute for Mathematics, University of Amsterdam(阿姆斯特丹大学科特韦赫-德弗里斯数学研究所);Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所)
提出无需干预的框架,利用因果表示学习无监督学习潜在因果变量,再与少量标签对齐,提供理论保证,减少概念杂质并提升准确性。
2025-10-23 cs.LG stat.ML