Visual Concepts Tokenization
Xi’an Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）
从具体像素中抽象出视觉概念的类人感知能力一直是机器学习研究领域的一个基本和重要的目标，如解纠缠表示学习和场景分解。为了实现这一目标，我们提出了一个无监督的基于transformer的视觉概念令牌化框架，被称为VCT，感知到一组解开视觉概念令牌的图像，每个概念令牌响应一种类型的独立视觉概念。特别地，为了获得这些概念令牌，我们只使用交叉注意从图像令牌中逐层提取视觉信息，而没有概念令牌之间的自我注意，防止跨概念令牌的信息泄漏。我们进一步提出了一个概念解开损失，以促进不同的概念令牌表示独立的视觉概念。交叉注意和解缠损失分别对概念表征起归纳和互斥作用。在几个流行的数据集上进行的大量实验验证了VCT在解纠缠表示学习和场景分解任务上的有效性。自愿咨询和检测以较大幅度达到了最先进的结果。
2022-10-13 cs.CV cs.LG
Shape-Pose Disentanglement using SE(3)-equivariant Vector Neurons
Tel Aviv University（特拉维夫大学）；Hebrew University of Jerusalem（希伯来大学）
我们引入了一个无监督的技术编码点云到一个规范的形状表示，通过解开形状和姿势。我们的编码器是稳定和一致的，这意味着形状编码是纯粹的姿势不变的，而提取的旋转和平移能够语义对齐同一类的不同输入形状到一个共同的规范姿势。具体来说，我们设计了一个自动编码器的基础上，矢量神经元网络，旋转等变神经网络，其层，我们扩展到提供除了旋转等方差的旋转等方差。由此产生的编码器产生的姿势不变的形状编码的建设，使我们的方法专注于学习一个一致的规范构成的一类对象。定量和定性实验验证了我们的方法优越的稳定性和一致性。
2022-04-03 cs.CV
PURE: Turning Polysemantic Neurons Into Pure Features by Identifying Relevant Circuits
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technical University of Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））
本文提出 PURE 方法，通过识别各纯特征对应的相关回路，将多语义神经元分解为多个单语义虚拟神经元，并在 ImageNet 训练的 ResNet 上验证其优于基于神经元激活的方法。
2024-04-09 cs.AI cs.CV cs.LG
Select, Hypothesize and Verify: Towards Verified Neuron Concept Interpretation
Chongqing Key Laboratory of Image Cognition, Chongqing University of Posts and Telecommunications（重庆邮电大学图像认知重庆市重点实验室）；Jinan Inspur Data Technology Co., Ltd.（济南浪潮数据技术有限公司）
本文提出Select-Hypothesize-Verify框架，通过激活分布分析选择神经元样本，形成概念假设并验证其准确性，提升神经元功能解释的准确性。
2026-03-26 cs.CV
Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity
IvLabs, VNIT Nagpur（伊夫实验室，维什瓦拉亚国立理工学院那格浦尔分校）
本研究提出TopoLoss作为训练时先验，在ViT上通过空间局部性损失集中因果回路，实验表明其提升因果充分性2.79倍且不改变神经元单语义性，揭示现有指标盲区。
2026-09-22 cs.CV cs.LG
NeuroCartography: Scalable Automatic Visual Summarization of Concepts in Deep Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；Apple（苹果公司）
现有的关于理解深度神经网络的研究通常集中在神经元层面的解释上，这可能无法充分捕捉概念如何由多个神经元集体编码的更大图景。我们提出了NeuroCartography，一个交互式系统，可扩展地总结和可视化的概念学习的神经网络。它自动发现和分组检测相同概念的神经元，并描述这些神经元组如何相互作用以形成更高级别的概念和随后的预测。NeuroCartography引入了两种可扩展的摘要技术：（1）神经元聚类基于神经元检测到的概念的语义相似性对神经元进行分组（例如，检测不同品种的“狗脸”的神经元被分组）;以及（2）神经元嵌入基于相关概念共同出现的频率来编码它们之间的关联（例如，检测“狗脸”和“狗尾”的神经元在嵌入空间中放置得更靠近）。我们的可扩展技术的关键是能够有效地计算所有神经元对的关系，在时间上与神经元的数量成线性关系，而不是二次时间。NeuroCartography可扩展到大数据，例如包含120万张图像的ImageNet数据集。系统的紧密协调的视图集成了可扩展的技术来可视化概念及其关系，将概念关联投影到神经元投影视图中的2D空间，并在图形视图中总结神经元簇及其关系。通过大规模的人类评估，我们证明了我们的技术发现了代表连贯的、对人类有意义的概念的神经元组。通过使用场景，我们描述了我们的方法如何实现有趣和令人惊讶的发现，例如相关和孤立概念的概念级联。NeuroCartography可视化在现…
2021-08-29 cs.CV
What is Missing? Explaining Neurons Activated by Absent Concepts
Max Planck Institute for Informatics, SIC（马克斯·普朗克信息研究所，SIC）；Department of Computer Science, Technical University of Darmstadt（达姆施塔特技术大学计算机科学系）；Leibniz Institute for Resilience Research（莱比锡韧性研究所）；Institute for Quantitative and Computational Biosciences, Johannes Gutenberg University Mainz（美因茨雅各布·冯·特利尔大学定量与计算生物科学研究所）；University Medical Center Mainz（美因茨大学医学中心）
针对深度神经网络中编码缺失（概念缺失导致神经元激活）这一被忽视的因果关系，提出两种扩展归因和特征可视化方法以揭示并解释这种缺失，实验表明ImageNet模型利用此类缺失且考虑它们可改善去偏。
2026-05-29 cs.CV cs.LG
A Single Neuron Works: Precise Concept Erasure in Text-to-Image Diffusion Models
Alibaba Group（阿里巴巴集团）
本文提出SNCE方法，通过稀疏自编码器定位并抑制单个有害概念神经元，实现文本到图像扩散模型中的精确概念擦除，在保持图像质量的同时达到最先进效果并具备强鲁棒性。
2025-09-25 cs.CV
Disentangling visual and written concepts in CLIP
MIT（麻省理工学院）；Harvard（哈佛大学）
CLIP网络测量自然文本和图像之间的相似性;在这项工作中，我们研究了在其图像编码器中单词图像和自然图像的表示的纠缠。首先，我们发现图像编码器具有将单词图像与由这些单词描述的场景的自然图像相匹配的能力。这与先前的研究一致，即一个词的含义和拼写可能在网络深处纠缠在一起。另一方面，我们也发现CLIP有很强的匹配无意义词的能力，这表明字母的加工与其意义的加工是分离的。为了明确确定CLIP的拼写能力是否是可分离的，我们设计了一个程序，用于识别表示子空间，选择性地隔离或消除拼写能力。我们基准我们的方法对一系列的检索任务，我们还测试他们通过测量的外观的文本在CLIP引导生成的图像。我们发现，我们的方法是能够干净地分离的CLIP从自然图像的视觉处理的拼写能力。
2022-06-15 cs.CV
Cones: Concept Neurons in Diffusion Models for Customized Generation
University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）；Alibaba Group（阿里巴巴集团）
人类大脑用不同的神经元对呈现的刺激的语义特征做出反应。那么，现代深层神经网络是否也承认类似的行为模式，就令人好奇了。具体来说，本文发现了一个小集群的神经元在扩散模型对应于一个特定的主题。我们称这些神经元为概念神经元。它们可以通过与给定受试者连接的刺激的网络梯度的统计来识别。概念神经元在解释和操纵生成结果时表现出磁性。关闭它们可以直接产生不同场景中的相关主题。连接多个概念神经元簇可以在单个图像中生动地生成所有相关概念。进一步微调的几个步骤可以增强多概念能力，这可能是第一个在单个图像中生成多达四个不同主题的方法。对于大规模的应用，概念神经元是环境友好的，因为我们只需要存储一个稀疏的int索引簇，而不是密集的float32参数值，与以前的主题驱动生成方法相比，减少了90%的存储消耗。大量的定性和定量研究表明，我们的方法在解释和操纵扩散模型的优越性。
2023-03-09 cs.CV
Disentangling 3D Prototypical Networks For Few-Shot Concept Learning
Carnegie Mellon University（卡内基梅隆大学）；Mila, University of Montreal（蒙特利尔大学米拉研究所）
我们提出了神经架构，将RGB-D图像分解为对象的形状和样式以及背景场景的地图，并探索其在Few-Shot 3D目标检测和Few-Shot概念分类中的应用。我们的网络结合了反映图像形成过程的建筑偏见，世界场景的3D几何形状和形状风格的相互作用。它们通过预测静态场景中的视图以及少量的3D对象框来进行端到端的自我监督训练。对象和场景表示的三维特征网格中的瓶颈网络。我们表明，所提出的3D神经表示是合成的：它们可以通过混合对象的形状和样式来生成新的3D场景特征图，并将生成的对象3D特征图添加到背景场景特征图上。我们表明，分类器的对象类别，颜色，材料和空间关系的训练，在解开的三维特征子空间推广更好地与显着更少的例子比目前最先进的，并使视觉问答系统，使用它们作为其模块，概括一杆到场景中的新对象。
2021-07-20 cs.CV
HINT: Hierarchical Neuron Concept Explainer
The University of Hong Kong（香港大学）
为了解释深度网络，一种主要的方法是将神经元与人类可理解的概念相关联。然而，现有的方法往往忽略了不同概念的内在关系（例如，狗和猫都属于动物），因此失去了解释负责更高级概念的神经元的机会（例如，动物）。在本文中，我们研究层次概念的启发，人类的层次认知过程。为此，我们提出了层次神经元概念解释器（HINT），以低成本和可扩展的方式有效地建立神经元和层次概念之间的双向关联。HINT使我们能够系统地和定量地研究概念的隐式层次关系是否以及如何嵌入到神经元中，例如识别负责一个概念的协作神经元和不同概念的多模态神经元，在不同的语义水平上从具体概念（例如，狗）到更抽象的（例如，动物）。最后，我们使用弱监督对象定位来验证关联的忠实性，并证明其在各种任务中的适用性，例如发现显着区域和解释对抗攻击。代码可在https://github.com/AntonotnaWang/HINT上获得。
2022-03-27 cs.AI cs.CV
DUNE: Disentangling Polysemantic Neurons Without Losing Predictive Performance
Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；Department of Computer Science, TU Darmstadt（图宾根大学计算机科学系）
提出ELUDe方法，通过无损重组层间信息流，在不改变模型输出的前提下将多义神经元分解为单义特征，提升深度神经网络的可解释性。
2026-11-13 cs.CV cs.LG
LLM-assisted Concept Discovery: Automatically Identifying and Explaining Neuron Functions
University of Florida（佛罗里达大学）
本文提出利用多模态大语言模型自动、开放式地发现DNN神经元概念，并通过生成示例与反例验证概念，以获得更忠实于模型行为的可解释性。
2024-06-12 cs.CV
Choose Your Neuron: Incorporating Domain Knowledge through Neuron-Importance
Georgia Institute of Technology（佐治亚理工学院）；Facebook（脸书）
用于图像级分类任务的卷积神经网络中的单个神经元已经被证明可以隐式地学习语义上有意义的概念，从简单的纹理和形状到整个或部分对象-形成通过学习过程获得的概念的“字典”。在这项工作中，我们介绍了一个简单，高效的零样本学习方法的基础上，这一观察。我们的方法，我们称之为神经元重要性感知权重转移（NIWT），学习将关于新的“看不见的”类的领域知识映射到这个学习概念的字典上，然后优化可以有效组合这些概念的网络参数-本质上是通过在深度网络中发现和组合学习的语义概念来学习分类器。我们的方法在CUBirds和AWA 2广义零样本学习基准测试上比以前的方法有所改进。我们展示了我们的方法上的一组不同的语义输入外部领域的知识，包括属性和自然语言标题。此外，通过学习逆映射，NIWT可以为新学习的分类器所做的预测提供视觉和文本解释，并提供神经元名称。我们的代码可在https://github.com/ramprs/neuron-importance-zsl上获得。
2018-08-08 cs.CV
SurgX: Neuron-Concept Association for Explainable Surgical Phase Recognition
Kyung Hee University（庆熙大学）
SurgX提出基于概念的解释框架，通过神经元-概念关联增强手术阶段识别模型的可解释性，并在两个模型上验证其有效性。
2025-07-21 cs.CV
Rectify Then Diffuse: Disentangling Concepts Before Denoising Trajectory Unfolds
针对文本到图像扩散模型多概念生成时的遗漏或合并错误，提出无训练框架RTD，通过SOD和IGR校正初始概念分配，在AE-Bench上实现组合保真度与效率的显著提升
2026-08-05 cs.AI cs.CV
ConceptPrune: Concept Editing in Diffusion Models via Skilled Neuron Pruning
University of Edinburgh（爱丁堡大学）；Samsung AI Research Centre, Cambridge（三星剑桥人工智能研究中心）
本文提出免训练方法ConceptPrune，通过识别并剪枝扩散模型中负责生成不良概念的关键神经元区域实现概念遗忘，仅需剪枝约0.12%权重即可高效擦除多概念并抵御对抗性攻击。
2024-05-29 cs.AI cs.CV cs.LG
Compositional Concepts Erasing: Disentangling Object-Style via Domain Manifold Unlearning
University of Tulsa（塔尔萨大学）；The University of Arizona（亚利桑那大学）；Clemson University（克莱姆森大学）；Texas A&M University（德克萨斯农工大学）
针对扩散模型对象-风格组合遗忘及多请求导致的灾难性遗忘问题，提出域流形遗忘（DMU）方法，实验显示其可缓解灾难性遗忘且性能优于现有最先进方法。
2026-10-14 cs.AI cs.CV
Generalization Beyond Feature Alignment: Concept Activation-Guided Contrastive Learning
本文发现对比学习中的特征对齐会损害域泛化，提出概念对比（CoCo）方法，通过对比神经元编码的高级概念而非逐元素对齐，促进特征多样性并提升泛化能力，可即插即用集成到现有对比方法中。
2023-10-16 cs.CV
Disentangling Latent Embeddings with Sparse Linear Concept Cones (SLiCC)
Department of Electrical & Computer Engineering, University of Delaware, USA（电气与计算机工程系，德雷克塞尔大学）；Naval Surface Warfare Center, Panama City Division, Panama City, Florida, USA（Panama City 分部，海军水面 warfare 中心）；Department of Navy award N00014-24-1-2259 issued by the Office of Naval Research（海军部奖项 N00014-24-1-2259，由海军研究办公室颁发）；Department of Computer & Information Sciences, University of Delaware, USA（计算机与信息科学系，德雷克塞尔大学）
本文提出 SLiCS，通过有监督组结构化稀疏字典学习将视觉-语言嵌入解耦为概念子空间，并支持零样本多标签，提升概念过滤检索与条件生成精度。
2026-10-30 cs.CV
LINE: LLM-based Iterative Neuron Explanations for Vision Models
Centre for Credible AI（可信AI中心）；Warsaw University of Technology（华沙理工大学）；University of Warsaw, Poland（波兰华沙大学）
LINE提出一种无需训练的迭代方法，通过大语言模型和图像生成器，在黑盒环境下闭环提出和优化概念，提升视觉模型的开放词汇概念标注性能。
2026-11-10 cs.AI cs.CV cs.LG
Open Vocabulary Compositional Explanations for Neuron Alignment
Department of Computer Science and Engineering University of California, Santa Cruz（计算机科学与工程系加州大学圣克ruz分校）
本文提出了一种开放词汇组合解释框架，通过语义分割生成掩码来实现神经元对齐，提升解释的灵活性和适用性。
2025-11-25 cs.AI cs.CV cs.LG
Continual Personalization for Diffusion Models
National Taiwan University（国立台湾大学）；Qualcomm Technologies, Inc.（高通技术公司）
针对扩散模型持续更新中的灾难性遗忘与计算挑战，提出概念神经元选择（CNS）策略，通过增量微调相关神经元并保留旧知识，以最小参数调整实现单/多概念个性化最先进性能，且免融合降低存储与时间开销。
2025-10-02 cs.CV cs.LG
Mask-Free Neuron Concept Annotation for Interpreting Neural Networks in Medical Domain
Kyung Hee University（庆熙大学）
本文提出无掩码医学模型解释方法MAMMI，利用视觉-语言模型免除像素级掩码需求，实现医学神经网络神经元概念标注，在NIH胸部X射线数据集上验证了其优越性能，助力透明临床决策。
2024-07-16 cs.CV
A Disentangling Invertible Interpretation Network for Explaining Latent Representations
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；Heidelberg University（海德堡大学）
神经网络通过学习输入数据的强大表示，极大地提高了计算机视觉的性能。端到端训练以获得最大整体性能的缺点是黑盒模型，其隐藏表示缺乏可解释性：由于分布式编码对于潜在层来说是提高其鲁棒性的最佳选择，因此将意义归因于隐藏特征向量的部分或单个神经元受到阻碍。我们制定的解释作为一个翻译的隐藏表示到语义概念，是可理解的用户。两个域之间的映射必须是双射的，以便目标域中的语义修改正确地改变原始表示。所提出的可逆解释网络可以透明地应用于现有架构之上，而无需修改或重新训练它们。因此，我们将原始表示转换为等效但可解释的表示，并向后转换，而不会影响原始表示的表现力和性能。可逆解释网络将隐藏的表示分解为单独的、语义上有意义的概念。此外，我们提出了一个有效的方法来定义语义概念，只有素描两个图像，也是一个无监督的策略。实验评估表明，广泛适用于现有的分类和图像生成网络的解释，以及语义引导的图像操作。
2020-04-27 cs.CV
A Case Study on Concept Induction for Neuron-Level Interpretability in CNN
Department of Computer Science, Kansas State University, Manhattan, Kansas, USA（计算机科学系，堪萨斯州立大学，曼哈顿，堪萨斯，美国）
本研究通过在SUN2012数据集上验证概念诱导方法的泛化能力，展示了其在神经元级可解释性中的应用扩展。
2026-02-27 cs.AI cs.CV
Compositional Explanations of Neurons
Stanford University（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们描述了一个程序，用于解释神经元在深表示识别组成的逻辑概念，密切接近神经元的行为。与使用原子标签作为解释的先前工作相比，从组成上分析神经元使我们能够更精确地描述它们的行为。我们用这个过程来回答几个问题的可解释性模型的视觉和自然语言处理。首先，我们研究神经元学习的抽象类型。在图像分类中，我们发现许多神经元学习高度抽象但语义连贯的视觉概念，而其他多语义神经元检测多个不相关的特征;在自然语言推理（NLI）中，神经元从数据集偏差中学习浅层词汇分类。第二，我们看看组成的解释是否让我们深入了解模型的性能：视觉神经元，检测人类可解释的概念与任务性能呈正相关，而NLI神经元，火灾浅层记忆与任务性能呈负相关。最后，我们展示了组合解释如何为最终用户提供一种可访问的方式来生成简单的“复制-粘贴”对抗性示例，这些示例以可预测的方式改变模型行为。
2021-02-02 cs.AI cs.CL cs.CV
Continual Learning with Neuron Activation Importance
Kyunghee University（庆熙大学）
持续学习是一种具有多个顺序任务的在线学习的概念。持续学习的关键障碍之一是网络学习新任务时需要保留旧任务的知识，而不需要访问旧任务的任何数据。在本文中，我们提出了一种基于神经元激活重要性的正则化方法，用于稳定的持续学习，而不管任务的顺序。我们在现有的基准数据集上进行了全面的实验，不仅评估了我们的方法的稳定性和可塑性，提高了分类精度，而且还评估了任务顺序变化时性能的鲁棒性。
2021-07-27 cs.CV cs.LG
Disentangling Action Sequences: Discovering Correlated Samples
Shandong Provincial Key Laboratory of Network Based Intelligent Computing（山东省网络智能计算重点实验室）；University of Jinan（济南大学）；Jinan, 250022, China（济南市，250022，中国）
解纠缠是表征的一个非常理想的性质，因为它与人类的理解和推理相似。这提高了可解释性，使下游任务的性能，并使可控的生成模型。然而，这一领域的挑战是抽象的概念和不完整的理论，以支持无监督的解开学习。我们证明了数据本身，如图像的方向，在解纠缠中起着至关重要的作用，而不是因素，解纠缠表示将潜变量与动作序列对齐。我们进一步引入了解开动作序列的概念，这有利于描述现有的解开方法的行为。这个过程的一个类比是发现事物之间的共性并将其归类。此外，我们分析了数据的归纳偏差，发现潜在信息阈值与行为的重要性相关。对于有监督和无监督的情况，分别介绍了两种阈值的测量方法。我们进一步提出了一种新的框架，分数变分自编码器（FVAE），以解开与不同的意义的动作序列一步一步。在dSprites和3D Chairs上的实验结果表明，FVAE提高了解缠的稳定性。
2020-10-17 cs.CV cs.LG stat.ML
Knowledge-Aware Neuron Interpretation for Scene Classification
Tsinghua University（清华大学）；Shanxi University（山西大学）；Inria（法国国家信息与自动化研究所）；The University of Manchester（曼彻斯特大学）；The University of Edinburgh（爱丁堡大学）
针对现有模型预测解释方法的三类局限，提出融入ConceptNet知识的神经元解释框架，通过核心概念补全、概念过滤融合及模型操控验证，在场景分类任务中显著提升解释效果与原始模型性能。
2024-01-29 cs.AI cs.CV
Explaining Classifiers by Constructing Familiar Concepts
University of Liechtenstein（列支敦士登大学）；University of Lausanne（洛桑大学）
在深度学习中解释大量的神经元是困难的。我们提出的“CLAsifier-DECoder”架构（ClaDec）有助于理解任意神经元层或其子集的输出。它使用一个解码器，将给定神经元的不可理解的表示转换为与人类熟悉的领域更相似的表示。在图像识别问题中，可以通过将ClaDec的重构图像与用作参考的常规自动编码器（AE）的重构图像进行对比来识别层保持什么信息（或概念）。Cladec的扩展允许交易的可理解性和保真度。我们使用卷积神经网络评估我们的图像分类方法。我们表明，重建的可视化使用编码从一个分类器捕获更多的相关分类信息比传统的AE。尽管AE包含关于原始输入的更多信息，但这仍然成立。我们的用户研究强调，即使是非专家也可以识别图像中包含的与分类器相关（或不相关）的各种概念。我们还比较了基于显着性的方法，专注于像素的相关性，而不是概念。我们表明，CLADec往往突出更相关的输入领域的分类，虽然结果取决于分类器架构。代码位于\url{https://github.com/JohnTailor/ClaDec}
2022-03-07 cs.CV cs.LG
OrthoEraser: Coupled-Neuron Orthogonal Projection for Concept Erasure
OrthoEraser通过稀疏自编码器实现高分辨率特征解耦，利用分析梯度正交化策略有效擦除有害内容，同时保留良性语义，实验表明其在安全性和有效性上优于现有方法。
2026-03-12 cs.AI cs.CV cs.CY
WWW: A Unified Framework for Explaining What, Where and Why of Neural Networks by Interpretation of Neuron Concepts
Kyung Hee University（庆熙大学）
针对神经网络黑箱问题，提出WWW统一框架，结合自适应概念发现、神经元激活图与Shapley值及不确定性预测，从多维度提升模型可解释性且性能优于现有方法。
2024-04-11 cs.CV
Understanding Distributed Representations of Concepts in Deep Neural Networks without Supervision
Korea Advanced Institute of Science and Technology（韩国科学技术院）；INEEJI
针对现有概念揭示方法依赖人工监督的问题，提出一种无监督方法，通过选择核心神经元构建松弛决策区域以发现概念的分布式表示，可识别未标记子类、检测误分类原因并揭示不同层的表示差异。
2024-03-05 cs.AI cs.CV cs.LG
Dynamic-structured Semantic Propagation Network
Carnegie Mellon University（卡内基梅隆大学）；Wumii Tech. Limited（武米科技有限公司）；Petuum Inc（佩图姆公司）
由于将结构化推理结合到密集预测中的效率低且优化复杂，语义概念层次仍然未被充分探索用于语义分割。这种建模语义相关性的缺乏也使得先前的工作必须为每个任务调整高度指定的模型，因为数据集之间的标签差异。它严重限制了开集概念词汇和注释利用的分割模型的泛化能力。在本文中，我们提出了一个动态结构化的语义传播网络（DSSPN），建立一个语义神经元图，明确将语义概念层次结构到网络建设。每个神经元表示用于识别特定类型的实体的实例化模块，例如超类（例如食物）或特定概念（例如比萨饼）。在训练期间，DSSPN通过以原则性的方式仅激活每个图像的神经元子图来执行动态结构的神经元计算图。提出了一种密集的语义增强神经块，将所有祖先神经元的学习知识传播到每个细粒度的子神经元中进行特征进化。这种语义可解释结构的另一个优点是能够通过在每个步骤为每个注释选择性地激活不同的神经元子图来在不同的数据集上同时学习统一模型。在四个公共语义分割数据集（即ADE 20 K、COCO-Stuff、Cityscape和Mapillary）上的大量实验证明了我们的DSSPN优于最先进的分割模型。此外，我们证明了一个通用的分割模型，它是在不同的数据集上联合训练的，可以超过利用多个领域知识的常见微调方案的性能。
2018-03-16 cs.CV
Projection-wise Disentangling for Fair and Interpretable Representation Learning: Application to 3D Facial Shape Analysis
Erasmus MC（伊拉斯姆斯大学医学中心）；Delft University of Technology（代尔夫特理工大学）
混淆偏差是将机器学习应用于实践，特别是临床实践时的一个关键问题。我们认为学习表示独立于多个偏见的问题。在文献中，这主要是通过从学习的表征中清除偏见信息来解决的。然而，我们预计这种策略会损害表示中信息的多样性，从而限制其预期用途（例如，解释）。因此，我们建议减轻偏见，同时保持几乎所有的信息在潜在的表征，这使我们能够观察和解释他们。为了实现这一点，我们将潜在特征投影到学习的向量方向上，并强制偏差和投影特征之间的独立性，而不是所有学习的特征。为了解释投影特征和输入数据之间的映射，我们提出了投影式解缠：沿着学习的矢量方向进行采样和重建。所提出的方法进行了评估的3D面部形状和患者特征的分析（N=5011）。实验表明，这种概念简单的方法实现了最先进的公平的预测性能和可解释性，显示了其巨大的潜力，为临床应用。
2021-06-28 cs.CV
CLIP-Dissect: Automatic Description of Neuron Representations in Deep Vision Networks
UCSD（加州大学圣地亚哥分校）
本文提出 CLIP-Dissect，利用多模态视觉/语言模型自动为深度视觉网络的内部神经元分配开放式概念描述，无需标注数据，兼具准确性、灵活性与计算效率。
2023-06-05 cs.AI cs.CV cs.LG
Multimodal Neurons in Pretrained Text-Only Transformers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT KFG（麻省理工学院知识未来小组）；Northeastern University（东北大学）
该研究针对纯文本预训练Transformer的跨模态泛化能力溯源问题，通过自监督视觉编码器加线性投影构建视觉增强的冻结文本Transformer，发现模态转换发生在网络深层，提出了多模态神经元识别方法，证实其对特定视觉概念起作用且对图像字幕生成有因果影响。
2023-10-01 cs.CL cs.CV
Rethinking Multi-view Representation Learning via Distilled Disentangling
Beijing Jiaotong University（北京交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University of Science and Technology（南京理工大学）；Singapore Management University（新加坡管理大学）
本文针对多视图表示学习中一致性与特异性表示之间的冗余问题，提出基于掩码跨视图预测和蒸馏解耦模块的新框架，在提升表示质量的同时不增加额外计算开销。
2024-03-29 cs.CV cs.MM
Pruning for Robust Concept Erasing in Diffusion Models
School of Computer Science, University of Sydney（悉尼大学计算机科学学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对扩散模型概念擦除在面对对抗性提示时稳健性不足的问题，提出基于剪枝的策略，通过剪除概念相关关键参数降低神经元敏感性，与现有技术集成后，在擦除NSFW内容和艺术风格上分别提升近40%和30%。
2024-05-26 cs.CV
3D Neuron Morphology Analysis
University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们考虑的问题，找到一个准确的表示神经元的形状，提取亚细胞特征，并根据神经元的形状分类神经元。在神经科学研究中，骨架表示通常被用作神经元形状的紧凑和抽象表示。然而，现有的方法仅限于获取和分析“曲线”骨架，只能适用于管状形状。本文提出了一种三维神经元形态分析方法，用于更一般和复杂的神经元形状。首先，我们引入骨架网格的概念来表示一般的神经元形状，并提出了一种新的方法来计算网格表示从三维表面点云。然后从骨架网格中获得骨架图，并用于提取子细胞特征。最后，采用无监督学习方法嵌入骨架图进行神经元分类。大量的实验结果表明，我们的方法来分析神经元形态的鲁棒性。
2022-12-14 cs.CG cs.CV q-bio.QM
Granular Concept Circuits: Toward a Fine-Grained Circuit Discovery for Concept Representations
KAIST AI（韩国科学技术院人工智能研究所）
本文提出粒度概念电路（GCC）方法，通过迭代评估神经元连接的功能依赖与语义对齐，自动发现与查询相关的细粒度概念电路，实现深度视觉模型的概念级解释。
2025-08-03 cs.AI cs.CV
