Interpretable and Steerable Concept Bottleneck Sparse Autoencoders
University of California, San Diego（加州大学圣迭戈分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出CB-SAE框架，通过剪枝低效神经元和增加概念瓶颈提升LVLMs和图像生成任务的可解释性和可操控性，效果提升分别为32.1%和14.5%。
2026-03-30 cs.CV cs.LG
Information Bottleneck-Guided Heterogeneous Graph Learning for Interpretable Neurodevelopmental Disorder Diagnosis
Department of Language Science and Technology, The Hong Kong Polytechnic University（香港理工大学语言科学与技术系）；Laboratory of Digital Image and Intelligent Computation, Shanghai Maritime University（上海 Maritime 大学数字图像与智能计算实验室）
本文提出I2B-HGNN框架，结合信息瓶颈原理指导脑连接建模与跨模态特征融合，实现高分类准确率和可解释性生物标志物识别。
2026-04-23 cs.CV
CI-CBM: Class-Incremental Concept Bottleneck Model for Interpretable Continual Learning
Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣地亚哥分校电气与计算机工程系）；Department of Computer Science and Engineering, University of California San Diego（加州大学圣地亚哥分校计算机科学与工程系）；Halıcıoğlu Data Science Institute, University of California San Diego（加州大学圣地亚哥分校Halıcıoğlu数据科学研究所）
本文提出CI-CBM模型，通过概念正则化和伪概念生成技术，在持续学习中保持可解释性，实验表明其在七种数据集上性能优异，比现有可解释方法平均提升36%。
2026-04-16 cs.CV cs.LG
Contextual Semantic Interpretability
Wageningen University（瓦赫宁根大学）；Oxford University（牛津大学）；CMAP, École Polytechnique（巴黎综合理工学院应用数学中心）；IRISA, University Bretagne Sud, CNRS（南布列塔尼大学、法国国家科学研究中心、IRISA）；EPFL（洛桑联邦理工学院）
已知卷积神经网络（CNN）学习捕获与任务相关的概念的图像表示，但是以妨碍模型可解释性的隐式方式这样做。然而，有人可能会说，这种表示隐藏在神经元中，可以通过教模型识别场景中存在的语义可解释属性来显式化。我们将这样的中间层称为\emph{semantic bottleneck}。一旦属性被学习，它们可以被重新组合以达到最终决策，并提供准确的预测和CNN决策背后的明确推理。在本文中，我们将探讨捕获上下文的语义瓶颈：我们希望属性在几个有意义的元素的组中，并共同参与最终决策。我们使用两层语义瓶颈，将属性收集到可解释的稀疏组中，允许它们根据上下文对最终输出做出不同的贡献。我们测试我们的上下文语义可解释的瓶颈（CSIB）的任务，景观scenicness估计和训练的语义可解释的瓶颈使用辅助数据库（SUN属性）。当应用于Flickr图像的真实测试集时，我们的模型产生的预测与不可解释的基线一样准确，同时为每个预测提供清晰和可解释的解释。
2020-09-18 cs.AI cs.CV cs.LG
Language in a Bottle: Language Model Guided Concept Bottlenecks for Interpretable Image Classification
University of Pennsylvania（宾夕法尼亚大学）
本文提出LaBo，利用GPT-3生成候选概念、CLIP对齐图像并以次模效用选择瓶颈，在11个数据集上实现可解释且性能可比黑盒的少样本图像分类。
2023-04-25 cs.CL cs.CV
Concept Bottleneck Models Without Predefined Concepts
University of Freiburg（弗赖堡大学）
本文提出一种无需预定义概念的概念瓶颈模型，利用无监督概念发现和输入依赖的概念选择机制，在显著减少概念数量的同时缩小与黑盒模型的性能差距，并展示大型视觉-语言模型可干预最终权重以纠正错误。
2024-07-04 cs.CV cs.LG
Language Guided Concept Bottleneck Models for Interpretable Continual Learning
School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Institute of Automation, University of Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出集成语言引导概念瓶颈模型（CBMs）的持续学习框架，利用概念瓶颈层与CLIP对齐学习可跨任务泛化的人类可理解概念，在缓解灾难性遗忘的同时提供透明决策洞察，在多个数据集上优于现有方法。
2025-03-30 cs.CV
Adaptive Concept Bottleneck for Foundation Models Under Distribution Shifts
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出自适应概念瓶颈框架，通过仅利用目标域无标签数据动态调整概念向量库与预测层，解决基础模型在分布偏移下的失败模式，提升可解释性与准确率。
2024-12-18 cs.AI cs.CV cs.LG
Hierarchical, Interpretable, Label-Free Concept Bottleneck Model
University of Manchester（曼彻斯特大学）；University of Queensland（昆士兰大学）；University of California at Merced（加州大学默塞德分校）
HIL-CBM通过层次化框架提升模型可解释性，无需关系概念标注，在多语义层级实现分类与解释，优于现有稀疏CBMs。
2026-04-02 cs.AI cs.CV
A Tool Bottleneck Framework for Clinically-Informed and Interpretable Medical Image Understanding
California Institute of Technology（加州理工学院）；Stanford University（斯坦福大学）
针对医学图像理解中工具组合难的问题，提出工具瓶颈框架（TBF），利用工具瓶颈模型（TBM）组合VLM选择的工具，通过神经网络计算融合工具输出，在组织病理学和皮肤病学任务中表现出色，提升医学图像理解且使预测更具可解释性。
2026-07-10 cs.CV cs.LG
Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering
University of Pennsylvania（宾夕法尼亚大学）
针对多模态大模型视觉问答可解释性不足的问题，提出设计即可解释的动态线索瓶颈模型DCLUB，通过先输出视觉线索再生成答案实现决策可追溯，在推理类问题上优于同类黑盒模型，同时保持主流基准性能。
2024-04-13 cs.AI cs.CL cs.CV
Spatial Information Bottleneck for Interpretable Visual Recognition
Shenzhen University（深圳大学）
针对深度神经网络空间纠缠表示削弱可解释性与鲁棒性的问题，提出空间信息瓶颈（S-IB）框架，从信息论角度优化VJP空间结构，在五个基准上提升六种解释方法的前景集中与背景抑制效果，同时提高分类精度。
2026-09-28 cs.CV
Less Annotation, More Interpretation: Prior-Guided Concept Bottleneck Models for Interpretable Cancer Imaging Diagnosis
Image Sciences Institute（影像科学研究所）；University Medical Center Utrecht（乌得勒支大学医学中心）
本文提出先验引导的混合概念瓶颈模型，在0-20%的低概念标注场景下，可提升癌症影像诊断的概念AUC并保持诊断性能，同时降低标注负担。
2026-08-14 cs.CV
Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models
UC San Diego（加州大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；VA San Diego Healthcare System（VA圣地亚哥医疗系统）
针对深度学习医学图像分类模型存在的虚假相关性导致泛化差、黑盒缺乏可解释性的问题，提出基于自然语言概念的新范式，通过GPT-4获取临床概念、视觉-语言模型转换特征，在8个数据集上验证了鲁棒性与可解释性优势。
2023-10-04 cs.CL cs.CV cs.LG
Concept Bottleneck Model with Additional Unsupervised Concepts
Tokyo Research Center, Aisin（爱信东京研究中心）
随着对问责制的需求不断增加，可解释性正在成为现实世界人工智能应用的一项基本能力。然而，大多数方法使用事后方法，而不是训练可解释的模型。在这篇文章中，我们提出了一个新的解释模型的基础上的概念瓶颈模型（CBM）。CBM使用概念标签来训练中间层作为附加可见层。然而，由于概念标签的数量限制了该层的维度，因此很难用少量标签获得高精度。为了解决这个问题，我们将监督概念与用自解释神经网络（SENN）训练的无监督概念相结合。通过无缝训练这两种类型的概念，同时减少计算量，我们可以同时获得监督和非监督概念，即使是大尺寸的图像。我们将所提出的模型称为具有额外无监督概念的概念瓶颈模型（CBM-AUC）。我们通过实验证实，该模型优于CBM和SENN。我们还可视化了每个概念的显着图，并确认它与语义一致。
2022-02-03 cs.AI cs.CV cs.LG
Learning Label-Efficient Interpretable Medical Image Diagnosis via Semi-supervised Hypergraph Concept Bottleneck Model
HKUST(GZ)（香港科技大学（广州））；Joy Future Academy（京东探索研究院）；MBZUAI（穆罕默德·本·拉希德智能研究院）；Tsinghua University（清华大学）；Sichuan University（四川大学）；PolyU
提出一种半监督超图概念瓶颈模型，利用双层超图学习建模高阶概念依赖并生成领域自适应伪标签，在胎盘植入谱系等医学图像诊断中实现高可解释性和性能。
2026-06-01 cs.CV
Towards Interpretable Radiology Report Generation via Concept Bottlenecks using a Multi-Agentic RAG
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Oldenburg（奥尔登堡大学）
本研究提出结合概念瓶颈模型（CBMs）与多智能体 RAG 系统的框架，通过建模视觉特征与临床概念生成可解释的放射报告，在 COVID-QU 数据集上实现 81% 分类准确率及 84%-90% 的报告生成指标，有效提升了临床可解释性。
2025-01-22 cs.AI cs.CL cs.CV
Concept Complement Bottleneck Model for Interpretable Medical Image Diagnosis
Hong Kong University of Science and Technology（香港科技大学）；Department of Computer Science and Engineering（计算机科学与工程系）；Department of Chemical and Biological Engineering（化学与生物工程系）；Division of Life Science（生命科学部）
本文提出一种用于可解释医学图像诊断的概念互补瓶颈模型，通过概念适配器和互补策略挖掘并学习新概念以补充现有概念集，实验表明其在概念检测与疾病诊断任务上优于现有方法且具备有效可解释性。
2024-12-24 cs.AI cs.CV
Explanation Bottleneck Models
NTT（日本电报电话公司）
针对概念瓶颈模型依赖预定义概念的局限，本文提出 XBMs，利用预训练视觉-语言模型生成自然语言解释并据此预测，通过任务损失与解码器蒸馏正则化兼顾性能与解释质量。
2025-02-18 cs.AI cs.CV cs.LG
Uncertainty-Aware Concept Bottleneck Models with Enhanced Interpretability
Université Jean Monnet Saint-Etienne（Jean Monnet 圣艾蒂安大学）；Institut d’Optique Graduate School（光学研究生学院）；Laboratoire Hubert Curien UMR-CNRS 5516（Hubert Curien 实验室 CNRS 5516）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
针对概念瓶颈模型（CBMs）预测性能不足且不确定性传播研究欠缺的问题，提出一种新型不确定性感知可解释分类器，通过类别级概念原型同时实现分类、不确定性度量与可解释规则，结合共形预测提升模型可解释性与鲁棒性。
2025-10-01 cs.AI cs.CV
Interpretable Aneurysm Classification via 3D Concept Bottleneck Models: Integrating Morphological and Hemodynamic Clinical Features
Biomedical Sciences Program, School of Sciences, Zewail City of Science and Technology（泽瓦伊科学与技术城科学与技术学院生物医学科学项目）；Multimedia Interaction and Communication Lab, Arab Academy for Science and Technology（阿拉伯科学与技术学院多媒体交互与通信实验室）
本文提出了一种3D概念瓶颈模型，通过整合形态学和血流动力学特征，实现高精度且可解释的动脉瘤分类。
2026-03-08 cs.CV eess.SP
Debugging Concept Bottleneck Models through Removal and Retraining
Cornell University（康奈尔大学）
本文提出一种可解释调试框架，通过移除和再训练步骤解决CBM与专家推理间的系统性偏差问题，CBDebug通过转换概念反馈为样本标签，减少对不良概念的依赖。
2026-03-25 cs.CV cs.LG
Interpretability Beyond Classification Output: Semantic Bottleneck Networks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
当今的深度学习系统基于端到端训练提供高性能。虽然它们提供了强大的性能，但这些系统很难解释。为了解决这个问题，我们提出了语义瓶颈网络（SBN）：具有语义可解释的中间层的深度网络，所有下游结果都是基于这些中间层的。因此，对最终预测的分析对工程师来说是透明的，并且可以通过高级推理来分析和避免故障案例和模式。我们提出了一个案例研究的街道场景分割，以证明SBN的可行性和权力。特别是，我们从一个表现良好的经典深度网络开始，我们调整它来容纳包含任务相关语义概念（如对象部件和材料）的SB层。重要的是，我们可以恢复最先进的性能，尽管从1000（非语义特征）到10（语义概念）通道的维度急剧减少。此外，我们还展示了SB层的激活如何用于解释网络的故障情况以及对结果输出的置信度预测。第一次，例如，我们显示了可解释的分割结果，大多数预测的准确率超过99%。
2019-07-28 cs.CV cs.LG
Probabilistic Concept Bottleneck Models
Seoul National University（首尔国立大学）
针对CBM确定性概念预测无法处理概念歧义的问题，本文提出ProbCBM，用概率概念嵌入建模并传递概念不确定性，从而提升类别预测解释的可靠性。
2023-06-02 cs.AI cs.CV cs.LG
Zero-shot Concept Bottleneck Models
Kyoto University（京都大学）
本文提出零样本概念瓶颈模型，通过大规模概念库实现无需训练的跨领域概念与标签预测，提供可解释的干预概念。
2026-04-03 cs.AI cs.CV cs.LG
Towards Faithful Multimodal Concept Bottleneck Models
Ekimetrics；Sorbonne Université, CNRS, LIP6（索邦大学、国家科学研究中心、LIP6实验室）；Télécom Paris（巴黎电信学院）
本文提出f-CBM框架，通过可微泄漏损失和Kolmogorov-Arnold网络预测头，解决多模态场景下的概念检测与泄漏问题，实现任务准确度、概念检测和泄漏减少的最佳平衡。
2026-03-13 cs.CV cs.LG
Marine Debris Detection in Satellite Surveillance using Attention Mechanisms
本研究将YOLOv7实例分割与多种注意力机制结合，用于卫星图像中的海洋垃圾检测，发现CBAM在边界框和掩码评估中均取得最高F1分数，是最适合的模型。
2023-07-09 cs.CV
When Do Language-Grounded Explanations Help? A Graph-Bottleneck for Farm Monitoring Interpretable Sheep Facial Pain
CISTER Research Center（CISTER研究中心）；Pontificia Universidad Católica de Chile（智利天主教大学）
本研究通过概念瓶颈架构，证明语言接地解释在绵羊面部疼痛识别中不可靠，提出仅用SPFES概念分数的方法，牺牲少量一致性换取可学习概念，并揭示架构必要性不等于语义有效性。
2026-09-18 cs.AI cs.CV
Towards Interpretable PolSAR Image Classification: Polarimetric Scattering Mechanism Informed Concept Bottleneck and Kolmogorov-Arnold Network
Department of Information Engineering, Harbin Institute of Technology（信息工程系，哈尔滨工业大学）；National Key Laboratory of Scattering and Radiation（散射与辐射国家重点实验室）
本文针对深度学习PolSAR图像分类的黑箱问题，提出结合极化目标分解概念标签、并行概念瓶颈网络与Kolmogorov-Arnold网络的可解释分类框架，在保持精度的同时实现特征概念化和决策过程解析化。
2025-07-04 cs.CV eess.IV
Rashomon Sets for Prototypical-Part Networks: Editing Interpretable Models in Real-Time
Duke University（杜克大学）；University of Maine（缅因大学）
本文提出Proto-RSet框架，通过生成多个同等优秀的原型部分网络（ProtoPNets）解决交互瓶颈，允许非专家用户实时编辑和修正模型以消除偏差，同时保持性能保证。
2025-03-03 cs.CV cs.LG
Label-Free Concept Bottleneck Models
UCSD（加州大学圣地亚哥分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
针对概念瓶颈模型依赖概念标签且准确率较低的问题，本文提出 Label-free CBM，无需概念标签即可将神经网络转为高准确率、可扩展且自动化的可解释 CBM。
2023-06-05 cs.CV cs.LG
Show and Tell: Visually Explainable Deep Neural Nets via Spatially-Aware Concept Bottleneck Models
Department of Electrical and Computer Engineering, Ben-Gurion University of the Negev（电气与计算机工程系，贝内-约尔大学内盖夫分校）；Data Science Research Center, Ben-Gurion University of the Negev（数据科学研究中心，贝内-约尔大学内盖夫分校）
本文提出SALF-CBM框架，通过空间感知概念瓶颈层将预训练视觉骨干网络转化为无需人工标签的自解释模型，在分类、零样本分割和模型调试上均优于现有方法。
2025-09-22 cs.CV
Birds look like cars: Adversarial analysis of intrinsically interpretable deep learning
University of Warsaw（华沙大学）；Warsaw University of Technology（华沙技术大学）
本文研究了内在可解释深度学习模型的对抗性风险，通过原型操纵和后门攻击揭示其不可解释性，并探讨了提升模型鲁棒性和对齐性的必要性。
2025-09-18 cs.CV cs.LG
Cognitive Alignment At No Cost: Inducing Human Attention Biases For Interpretable Vision Transformers
Ethan Knights
通过微调Google ViT-B/16的自注意力权重，利用人类显著性固定图提升模型与人类注意力的对齐，发现无需额外成本即可增强模型可解释性。
2026-04-21 cs.AI cs.CV
ELUDE: Generating interpretable explanations via a decomposition into labelled and unlabelled features
Princeton University（普林斯顿大学）
在过去的十年里，深度学习模型在机器学习的不同领域取得了巨大的成功;然而，这些模型的规模和复杂性使它们难以理解。为了使它们更易于解释，最近的几项工作专注于通过人类可解释的语义属性来解释深层神经网络的部分。然而，仅仅使用语义属性可能无法完全解释复杂的模型。在这项工作中，我们建议增加这些属性与一小部分不可解释的功能。具体来说，我们开发了一种新的解释框架ELUDE（通过标记和未标记DEcomposition解释），将模型的预测分解为两部分：一部分是通过语义属性的线性组合可解释的，另一部分是依赖于一组不可解释的特征。通过识别后者，我们能够分析模型中“无法解释”的部分，从而深入了解模型所使用的信息。我们表明，未标记的特征集可以推广到使用相同特征空间训练的多个模型，并将我们的工作与两种流行的面向属性的方法（可解释基础分解和概念瓶颈）进行比较，并讨论ELUDE提供的其他见解。
2022-06-16 cs.CV cs.LG
PointMask: Towards Interpretable and Bias-Resilient Point Cloud Processing
Autodesk AI Lab（欧特克人工智能实验室）；Autodesk Research（欧特克研究院）
深度分类器倾向于将一些有区别的输入变量与它们的目标函数相关联，这反过来可能会损害它们的泛化能力。为了解决这个问题，可以设计系统的实验和/或通过可解释性方法检查模型。在本文中，我们研究了在点云上操作的深度模型上的这两种策略。我们提出了PointMask，一个模型无关的可解释的信息瓶颈的方法属性点云模型。PointMask鼓励探索输入空间中的大多数变化因素，同时逐渐收敛到一般解决方案。更具体地说，PointMask引入了一个正则化项，该正则化项最小化输入和用于屏蔽不相关变量的潜在特征之间的互信息。我们表明，将PointMask层与任意模型耦合可以识别输入空间中对预测得分贡献最大的点，从而导致可解释性。通过设计偏置实验，我们还表明，由于其逐步掩蔽功能，我们提出的方法是有效的处理数据偏差。
2020-07-09 cs.CV cs.LG
Beyond Heatmaps: Unsupervised Concept-Graph Reasoning for Interpretable Visual Explanation
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Saarland University（萨尔大学）；Oldenburg University（奥尔登堡大学）；BEGO GmbH & Co. KG（BEGO有限两合公司）
提出G-CBM模型，通过非负矩阵分解无监督发现概念，构建图像级概念图，利用图注意力网络进行概念级推理，在多个数据集上平均AUC提升3.7%。
2026-10-14 cs.CV
DCG-Net: Dual Cross-Attention with Concept-Value Graph Reasoning for Interpretable Medical Diagnosis
School of Information and Communication Technology（信息与通信技术学院）
DCG-Net通过双交叉注意力和概念-值图推理，提升医学诊断的可解释性，实现白血球形态和皮肤病变诊断的高精度分类。
2026-03-20 cs.CV
Assessing Reliability of Symbol Detection in Concept Bottleneck Models
University of Essex（埃塞克斯大学）
本文研究概念瓶颈模型（CBM）中符号检测的可靠性问题，通过交换独立训练的概念检测器和分类头来识别易受虚假激活影响的概念，并提出一种可靠性感知训练策略，在CUB-200-2011和合成任务上验证了其有效性。
2026-06-16 cs.CV cs.LG cs.SC
Intervening in Black Box: Concept Bottleneck Model for Enhancing Human Neural Network Mutual Understanding
Xidian University（西安电子科技大学）；KTH Royal Institute of Technology（皇家理工学院）；Donghai Laboratory（东海实验室）
提出CBM-HNMU，利用概念瓶颈模型近似黑盒推理，自动识别并修正有害概念，蒸馏回原模型，在多个数据集上提升准确率，增强可解释性。
2025-09-24 cs.CV cs.HC cs.LG
Neuroevolution of Self-Interpretable Agents
Google Brain（谷歌大脑）；Google Japan（谷歌日本）
不注意视盲是一种心理现象，导致一个人错过的东西在平原视线。这是感知中选择性注意力的结果，它让我们保持专注于世界的重要部分，而不会从无关的细节中分心。出于选择性注意，我们研究的属性，人工代理感知世界通过镜头的自我注意力瓶颈。通过限制仅访问一小部分视觉输入，我们表明他们的策略可以在像素空间中直接解释。我们发现神经进化是训练基于视觉的强化学习（RL）任务的自我注意力架构的理想选择，使我们能够整合可以包括对我们的代理有用的离散，不可微操作的模块。我们认为，自我注意力具有类似的属性作为间接编码，在这个意义上，大型隐式权重矩阵是从少量的关键查询参数生成的，从而使我们的代理解决具有挑战性的基于视觉的任务与至少1000倍的参数比现有的方法。由于我们的代理只关注关键任务的视觉提示，因此它们能够推广到任务无关元素被修改而传统方法失败的环境。我们的结果和源代码的视频可在https://attentionagent.github.io/上获得
2020-04-02 cs.CV cs.LG cs.NE
