VecGAN: Image-to-Image Translation with Interpretable Latent Directions
Bilkent University(比尔肯特大学)
我们提出了VecGAN,一个图像到图像的翻译框架,用于具有可解释的潜在方向的面部属性编辑。人脸属性编辑任务面临的挑战是精确的属性编辑与可控的强度和保存图像的其他属性。为了实现这个目标,我们通过潜在空间分解设计了属性编辑,对于每个属性,我们学习了一个与其他属性正交的线性方向。另一个分量是变化的可控强度,即标量值。在我们的框架中,这个标量可以通过投影从参考图像中采样或编码。我们的工作受到固定预训练GANs的潜在空间分解工作的启发。然而,虽然这些模型无法进行端到端的训练,并且很难精确编辑编码图像,但VecGAN是针对图像翻译任务进行端到端训练的,并且成功地编辑了一个属性,同时保留了其他属性。我们广泛的实验表明,VecGAN在本地和全局编辑方面都取得了显着的改进。
2022-07-07 cs.AI cs.CV cs.LG
Unsupervised Panoptic Interpretation of Latent Spaces in GANs Using Space-Filling Vector Quantization
Aalto University(阿尔托大学)
本文提出空间填充向量量化(SFVQ)方法,以无监督方式建模并解释 GAN 潜在空间,在 StyleGAN2 和 BigGAN 上验证其可识别生成因素、发现可解释变换方向并支持可控数据增强。
2025-07-02 cs.AI cs.CV cs.LG
A Probabilistic Model for Skill Acquisition with Switching Latent Feedback Controllers
Department of Electrical and Computer Systems Engineering Faculty of Engineering(电气与计算机系统工程系工程学院)
本研究将混合密度网络重新解释为隐状态条件下的反馈控制器库,构建概率图模型将技能获取建模为隐空间分割,既提升任务成功率与抗观测噪声鲁棒性,也改善了实体机器人的模型部署效果。
2025-05-20 cs.RO
Liquid Latent State Dynamics for Interpretable Turbofan Degradation Modeling
Tianjin University(天津大学)
提出液态神经网络作为潜在动力学模型,通过分解潜在状态为退化与工况分量,在C-MAPSS上实现可解释的退化建模,传感器预测RMSE从0.2438降至0.2266。
2026-07-03 cs.CV cs.LG
LIA-X: Interpretable Latent Portrait Animator
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Inria, Université Côte d’Azur(Inria,法国埃克斯-马赛大学)
LIA-X 是一种可解释的肖像动画器,通过 Sparse Motion Dictionary 将面部动态解耦为可解释因子,支持“编辑-扭曲-渲染”策略实现细粒度控制,并在多项基准任务中表现优异。
2025-08-13 cs.CV
Discovering Interpretable Directions in the Semantic Latent Space of Diffusion Models
IT University of Copenhagen(哥本哈根信息技术大学);Technion(以色列理工学院)
本文探索扩散模型h-空间的语义方向,提出无监督与监督方法发现可解释方向,无需架构修改或微调,实现语义编辑。
2024-05-29 cs.CV cs.LG
Imitation from Heterogeneous Demonstrations using Grounded Latent-Action World Models
University of Oxford(牛津大学)
提出GLAM方法,通过共享潜在动作空间对齐异构数据源,学习接地潜在动作世界模型,在数据稀缺时提升模仿学习性能,平均任务成功率提高48%。
2026-06-23 cs.AI cs.LG cs.RO
Learning Compositional Symbolic Task Rules from Demonstrations with Inductive Logic Programming
Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人学与自动控制研究所)
提出一种基于归纳逻辑编程的分解学习方法,从演示中学习可解释、可重用且支持强泛化的符号任务规则。
2026-05-26 cs.RO
Data-Asymmetric Latent Imagination and Reranking for 3D Robotic Imitation Learning
本文提出DALI-R框架,通过潜在世界模型和任务完成评分器,利用混合质量轨迹提升3D机器人模仿学习的决策能力,无需额外高质量示范。
2026-05-11 cs.RO
Good in Bad (GiB): Sifting Through End-user Demonstrations for Learning a Better Policy
Department of Computer Science, University of New Hampshire, USA(新罕布什尔大学计算机科学系)
GiB算法通过自动识别并剔除演示中的错误子任务,保留高质量子任务,提升策略鲁棒性。
2026-09-09 cs.RO
GANSpace: Discovering Interpretable GAN Controls
Aalto University(阿尔托大学);Adobe Research(奥多比研究院);NVIDIA(英伟达)
本文描述了一种简单的技术来分析生成对抗网络(GANs),并为图像合成创建可解释的控件,例如视点变化、老化、照明和时间。我们确定重要的潜在方向的基础上,应用在潜在空间或特征空间的主成分分析(PCA)。然后,我们表明,大量的可解释的控制可以定义沿主方向逐层扰动。此外,我们还证明了BigGAN可以以类似StyleGAN的方式通过逐层输入进行控制。我们展示了在各种数据集上训练的不同GANs的结果,并展示了良好的定性匹配,以编辑通过早期监督方法发现的方向。
2020-12-14 cs.CV cs.GR
Generative Adversarial Image Synthesis with Decision Tree Latent Controller
NTT Communication Science Laboratories, NTT Corporation(日本电信电话公司通信科学实验室)
本文提出了决策树潜在控制器生成对抗网络(DTLC-GAN),一个扩展的GAN,可以学习分层可解释的表示,而不依赖于详细的监督。为了对潜在变量施加层次包含结构,我们将一个新的架构称为DTLC到生成器输入。DTLC具有多层树结构,其中子节点代码的ON或OFF由父结点代码控制。通过分层使用这种结构,我们可以获得潜在的空间,其中低层代码被选择性地使用取决于高层的。为了使潜码捕获图像的显着语义特征,在DTLC分层解开的方式,我们还提出了一个分层的条件互信息正则化,并优化它与一个新定义的课程学习方法,我们提出的。这使得有可能通过仅使用单个DTLC-GAN模型,基于信息增益以逐层的方式发现分层可解释的表示。我们在各种数据集上评估了DTLC-GAN,即,MNIST,CIFAR-10,Tiny ImageNet,3D Faces和CelebA,并证实DTLC-GAN可以在无监督或弱监督设置下学习分层可解释的表示。此外,我们将DTLC-GAN应用于图像检索任务,并显示了其在表示学习中的有效性。
2018-05-27 cs.CV
LAR-MoE: Latent-Aligned Routing for Mixture of Experts in Robotic Imitation Learning
Department of Translational Surgical Oncology, NCT/UCC Dresden(转化外科肿瘤学系);Cluster of Excellence-CeTI, TUD, Germany(卓越中心-CeTI);Department of Visceral, Thoracic and Vascular Surgery, Faculty of Medicine and University Hospital Carl Gustav Carus, TUD, Germany(visceral、胸腔和血管外科系)
LAR-MoE通过潜在对齐路由在机器人模仿学习中实现无监督的专家混合,提升任务适应性和效率。
2026-03-09 cs.RO
Video Creation by Demonstration
Google DeepMind(谷歌DeepMind);Cornell University(康奈尔大学)
该研究提出通过演示进行视频创作的新范式,推出基于自监督的$δ$-Diffusion方法,采用隐式潜在控制从演示提取动作表征生成合理视频,在多项评估中优于基线,具交互式模拟潜力。
2024-12-12 cs.CV
Learning to Discern: Imitating Heterogeneous Human Demonstrations with Preference and Representation Learning
Georgia Institute of Technology(佐治亚理工学院)
本文提出离线模仿学习框架L2D,通过潜在表示学习和偏好学习训练质量评估器,以辨别并利用质量和风格各异的演示,从而提升策略在仿真和实体机器人任务中的表现。
2023-10-22 cs.AI cs.RO
DragGANSpace: Latent Space Exploration and Control for GANs
Georgia Institute of Technology(佐治亚理工学院)
本文融合 StyleGAN、DragGAN 与 PCA,提出 DragGANSpace,通过潜空间降维与跨模型对齐提升 GAN 图像编辑的优化效率、视觉质量及可解释控制能力。
2025-09-26 cs.CV cs.LG
Latent Diffusion Planning for Imitation Learning
Stanford(斯坦福大学);UC Berkeley(加州大学伯克利分校)
提出潜在扩散规划(LDP),通过分离规划与动作预测,利用无动作和次优数据,在模拟视觉机器人操作任务上超越现有模仿学习方法。
2025-04-23 cs.AI cs.RO
Semi-supervised Learning From Demonstration Through Program Synthesis: An Inspection Robot Case Study
The University of Edinburgh(爱丁堡大学)
半监督学习通过利用来自无监督学习的方法来提取标签中未明确提供的信息,从而提高了监督机器学习的性能。通过设计一个系统,使机器人从人类操作员学习检查策略,我们提出了一个混合半监督系统,能够学习可解释和可验证的模型演示。该系统通过使用顺序重要性采样从沉浸式演示中学习来诱导控制器程序。这些视觉伺服控制器的参数化比例增益,并通过观察机器人在环境中的位置在视觉上可验证。聚类和有效的粒子大小过滤允许系统在状态空间中发现目标。这些目标用于标记行为模型的端到端学习的原始演示。行为模型用于自主模型预测控制,并仔细检查解释。我们实施因果敏感性分析,以确定显着的对象,并产生反事实的条件解释。这些功能使决策解释和事后发现失败的原因。所提出的系统扩展了以前的方法,程序合成,将排斥在归因之前的采样过程。我们成功地学习的混合动力系统从一个无人驾驶地面车辆检查的情况下,在一个特定的顺序,环境的不同区域。该系统归纳出演示的可解释的计算机程序,其可以被合成以产生新颖的检查行为。重要的是,机器人成功地在看不见的环境配置上运行合成程序,同时解释其自主行为。
2020-07-23 cs.AI cs.RO
InfoGAIL: Interpretable Imitation Learning from Visual Demonstrations
MIT(麻省理工学院);Stanford University(斯坦福大学)
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。然而,由人类提供的专家演示通常由于通常未明确建模的潜在因素而显示出显著的可变性。在本文中,我们提出了一个新的算法,可以推断的潜在结构的专家演示在一个无监督的方式。我们的方法建立在生成对抗模仿学习之上,不仅可以模仿复杂的行为,还可以学习复杂行为数据的可解释和有意义的表示,包括视觉演示。在驾驶领域,我们表明,从人类演示中学习的模型能够准确地再现各种行为,并使用原始视觉输入准确地预测人类的行为。与各种基线相比,我们的方法可以更好地捕捉潜在的结构专家演示,往往恢复语义有意义的因素的变化的数据。
2017-11-14 cs.AI cs.CV cs.LG
Categorical Traffic Transformer: Interpretable and Diverse Behavior Prediction with Tokenized Latent
NVIDIA Research(英伟达研究院);University of California, San Diego(加利福尼亚大学圣迭戈分校);Stanford University(斯坦福大学)
本文提出Categorical Traffic Transformer(CTT),通过可解释的令牌化隐空间直接监督隐变量以避免模式坍缩,在提升预测精度的同时生成语义多样化的行为,并支持与LLM集成实现常识推理和零样本泛化。
2023-11-30 cs.CV cs.LG cs.RO
Med-SegLens: Latent-Level Model Diffing for Interpretable Medical Image Segmentation
Department of Physics(物理系);Computer Science, Wilfrid Laurier University, Waterloo, Canada(计算机科学,威尔弗里德·劳里尔大学,温哥华,加拿大)
Med-SegLens通过潜在层模型差分技术,实现了对医学图像分割失败的诊断和数据集偏移的缓解,通过干预潜在特征提升分割性能。
2026-07-29 cs.CV
Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
与流行的模块化框架不同,端到端自动驾驶寻求以集成的方式解决感知,决策和控制问题,这可以更好地适应新场景,更容易大规模推广。然而,现有的端到端方法往往缺乏可解释性,只能处理简单的驾驶任务,如车道保持。在本文中,我们提出了一种用于端到端自动驾驶的可解释的深度强化学习方法,该方法能够处理复杂的城市场景。引入了一个顺序的潜在环境模型,并与强化学习过程一起学习。利用该潜在模型,可以生成语义birdeye mask,该语义birdeye mask被强制与当今模块化框架中的某个中间属性连接,以解释学习策略的行为。潜在空间还显著降低了强化学习的样本复杂度。与CARLA中模拟自动驾驶汽车的比较测试表明,我们的方法在周围车辆拥挤的城市场景中的性能占主导地位,包括DQN,DDPG,TD3和SAC。此外,通过掩蔽输出,学习的策略能够更好地解释汽车如何对驾驶环境进行推理。这个工作的代码和视频可以在我们的github repo和项目网站上找到。
2020-07-07 cs.CV cs.LG cs.RO
IntroVAC: Introspective Variational Classifiers for Learning Interpretable Latent Subspaces
University of Padova(帕多瓦大学)
学习复杂数据的有用表示多年来一直是广泛研究的主题。随着深度神经网络的普及,变分自编码器获得了大量关注,因为它们基于编码器/解码器架构提供了数据分布的显式模型,该架构能够生成图像并在低维子空间中对其进行编码。然而,潜在的空间是不容易解释和生成能力显示出一些限制,因为图像通常看起来模糊,缺乏细节。在本文中,我们提出了内省变分分类器(IntroVAC),该模型通过利用来自附加标签的信息来学习可解释的潜在子空间,并通过对抗训练策略来提高图像质量。我们表明,IntroVAC能够学习潜在空间中有意义的方向,从而实现对图像属性的细粒度操作。我们在CelebA数据集上验证了我们的方法。
2020-09-14 cs.CV cs.LG stat.ML
Where and What? Examining Interpretable Disentangled Representations
The University of Sydney(悉尼大学)
捕获可解释的变化一直是解纠缠学习的目标之一。然而,与独立性假设不同的是,可解释性很少被利用来鼓励在无监督的环境中解开纠缠。在本文中,我们通过调查两个问题来考察解纠缠表征的可解释性:在哪里被解释和解释什么?如果潜码会始终影响所产生的图像的某个子区域,则潜码很容易被解释。因此,我们建议学习一个空间掩模来定位每个潜在维度的影响。另一方面,可解释性通常来自捕捉数据中简单和基本变化的潜在维度。因此,我们对潜码的某个维度施加扰动,并期望从生成的图像中识别沿着该维度的扰动,以便可以强制执行简单变化的编码。此外,我们开发了一种无监督的模型选择方法,该方法沿着潜在空间中的轴累积感知距离分数。在各种数据集上,我们的模型可以在没有监督的情况下学习高质量的解纠缠表示,这表明所提出的可解释性建模是实现无监督解纠缠的有效代理。
2021-04-07 cs.CV
Towards Interpretable R-CNN by Unfolding Latent Structures
North Carolina State University(北卡罗来纳州立大学);Alibaba Group(阿里巴巴集团)
本文首先提出了一种基于潜在结构展开思想的视觉理解任务中模型可解释性的表达方法。然后,它提出了一个案例研究,在目标检测使用流行的两阶段基于区域的卷积网络(即,R-CNN)检测系统。我们专注于弱监督的提取合理性生成,即学习展开潜在的歧视性的部分配置的对象实例自动和同时检测,而不使用任何监督的部分配置。我们利用一个自上而下的层次结构和成分语法模型嵌入在一个有向的非循环AND-OR图(AOG),探索和展开的潜在部分配置的空间感兴趣的区域(ROI)。我们提出了一个AOGParsing算子来代替R-CNN中广泛使用的RoIPooling算子。在检测中,一个限界框是解释的最佳解析树从AOG的运行中,这是作为定性提取的基本原理产生解释检测。我们提出了一种折叠展开方法来训练AOG和卷积网络端到端。在实验中,我们建立在R-FCN上,并在PASCAL VOC 2007和2012数据集上测试我们的方法。我们表明,该方法可以展开有前途的潜在结构,而不会损害性能。
2018-09-06 cs.CV
Low-Rank-Modulated Functa: Exploring the Latent Space of Implicit Neural Representations for Interpretable Ultrasound Video Analysis
Yale Biomedical Imaging Institute, Yale University(耶鲁大学生物医学成像研究所);Department of Emergency Medicine, Yale School of Medicine(耶鲁大学医学院急诊医学系);Dept. of Biomedical Engineering, University of Basel(巴塞尔大学生物医学工程系)
本文提出LRM-Functa,通过低秩调制在时间解析潜在空间中提升超声视频分析的可解释性与效率,优于现有方法并在心脏射血分数预测中表现优异。
2026-03-26 cs.CV
LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs
University of Cambridge(剑桥大学)
提出 LatentLens 方法,通过将视觉标记与文本语料库中的上下文标记表示进行最近邻匹配,实现视觉标记的可解释性,发现大多数视觉标记在各层均具有可解释性。
2026-07-23 cs.AI cs.CV
Reconstructing Interpretable Features in Computational Super-Resolution microscopy via Regularized Latent Search
本文提出基于正则化潜在搜索(RLS)的超分辨率方法,在无配对图像条件下平衡真实性与保真度,并将深度学习重建与可解释特征量化分离,用于保留条件间可解释差异。
2024-05-29 cs.CV eess.IV
Latent Space Analysis for Interpretable Uncertainty in Melanoma Classification
University of Naples Federico II(那不勒斯费德里科二世大学)
提出结合对抗变分自编码器和XGBoost的混合框架,利用生成潜在空间实现可解释决策支持,在黑色素瘤分类中达到AUC 0.868,并通过基于内容的图像检索为边界病例提供视觉比较。
2026-06-25 cs.AI cs.CV
Disentangled Latent Transformer for Interpretable Monocular Height Estimation
Technical University of Munich(慕尼黑工业大学);German Aerospace Center(德国航空航天中心)
基于遥感影像的单目高程估计(MHE)在快速响应自然灾害的快速生成三维城市模型方面具有很大的潜力。大多数现有的作品追求更高的性能。然而,很少有研究探讨MHE网络的可解释性。在本文中,我们的目标是探索深度神经网络如何从单个单目图像预测高度。为了全面理解MHE网络,我们建议从多个层次来解释它们:1)神经元:单元级解剖。探索学习的内部深层表征的语义和高度选择性; 2)深度:对象级解释。研究不同语义类别、尺度和空间背景对身高估计的影响; 3)归因:像素级分析。了解哪些输入像素对于高度估计是重要的。基于多层次解译,提出了一种解纠缠的潜在Transformer网络,旨在为单目高度估计提供更紧凑、可靠和可解释的深度模型。此外,一个新的无监督语义分割任务的基础上高度估计首次在这项工作中介绍。此外,我们还构建了一个新的数据集联合语义分割和高度估计。我们的工作为理解和设计MHE模型提供了新的见解。
2022-02-02 cs.CV
FailSAE: Towards Interpretable Failure Prediction for Vision-Language Models via Sparse Autoencoders
Wayne State University(韦恩州立大学)
本研究提出基于稀疏自编码器的FailSAE框架,将视觉语言模型故障预测建模为稀疏潜在激活分类任务,经三阶段故障感知训练提升性能与可解释性,优于基线方法且支持故障恢复。
2026-09-07 cs.CV
Skill Induction and Planning with Latent Language
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个框架,从示范学习分层政策,使用稀疏自然语言注释,以指导自主决策的可重用技能的发现。我们制定了一个生成模型的行动序列中,目标生成序列的高层次的子任务的描述,这些描述生成序列的低层次的行动。我们描述了如何训练这个模型,主要使用无注释的示威游行,通过解析示威游行到序列的命名高级别的子任务,只使用少量的种子注释地面语言的行动。在经过训练的模型中,自然语言命令索引了一个组合技能库;智能体可以使用这些技能,通过生成针对新目标定制的高级指令序列来进行规划。我们在ALFRED家庭模拟环境中评估这种方法,仅为10%的演示提供自然语言注释。它实现了与最先进的模型相当的任务完成率(在训练和评估期间访问地面实况计划的情况下,优于最近的几种方法),同时提供结构化和人类可读的高级计划。
2022-05-02 cs.AI cs.CL cs.CV
Interpreting Latent Spaces of Generative Models for Medical Images using Unsupervised Methods
University of Copenhagen(哥本哈根大学);Rigshospitalet(哥本哈根大学国立医院)
生成对抗网络(GANs)和变分自编码器(VAE)等生成模型在医学图像分析中发挥着越来越重要的作用。这些模型的潜在空间通常显示与人类可解释的图像变换相对应的语义上有意义的方向。然而,到目前为止,由于监督数据的要求,他们对医学图像的探索受到了限制。在GAN潜在空间中无监督发现可解释方向的几种方法在自然图像上显示出有趣的结果。这项工作探讨了将这些技术应用于医学图像的潜力,通过在胸部CT扫描上训练GAN和VAE,并使用无监督的方法来发现由此产生的潜在空间中的可解释方向。我们发现几个方向对应于非平凡的图像变换,如旋转或乳房大小。此外,这些方向表明,生成模型捕捉3D结构,尽管只呈现2D数据。结果表明,在GANs中发现可解释方向的无监督方法可推广到VAE,并可应用于医学图像。这打开了一个广泛的未来的工作,使用这些方法在医学图像分析。
2022-07-20 cs.CV cs.LG eess.IV
VITAL: Visual-Semantic Dual Supervision for Enhanced and Interpretable Latent Reasoning in Medical MLLMs
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室);Tencent(腾讯);Ningbo Global Innovation Center, Zhejiang University(宁波全球创新中心,浙江大学);Zhejiang Key Laboratory of Digital-Intelligence Service Technology(浙江省数字智能服务技术重点实验室)
提出VITAL框架,通过视觉-语义双重监督(文本解码器重构推理链、视觉投影器回归ROI特征)实现医学MLLM的可解释潜在推理,在7个基准上达到SOTA。
2026-10-12 cs.AI cs.CV
Seeing It or Not? Interpretable Vision-aware Latent Steering to Mitigate Object Hallucinations
Xi’an Jiaotong University(西安交通大学)
提出VaLSe框架,通过视觉贡献图解释并引导潜在空间,缓解大型视觉-语言模型的对象幻觉,增强鲁棒性并揭示现有评估指标局限。
2025-05-23 cs.AI cs.CV
Latent Representation Learning from 3D Brain MRI for Latent Analysis and Prediction in Multiple Sclerosis
VNU University of Engineering and Technology(越南工程大学);Bach Mai Hospital(巴赫梅医院)
本研究提出InfoVAE-Med3D三维脑MRI潜在表示学习方法,通过扩展InfoVAE最大化图像与潜在变量互信息,在健康对照和多发性硬化症数据集上验证其在预测、可解释性上优于其他VAE变体,为认知衰退生物标志物研究提供新路径。
2026-10-28 cs.CV eess.IV q-bio.QM
Interpretable Alzheimer's Disease Classification Via a Contrastive Diffusion Autoencoder
University College London(伦敦大学学院)
本研究提出基于对比扩散自编码器的方法,通过图像与潜在空间训练样本的相似性对阿尔茨海默病进行分类,在2D MRI数据上达到黑盒模型相当准确率并提供可解释性。
2023-10-25 cs.CV cs.LG
Learning Visually Interpretable Oscillator Networks for Soft Continuum Robots from Video
Department of Advanced Interdisciplinary Studies, The University of Tokyo(东京大学先进跨学科研究系);Institute of Assembly Technology and Robotics, Leibniz University Hannover(莱比锡大学汉诺威装配技术与机器人研究所);Research Center for Advanced Science and Technology, The University of Tokyo(东京大学先进科学研究中心)
提出注意力广播解码器(ABCD)和视觉振荡器网络(VONs),实现从视频中学习软体连续体机器人动力学的视觉和机械可解释性,多步预测误差降低5.8倍。
2026-06-12 cs.CV cs.LG cs.RO
Unsupervised and interpretable scene discovery with Discrete-Attend-Infer-Repeat
University of Cambridge(剑桥大学)
在这项工作中,我们提出了离散注意推断重复(离散空气),一个经常性的自动编码器与结构化的潜在分布包含离散分类分布,连续属性分布,和分解空间注意。离散空气模型的灵感来自于原始空气模型和保留空气模型的能力,在识别图像中的对象,离散空气提供了直接解释的潜在代码。我们表明,对于多MNIST和多对象版本的dSprites数据集,离散空气模型只需要一个分类的潜在变量,一个属性变量(仅适用于多MNIST),以及空间注意力变量,有效的推理。我们进行分析表明,学习的分类分布有效地捕捉多MNIST和多精灵的场景中的对象的类别。
2019-03-14 cs.CV cs.LG stat.ML
Attribute Regularized Soft Introspective Variational Autoencoder for Interpretable Cardiac Disease Classification
Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich(亥姆霍兹慕尼黑生物医学成像机器学习研究所);Helmholtz AI, Helmholtz Munich(亥姆霍兹慕尼黑人工智能中心);School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);School of Biomedical Engineering and Imaging Sciences, King's College London(伦敦国王学院生物医学工程与影像科学学院)
本研究针对医学影像AI可解释性需求,提出结合潜空间属性正则化的对抗训练变分自编码器方法,可解决重建模糊问题,提升心脏病分类的可解释性。
2023-12-14 cs.CV eess.IV
LyTimeT: Towards Robust and Interpretable State-Variable Discovery
针对高维视频提取系统动力学变量易受视觉因素干扰的问题,提出两阶段框架LyTimeT,结合时空注意力自编码器与李雅普诺夫稳定性正则化,实现鲁棒且具物理可解释性的状态变量发现。
2025-10-22 cs.CV
Growing Interpretable Part Graphs on ConvNets via Multi-Shot Learning
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种从预训练的卷积神经网络(CNN)中提取对象部分概念的学习策略,试图1)探索隐藏在CNN单元中的显式语义,2)在预训练的CNN上逐渐生长语义可解释的图形模型,以进行分层对象理解。给出很少部分的注释(例如,3-12)对象,我们的方法从预训练的CNN中挖掘某些潜在模式,并将它们与不同的语义部分关联起来。我们使用一个四层的与或图来组织挖掘的潜在模式,以澄清其内部的语义层次。我们的方法由少量的零件注释指导,并且在PASCAL VOC和ImageNet数据集上的零件中心预测中实现了卓越的性能(约13%-107%的改进)。
2017-03-13 cs.CV
Interpretable Representation Learning of Cardiac MRI via Attribute Regularization
Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich(亥姆霍兹慕尼黑生物医学成像机器学习研究所);Helmholtz AI, Helmholtz Munich(亥姆霍兹慕尼黑亥姆霍兹人工智能研究所);School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);School of Biomedical Engineering and Imaging Sciences, King’s College London(伦敦国王学院生物医学工程与影像科学学院)
提出属性正则化软内省变分自编码器,在对抗训练框架中结合属性正则化,解决了变分自编码器重建模糊问题,同时保持心脏MRI潜在空间的可解释性。
2024-08-26 cs.CV eess.IV
Behavioral Cloning via Search in Video PreTraining Latent Space
University of Eastern Finland(东芬兰大学);University of Bielefeld(比勒费尔德大学);Indian Institute of Technology BHU(印度理工学院(BHU))
本文提出在视频预训练潜在空间中对 BASALT MineRL 专家演示进行邻近搜索的行为克隆方法,使智能体在 Minecraft 中展现类人行为。
2023-04-17 cs.AI cs.CV cs.LG
Attri-VAE: attribute-based interpretable representations of medical images with variational autoencoders
Universitat Pompeu Fabra(庞培法布拉大学);Vicomtech Foundation(Vicomtech基金会);ICREA(加泰罗尼亚研究与高等教育学院)
深度学习(DL)方法,其中可解释性本质上被认为是模型的一部分,需要更好地理解临床和基于成像的属性与DL结果的关系,从而促进它们在医疗决策背后的推理中的使用。使用变分自编码器(VAE)构建的潜在空间表示不能确保对数据属性的单独控制。文献中已经提出了基于属性的方法,用于基准数据中的经典计算机视觉任务。在本文中,我们提出了一种VAE方法,属性VAE,其中包括一个属性正则化项,将临床和医学成像属性与生成的潜在空间中的不同正则化维度相关联,从而能够更好地解释属性。此外,生成的注意力地图解释了正则化潜在空间维度中的属性编码。使用属性VAE方法,我们分析了健康和心肌梗死患者的临床,心脏形态学和放射组学属性。该模型提供了一个很好的权衡重建保真度,解纠缠,和可解释性,优于国家的最先进的VAE方法根据几个定量指标。由此产生的潜在空间允许在两个不同输入样本之间的轨迹中或沿着特定属性维度生成真实的合成数据,以更好地解释不同心脏状况之间的变化。
2022-12-12 cs.CV cs.LG eess.IV
Geometric Disentanglement for Generative Latent Shape Models
University of Toronto(多伦多大学);Vector Institute for AI(矢量人工智能研究院);Samsung AI Center Toronto(多伦多三星人工智能中心);Samsung Research America, Inc.(美国三星研究公司)
三维形状表示是人工智能的一个基本问题,在计算机视觉和图形学中有着广泛的应用。最近开始探索的一条途径是使用生成模型的潜在表示。然而,它仍然是一个开放的问题,学习一个生成模型的形状,是可解释的,易于操纵,特别是在没有监督标签。在本文中,我们提出了一种无监督的方法来划分的潜在空间的变分自编码器的三维点云在一个自然的方式,只使用几何信息。我们的方法利用工具从谱微分几何分离的内在和外在的形状信息,然后考虑几个层次的解纠缠的处罚,以这种方式划分的潜在空间,包括一个新的惩罚雅可比矩阵的解码输出的潜在表示相对于潜在的编码。我们表明,由此产生的表示具有直观和可解释的行为,使任务,如姿势转移和姿势感知形状检索,不能很容易地执行的模型与纠缠表示。
2019-08-18 cs.CV cs.LG eess.IV
Towards generating more interpretable counterfactuals via concept vectors: a preliminary study on chest X-rays
School of Computing, Dublin City University(都柏林城市大学计算机学院);School of Medicine, University College Dublin(都柏林大学医学院)
本文提出利用概念激活向量在自编码器潜在空间中生成胸部X光片反事实图像,实现与临床知识一致的可解释性解释,初步验证了对较大病理的有效性。
2025-06-04 cs.AI cs.CV eess.IV
Learning Interpretable Dynamics from Images of a Freely Rotating 3D Rigid Body
Princeton University(普林斯顿大学);The Aerospace Corporation(航空航天公司)
针对高维图像难以学习刚体旋转动力学且深度学习方法可解释性不足的问题,提出结合物理先验的多阶段神经网络,通过映射SO(3)同胚隐空间、计算角速度、利用哈密顿方程预测状态,在新构建的旋转刚体数据集上验证了有效性。
2023-08-23 cs.AI cs.CV cs.LG
Concept Whitening for Interpretable Image Recognition
Duke University(杜克大学)
当我们遍历这些层时,神经网络对一个概念编码了什么?机器学习中的可解释性无疑很重要,但神经网络的计算很难理解。试图看到它们隐藏层内部的尝试要么是误导性的,不可用的,要么依赖于潜在空间来拥有它可能没有的属性。在这项工作中,而不是试图分析一个神经网络事后,我们引入了一种机制,称为概念白化(CW),改变网络的给定层,使我们能够更好地理解导致该层的计算。当将概念白化模块添加到CNN时,潜在空间的轴与感兴趣的已知概念对齐。通过实验,我们表明,CW可以让我们更清楚地了解网络如何在各层上逐渐学习概念。CW是批量归一化层的替代方案,因为它对潜在空间进行归一化和去相关(白化)。CW可以用于网络的任何层,而不会损害预测性能。
2020-12-07 cs.AI cs.CV cs.LG