GLINT: Modeling Scene-Scale Transparency via Gaussian Radiance Transport
KAIST（韩国科学技术院）；NAVER LABS
GLINT通过显式分解的高斯表示建模场景级透明度，分离反射和透射辐射，利用几何分离线索和预训练视频照明模型提升透明场景重建性能。
2026-03-27 cs.CV
Quality Metrics for Transparent Machine Learning With and Without Humans In the Loop Are Not Correlated
Beuth University of Applied Sciences（博伊特应用科学大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）
可解释人工智能（XAI）领域带来了一系列方法，使机器学习（ML）预测更具可解释性。但是，透明ML方法提供的解释对人类有多有用仍然很难评估。在这里，我们调查的质量可解释的计算机视觉算法使用的技术从心理物理学。在众包注释任务中，我们研究了不同可解释性方法对注释准确性和任务时间的影响。我们比较这些质量指标与经典的XAI，自动化的质量指标。我们的研究结果表明，心理物理实验允许强大的质量评估的透明度在机器学习。有趣的是，在没有人类参与的情况下计算的质量指标并没有提供一致的可解释性方法排名，也不能代表解释对人类的有用程度。这些发现突出了经典心理物理学方法在现代机器学习应用中的潜力。我们希望我们的研究结果为评估其自然栖息地，人类-ML交互中的可解释性提供令人信服的论据，如果目标是获得对可解释性的真实评估。
2021-07-01 cs.AI cs.CV cs.HC
DiffTrans: Differentiable Geometry-Materials Decomposition for Reconstructing Transparent Objects
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Nanjing University（南京大学）
DiffTrans通过可微渲染框架实现透明物体的高效几何-材料分解，适用于复杂场景中的高精度重建。
2026-02-28 cs.CV cs.GR
Trans4Trans: Efficient Transformer for Transparent Object and Semantic Scene Segmentation in Real-World Navigation Assistance
Computer Vision for Human-Computer Interaction Lab（人机交互计算机视觉实验室）；Center for Digital Accessibility and Assistive Technology, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院数字无障碍与辅助技术中心）
透明物体，如玻璃墙和门，构成建筑障碍，阻碍视力低下或失明的人的行动。例如，玻璃门后面的开放空间是不可接近的，除非它被正确地感知和互动。然而，传统的辅助技术很少覆盖这些安全关键的透明对象的分割。在本文中，我们建立了一个可穿戴系统与一个新的双头Transformer的透明度（trans 4 transans）的感知模型，它可以分割一般和透明的对象。这两个密集的分割结果进一步与系统中的深度信息相结合，以帮助用户安全导航，并帮助他们通过透明的障碍物。我们提出了一个轻量级的Transformer解析模块（TPM）进行多尺度的特征解释的transformer为基础的解码器。得益于TPM，双解码器可以从相应的数据集进行联合学习以追求鲁棒性，同时在便携式GPU上保持效率，计算量增加可以忽略不计。整个Trans 4 Trans模型是在对称的编码器-解码器架构中构建的，它在Stanford 2D 3D和Trans 10 K-v2数据集的测试集上的性能优于最先进的方法，分别获得了45.13%和75.14%的mIoU。通过用户研究和在室内和室外场景中进行的各种预测试，我们的辅助系统的可用性和可靠性得到了广泛的验证。同时，该模型在驾驶场景数据集上表现突出。在Cityscapes，ACDC和DADA-seg数据集上，对应于常见环境，恶劣天气和交通事故场景，mIoU得分分别为81.5%，76.3%和39.2%，…
2021-08-20 cs.CV cs.HC cs.RO
Exploring Latent Pathways: Enhancing the Interpretability of Autonomous Driving with a Variational Autoencoder
Capgemini Engineering（凯捷工程）；Massachusetts Institute of Technology（麻省理工学院）
本文提出将变分自编码器与神经回路策略控制器结合，直接从摄像头图像生成转向指令，并设计自动潜在扰动工具以揭示潜在变量对模型行为的影响，从而提升自动驾驶系统的可解释性。
2024-04-02 cs.CV
OptiGeo: Efficient Monocular Geometry for Embodied Perception in Optically Challenging Scenes
The University of Hong Kong（香港大学）；Voyager Research, DiDi Chuxing（滴滴出行 Voyager 研究院）；Southern University of Science and Technology（南方科技大学）
OptiGeo是一种感知偏差的训练框架，利用小目标渲染集修正局部几何畸变，在透明场景基准上性能远超更大规模模型，可作为光学挑战性场景的高效感知模块。
2026-10-14 cs.CV
Multi-layer Visualization for Medical Mixed Reality
Technische Universität München（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
医疗混合现实帮助外科医生将术中数据与手术场景视频结合起来。然而，手术场景和解剖目标经常被手术器械和外科医生的手遮挡。在本文中，据我们所知，我们提出了一种多层可视化的医疗混合现实解决方案，巧妙地提高了外科医生的可视化，使透明的遮挡对象。作为示例场景，我们使用增强现实C形臂荧光镜设备。使用基于体积的图像合成技术和安装在C形臂上的立体RGBD摄像机创建视频图像，通过修改基于体积的图像合成技术，从该合成视图中恢复被手术器械和外科医生的手遮挡的背景。因此，遮挡对象可以在手术场景上变得透明。不同的增强现实场景的实验结果表明，手术场景的背景可以恢复45%-99%之间的准确度。总之，我们提出了一种医学混合现实解决方案，为遮挡手术场景的对象提供透明度。这项工作也是体积场在减少现实/混合现实中的首次应用。
2017-09-26 cs.CV
TRAN-D: 2D Gaussian Splatting-based Sparse-view Transparent Object Depth Reconstruction via Physics Simulation for Scene Update
Seoul National University（首尔国立大学）；DGIST（韩国科学技术院）；Kumoh National Institute of Technology（Kumoh国立技术院）；Hyundai Motor Group（现代汽车集团）
针对稀疏视角和动态环境下透明物体3D几何重建难题，提出TRAN-D方法，通过分离物体与背景、物体感知损失及物理模拟优化重建，在合成和真实序列中显著优于现有方法，降低误差并提升精度。
2025-08-26 cs.CV cs.RO
Neural Radiance Fields for Transparent Object Using Visual Hull
Kyunghee University（庆熙大学）
针对传统NeRF未考虑折射导致透明物体新视角合成效果差的问题，提出结合视觉外壳三维重建、斯涅尔定律折射模拟与折射光线采样的NeRF改进方法，有效提升了透明物体视角合成性能。
2023-12-13 cs.CV
Booster: a Benchmark for Depth from Images of Specular and Transparent Surfaces
针对非朗伯材质处理和高分辨率图像深度估计的行业挑战，研究团队构建了含镜面、透明表面的高分辨率Booster基准数据集，并配套标注工具与评测设置，为相关深度估计研究提供支撑。
2024-01-30 cs.CV
Seeing and Seeing Through the Glass: Real and Synthetic Data for Multi-Layer Depth Estimation
Department of Computer Science, Princeton University（计算机科学系，普林斯顿大学）
本文提出首个多层深度数据集LayeredDepth，包含真实世界基准与合成数据生成器，通过微调单层深度模型显著提升透明物体多层深度估计性能。
2025-08-14 cs.CV
Toward Transparent AI: A Survey on Interpreting the Inner Structures of Deep Neural Networks
Epoch（Epoch机构）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文综述 300 多项 DNN 内部可解释性研究，提出按解释对象与训练阶段划分的分类法，并梳理其与鲁棒性、压缩等领域的联系及未来方向。
2023-08-18 cs.AI cs.CL cs.CV
T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images
Preferred Networks, Inc.（Preferred Networks 公司）；The University of Tokyo（东京大学）
提出T3lescope，一种无需逐场景优化的生成式表面重建方法，通过推理时由粗到细的级联固定分辨率生成器，在任意尺度下恢复高保真几何，并优于现有基线。
2026-10-05 cs.CV
A New Dataset and a Distractor-Aware Architecture for Transparent Object Tracking
Faculty of computer and information science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Center for Machine Perception, Czech Technical University in Prague（布拉格捷克理工大学机器感知中心）
针对透明物体跟踪因背景干扰和相似物导致性能下降且缺乏训练数据的问题，提出首个含2k序列的数据集Trans2k及将定位与识别分离的新型抗干扰跟踪器DiTra，实现性能最优并良好泛化。
2024-01-08 cs.CV
EnTri: Ensemble Learning with Tri-level Representations for Explainable Scene Recognition
School of Computer Engineering, Iran University of Science and Technology（伊朗科技大学计算机工程学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
针对场景识别的类间相似、类内差异挑战及可解释性不足问题，提出三级特征表示的集成学习框架EnTri，兼具高准确率与可视化、文本解释能力，在多个基准数据集上取得有竞争力的性能。
2024-07-15 cs.CV
GraspNeRF: Multiview-based 6-DoF Grasp Detection for Transparent and Specular Objects Using Generalizable NeRF
Peking University（北京大学）；National University of Defense Technology（国防科技大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
在这项工作中，我们解决了透明和镜面反射物体的6自由度抓取检测，这是基于视觉的机器人系统中一个重要但具有挑战性的问题，因为深度相机无法感知它们的几何形状。我们首次提出了一种基于多视图RGB的6自由度抓取检测网络GraspNeRF，该网络利用可推广的神经辐射场（NeRF）来实现在杂波中的材料不可知的物体抓取。与现有的基于NeRF的3-DoF抓取检测方法相比，这些方法依赖于密集捕获的输入图像和耗时的每个场景优化，我们的系统可以使用稀疏RGB输入执行zero-shot NeRF构建，并可靠地检测6-DoF抓取，两者都是实时的。该框架以端到端的方式联合学习可推广的NeRF和抓取检测，优化了抓取的场景表示构建。对于训练数据，我们生成了一个大规模的逼真的领域随机化的合成数据集，在混乱的桌面场景，使直接转移到现实世界中的抓。我们在合成和真实世界环境中的广泛实验表明，我们的方法在所有实验中的性能都显着优于所有基线，同时保持实时性。项目页面可以在https://pku-epic.github.io/GraspNeRF上找到
2023-03-15 cs.CV cs.RO
Towards Interpretable and Robust Hand Detection via Pixel-wise Prediction
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of the West of England（西英格兰大学）
现有的基于CNN的手部检测方法缺乏可解释性，这使得人们很难理解其预测背后的原理。本文提出了一种新的神经网络模型，首次将可解释性引入到手部检测中。主要改进包括：（1）在像素级检测手，以解释哪些像素是其决策的基础，并提高模型的透明度。(2)可解释的突出特征融合块突出显示多个层之间的独特特征，并学习有区别的特征以获得鲁棒的性能。(3)我们引入了一个透明的表示，旋转地图，学习旋转功能，而不是复杂的和不透明的旋转和反旋转层。(4)辅助监督加快了训练过程，在我们的实验中节省了10多个小时。在VIVA和Oxford手检测和跟踪数据集上的实验结果表明，与速度更快的最先进的方法相比，我们的方法具有竞争力的准确性。
2020-01-13 cs.CV
TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth Completion and a Grasping Baseline
Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；AI Institute（人工智能研究院）
透明物体在我们的日常生活中很常见，经常在自动化生产线上处理。鲁棒的基于视觉的机器人抓取和操纵这些对象将有利于自动化。然而，大多数当前的抓取算法在这种情况下会失败，因为它们严重依赖于深度图像，而普通的深度传感器通常由于光的反射和折射而无法为透明物体产生准确的深度信息。在这项工作中，我们通过贡献一个用于透明对象深度完成的大规模真实世界数据集来解决这个问题，该数据集包含来自130个不同场景的57，715个RGB-D图像。我们的数据集是第一个大规模的真实世界数据集，它在多样化和混乱的场景中提供地面真实深度，表面法线，透明遮罩。跨域实验表明，我们的数据集更一般，可以使模型具有更好的泛化能力。此外，我们提出了一个端到端的深度补全网络，它将RGB图像和不准确的深度图作为输入，并输出一个细化的深度图。实验结果表明，该方法具有较好的有效性、效率和鲁棒性，能够在有限的硬件资源下处理高分辨率的图像。真实机器人实验表明，我们的方法也可以适用于新的透明物体的鲁棒抓取。完整的数据集和我们的方法可以在www.graspnet.net/transcg上公开获得
2022-08-28 cs.CV cs.RO
Seeing Glass: Joint Point Cloud and Depth Completion for Transparent Objects
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Nvidia（英伟达）
许多对象操作算法的基础是RGB-D输入。然而，由于光的折射和吸收，商品RGB-D传感器只能为广泛的透明对象提供失真的深度图。为了解决透明物体带来的感知挑战，我们提出了TransspareNet，一种联合点云和深度完成方法，能够在混乱和复杂的场景中完成透明物体的深度，即使血管内有部分填充的液体内容物。为了解决文献中现有的透明对象数据汇集方案的缺点，我们还提出了一个自动化的数据集创建工作流程，包括机器人控制的图像收集和基于视觉的自动注释。通过这个自动化的工作流程，我们创建了多伦多透明物体深度数据集（TODD），其中包括近15000个RGB-D图像。我们的实验评估表明，TransspareNet在多个数据集（包括ClearGrasp）上的性能优于现有的最先进的深度补全方法，并且在TODD上训练时，它还可以处理混乱的场景。代码和数据集将在https://www.pair.toronto.edu/TranspareNet/上发布
2021-09-30 cs.AI cs.CV cs.LG
Reproducibility study of "LICO: Explainable Models with Language-Image Consistency"
University of Amsterdam（阿姆斯特丹大学）
本文复现了LICO方法，发现其未能一致提升图像分类性能与可解释性指标，强调了可解释性研究中严格评估和透明报告的重要性。
2024-10-17 cs.CV
A Case Study on Concept Induction for Neuron-Level Interpretability in CNN
Department of Computer Science, Kansas State University, Manhattan, Kansas, USA（计算机科学系，堪萨斯州立大学，曼哈顿，堪萨斯，美国）
本研究通过在SUN2012数据集上验证概念诱导方法的泛化能力，展示了其在神经元级可解释性中的应用扩展。
2026-02-27 cs.AI cs.CV
FakeMix Augmentation Improves Transparent Object Detection
Guangzhou Huya Information Technology Co Ltd（广州虎牙信息科技有限公司）；The University of Hong Kong（香港大学）；National University of Singapore（新加坡国立大学）；Tencent Youtu（腾讯优图）
由于纹理、亮度和颜色的低对比度，在自然场景中检测透明物体具有挑战性。最近基于深度学习的工作表明，利用边界进行透明目标检测（TOD）是有效的。然而，这些方法通常会遇到边界相关的不平衡问题，导致有限的发电能力。具体来说，背景中的一种边界，具有与透明对象的边界相同的特性，但数量要少得多，通常会损害性能。为了克服边界相关的不平衡问题，我们提出了一种新的内容相关的数据增强方法，称为FakeMix。考虑到在没有相应注释的情况下很难在背景中收集这些麻烦制造者边界，我们通过在训练过程中将其他样本中的透明物体边界添加到当前图像中来精心生成它们，从而调整数据空间并提高模型的泛化能力。此外，我们提出了AdaptiveASPP，ASPP的增强版本，可以动态捕获多尺度和跨模态的功能。大量的实验表明，我们的方法明显优于国家的最先进的方法。我们还表明，我们的方法也可以很好地转移到相关的任务，其中该模型遇到类似的麻烦，如镜子检测，玻璃检测，和遮挡目标检测。代码将公开提供。
2021-10-19 cs.CV
Residual-NeRF: Learning Residual NeRFs for Transparent Object Manipulation
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Residual-NeRF，通过背景 NeRF、残差 NeRF 和 Mixnet 提升透明物体深度感知，合成与真实实验均显示其误差更低、深度图更完整。
2024-05-10 cs.CV cs.RO
STOPNet: Multiview-based 6-DoF Suction Detection for Transparent Objects on Production Lines
Peking University（北京大学）；Galbot；New York University（纽约大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
针对深度相机难以感知透明物体导致现有6自由度吸附检测方法失效的问题，提出仅用RGB输入、基于多视图立体视觉的STOPNet框架，可实时获取高质量吸附位姿且泛化性强，显著优于基线方法，适配工业需求。
2023-10-09 cs.AI cs.CV cs.RO
Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container
The Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织Data61研究所）
在本文中，我们定义了一个新的问题，恢复的3D几何形状的对象被限制在一个透明的外壳。我们还提出了一种新的方法来解决这个具有挑战性的问题。透明外壳在不同传播介质（例如空气或玻璃）之间的界面处带来多次光反射和折射的挑战。这些多重反射和折射导致严重的图像失真，使单视点假设失效。因此，不能使用现有方法（例如传统的从运动恢复结构运动恢复结构或现代神经重建方法）来可靠地重建这种对象的3D几何形状。我们解决这个问题，明确建模的场景作为两个不同的子空间，内部和外部的透明外壳。我们使用现有的神经重建方法（NeuS），隐式地表示内部子空间的几何形状和外观。为了考虑复杂的光的相互作用，我们开发了一种混合的渲染策略，结合体渲染与光线追踪。然后，我们通过最小化真实和混合渲染图像之间的差异来恢复模型的底层几何形状和外观。我们评估我们的方法合成和真实数据。实验结果表明，我们的方法优于国家的最先进的（SOTA）的方法。代码和数据将在https://github.com/hirotong/ReNeuS上提供
2023-03-24 cs.CV
From Transparent to Opaque: Rethinking Neural Implicit Surfaces with $α$-NeuS
Key Laboratory of System Software (CAS) and State Key Laboratory of Computer Science, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Department of Computer Science, Stony Brook University（石溪大学计算机科学系）；SenseTime Research（商汤科技研究院）
本文提出 $\alpha$-NeuS，扩展 NeuS 以同时重建透明和不透明物体，利用距离场中不同特征提取表面，并构建基准验证效果。
2025-01-20 cs.CV
A psychophysics approach for quantitative comparison of interpretable computer vision models
Beuth University（博伊特大学）
透明机器学习（ML）领域已经贡献了许多新方法，旨在更好地解释计算机视觉和ML模型。但是，透明ML方法提供的解释对人类有多有用仍然难以评估。大多数研究在定性比较中评估可解释性，他们使用的实验范式不允许方法之间的直接比较，或者他们只报告离线实验，没有人类参与。虽然没有人类参与的评估有明显的优势，例如可扩展性，可重复性和比人类参与的评估更少的算法偏见，但如果我们不了解这些指标与其他考虑人类认知的指标之间的关系，这些指标的有用性就会受到限制。在这里，我们调查的质量可解释的计算机视觉算法使用的技术从心理物理学。在众包注释任务中，我们研究了不同可解释性方法对注释准确性和任务时间的影响。为了将这些发现与没有人类参与的可解释性的质量度量相关联，我们比较了有和没有人类参与的质量度量。我们的研究结果表明，心理物理实验允许强大的质量评估的透明度在机器学习。有趣的是，在没有人类参与的情况下计算的质量指标并没有提供一致的可解释性方法排名，也不能代表解释对人类的有用程度。这些发现突出了经典心理物理学方法在现代机器学习应用中的潜力。我们希望我们的研究结果为评估其自然栖息地，人类-ML交互中的可解释性提供令人信服的论据，如果目标是获得对可解释性的真实评估。
2019-11-24 cs.AI cs.CV cs.HC
TransBiolab: A Real-World Multi-View Dataset of Cluttered Transparent Biomedical Objects
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；College of Design and Innovation, Tongji University（同济大学设计创意学院）；Shanghai Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海智能无人系统研究院）；School of Software and Engineering, Huazhong University of Science and Technology（华中科技大学软件学院）
针对自主生物医学实验室透明物体视觉感知数据稀缺问题，提出TrainsBiolab真实世界多视图数据集，含多物体杂乱、遮挡场景数据及多种注释，定义相关基准并评估，为自主实验室操作视觉任务提供资源。
2026-07-24 cs.CV cs.MM cs.RO
PointFlowHop: Green and Interpretable Scene Flow Estimation from Consecutive Point Clouds
University of Southern California（南加州大学）；Tencent America（腾讯美国）
提出了一种高效的三维场景流估计方法PointFlowHop。PointFlowHop采用两个连续的点云，并确定第一个点云中每个点的3D流矢量。PointFlowHop将场景流估计任务分解为一组子任务，包括自我运动补偿、对象关联和逐对象运动估计。它遵循绿色学习（GL）管道，采用前馈数据处理路径，因此其底层机制比基于网络参数端到端优化的深度学习（DL）解决方案更加透明。我们在stereoKITTI和Argoverse LiDAR点云数据集上进行了实验，并证明PointFlowHop优于深度学习方法，模型尺寸小，训练时间短。此外，我们比较了PointFlowHop和其他基于学习的推理方法所需的浮点运算（FLOPs），并显示其在计算复杂性方面的巨大节省。
2023-02-27 cs.CV
Domain Randomization-Enhanced Depth Simulation and Restoration for Perceiving and Grasping Specular and Transparent Objects
Peking University（北京大学）；Xi’an Jiaotong University（西安交通大学）；Alibaba XR Lab（阿里巴巴XR实验室）；Simon Fraser University（西蒙弗雷泽大学）
商业深度传感器通常会产生噪声和缺失的深度，特别是在镜面和透明物体上，这对下游深度或基于点云的任务造成了关键问题。为了缓解这个问题，我们提出了一个强大的RGBD融合网络SwinDRNet，用于深度恢复。我们进一步提出了域随机化增强深度模拟（DREDS）方法来模拟一个积极的立体深度系统，使用基于物理的渲染，并生成一个大规模的合成数据集，包含130 K逼真的RGB图像以及他们的模拟深度携带现实的传感器噪声。为了评估深度恢复方法，我们还策划了一个真实世界的数据集，即STD，它捕获了30个杂乱的场景，由50个不同材质的物体组成，从镜面反射，透明到漫射。实验证明，拟议的DREDS数据集弥合了模拟与真实领域的差距，因此，在DREDS上训练后，我们的SwinDRNet可以无缝地概括到其他真实深度数据集（例如ClearGrasp），并在深度恢复方面优于竞争方法实时速度。我们进一步表明，我们的深度恢复有效地提高了下游任务的性能，包括类别级姿态估计和抓取任务。我们的数据和代码可在https://github.com/PKU-EPIC/DREDS上获得
2022-11-23 cs.CV
SR3D: Unleashing Single-view 3D Reconstruction for Transparent and Specular Object Grasping
Beijing University of Posts and Telecommunications（北京邮电大学）；Center on Frontiers of Computing Studies, Peking University（北京大学前沿计算研究中心）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对透明和镜面物体抓取中深度传感受限的问题，提出免训练框架SR3D，利用单视图RGB和深度图像，通过外部视觉模型重建物体网格，并结合视图匹配与关键点匹配确定物体三维姿态和尺度，生成准确深度图，实验验证其有效性。
2025-06-20 cs.CV cs.RO
Diffusion Knows Transparency: Repurposing Video Diffusion for Transparent Object Depth and Normal Estimation
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；University of Southern California（南加州大学）；Tsinghua University（清华大学）；Beihang University（北航）；Wuhan University（武汉大学）；Shanghai Jiao Tong University（上海交通大学）；European Institute of Innovation and Technology Ningbo（创新与技术欧洲研究所宁波）；FNii, The Chinese University of Hong Kong, Shenzhen（FNii，香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文提出DKT模型，利用视频扩散模型估计透明物体的深度和法线，实现零样本SOTA，提升现实和合成视频中的透明感知性能。
2025-12-29 cs.CV
SceneGlue: Scene-Aware Transformer for Feature Matching without Scene-Level Annotation
School of Automation, Southeast University（东南大学自动化学院）；Shenzhen Research Institute of Southeast University（东南大学深圳研究院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息、生产与系统研究生学校）
SceneGlue通过引入隐式并行注意力和显式跨视图可见性估计，提升特征匹配的场景感知能力，无需场景级标注即可提高准确性和鲁棒性。
2026-04-15 cs.CV
GAA-TSO: Geometry-Aware Assisted Depth Completion for Transparent and Specular Objects
College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；National Frontiers Science Center for Industrial Intelligence and Systems Optimization（工业智能与系统优化国家前沿科学中心）
针对透明与镜面物体深度信息缺失、现有2D深度补全方法依赖纹理易产生结构缺失和深度歧义的问题，提出融合2D图像特征与层级3D点云结构特征的几何感知辅助深度补全方法，在多个数据集上性能优于SOTA，且可提升机器人抓取任务表现。
2025-03-21 cs.CV cs.RO
ClearPose: Large-scale Transparent Object Dataset and Benchmark
University of Michigan（密歇根大学）
透明物体在家庭环境中无处不在，并对视觉传感和感知系统提出了独特的挑战。透明物体的光学特性使得传统的3D传感器对于物体深度和姿态估计不可靠。这些挑战突出表现在缺乏大规模的RGB-Depth数据集，专注于现实世界中的透明对象。在这项工作中，我们贡献了一个名为ClearPose的大规模真实世界RGB-Depth透明对象数据集，作为分割，场景级深度完成和以对象为中心的姿态估计任务的基准数据集。ClearPose数据集包含超过35万个标记的真实世界RGB深度帧和500万个实例注释，覆盖63个家庭对象。该数据集包括在各种照明和遮挡条件下日常生活中常用的对象类别，以及具有挑战性的测试场景，例如不透明或半透明对象的遮挡情况，非平面方向，液体的存在等。我们在ClearPose上对几个最先进的深度完成和对象姿势估计深度神经网络进行基准测试。数据集和基准源代码可在https://github.com/opipari/ClearPose上获得。
2022-07-21 cs.CV cs.RO
Explainable Action Prediction through Self-Supervision on Scene Graphs
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
这项工作探讨了场景图作为自动驾驶高级信息的蒸馏表示，应用于未来的驾驶员行为预测。鉴于数据样本的稀缺性和强烈的不平衡性，我们提出了一个自我监督管道来推断具有代表性和良好分离的嵌入。关键方面是可解释性和可解释性;因此，我们在我们的架构中嵌入了注意力机制，可以在场景图上创建空间和时间热图。我们在ROAD数据集上对完全监督的方法进行了评估，显示了我们训练机制的优越性。
2023-02-07 cs.CV cs.RO
Open Vocabulary Scene Parsing
Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）
由于现有分类模型和数据集的局限性，在野外识别任意对象一直是一个具有挑战性的问题。在本文中，我们提出了一个新的任务，旨在解析场景与一个大的和开放的词汇，并探讨了这个问题的几个评价指标。我们提出的方法来解决这个问题是一个联合图像像素和单词概念嵌入框架，单词概念连接的语义关系。我们在涵盖各种场景和对象的ADE20K数据集上验证了我们的框架的开放词汇预测能力。我们进一步探索训练的联合嵌入空间，以显示其可解释性。
2017-04-04 cs.AI cs.CV
LIT: Light-field Inference of Transparency for Refractive Object Localization
University of Michigan（密歇根大学）
半透明在日常场景中普遍存在。因此，对透明物体的感知对于机器人执行操作至关重要。与纹理丰富或纹理较少的朗伯物体相比，透明度会导致物体外观的显著不确定性。模糊性可能是由于光照、视点和背景的变化，其中每一个都给现有的对象姿态估计算法带来了挑战。在这项工作中，我们提出了LIT，一个两阶段的透明物体姿态估计方法，使用光场传感和真实感渲染。LIT在深度网络中使用特定于光场图像的多个过滤器来捕获透明材料属性，并基于生成采样进行鲁棒的深度和姿态估计。随着LIT算法，我们介绍了光场透明对象数据集ProLIT的识别，定位和姿态估计的任务。关于这个ProLIT数据集，我们证明了LIT可以优于最先进的端到端姿态估计方法和透明物体上的生成姿态估计器。
2020-03-23 cs.CV cs.RO
Transparency of Deep Neural Networks for Medical Image Analysis: A Review of Interpretability Methods
Maastricht University（马斯特里赫特大学）；Maastricht University Medical Centre+（马斯特里赫特大学医学中心+）
人工智能已经成为诊断和治疗决策的许多临床应用的有用辅助工具。由于可用数据和计算能力的快速增长，深度神经网络在许多任务中表现出与临床医生相同或更好的性能。为了符合可信人工智能的原则，人工智能系统必须透明，强大，公平并确保问责制。目前的深度神经解决方案被称为黑盒，因为缺乏对决策过程细节的理解。因此，在将深度神经网络纳入常规临床工作流程之前，需要确保其可解释性。在这篇叙述性综述中，我们利用系统的关键词搜索和领域专业知识，根据生成的解释类型和技术相似性，确定了九种不同类型的可解释性方法，用于理解医学图像分析应用的深度学习模型。此外，我们报告的进展，对各种解释性方法产生的解释进行评估。最后，我们讨论了局限性，提供了使用可解释性方法的指导方针，以及关于深度神经网络在医学成像分析中的可解释性的未来方向。
2021-11-01 cs.AI cs.CV cs.LG
Constructive Interpretability with CoLabel: Corroborative Integration, Complementary Features, and Collaborative Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Sao Paolo（圣保罗大学）
具有可解释预测的机器学习模型越来越受欢迎，特别是对于需要偏差检测和风险缓解的现实世界，任务关键型应用程序。固有的可解释性，即模型从一开始就为可解释性而设计，为模型预测和性能提供直观的见解和透明的解释。在本文中，我们提出了CoLabel，这是一种构建可解释模型的方法，其解释植根于地面事实。我们展示了CoLabel在车辆特征提取应用程序的背景下，车辆模型识别（VMMR）。CoLabel使用可解释的特征组合执行VMMR，例如车辆颜色，类型和制造，所有这些都基于地面真实标签的可解释注释。首先，CoLabel执行确证集成来连接多个数据集，每个数据集都有一个所需的颜色，类型和品牌注释的子集。然后，CoLabel使用可分解的分支来提取与所需注释相对应的互补特征。最后，CoLabel将它们融合在一起进行最终预测。在特征融合过程中，CoLabel协调互补分支，使VMMR特征相互兼容，并可以投影到同一语义空间进行分类。凭借固有的可解释性，CoLabel实现了优于最先进的黑盒模型的性能，在CompCars，Cars196和BoxCars116K上的精度分别为0.98，0.95和0.94。CoLabel提供直观的解释，由于建设性的可解释性，并随后在关键任务的情况下实现高准确性和可用性。
2022-05-20 cs.CV cs.LG
Stereo Magnification with Multi-Layer Images
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
用多个半透明的彩色层来表示场景已经成为实时新颖视图合成的流行和成功的选择。现有方法推断平面或球形形状的规则间隔层的颜色和透明度值。在这项工作中，我们介绍了一种新的视图合成方法的基础上，多个半透明层与场景适应的几何形状。我们的方法推断这样的表示从立体声对在两个阶段。第一阶段从给定的一对视图中推断出少量数据自适应层的几何形状。第二阶段推断这些层的颜色和透明度值，产生用于新颖视图合成的最终表示。重要的是，这两个阶段都通过可区分的渲染器连接，并以端到端的方式进行训练。在实验中，我们证明了所提出的方法的优势，使用规则间隔的层，没有适应场景几何。尽管在渲染过程中速度快了几个数量级，但我们的方法也优于最近提出的基于隐式几何表示的IBRNet系统。结果见https://samsunglabs.github.io/StereoLayers。
2022-03-29 cs.CV cs.GR
Refractive Light-Field Features for Curved Transparent Objects in Structure from Motion
Australian Centre for Robotic Vision, Queensland University of Technology (QUT)（昆士兰科技大学澳大利亚机器人视觉中心）；Sydney Institute for Robotics and Intelligent Systems, University of Sydney（悉尼大学悉尼机器人与智能系统研究所）
弯曲的折射物体在人类环境中很常见，并且具有复杂的视觉外观，可能导致机器人视觉算法失败。光场相机使我们能够通过在单次曝光中捕获此类对象的视图依赖外观来解决这一挑战。我们提出了一种新的图像功能的光场，检测和描述的模式，通过弯曲的透明物体折射的光。我们根据这些特征导出特征点，使它们能够用于代替传统的2D特征。使用我们的功能，我们证明了改进的结构从运动的性能在具有挑战性的场景包含折射物体，包括定量评估，显示改进的相机姿态估计和3D重建。此外，我们的方法收敛的频率比最先进的方法高15-35%。我们的方法是机器人在折射物体周围操作的关键一步，应用于制造、质量保证、拾取和放置以及使用丙烯酸、玻璃和其他透明材料的家用机器人。
2021-04-17 cs.CV cs.RO
How Robot Dogs See the Unseeable: Improving Visual Interpretability via Peering for Exploratory Robots
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Free University of Bozen-Bolzano（博尔扎诺自由大学）；University of Trento（特伦托大学）；University of Sussex（萨塞克斯大学）
通过模仿昆虫的窥视动作，提升探索机器人在部分遮挡下的视觉推理能力，实现高分辨率、实时感知，适用于复杂环境导航与场景理解。
2026-01-04 cs.CV cs.RO
ClearGrasp: 3D Shape Estimation of Transparent Objects for Manipulation
Google（谷歌）；Columbia University（哥伦比亚大学）
透明物体是日常生活中常见的一部分，但它们具有独特的视觉特性，这使得标准3D传感器难以对其进行准确的深度估计。在许多情况下，它们通常表现为位于它们后面的表面的噪声或扭曲的近似。为了解决这些挑战，我们提出了ClearGrasp -一种深度学习方法，用于从单个RGB-D图像中估计透明物体的精确3D几何形状，以进行机器人操作。给定透明对象的单个RGB-D图像，ClearGrasp使用深度卷积网络来推断表面法线，透明表面的遮罩和遮挡边界。然后，它使用这些输出来细化场景中所有透明曲面的初始深度估计。为了训练和测试ClearGrasp，我们构建了一个包含50，000多个RGB-D图像的大规模合成数据集，以及一个包含286个透明物体及其地面真实几何图形的RGB-D图像的真实测试基准。实验表明，ClearGrasp明显优于单眼深度估计基线，并且能够推广到真实世界的图像和新对象。我们还证明了ClearGrasp可以应用于开箱即用，以提高抓取算法在透明物体上的性能。代码、数据和基准测试将被发布。补充材料可在项目网站上查阅：https://sites.google.com/view/cleargrasp
2019-10-14 cs.CV cs.RO eess.IV
DCIRNet: Depth Completion with Iterative Refinement for Dexterous Grasping of Transparent and Reflective Objects
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学）
提出多模态深度补全网络 DCIRNet，通过 RGB-深度特征融合及多阶段监督迭代细化恢复透明、反射物体深度，并将其用于灵巧抓取，成功率提升44%。
2025-06-11 cs.CV cs.RO
Interpretability of Machine Learning Methods Applied to Neuroimaging
Sorbonne Université（索邦大学）；Institut du Cerveau - Paris Brain Institute - ICM（巴黎大脑研究所（ICM））；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）；AP-HP（巴黎公共援助医院集团）；Hôpital de la Pitié-Salpêtrière（皮蒂耶-萨尔佩特里埃医院）
深度学习方法在处理自然图像方面已经变得非常流行，然后被成功地应用于神经成像领域。由于这些方法是不透明的，因此需要可解释性方法来验证它们并确保其可靠性。事实上，已经表明，通过利用训练集中的偏差，即使在使用不相关的特征时，深度学习模型也可以获得高性能。这种不期望的情况可以通过使用可解释性方法来检测。近年来，人们提出了许多解释神经网络的方法。然而，这个领域还不成熟。机器学习用户在解释他们的模型时面临两个主要问题：选择哪种方法，以及如何评估其可靠性？在这里，我们的目标是提供这些问题的答案，提出最常见的可解释性的方法和指标，以评估其可靠性，以及它们的应用程序和基准在神经影像学方面。请注意，这不是一个详尽的调查：我们的目的是集中在我们认为最具代表性和相关性的研究。
2022-04-14 cs.AI cs.CV cs.LG
Generative Hierarchical Models for Parts, Objects, and Scenes
Rutgers University（罗格斯大学）；Xi’an Jiaotong University（西安交通大学）
部件和对象之间的组成结构是自然场景中固有的。通过无监督学习对这种组合层次结构进行建模可以带来各种好处，例如可解释性和可转移性，这在许多下游任务中非常重要。在本文中，我们提出了第一个深度潜变量模型，称为RICH，用于学习可解释组成层次的表示。RICH的核心是一个潜在的场景图表示，它根据场景实体的组成关系将它们组织成一个树结构。在推理过程中，采用自顶向下的方法，RICH能够使用更高级别的表示来指导更低级别的分解。这避免了自底向上方法所面临的部件和对象之间布线的难题。在包含多个对象与不同部分组成的图像上的实验中，我们证明了RICH能够学习潜在的组成层次结构，并生成想象中的场景。
2019-10-21 cs.CV cs.LG stat.ML
Neurons: Emulating the Human Visual Cortex Improves Fidelity and Interpretability in fMRI-to-Video Reconstruction
The Hong Kong University of Science and Technology（香港科技大学）
提出模拟视觉皮层层级组织的NEURONS框架，通过解耦四个子任务为预训练扩散模型生成条件信号，显著提升了fMRI到视频重建的保真度、可解释性及多项指标。
2025-07-16 cs.AI cs.CV
Unsupervised and interpretable scene discovery with Discrete-Attend-Infer-Repeat
University of Cambridge（剑桥大学）
在这项工作中，我们提出了离散注意推断重复（离散空气），一个经常性的自动编码器与结构化的潜在分布包含离散分类分布，连续属性分布，和分解空间注意。离散空气模型的灵感来自于原始空气模型和保留空气模型的能力，在识别图像中的对象，离散空气提供了直接解释的潜在代码。我们表明，对于多MNIST和多对象版本的dSprites数据集，离散空气模型只需要一个分类的潜在变量，一个属性变量（仅适用于多MNIST），以及空间注意力变量，有效的推理。我们进行分析表明，学习的分类分布有效地捕捉多MNIST和多精灵的场景中的对象的类别。
2019-03-14 cs.CV cs.LG stat.ML
SceneGraphGrounder: Zero-Shot 3D Visual Grounding via Structured Scene Graph Matching
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出SceneGraphGrounder框架，通过结构化场景图匹配将3D定位问题转化为结构化图匹配问题，利用视觉标记提示策略从2D视图推断物体间关系，并在3D场景图中建立持久编码，从而在ScanRefer基准测试中实现了零样本条件下与现有方法相当的性能，并在真实机器人部署中验证了其在长周期物理环境中的鲁棒空间推理能力。
2026-05-20 cs.CV cs.RO
Interpretability Beyond Classification Output: Semantic Bottleneck Networks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
当今的深度学习系统基于端到端训练提供高性能。虽然它们提供了强大的性能，但这些系统很难解释。为了解决这个问题，我们提出了语义瓶颈网络（SBN）：具有语义可解释的中间层的深度网络，所有下游结果都是基于这些中间层的。因此，对最终预测的分析对工程师来说是透明的，并且可以通过高级推理来分析和避免故障案例和模式。我们提出了一个案例研究的街道场景分割，以证明SBN的可行性和权力。特别是，我们从一个表现良好的经典深度网络开始，我们调整它来容纳包含任务相关语义概念（如对象部件和材料）的SB层。重要的是，我们可以恢复最先进的性能，尽管从1000（非语义特征）到10（语义概念）通道的维度急剧减少。此外，我们还展示了SB层的激活如何用于解释网络的故障情况以及对结果输出的置信度预测。第一次，例如，我们显示了可解释的分割结果，大多数预测的准确率超过99%。
2019-07-28 cs.CV cs.LG
Learning Structured Representations of Visual Scenes
National Chiao Tung University（国立交通大学）；National University of Singapore（新加坡国立大学）
作为连接这两个层次的中间级表示，视觉场景的结构化表示，如成对对象之间的视觉关系，已被证明不仅有利于组合模型学习与结构一起推理，而且为模型决策提供更高的可解释性。然而，这些表征比传统的识别任务受到的关注要少得多，留下了许多悬而未决的挑战。在这篇论文中，我们研究机器如何用视觉关系作为结构化表示来描述单个图像或视频的内容。具体来说，我们探讨如何结构化的视觉场景表示可以有效地构建和学习的静态图像和视频设置，与外部知识的整合，减少偏见的机制，并增强表示模型的改进。在本文的最后，我们还讨论了一些开放的挑战和限制，以阐明未来的方向结构化表示学习的视觉场景。
2022-07-09 cs.CV cs.LG cs.MM
Weakly Supervised Pixel-Level Annotation with Visual Interpretability
COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）；Data Science Institute, University of Technology Sydney（悉尼科技大学数据科学研究所）
提出集成ResNet50、EfficientNet和DenseNet及XGrad-CAM和蒙特卡洛Dropout的可解释标注系统，在TBX11K和火灾数据集上分别达到93.04%和96.4%准确率，实现弱监督像素级标注。
2025-02-25 cs.CV cs.LG
Empowering Prior to Court Legal Analysis: A Transparent and Accessible Dataset for Defensive Statement Classification and Interpretation
Kingston University London（伦敦金斯顿大学）；University of Portsmouth（朴茨茅斯大学）
本研究构建了庭前警方讯问陈述分类专用数据集，提出经微调的DistilBERT模型（准确率86%，优于自定义Transformer），结合XAI方法与交互界面提升可解释性与可及性，推动法律NLP发展。
2024-05-17 cs.CL cs.CV
