XOmiVAE: an interpretable deep learning model for cancer classification using high-dimensional omics data
Imperial College London(帝国理工学院);University College London(伦敦大学学院);Hong Kong Baptist University(香港浸会大学)
缺乏可解释性是组学中深度学习应用最突出的缺点之一。这种“黑箱”问题可能会破坏生物医学深度学习模型的可信度,并限制其实际应用。在这里,我们提出了XOmiVAE,这是一种基于变分自动编码器(VAE)的可解释深度学习模型,用于使用高维组学数据进行癌症分类。XOmiVAE能够揭示每个基因和潜在维度对每个分类预测的贡献,以及每个基因和每个潜在维度之间的相关性。还证明了XOmiVAE不仅可以解释监督分类,还可以解释深度学习网络的无监督聚类结果。据我们所知,XOmiVAE是第一个基于激活水平的可解释深度学习模型之一,解释了VAE生成的新集群。XOmiVAE生成的可解释结果通过下游任务的性能和生物医学知识进行了验证。在我们的实验中,XOmiVAE对基于深度学习的癌症分类和聚类的解释与当前的领域知识(包括生物注释和学术文献)一致,这显示了从深度学习模型中发现新生物医学知识的巨大潜力。
2021-07-04 cs.AI cs.LG q-bio.GN
Deep Motion Features for Visual Tracking
Linköping University(林雪平大学)
鲁棒视觉跟踪是计算机视觉中一个具有挑战性的问题,有着广泛的应用前景。大多数现有的方法采用手工制作的外观特征,如HOG或颜色名称。最近,从卷积神经网络提取的深度RGB特征已成功应用于跟踪。尽管他们的成功,这些功能只捕捉外观信息。另一方面,运动提示提供了可以提高跟踪性能的鉴别和补充信息。与视觉跟踪相反,深度运动特征已成功应用于动作识别和视频分类任务。通常,通过在从大量标记视频提取的光流图像上训练CNN来学习运动特征。本文提出了一种调查的影响,深层运动功能的跟踪检测框架。我们进一步表明,手工制作,深RGB和深运动功能包含互补信息。据我们所知,我们是第一个提出融合外观信息与深度运动特征的视觉跟踪。综合实验清楚地表明,我们的深度运动特征融合方法优于仅依赖外观信息的标准方法。
2016-12-20 cs.CV
3D Visual Tracking Framework with Deep Learning for Asteroid Exploration
Harbin Institute of Technology(哈尔滨工业大学)
三维视觉跟踪是深空探测计划的重要组成部分,它可以保证航天器灵活地接近目标。在本文中,我们专注于研究的精确和实时的三维跟踪方法。考虑到目前几乎没有公开的小行星跟踪数据集,本文提出了一种新的大规模小行星3D跟踪数据集,包括双目视频序列、深度图和具有各种形状和纹理的小行星的点云。得益于仿真平台的强大功能和便捷性,所有的2D和3D标注都是自动生成的。同时,我们提出了一个基于深度学习的3D跟踪框架,称为Track3D,它涉及2D单目跟踪器和一种新型的轻量级非模态轴对齐边界盒网络A3BoxNet。评估结果表明,Track3D在准确性和精度方面都达到了最先进的3D跟踪性能,与基线算法相比。此外,我们的框架有很大的泛化能力,2D单目跟踪性能。
2021-11-21 cs.CV
Self-taught learning of a deep invariant representation for visual tracking via temporal slowness principle
Multimedia University(多媒体大学)
视觉表示是影响视觉跟踪方法性能的关键。传统上,在视觉跟踪中采用的视觉表示依赖于手工制作的计算机视觉描述符。这些描述符是在不考虑跟踪特定信息的情况下开发的。在本文中,我们建议通过强时间慢度约束和堆叠卷积自动编码器从跟踪的序列图像块中学习复值不变表示。深度慢局部表示是在未标记数据上离线学习的,并转移到我们提出的跟踪器的观测模型中。该观测模型保留旧的训练样本以减轻漂移,并收集与目标运动模式相关的负样本以更好地进行区分跟踪。利用学习到的表征和在线训练样本,采用逻辑回归分类器区分目标和背景,并在线重新训练以适应外观变化。随后,观测模型被集成到一个粒子滤波框架进行视觉跟踪。各种具有挑战性的基准序列上的实验结果表明,该跟踪器对几个国家的最先进的跟踪器表现良好。
2016-04-14 cs.CV cs.LG cs.NE
Unveiling the Power of Deep Tracking
Linköping University(林雪平大学);Department of Electrical Engineering(电气工程系);CVL(CVL(这里CVL可能是缩写,按原文保留));Sweden(瑞典(注意:根据规则,Sweden是国家,不是机构,所以应该只提取大学级别。这里原文本中Linköping University是大学,是机构;Department of Electrical Engineering是系,不是独立机构级别,所以应提取Linköping University。)}]}修正后:{)
在通用对象跟踪领域中,已经进行了许多尝试来利用深度特征。尽管有各种各样的期望,但与完全基于手工特征的方法相比,深度跟踪器尚未达到出色的性能水平。在本文中,我们研究了这个关键问题,并提出了一种方法来释放深度特征的真正潜力。我们系统地研究了深层和浅层特征的特点,以及它们与跟踪精度和鲁棒性的关系。我们将有限的数据和低空间分辨率确定为主要挑战,并提出了在集成深度特征进行跟踪时应对这些问题的策略。此外,我们提出了一种新的自适应融合方法,利用深和浅功能的互补特性,以提高鲁棒性和准确性。在四个具有挑战性的数据集上进行了广泛的实验。在VOT2017上,我们的方法显著优于挑战中表现最好的跟踪器,在EAO中的相对增益为17%。
2018-04-18 cs.CV
Attentive Deep Regression Networks for Real-Time Visual Face Tracking in Video Surveillance
Middle East Technical University(中东技术大学)
视觉人脸跟踪是视频监控系统中的重要任务之一。然而,由于姿势、比例、表情和照明的变化,这被认为是一项艰巨的任务。最近的研究表明,深度学习方法在目标跟踪任务中具有巨大的潜力,自适应特征选择方法可以提高其性能。受此启发,我们提出了一个端到端的专注的基于深度学习的跟踪器,这是建立在最先进的GOTURN跟踪器之上,用于视频监控中的实时的【形】视觉人脸跟踪任务。我们的方法优于最先进的GOTURN和IVT跟踪器非常大的利润率,它实现的速度是远远超出了实时的【形】跟踪的要求。此外,为了克服视觉人脸跟踪中数据稀缺的问题,我们还对ChokePoint数据集的G1和G2集进行了限界框标注,使其适用于监控条件下人脸跟踪的进一步研究。
2019-08-10 cs.CV
Deep Siamese Networks with Bayesian non-Parametrics for Video Object Tracking
Portland State University(波特兰州立大学);Intel Corporation(英特尔公司)
我们提出了一种新的算法,利用深连体神经网络作为一个通用的对象相似性函数结合贝叶斯优化(BO)框架编码的时空信息,有效的视频对象跟踪。特别是,我们把视频跟踪问题作为一个动态(即时间演变)优化问题。使用高斯过程先验,我们建模一个动态的目标函数,表示跟踪对象在每帧中的位置。通过利用时间相关性,所提出的方法以统计原则和有效的方式查询搜索空间,提供了优于当前技术视频跟踪方法的几个优点。
2018-11-18 cs.CV
Iterative Scale-Up ExpansionIoU and Deep Features Association for Multi-Object Tracking in Sports
University of Washington(华盛顿大学);Electronics and Telecommunications Research Institute(电子通信研究院);National Center for High-Performance Computing(国家高性能计算中心)
针对体育场景中运动员非线性运动导致 Kalman filter 失效的问题,提出 Deep-EIoU 多目标跟踪方法,利用迭代尺度扩展 ExpansionIoU 和深度特征关联实现鲁棒在线跟踪,在多个体育基准上超越 SOTA。
2023-11-19 cs.CV
Deep-LK for Efficient Adaptive Object Tracking
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一种新的方法,有效的回归为基础的对象跟踪,我们称之为深LK。我们的方法是密切相关的通用对象跟踪使用回归网络(GOTURN)的框架举行等。我们作出以下贡献。首先,我们证明了像GOTURN这样的连体回归网络和经典的逆合成Lucas & Kanade(IC-LK)算法之间存在理论关系。此外,我们证明,与GOTURN IC-LK适应其回归到当前跟踪帧的外观。我们认为,GOTURN中缺失的这个属性可以归因于它在看不见的对象和/或观点上的性能不佳。其次,我们提出了一个新的对象跟踪框架-我们称之为Deep-LK -这是受IC-LK框架的启发。最后,我们展示了令人印象深刻的结果,证明Deep-LK大大优于GOTURN。此外,我们展示了与当前最先进的深度跟踪器相当的跟踪性能,同时具有一个数量级(即100 FPS)的计算效率。
2017-05-30 cs.CV
DeepScale: Online Frame Size Adaptation for Multi-object Tracking on Smart Cameras and Edge Servers
McMaster University(麦克马斯特大学)
在监视和搜索救援应用中,在低端设备上实时执行多目标跟踪(MOT)非常重要。当今的MOT解决方案采用深度神经网络,其往往具有高计算复杂度。认识到帧大小对跟踪性能的影响,我们提出了DeepScale,这是一种与模型无关的帧大小选择方法,它在现有的完全基于卷积网络的跟踪器上运行,以加快跟踪吞吐量。在训练阶段,我们将可检测性分数纳入一个一次性跟踪器架构,以便DeepScale可以以自我监督的方式学习不同帧大小的表示估计。在推理过程中,它可以根据用户控制的参数的视觉内容的复杂性自适应帧的大小。为了充分利用边缘服务器上的计算资源,我们提出了两种为MOT量身定制的计算划分方案,即仅具有自适应帧大小传输的边缘服务器和边缘服务器辅助跟踪。在MOT数据集上进行的大量实验和基准测试证明了DeepScale的有效性和灵活性。与最先进的跟踪器DeepScale++相比,DeepScale的变体在一种配置中实现了1.57倍的加速,在MOT15数据集上的跟踪精度仅适度下降约2.3\。我们已经在由NVIDIA Jetson TX2板和GPU服务器组成的小规模测试平台上实现并评估了DeepScale++和拟议的计算分区方案。实验揭示了与仅服务器或仅智能相机解决方案相比,跟踪性能和延迟之间的非平凡权衡。
2021-11-05 cs.CV
An Analysis of Object Representations in Deep Visual Trackers
Google Research(谷歌研究院)
全卷积深度相关网络是最先进的单目标视觉跟踪方法的组成部分。通常假设这些网络通过将对象实例的特征与整个帧的特征相匹配来检测来执行跟踪。强大的建筑先验知识和对象表示的条件被认为是鼓励这种跟踪策略。尽管有这些强大的先验知识,但我们发现深度跟踪器通常默认通过显着性检测进行跟踪-而不依赖于对象实例表示。我们的分析表明,尽管显著性检测是一种有用的先验知识,但它可以防止深度网络中出现更强大的跟踪策略。这导致我们引入一个辅助检测任务,鼓励更多的歧视性对象表示,提高跟踪性能。
2020-01-08 cs.CV
Deep Learning-Based Multi-Object Tracking: A Comprehensive Survey from Foundations to State-of-the-Art
Department of Computer Science, Faculty of Mathematics, University of Belgrade(计算机科学系,数学学院,贝尔格莱德大学)
该综述系统梳理了基于深度学习的多目标跟踪方法,将检测跟踪类方法分为五大类,对比了端到端跟踪方法,经多基准测试发现启发式方法适配密集线性运动场景,深度学习关联方法适配复杂运动场景。
2025-06-16 cs.CV
Real-time visual tracking by deep reinforced decision making
Seoul National University(首尔大学);Chung-Ang University(中央大学)
无模型视觉跟踪问题的主要挑战之一是,我们的目标跟踪对象的外观不可预测的和剧烈的变化所带来的困难。现有的方法通过在线更新外观模型以适应外观的变化来解决这个问题。然而,尽管这些方法取得了成功,但外观模型的不准确和错误更新会导致跟踪器漂移。在本文中,我们介绍了一种新的实时的【形】视觉跟踪算法的基础上,通过深度强化学习方法构建的模板选择策略。跟踪算法利用这种策略来选择合适的模板来跟踪给定的帧。模板选择策略是通过利用一个简单的策略梯度方法在从跟踪基准数据集随机生成的大量训练片段上自学习的。我们提出的强化学习框架一般适用于其他基于置信图的跟踪算法。实验结果表明,该跟踪算法的实时的【形】运行速度为43 fps,所提出的策略网络能够有效地确定合适的模板,从而实现成功的视觉跟踪。
2018-08-17 cs.CV
Deep HM-SORT: Enhancing Multi-Object Tracking in Sports with Deep Features, Harmonic Mean, and Expansion IOU
Norwegian University of Science and Technology - NTNU(挪威科技大学(NTNU))
针对体育场景多目标跟踪的ID切换等难题,提出融合深度特征、调和均值与Expansion IOU的Deep HM-SORT算法,在两个公开基准上取得SOTA性能,且未增加计算成本。
2024-06-17 cs.CV
DeepFusionMOT: A 3D Multi-Object Tracking Framework Based on Camera-LiDAR Fusion with Deep Association
Chongqing University(重庆大学)
在最近的文献中,一方面,许多3D多目标跟踪(MOT)的工作都集中在跟踪精度和忽略了计算速度,通常通过设计相当复杂的成本函数和特征提取。另一方面,一些方法过于关注计算速度而牺牲了跟踪精度。针对这些问题,本文提出了一种稳健快速的基于相机-LiDAR融合的MOT方法,该方法在精度和速度之间取得了很好的平衡。根据摄像机和LiDAR传感器的特点,设计了一种有效的深度关联机制,并将其嵌入到所提出的MOT方法中。该关联机制实现了当目标距离较远且仅由相机检测到时在2D域中对目标的跟踪,以及当目标出现在LiDAR视场中时利用获得的3D信息更新2D轨迹,以实现2D和3D轨迹的平滑融合。基于典型数据集的大量实验表明,该方法在跟踪精度和处理速度方面均优于现有的MOT方法.为了社区的利益,我们的代码已公开发布。
2022-08-26 cs.CV
Deep Learning of Appearance Models for Online Object Tracking
提出了一种基于深度学习的单目标视觉跟踪方法。我们解决这个问题,提出了一个网络架构,它需要输入的视频帧,并直接计算跟踪分数的任何候选目标位置,通过估计的概率分布的正面和负面的例子。这是通过在统一框架中将深度卷积神经网络与贝叶斯损失层相结合来实现的。为了处理有限数量的正训练样本,网络被预先离线训练用于通用图像特征表示,然后在多个步骤中进行微调。在线微调步骤在每一帧进行,以学习目标的外观。我们采用两阶段迭代算法来自适应地更新网络参数,并保持目标/非目标区域的概率密度。该跟踪器已经在标准跟踪基准上进行了测试,结果表明,所提出的解决方案达到了最先进的跟踪结果。
2016-07-09 cs.CV
Robust Online Multi-target Visual Tracking using a HISP Filter with Discriminative Deep Appearance Learning
Lancaster University(兰卡斯特大学);University of Lincoln(林肯大学)
我们提出了一种新的在线多目标视觉跟踪器的基础上最近开发的假设和独立的随机人口(HISP)过滤器。HISP滤波器结合了MHT等传统跟踪方法和PHD滤波器等基于点过程的跟踪方法的优点,在保持跟踪身份的同时具有线性复杂度。我们应用此过滤器跟踪多个目标在不同的环境条件下获得的视频序列和目标密度使用跟踪检测方法。我们还通过在大规模人员重新识别数据集上训练验证识别网络(VerIdNet)来采用深度CNN外观表示。我们使用这种深度CNN外观特征和时空信息以原则性的方式构建增强的可能性。此外,我们解决了两个或多个目标具有相同的标签的问题,考虑每个已确认的假设传播的权重。在MOT16和MOT17基准数据集上进行的大量实验表明,我们的跟踪器在跟踪精度方面明显优于几种最先进的跟踪器。
2020-10-11 cs.CV
Learning Policies for Adaptive Tracking with Deep Feature Cascades
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
视觉目标跟踪是一项基本的、时间要求严格的视觉任务。近年来出现了许多基于实时像素相关滤波器的浅层跟踪方法,以及具有顶级性能但需要高端GPU的深层方法。在本文中,我们将学习如何在不损失准确性的情况下提高深度跟踪器的速度。我们的基本观点是采取自适应方法,使用廉价的特征(例如像素值)处理简单的帧,而使用不变但昂贵的深度特征处理具有挑战性的帧。我们将自适应跟踪问题制定为决策过程,并学习代理来决定是否在早期层上以高置信度定位对象,或继续处理网络的后续层。这显著降低了具有不同或缓慢移动对象的简单帧的前馈成本。我们以强化学习的方式离线训练代理,并进一步证明学习所有深层(以便为自适应跟踪提供良好的功能)可以在单个CPU上实现23 fps的近实时平均跟踪速度,同时实现最先进的性能。也许最能说明问题的是,我们的方法在几乎50%的时间内提供了100倍的加速,这表明了自适应方法的强大功能。
2017-09-13 cs.CV
Coarse-to-Fine Object Tracking Using Deep Features and Correlation Filters
TELUQ University(加拿大远程大学(TELUQ大学));University of Bahrain(巴林大学)
在过去的几年里,深度学习跟踪器取得了令人兴奋的成果,同时带来了解决跟踪问题的有趣想法。这一进展主要是由于使用了通过在大型图像数据库上训练深度卷积神经网络(CNN)获得的学习深度特征。但由于CNN最初是为图像分类开发的,因此其深层提供的外观建模可能不足以区分跟踪任务。事实上,这些特征表示高级信息,其与对象类别的相关性大于与对象的特定实例的相关性。基于这一观察结果,以及判别相关滤波器(DCF)可以提供互补的低级别信息的事实,我们提出了一种新的跟踪算法,利用这两种方法。我们制定的跟踪任务作为一个两阶段的程序。首先,我们利用深度特征的泛化能力来粗略估计目标平移,同时确保对外观变化的不变性。然后,我们利用相关滤波器的鉴别能力,精确定位跟踪对象。此外,我们设计了一个更新控制机制,学习外观变化,同时避免模型漂移。我们评估了所提出的跟踪对象跟踪基准。实验结果表明,我们的算法的鲁棒性,表现出良好的CNN和基于DCF的跟踪器。代码可在:https://github.com/AhmedZgaren/Coarse-to-fine-Tracker
2020-12-23 cs.CV
AttTrack: Online Deep Attention Transfer for Multi-object Tracking
McMaster University(麦克马斯特大学)
多目标跟踪(MOT)是智能视频分析应用(如监控和自动驾驶)的重要组成部分。执行用于视觉对象跟踪的深度学习模型所需的时间和存储复杂性阻碍了它们在计算能力有限的嵌入式设备上的采用。在本文中,我们的目标是通过在训练和推理时将知识从复杂网络(教师)的高级特征转移到轻量级网络(学生)来加速MOT。所提出的AttTrack框架有三个关键组件:1)跨模型特征学习,以对齐教师和学生模型的中间表示,2)在推理时交错执行两个模型,以及3)将教师模型的更新预测作为先验知识,以帮助学生模型。使用两个不同的目标检测骨干YOLOv5和DLA 34在MOT17和MOT15数据集上进行行人跟踪任务的实验表明,AttTrack可以显着提高学生模型跟踪性能,同时仅牺牲跟踪速度的轻微下降。
2022-10-27 cs.CV
TDIOT: Target-driven Inference for Deep Video Object Tracking
Istanbul Technical University(伊斯坦布尔理工大学)
最近的检测跟踪方法使用深目标检测器作为目标检测基线,因为它们在静止图像上的高性能。为了有效的视频对象跟踪,将目标检测与由定制设计推理架构或端到端联合训练执行的数据关联步骤集成以用于跟踪目的。在这项工作中,我们采用了前一种方法,并使用预训练的Mask R-CNN深度对象检测器作为基线。我们在Mask R-CNN的FPN-ResNet 101主干上引入了一种新的推理架构,以联合执行检测和跟踪,而无需额外的跟踪训练。建议的单目标跟踪器,TDIOT,适用于外观相似性为基础的时间匹配的数据关联。为了解决跟踪的不连续性,我们将一个本地搜索和匹配模块的推理头层,利用SiamFC的短期跟踪。此外,为了提高对尺度变化的鲁棒性,我们引入了一个尺度自适应区域建议网络,该网络能够在由目标的轨迹指定的自适应扩大的空间邻域中搜索目标。为了满足长期跟踪的要求,低成本的验证层被纳入推理架构,以监测存在的目标的基础上,其LBP直方图模型。对来自VOT 2016、VOT 2018和VOT-LT 2018数据集的视频进行的性能评估表明,与最先进的短期跟踪器相比,TDIOT实现了更高的准确性,同时在长期跟踪方面提供了相当的性能。
2021-03-23 cs.CV
A Survey for Deep RGBT Tracking
Jiangnan University(江南大学)
利用可见光(RGB)和热红外(TIR)电磁波(简称RGBT跟踪)的视觉目标跟踪最近引起了跟踪界越来越多的关注。鉴于深度学习的快速发展,本文综述了近年来基于深度神经网络的RGBT跟踪器。首先,我们对归入这一类别的RGBT跟踪器进行了简要介绍。然后,在几个具有挑战性的基准之间的比较,现有的RGBT跟踪统计。具体来说,MDNet和Siamese架构是RGBT社区的两个主流框架,尤其是前者。基于MDNet的跟踪器具有更高的性能,而基于Siamese的跟踪器满足实时性要求。总之,自从大规模数据集LasHeR发布以来,端到端框架的集成,例如,应进一步考虑Siamese和Transformer,以满足实时性和更鲁棒的性能。此外,在设计网络时应更多地考虑其数学意义。这项调查可以被视为关注RGBT跟踪的研究人员的查找表。
2022-01-29 cs.CV
DeepSORT-Driven Visual Tracking Approach for Gesture Recognition in Interactive Systems
Loughborough University(拉夫堡大学);University of Southern California(南加州大学);University of Michigan(密歇根大学)
本文提出基于 DeepSORT 的视觉跟踪手势识别方法,结合卡尔曼滤波与深度特征,验证其在遮挡、模糊和多目标场景下的实时准确跟踪能力。
2025-05-11 cs.CV cs.HC
Deep Attentive Tracking via Reciprocative Learning
BUPT(北京邮电大学);Tencent AI Lab(腾讯人工智能实验室);SJTU(上海交通大学);UC Merced(加州大学默塞德分校)
视觉注意,来自认知神经科学,促进人类对感官数据的最相关子集的感知。最近,已经做出了重大努力来利用注意力方案来推进计算机视觉系统。对于视觉跟踪,跟踪经历大的外观变化的目标对象通常是具有挑战性的。注意力地图通过选择性地关注时间鲁棒特征来促进视觉跟踪。现有的检测跟踪方法主要使用额外的注意力模块来生成特征权重,因为分类器没有配备这样的机制。在本文中,我们提出了一个互惠的学习算法,利用视觉注意训练深度分类器。该算法包括前馈和后向操作,以产生注意力地图,这作为正则化条款加上原来的分类损失函数的训练。深度分类器学习关注对外观变化鲁棒的目标对象的区域。大规模基准数据集上的大量实验表明,所提出的注意跟踪方法对最先进的方法表现良好。
2018-10-15 cs.CV
Deep Meta Learning for Real-Time Target-Aware Visual Tracking
Seoul National University(首尔国立大学);Chung-Ang Univeristy(中央大学)
本文提出了一种基于Siamese匹配网络和元学习器网络的在线视觉跟踪框架,具有实时的【形】速度。传统的基于深度卷积特征的区别性视觉跟踪算法需要分类器或相关滤波器的连续重新训练,这涉及解决复杂的优化任务以适应目标对象的新外观。为了减轻这个复杂的过程中,我们提出的算法采用并利用元学习者网络,通过添加目标感知的特征空间,为匹配网络提供新的目标对象的外观信息。目标特定特征空间的参数从元学习者网络的单个前向传递立即提供。通过消除跟踪过程中不断求解复杂优化任务的必要性,实验结果表明,我们的算法执行在一个实时的【形】速度,同时保持与其他国家的最先进的跟踪算法的竞争力的性能。
2019-08-16 cs.CV
Multi-Object Portion Tracking in 4D Fluorescence Microscopy Imagery with Deep Feature Maps
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校)
生物体的3D荧光显微镜已日益成为生物医学研究和诊断中必不可少的强大工具。已经收集了爆炸性数量的成像数据,而从这些数据中提取信息的高效和有效的计算工具仍然落后。这主要是由于分析生物数据的挑战。有趣的生物结构不仅很小,而且往往是形态不规则和高度动态的。虽然对活生物体中细胞的跟踪已经研究了多年,但是现有的细胞跟踪方法对于跟踪亚细胞结构(例如蛋白质复合物)是无效的,亚细胞结构的特征在于除了快速迁移和复杂运动之外,还包括连续的形态变化,包括分裂和合并。在本文中,我们首先定义了多目标部分跟踪的问题来模拟蛋白质目标跟踪过程。提出了一种基于三维分割结果的部分匹配多目标跟踪方法。该方法从深度网络中提取深度特征图,然后使用扩展搜索识别和匹配对象部分。实验结果表明,该方法在一致性跟踪精度上比现有方法提高了2.96%,在事件识别精度上比现有方法提高了35.48%。
2019-11-26 cs.CV eess.IV
Interpretable Dynamic Graph Neural Networks for Small Occluded Object Detection and Tracking
Department of Computer Science, American International University-Bangladesh(美国国际大学-孟加拉国计算机科学系);Department of Industrial Engineering and Management, Khulna University of Engineering and Technology (KUET)(Khulna工程与技术大学工业工程与管理系);Physics and Biology Unit, Okinawa Institute of Science and Technology Graduate University (OIST)(冲绳科学与技术研究生大学物理与生物学单元)
本文提出DGNN-YOLO框架,将动态图神经网络与YOLO11结合,并引入Grad-CAM等可视化技术,有效解决城市交通中小尺寸遮挡目标的实时检测与跟踪难题,性能显著优于现有方法。
2025-05-05 cs.CV cs.LG
An Overview of Prototype Formulations for Interpretable Deep Learning
Intuitive Robots Lab, Karlsruhe Institute of Technology, Karlsruhe, Germany(直观机器人实验室,卡尔斯鲁厄理工学院,卡尔斯鲁厄,德国)
本文提出HyperPG,一种基于超球面的原型表示方法,在多个数据集上证明其优于传统欧几里得方法,且在简化训练方案下仍能保持竞争力。
2026-01-07 cs.AI cs.CV cs.LG
Interpretable Fuzzy Inference for UAV Target Tracking Using Bounding-Box Geometry
North Carolina A&T State University(北卡罗来纳农工州立大学)
该研究针对无人机视觉制导的偏航角估计难题,提出基于YOLO边界框特征的可解释模糊推理框架,经实验验证其精度高、数据效率高且计算轻量,适用于实时无人机制导。
2026-08-06 cs.AI cs.CV cs.RO
Towards Fully Interpretable Deep Neural Networks: Are We There Yet?
National University of Singapore(新加坡国立大学)
尽管性能卓越,但深度神经网络(DNN)的行为就像黑盒子一样,阻碍了用户对人工智能(AI)系统的信任。关于开放黑盒DNN的研究可以大致分为事后方法和内在可解释的DNN。虽然已经对事后解释方法进行了许多调查,但很少有人致力于内在可解释的DNN。本文综述了开发具有内在可解释性的DNN的现有方法,重点是卷积神经网络(CNN)。其目的是了解目前在完全可解释的DNN方面的进展,这些DNN可以满足不同的解释要求。最后,我们确定了目前工作中的差距,并提出了潜在的研究方向。
2021-06-24 cs.CV cs.LG
ProtoAL: Interpretable Deep Active Learning with prototypes for medical imaging
Instituto de Ciências Matemáticas e de Computação (ICMC), University of São Paulo (USP)(圣保罗大学数学与计算机科学研究所)
本文提出ProtoAL方法,将基于原型的可解释深度学习模型集成到深度主动学习框架中,以解决医学影像AI-CAD的可解释性不足和数据需求高的问题,并在Messidor数据集上仅用76.54%标注数据取得0.79的AUPRC。
2024-04-06 cs.AI cs.CV cs.LG
Towards Interpretable Deep Metric Learning with Structural Matching
Tsinghua University(清华大学)
神经网络如何区分两幅图像?理解深度模型的匹配机制对于开发可靠的智能系统以应用于诸如监控和访问控制等具有风险的视觉应用是至关重要的。然而,大多数现有的深度度量学习方法通过比较特征向量来匹配图像,这忽略了图像的空间结构,因此缺乏可解释性。在本文中,我们提出了一种深度可解释度量学习(DIML)方法,用于更透明的嵌入学习。与传统的基于特征向量比较的度量学习方法不同,我们提出了一种结构匹配策略,该策略通过计算两幅图像的特征图之间的最佳匹配流来显式地对齐空间嵌入。我们的方法使深度模型能够以更人性化的方式学习度量,其中两个图像的相似性可以分解为几个部分相似性及其对整体相似性的贡献。我们的方法是模型不可知的,这可以应用到现成的骨干网络和度量学习方法。我们在深度度量学习的三个主要基准上评估了我们的方法,包括CUB 200 -2011,Cars 196和斯坦福在线产品,并在流行的度量学习方法上实现了实质性的改进,具有更好的可解释性。代码可在https://github.com/wl-zhao/DIML上获得
2021-08-12 cs.AI cs.CV cs.LG
Exploring Sub-skeleton Trajectories for Interpretable Recognition of Sign Language
University of Sydney, Australia(悉尼大学(澳大利亚))
跟踪传感器和姿态估计软件的最新进展使智能系统能够使用骨骼关节位置的轨迹进行监督学习。我们研究准确识别手语单词的问题,这是缩小重听人和非重听人之间沟通差距的关键。我们的方法探讨了一个几何特征空间,我们称之为“子骨架”方面的运动。我们使用自然的,速度不变的距离度量来评估特征空间轨迹的相似性,这使得清晰和有见地的最近邻分类成为可能。我们的基本方法的简单性和可扩展性允许在不同的数据域中立即应用,几乎没有参数调整。我们证明了我们的基本方法的有效性,并提高了变化,从不同的应用领域和跟踪技术的数据上的实验。令人惊讶的是,我们简单的方法比最近的最先进的方法提高了标志识别。
2022-02-03 cs.CV cs.IR cs.LG
Interpretable Deep Learning Classifier by Detection of Prototypical Parts on Kidney Stones Images
Tecnologico de Monterrey(蒙特雷理工学院);CHU Nancy(南锡大学中心医院);Université de Lorraine(洛林大学)
确定肾结石的类型可以让泌尿科医生确定其形成原因,改善适当治疗的早期处方,以减少未来的复发。然而,目前,相关的离体诊断(称为形态构成分析,MCA)是耗时的、昂贵的,并且需要大量的经验,因为它需要高度依赖于操作者的视觉分析组件。最近,已经开发了用于体内内窥镜结石识别的机器学习方法。浅层方法已被证明是可靠的和可解释的,但表现出低准确性,而基于深度学习的方法产生高准确性,但无法解释。然而,高风险决策需要可理解的计算机辅助诊断(CAD),以根据合理的证据提出行动方案,而不仅仅是规定一个。在这里,我们研究的手段,学习部分原型(PP),使可解释的模型。我们的建议提出了一个肾结石斑块图像的分类,并提供了类似的方式上使用的MCA方法的解释。
2022-06-02 cs.AI cs.CV cs.LG
ODMTCNet: An Interpretable Multi-view Deep Neural Network Architecture for Image Feature Representation
Ryerson University(瑞尔森大学)
通过将统计机器学习(SML)原理与深度神经网络(DNN)架构相结合,提出了一种可解释的多视图深度神经网络架构,即最优判别多视图张量卷积网络(ODMTCNet)。
2021-10-28 cs.CV
Birds look like cars: Adversarial analysis of intrinsically interpretable deep learning
University of Warsaw(华沙大学);Warsaw University of Technology(华沙技术大学)
本文研究了内在可解释深度学习模型的对抗性风险,通过原型操纵和后门攻击揭示其不可解释性,并探讨了提升模型鲁棒性和对齐性的必要性。
2025-09-18 cs.CV cs.LG
GazeXPErT: An Expert Eye-tracking Dataset for Interpretable and Explainable AI in Oncologic FDG-PET/CT Scans
Stanford University/Stanford Health Care(斯坦福大学/斯坦福医疗保健);Google(谷歌);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
GazeXPErT通过专家眼动数据提升肿瘤FDG-PET/CT图像的可解释AI性能,包括病变分割和意图预测。
2026-08-19 cs.CV cs.HC eess.IV
Deep learning for 3D Object Detection and Tracking in Autonomous Driving: A Brief Survey
Southern University of Science and Technology(南方科技大学)
本文简要综述了深度学习在自动驾驶三维目标检测与跟踪中的最新进展,强调了点云数据的独特挑战及现有方法的研究现状。
2023-11-10 cs.AI cs.CV
Beyond Leaderboard Scores: A Deployment-Focused Protocol for Interpretable Tracking Evaluation in Pedestrian-Centric Environments
ETH Zurich(苏黎世联邦理工学院);Swiss Paraplegic Research(瑞士截瘫研究中心)
针对行人环境中移动机器人跟踪评估,提出仅跟踪器协议,用共享检测隔离跟踪器行为,直接评估关键能力,并在JRDB上验证,发现缺失观测延续是主要限制。
2026-10-02 cs.CV cs.RO
Memory Maps for Video Object Detection and Tracking on UAVs
University of Tuebingen(图宾根大学)
提出了一种新的无人机视频目标检测方法。通过合并元数据,所提出的方法创建了一个内存映射的对象位置在实际世界坐标,提供了一个更强大的和可解释的表示对象的位置在这两个,图像空间和现实世界。我们使用这种表示来提高置信度,从而提高了几个时间计算机视觉任务的性能,如视频目标检测,短期和长期的单个和多个目标跟踪,以及视频异常检测。这些发现证实了元数据在增强无人机在时间计算机视觉领域的能力方面的好处,并为该领域的进一步发展铺平了道路。
2023-03-06 cs.AI cs.CV cs.RO
Interpretable Recognition of Fused Magnesium Furnace Working Conditions with Deep Convolutional Stochastic Configuration Networks
Hefei University of Technology(合肥工业大学);China University of Mining and Technology(中国矿业大学);Northeastern University(东北大学)
针对电熔镁炉工况识别泛化与可解释性不足,提出融合监督高斯差分核、增量DCSCNs及强化学习剪枝的可解释识别方法,提升了准确率与解释性。
2025-01-06 cs.AI cs.CV
Tackling Shortcut Learning in Deep Neural Networks: An Iterative Approach with Interpretable Models
Boston University(波士顿大学);University of Pittsburgh(匹兹堡大学);MetaAI(Meta人工智能研究院)
本文提出一种迭代方法,通过从黑盒模型中划分可解释专家混合模型(MoIE)并用一阶逻辑检测捷径,再结合元数据归一化(MDN)微调消除捷径,在不损失准确性的前提下缓解深度神经网络的捷径学习问题。
2023-07-07 cs.CV cs.LG
This Looks Like That: Deep Learning for Interpretable Image Recognition
Duke University(杜克大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
当我们面对具有挑战性的图像分类任务时,我们经常通过解剖图像来解释我们的推理,并指出一类或另一类的原型方面。每个类别的证据越来越多,这有助于我们做出最终决定。在这项工作中,我们引入了一个深度网络架构-原型零件网络(ProtoPNet),它以类似的方式进行推理:网络通过寻找原型零件来解剖图像,并结合原型中的证据进行最终分类。因此,该模型的推理方式与鸟类学家、医生和其他人向人们解释如何解决具有挑战性的图像分类任务的方式在质量上类似。该网络仅使用图像级标签进行训练,而不对图像的部分进行任何注释。我们在CUB-200-2011数据集和Stanford Cars数据集上演示了我们的方法。我们的实验表明,ProtoPNet可以达到与其类似的不可解释的对应物相当的准确性,当几个ProtoPNet组合成一个更大的网络时,它可以达到与一些性能最好的深度模型相当的准确性。此外,ProtoPNet提供了其他可解释的深度模型所缺乏的可解释性。
2019-12-28 cs.AI cs.CV cs.LG
A Deep Learning Interpretable Classifier for Diabetic Retinopathy Disease Grading
Universitat Rovira i Virgili(罗维拉-威尔吉利大学)
深度神经网络模型已被证明在图像分类任务中非常成功,也适用于医疗诊断,但其主要问题是缺乏可解释性。它们曾经作为直觉机器工作,具有很高的统计置信度,但无法对报告的结果给出可解释的解释。这些模型的参数数量庞大,很难从中推断出合理的解释。在本文中,我们提出了一种糖尿病视网膜病变可解释的分类器,能够将视网膜图像分类到不同的疾病严重程度,并通过为隐藏空间和输入空间中的每个点分配一个分数来解释其结果,以线性方式评估其对最终分类的贡献。生成的可视化地图可以由专家进行解释,以便将自己的知识与模型给出的解释进行比较。
2017-12-21 cs.CV cs.LG stat.ML
Unmanned Aerial Vehicle Visual Detection and Tracking using Deep Neural Networks: A Performance Benchmark
Durham University(杜伦大学);Northumbria University(诺森比亚大学)
无人机(UAV)由于疏忽和恶意使用,可能对航空安全构成重大风险。因此,无人机的自动检测和跟踪是空中安全系统的一项基本任务。无人机探测的常用技术包括可见波段和热红外成像、无线电频率和雷达。用于基于图像的目标检测的深度神经网络(DNN)的最新进展为使用视觉信息进行检测和跟踪任务提供了可能性。此外,这些检测架构可以被实现为视觉跟踪系统的骨干,从而实现对UAV入侵的持续跟踪。到目前为止,还没有综合性能基准将DNN应用于无人机检测和跟踪的可见波段图像。为此,使用四种检测架构和三种跟踪框架评估了用于无人机检测和跟踪的具有不同环境条件的三个数据集,共包括241个视频(331,486个图像)。性能最好的检测器架构获得98.6%的mAP,性能最好的跟踪框架获得96.3%的MOTA。在可见光和红外光谱之间进行交叉模态评估,当在红外模态中训练时,在可见光图像上实现最大82.8%mAP。这些结果为最先进的基于深度学习的方法提供了第一个公开的多方法基准,并深入了解了哪些检测和跟踪架构在无人机领域是有效的。
2021-08-18 cs.CV cs.LG
Fair and Interpretable Deepfake Detection in Videos
Fujitsu Limited(富士通株式会社);Fujitsu Research of America, Inc.(富士通美国研究院)
针对 deepfake 视频检测中的群体偏见、可解释性不足和时间信息缺失问题,提出融合序列聚类时间建模、概念提取与人口统计感知频域增强的公平检测框架,并在多个基准上验证其公平性与准确率权衡优势。
2025-10-20 cs.CV cs.LG
A Biologically Interpretable Two-stage Deep Neural Network (BIT-DNN) For Vegetation Recognition From Hyperspectral Imagery
Manchester Metropolitan University(曼彻斯特城市大学);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);Brunel University(布鲁内尔大学)
基于光谱空间的深度学习模型最近被证明是有效的高光谱图像(HSI)分类的各种地球监测应用,如土地覆盖分类和农业监测。然而,由于“黑箱”模型表示的性质,如何解释和解释的学习过程和模型的决策,特别是植被分类,仍然是一个开放的挑战。该研究提出了一种新的可解释的深度学习模型-生物可解释的两阶段深度神经网络(BIT-DNN),通过将基于先验知识(即目标实体的生物物理和生物化学属性及其层次结构)的光谱-空间特征转换纳入所提出的框架,能够在基于HSI的分类任务上实现高精度和可解释性。该模型引入了两阶段的特征学习过程:第一阶段,增强的可解释特征块提取与目标实体的生物物理和生物化学属性相关的低级别光谱特征;在第二阶段,可解释的封装块提取并封装高级联合频谱,代表这些目标实体的生物物理和生物化学属性的分级结构的空间特征,这为模型提供了改进的分类性能和内在的可解释性,同时降低了计算复杂性。我们使用四个真实的HSI数据集对四个独立的任务(即植物物种分类,土地覆盖分类,城市场景识别和作物病害识别任务)进行了测试和评估。该模型与五种最先进的深度学习模型进行了比较。
2021-04-14 cs.CV cs.LG eess.IV
Attentional Bottleneck: Towards an Interpretable Deep Driving Network
Waymo Research(Waymo研究院)
深度神经网络是自动驾驶汽车行为预测和运动生成的关键组成部分。它们的主要缺点之一是缺乏透明度:它们应该为触发某些行为的原因提供易于解释的理由。我们提出了一个架构称为注意力瓶颈的目标是提高透明度。我们的关键思想是将视觉注意力(识别模型正在使用输入的哪些方面)与信息瓶颈(使模型能够只使用输入的重要方面)相结合。这不仅提供了稀疏和可解释的注意力地图(例如,只关注场景中的特定车辆),而且它在不影响模型准确性的情况下增加了这种透明度。事实上,我们发现在将注意力瓶颈应用于ChauffeurNet模型时,准确性略有提高,而我们发现传统视觉注意力模型的准确性有所下降。
2020-05-08 cs.CV cs.LG cs.RO
An Interpretable Deep Semantic Segmentation Method for Earth Observation
Lancaster University(兰卡斯特大学);European Space Agency(欧洲空间局)
地球观测对于包括应对洪水在内的一系列人类活动至关重要,因为它为决策者提供了重要信息。语义分割在将来自卫星的原始高光谱数据映射为人类可理解的形式并为每个像素分配类别标签方面起着关键作用。本文介绍了一种基于原型的可解释的深度语义分割(IDSS)方法。它的参数数量级上低于U-Net等深度网络使用的参数数量,并且可以被人类清晰地解释。这里提出的IDSS提供了一个透明的结构,允许用户检查和审计算法的决定。结果表明,IDSS可以优于其他算法,包括U-Net,在IoU(交集超过并)总水和召回总水。我们使用WorldFloods数据集进行实验,并计划使用语义分割结果与永久水的掩码相结合来检测洪水事件。
2022-10-23 cs.CV
Automated and Interpretable Patient ECG Profiles for Disease Detection, Tracking, and Discovery
University of California, San Francisco(加州大学旧金山分校);University of California at Berkeley(加州大学伯克利分校);California Institute for Quantitative Biosciences(加州定量生物科学研究所);Brigham and Women’s Hospital(布莱根妇女医院)
心电图或ECG已经使用了100多年,并且仍然是表征心脏结构和电活动的最广泛执行的诊断测试。我们假设,计算能力的并行进步、机器学习算法的创新以及大规模数字化ECG数据的可用性将使ECG的实用性超越其当前的限制,同时保持可解释性,这是医疗决策的基础。我们从UCSF数据库中确定了36,186个ECG,这些ECG 1)处于正常窦性心律,2)能够训练特定模型,用于估计心脏结构或功能或检测疾病。我们使用卷积神经网络(CNN)和隐马尔可夫模型(HMM)推导出一种用于ECG分割的新模型,并通过将电间期估计值与来自临床工作流程的141,864个测量值进行比较来评估其输出。我们使用下采样的分割数据和训练的机器学习模型构建了725个元素的患者级ECG曲线,以估计左心室质量、左心房体积、二尖瓣环e ',并检测和跟踪四种疾病:肺动脉高压(PAH)、肥厚性心肌病(HCM)、心脏淀粉样蛋白(CA)和二尖瓣脱垂(MVP)。CNN-HMM导出的ECG分割与临床估计一致,心率的中位绝对偏差(MAD)占观察值的0.6%,QT间期的中位绝对偏差占观察值的4%。患者水平的ECG曲线能够定量估计左心室和二尖瓣环e '速度,在左心室肥大和舒张功能的二元分类模型中具有良好的区分度。MVP的疾病检测模型的AUROC范围为0.94至0.77。所有模型的顶级变量包括已知的ECG特征以及这些特征/疾病的新预测因子。
2018-07-06 cs.CV
DeepMiner: Discovering Interpretable Representations for Mammogram Classification and Explanation
Princeton University(普林斯顿大学);The Chinese University of Hong Kong(香港中文大学);Microsoft(微软);UCLA(加州大学洛杉矶分校);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);Microsoft Research New England(微软新英格兰研究院);VSCO
我们提出了DeepMiner,这是一个发现深度神经网络中可解释的表示并为医学预测建立解释的框架。通过探测训练用于对乳房X线照片中的癌症进行分类的卷积神经网络(CNN),我们发现CNN的最终卷积层中的许多单个单元对BI-RADS词典指定的患病组织概念做出强烈响应。在对可解释单元进行专家注释后,我们提出的方法能够生成与筛查乳腺X射线摄影数字数据库上的地面真实放射学报告一致的CNN乳腺X射线摄影分类的解释。我们表明,DeepMiner不仅能够更好地理解CNN分类决策的细微差别,而且还可能发现与医学诊断相关的新视觉知识。
2021-08-18 cs.CV
Human-interpretable and deep features for image privacy classification
Queen Mary University of London(伦敦玛丽女王大学)
本文针对图像隐私分类中标注困难的问题,分析了争议性图像的特性,提出八个隐私专用且人类可解释的特征,证明其能提升深度学习模型性能并优于高维深度特征。
2023-10-31 cs.CV
Interpretable Deep Multimodal Image Super-Resolution
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(微电子研究中心)
多模态图像超分辨率(SR)是在给定低分辨率观测的情况下,借助于另一种图像模态重建高分辨率图像。虽然现有的深度多模态模型不包含有关图像SR的领域知识,但我们提出了一种多模态深度网络设计,该设计集成了耦合稀疏先验,并允许将来自另一种模态的信息有效融合到重建过程中。我们的方法的灵感来自于一种新的耦合卷积稀疏编码迭代算法,通过设计产生了一个可解释的网络。将该模型应用于RGB图像引导下的近红外图像的超分辨率。实验结果表明,我们的模型优于国家的最先进的方法。
2020-09-07 cs.CV
Consensus-based Interpretable Deep Neural Networks with Application to Mortality Prediction
Florida State University(佛罗里达州立大学);Tallahassee Memorial Hospital(塔拉哈西纪念医院)
深度神经网络在各种具有挑战性的任务中取得了显著的成功。然而,这种网络的黑盒性质对于关键应用(例如医疗保健)是不可接受的。特别是,对抗性例子的存在及其对不相关的、高置信度的分布外输入的过度泛化使得很难(如果不是不可能的话)解释这种网络的决策。在本文中,我们分析了深度神经网络泛化的底层机制,并提出了一种($n$,$k$)共识算法,该算法对对抗性样本不敏感,可以可靠地拒绝分布外的样本。此外,共识算法能够通过使用多个训练的深度神经网络来提高分类准确性。为了处理深度神经网络的复杂性,我们对单个模型的线性近似进行聚类,并识别不同模型之间高度相关的聚类,以鲁棒地捕获特征重要性,从而提高可解释性。出于建立准确和可解释的医疗保健预测模型的重要性,我们在ICU数据集上的实验结果表明,我们的算法在提高深度神经网络模型对一年患者死亡率预测的预测准确性和可解释性方面是有效的。特别是,虽然所提出的方法保持了与传统的浅层模型(如逻辑回归)相似的可解释性,但它显着提高了预测精度。
2019-09-11 cs.AI cs.CV cs.LG