MaST: Motion-aware Sparse Pipeline for Lightweight Object Tracking
South China University of Technology(华南理工大学);Pengcheng Laboratory(鹏城实验室)
针对Transformer目标跟踪器计算成本过高的问题,提出MaST框架,通过运动先验优化token剪枝、设计原生稀疏预测头,在轻量型跟踪任务中取得最优性能,速度优于现有方法。
2026-08-26 cs.CV
F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single Object Tracking
Zhejiang University(浙江大学);Huawei Noah’s Ark lab(华为诺亚方舟实验室)
本文提出了一种新的单目标跟踪方法F-Siamese Tracker,它的突出特点是更鲁棒地融合了二维和三维信息,减少了冗余的搜索空间。3D单目标跟踪中的主要挑战是如何减少搜索空间以生成合适的3D候选。首先,我们的方法不是仅仅依赖于3D提案,而是利用应用于RGB图像的Siamese网络来产生2D区域提案,然后将其挤出到3D视锥中。此外,我们对3D平截头体进行在线精度验证,以生成精确的点云搜索空间,该空间可以直接嵌入到现有的3D跟踪骨干中。为了提高效率,我们的方法通过减少搜索空间,以较少的候选人获得更好的性能。此外,由于引入了在线精度验证,对于偶尔出现的强遮挡或非常稀疏的点,即使在2D暹罗跟踪器丢失目标的情况下,我们的方法仍然可以达到很高的精度。这种方法使我们能够在稀疏的室外数据集(KITTI跟踪)上设置一个新的最先进的3D单对象跟踪。此外,在2D单目标跟踪上的实验表明,我们的框架也提高了2D跟踪性能。
2020-10-22 cs.CV
Metric Learning Driven Multi-Task Structured Output Optimization for Robust Keypoint Tracking
Zhejiang University(浙江大学)
作为计算机视觉和图形学中的一个重要且具有挑战性的问题,基于关键点的目标跟踪通常在时空统计学习框架中进行表述。然而,大多数现有的关键点跟踪器不能有效地建模和平衡以下三个方面的同时的方式:跨帧的时间模型的一致性,帧内的空间模型的一致性,和歧视性的功能建设。为了解决这个问题,我们提出了一个强大的关键点跟踪器基于时空多任务结构化输出优化驱动的判别度量学习。因此,时间模型一致性的特点是多任务结构化的关键点模型学习在几个相邻的帧,而空间模型的一致性是通过解决基于几何验证的结构化学习问题。通过度量学习实现区分性特征构造,以确保类内紧致性和类间可分性。最后,上述三个模块同时优化的联合学习计划。实验结果证明了我们的跟踪器的有效性。
2014-12-04 cs.CV cs.LG
Robust Visual Tracking Using Dynamic Classifier Selection with Sparse Representation of Label Noise
School of Computer Science and Engineering Northwestern Polytechnical University(西北工业大学计算机学院)
近年来,在视觉跟踪问题中,一类基于“检测跟踪”的跟踪方法得到了广泛的应用。这些方法中的大多数使用跟踪器生成的样本在线更新分类器以处理外观变化。然而,自更新机制使这些方法遭受漂移问题,因为不正确的标签的弱分类器在训练样本。在本文中,我们将类标签分为真标签和噪声标签,并通过稀疏表示来建模。提出了一种新的动态分类器选择方法,该方法对含噪训练数据具有鲁棒性。此外,我们提出的分类器选择算法的视觉跟踪通过集成基于部分的在线助推框架。我们已经评估了我们提出的方法对12个具有挑战性的序列,涉及严重的闭塞,显着的照明变化和大的姿态变化。定性和定量的评估表明,我们的方法跟踪对象准确,鲁棒性和性能优于国家的最先进的跟踪器。
2019-03-19 cs.CV
Robust compressive tracking via online weighted multiple instance learning
针对稀疏表示跟踪中训练样本不精确导致漂移的问题,提出融合由粗到细稀疏搜索与在线WMIL的跟踪算法,利用未遮挡样本构建强分类器,提升准确性与效率。
2024-06-14 cs.CV
Tackling Occlusion in Siamese Tracking with Structured Dropouts
University of Amsterdam(阿姆斯特丹大学)
遮挡是目标跟踪中最困难的问题之一。这是因为与其他挑战不同,数据增强可以有所帮助,遮挡很难模拟,因为遮挡对象可以是任何形状的任何东西。在本文中,我们提出了一个简单的解决方案来模拟潜在空间中的遮挡效果。具体来说,我们提出了结构化的辍学模仿隐藏代码的变化下闭塞。我们提出了三种形式的辍学(通道辍学,段辍学和切片辍学)的各种形式的闭塞铭记。为了证明其有效性,辍学者被纳入两个现代暹罗跟踪器(SiamFC和SiamRPN++)。使用编码器网络组合来自多个辍学的输出以获得最终预测。几个跟踪基准的实验表明,结构化辍学的好处,而由于其简单性,只需要小的变化,现有的跟踪器模型。
2020-06-30 cs.CV cs.LG eess.IV
Patchwise object tracking via structural local sparse appearance model
Iran University of Science and Technology(伊朗科技大学)
在本文中,我们提出了一个强大的视觉跟踪方法,利用相邻帧中的目标之间的关系,使用patchwise联合稀疏表示。从候选目标中提取两组不同大小的重叠块,构造两个字典,并考虑联合稀疏表示。通过将这种表示应用于结构稀疏外观模型,我们可以获得双重优势。首先,考虑目标斑块随时间的相关性。其次,采用不同斑块大小的局部外观模型,充分考虑了目标的局部特征。此外,候选补丁的位置和他们的遮挡水平被同时利用,以获得最终的目标候选的可能性。对最近具有挑战性的基准测试的评估表明,我们的跟踪方法优于最先进的跟踪器。
2018-03-16 cs.CV
Large Margin Object Tracking with Circulant Feature Maps
Zhejiang University(浙江大学);Exacloud Limited(Exacloud有限公司)
基于结构输出支持向量机的跟踪算法近年来表现出良好的性能。然而,耗时的候选采样和复杂的优化限制了它们的实时应用。本文提出了一种新的大间隔目标跟踪方法,该方法吸收了结构化输出支持向量机的强鉴别能力,并通过相关滤波算法显着提高了速度。其次,提出了一种多模态目标检测技术,以提高目标定位精度,并防止由相似目标或背景噪声引入的模型漂移。第三,我们利用高置信度跟踪结果的反馈,以避免模型腐败问题。我们实现了两个版本的建议跟踪器与传统的手工制作和深度卷积神经网络(CNN)为基础的功能,以验证算法的强兼容性的表示。实验结果表明,所提出的跟踪器的性能优于几个国家的最先进的算法上具有挑战性的基准序列,同时运行速度超过每秒80帧。源代码和实验结果将公开提供。
2017-03-20 cs.CV
Sparse Coding and Counting for Robust Visual Tracking
Dalian University of Technology(大连理工大学)
本文提出了一种新的稀疏编码和计数方法下的贝叶斯框架下的视觉跟踪。与现有方法相比,该方法采用L0和L1范数的组合来正则化增量更新线性基的线性系数。稀疏性约束使跟踪器能够有效地处理困难的挑战,例如遮挡或图像损坏。为了实现实时处理,我们提出了一个快速有效的数值算法求解所提出的模型。虽然这是一个NP难问题,建议加速邻近梯度(APG)的方法是保证快速收敛到一个解决方案。此外,我们提供了一个封闭的解决方案,结合L0和L1正则化表示,以获得更好的稀疏性。在具有挑战性的视频序列上的实验结果表明,该方法在准确性和速度上都达到了最先进的结果。
2016-05-28 cs.CV
Online Metric-Weighted Linear Representations for Robust Visual Tracking
Zhejiang University(浙江大学);University of Adelaide(阿德莱德大学)
在本文中,我们提出了一个视觉跟踪器的基础上的外观的度量加权线性表示。为了捕捉不同的特征维度的相互依赖性,我们开发了两种在线距离度量学习方法,使用邻近比较信息和结构化输出学习。然后将学习的度量并入外观的线性表示中。我们表明,在线距离度量学习显着提高了跟踪器的鲁棒性,特别是对那些表现出剧烈的外观变化的序列。为了约束训练样本数量的增长,我们设计了一种时间加权的储层采样方法。此外,我们使我们的跟踪器自动执行对象识别过程中的对象跟踪,通过引入一个集合的静态模板样本属于几个感兴趣的对象类。整个视频序列的对象识别结果是通过系统地结合跟踪信息和视觉识别在每一帧。在具有挑战性的视频序列上的实验结果证明了该方法在帧间跟踪和目标识别方面的有效性。
2015-07-21 cs.CV
Enforcing Template Representability and Temporal Consistency for Adaptive Sparse Tracking
Colorado School of Mines(科罗拉多矿业学院)
稀疏表示在视觉跟踪中得到了广泛的研究,并显示出良好的跟踪性能。尽管取得了很大的进展,但由于外观随时间的变化,视觉跟踪问题仍然是一项具有挑战性的任务。在本文中,我们提出了一种新的稀疏跟踪算法,很好地解决时间外观的变化,通过执行模板表示性和时间一致性(TRAC)。通过建模时间一致性,我们的算法解决了漂移远离跟踪目标的问题。该方法通过探索模板的长期-短期可表示性,使用最具描述性的模板自适应地更新字典,显著提高了对目标外观变化的鲁棒性。我们比较我们的TRAC算法对国家的最先进的方法对12个具有挑战性的基准图像序列。定性和定量的结果表明,我们的算法显着优于以前的国家的最先进的跟踪器。
2016-04-30 cs.CV
Large Margin Structured Convolution Operator for Thermal Infrared Object Tracking
Shenzhen Graduate School, Harbin Institute of Technology(哈尔滨工业大学深圳研究生院)
与可见光目标跟踪相比,热红外(TIR)目标跟踪不受光照变化的影响,可以在全黑环境下跟踪任意目标。然而,有许多不必要的属性限制了TIR跟踪的潜力,例如缺乏视觉颜色图案和低分辨率。最近,结构化输出支持向量机(SOSVM)和判别相关滤波器(DCF)已分别成功地应用于可见光目标跟踪。受此启发,本文提出了一种大间隔结构卷积算子(LMSCO)来实现高效的TIR目标跟踪。为了提高跟踪性能,我们采用空间正则化和隐式插值来获得连续的深度特征图,包括深度外观特征和深度运动特征,TIR目标。最后,一个协同优化策略,利用显着更新的运营商。我们的方法不仅继承了SOSVM的强鉴别能力的优势,但也实现了准确和强大的跟踪高维特征和更密集的样本。据我们所知,我们是第一个将DCF和SOSVM的优势结合起来进行TIR对象跟踪的公司。通过对VOT-TIR 2015和VOT-TIR 2016两个热红外跟踪基准的全面评估,我们的LMSCO跟踪器在准确性和鲁棒性方面都取得了令人印象深刻的结果,并在足够的帧速率下优于大多数最先进的跟踪器。
2018-07-19 cs.AI cs.CV cs.GR
Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking
Stanford University(斯坦福大学)
多任务学习的最新研究揭示了在单个神经网络中解决相关问题的好处。3D目标检测和多目标跟踪(MOT)是预测和关联对象实例在时间上的位置的两个严重交织的问题。然而,大多数以前的作品在3D MOT处理的检测器作为一个预先分离的管道,不相交的检测器的输出作为输入到跟踪器。在这项工作中,我们提出了Minkowski Tracker,这是一个稀疏的时空R-CNN,它联合解决了目标检测和跟踪。受基于区域的CNN(R-CNN)的启发,我们提出将跟踪作为对象检测器R-CNN的第二阶段来解决,该对象检测器预测跟踪的分配概率。首先,Minkowski Tracker将4D点云作为输入,通过4D稀疏卷积编码器网络生成时空鸟瞰图(BEV)特征图。然后,我们提出的TrackAlign聚合BEV特征中的跟踪感兴趣区域(ROI)特征。最后,Minkowski Tracker根据ROI特征预测的检测到跟踪匹配概率更新跟踪及其置信度得分。我们在大规模的实验中表明,我们的方法的整体性能增益是由于四个因素:1。4D编码器的时间推理提高了检测性能2.目标检测和MOT的多任务学习共同增强对方3.检测到跟踪匹配分数学习隐式运动模型以增强跟踪分配4。检测到跟踪匹配分数提高了跟踪置信度分数的质量。因此,Minkowski Tracker在Nuscenes数据集跟踪任务上实现了最先进的性能,而无需手动设计运动模型。
2022-08-26 cs.CV
Visual Tracking Using Sparse Coding and Earth Mover's Distance
University of Connecticut(康涅狄格大学)
提出了一种有效的迭代地球移动器距离(iEMD)视觉跟踪算法。该方法利用地球移动器距离(EMD)作为相似性度量,在视频序列的特征空间中搜索最优模板候选。EMD的计算被公式化为线性规划的运输问题。EMD优化问题的效率限制了其在视觉跟踪中的应用。为了解决这一问题,我们将迁移单纯形法用于EMD优化,并提出了一种单调收敛的迭代优化算法。局部稀疏表示被用作iEMD跟踪器的外观模型。采用最大对齐池法构造稀疏编码直方图,降低了EMD优化的计算复杂度。提出了基于经验模态分解的模板更新算法。iEMD跟踪算法假设小的帧间移动以保证收敛。当摄像机安装在移动机器人上时,例如,在飞行的四轴飞行器中,相机可能经历导致大的帧间移动的突然且快速的运动。为了确保跟踪算法收敛,陀螺仪辅助扩展的iEMD跟踪器,其中同步陀螺仪信息被用来补偿相机的旋转。iEMD算法的性能使用八个公开可用的数据集进行评估。的iEMD算法的性能进行了比较与7个国家的最先进的跟踪算法的基础上相对百分比重叠。该算法对大帧间位移的鲁棒性也被说明。
2018-04-06 cs.CV cs.RO eess.IV
Radar Tracker: Moving Instance Tracking in Sparse and Noisy Radar Point Clouds
CARIAD SE;Center for Robotics, University of Bonn(机器人中心,波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
本文提出一种基于学习的雷达跟踪器,通过时间偏移预测、注意力机制及几何与外观特征融合,提升稀疏含噪雷达点云中移动实例的跟踪与分割性能,并在 RadarScenes 基准上优于现有方法。
2025-07-04 cs.CV
3D Siamese Voxel-to-BEV Tracker for Sparse Point Clouds
Nanjing University of Science and Technology(南京理工大学)
由于动态环境中LiDAR点云的稀疏性,点云中的三维目标跟踪仍然是一个具有挑战性的问题。在这项工作中,我们提出了一个连体体素到BEV跟踪器,它可以显着提高稀疏3D点云的跟踪性能。具体来说,它由Siamese形状感知特征学习网络和体素到BEV目标定位网络组成。Siamese形状感知特征学习网络可以捕获目标的3D形状信息,以学习目标的区分特征,从而可以从稀疏点云中的背景中识别出潜在目标。为此,我们首先执行模板特征嵌入嵌入到潜在目标的模板的特征,然后生成一个密集的三维形状来表征潜在目标的形状信息。为了定位被跟踪的目标,体素到BEV目标定位网络以无锚方式从密集鸟瞰图(BEV)特征图回归目标的2D中心和$z$轴中心。具体地说,我们通过最大池化沿$z$轴压缩体素化的点云,以获得密集的BEV特征图,其中2D中心和$z$轴中心的回归可以更有效地执行。对KITTI和nuScenes数据集的广泛评估表明,我们的方法大大优于当前最先进的方法。
2021-11-17 cs.CV
Event-based Camera Tracker by $\nabla$t NeRF
Keio University(庆应义塾大学);Denso IT Laboratory(电装IT实验室)
本文提出首个基于场景隐式表示与事件稀疏强度变化的相机位姿估计算法TeGRA,通过最小化稀疏事件与NeRF时间梯度的误差实现高效位姿追踪。
2023-04-07 cs.CV
KLTNet: Learning Sparse Feature Tracking for Robust and Accurate Monocular Visual-Inertial Odometry
Shanghai Jiao Tong University(上海交通大学)
该研究提出轻量型学习型稀疏特征跟踪器KLTNet,替换传统KLT跟踪器,结合由粗到精架构与各向同性置信度权重,在多数据集实验中提升了VIO系统的跟踪与里程计精度,且保持实时性。
2026-08-26 cs.CV
A-MFST: Adaptive Multi-Flow Sparse Tracker for Real-Time Tissue Tracking Under Occlusion
The University of British Columbia(不列颠哥伦比亚大学);Intuitive Surgical Inc.(直觉外科公司)
本文提出无监督自适应多流稀疏跟踪器A-MFST,并结合SAM2遮挡掩蔽与前向-后向一致性扩展SENDD,在STIR上显著降低遮挡跟踪误差且保持实时性。
2024-10-25 cs.CV cs.RO
STARS: Sparse Learning Correlation Filter with Spatio-temporal Regularization and Super-resolution Reconstruction for Thermal Infrared Target Tracking
College of Computer and Information Technology, China Three Gorges University(中国三峡大学计算机与信息学院);Hubei Province Engineering Technology Research Center for Construction Quality Testing Equipment, China Three Gorges University(中国三峡大学湖北省建筑质量检测装备工程技术研究中心);Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University(中国三峡大学水电工程智能视觉监测湖北省重点实验室)
提出STARS,一种结合时空正则化与超分辨率重建的稀疏学习相关滤波跟踪器,解决热红外图像低分辨率和干扰问题,在多个基准上鲁棒性优于现有方法。
2025-04-20 cs.CV
IGCV$2$: Interleaved Structured Sparse Convolutional Neural Networks
Sun Yat-Sen University(中山大学);Microsoft Research(微软研究院);Hefei University of Technology(合肥工业大学);University of Central Florida(中佛罗里达大学)
在本文中,我们研究的问题,设计有效的卷积神经网络结构的兴趣,以消除卷积核的冗余。除了结构化稀疏核、低秩核和低秩核的乘积之外,结构化稀疏核的乘积是用于解释最近开发的交织群卷积(IGC)及其变体(例如,Xception)已经吸引了越来越多的兴趣。受IGC中的组卷积中包含的卷积可以以相同的方式进一步分解的观察的启发,我们提出了一个模块化的构建块,{IGCV $2$:}交织结构化稀疏卷积。它将由两个结构化稀疏核组成的交织群卷积推广到更结构化的稀疏核的乘积,进一步消除了冗余。我们提出了互补条件和平衡条件来指导结构化稀疏核的设计,在模型规模、计算复杂度和分类精度三个方面取得平衡。实验结果表明,该方法在这三个方面的平衡上优于交织群卷积和Xception,并且与其他最先进的架构设计方法相比具有竞争力的性能。
2018-04-17 cs.CV
Transformer Lesion Tracker
InferVision Medical Technology Co., Ltd.(推想医疗科技股份有限公司)
通过纵向病变跟踪评估病变进展和治疗反应在临床实践中起着关键作用。当手动完成病变匹配时,用于该任务的自动化方法的动机是高昂的劳动力成本和时间消耗。以前的方法通常缺乏本地和全局信息的整合。在这项工作中,我们提出了一种基于变压器的方法,称为Transformer病变跟踪器(TLT)。具体来说,我们设计了一个基于交叉注意的Transformer(CAT)来捕获和结合全局和局部信息,以增强特征提取。我们还开发了一个基于配准的解剖注意力模块(RAAM),将解剖信息引入CAT,使其能够专注于有用的特征知识。提出了一种稀疏选择策略(SSS),用于选择特征和减少Transformer训练中的内存占用。此外,我们使用全局回归来进一步提高模型性能。我们在公共数据集上进行实验,以显示我们方法的优越性,并发现我们的模型性能与最先进的(SOTA)相比,平均欧几里得中心误差至少提高了14.3%(6mm vs. 7mm)。代码可在https://github.com/TangWen920812/TLT上获得。
2022-06-13 cs.CV
RTracker: Recoverable Tracking via PN Tree Structured Memory
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);UC Merced(加州大学默塞德分校);Yonsei University(延世大学)
RTracker提出PN树结构记忆与相对距离准则,动态联合跟踪器和检测器,实现目标丢失后的自恢复跟踪。
2024-03-28 cs.CV
SMTT: Novel Structured Multi-task Tracking with Graph-Regularized Sparse Representation for Robust Thermal Infrared Target Tracking
College of Computer and Information Technology, China Three Gorges University(三峡大学计算机与信息学院);Hubei Province Engineering Technology Research Center for Construction Quality Testing Equipment, China Three Gorges University(三峡大学湖北省建筑质量检测装备工程技术研究中心);Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University(三峡大学水电工程智能视觉监测湖北省重点实验室)
针对热红外目标跟踪中的噪声、遮挡和快速运动挑战,提出基于多任务学习、联合稀疏表示和图正则化的SMTT跟踪器,在多个基准上实现高精度、鲁棒性和实时性能。
2025-04-20 cs.CV
Structured Sparse R-CNN for Direct Scene Graph Generation
Nanjing University(南京大学)
场景图生成是在图像中检测目标对及其相互关系。现有的SGG方法通常使用多级流水线将此任务分解为目标检测、关系图构建和密集或密集到稀疏关系预测。相反,从SGG作为直接集预测的角度来看,本文提出了一个简单,稀疏和统一的框架,称为结构化稀疏R-CNN。我们的方法的关键是一组可学习的三元组查询和一个结构化的三元组检测器,它们可以以端到端的方式从训练集联合优化。具体而言,三元组查询编码的对象对与它们的关系的一般先验,并提供一个初始的猜测场景图为后续的细化。三元组检测器呈现级联架构,以利用定制的动态头逐步细化检测到的场景图。此外,为了减轻我们的方法的训练难度,我们提出了一个放松和增强的训练策略的基础上知识蒸馏从暹罗稀疏R-CNN。我们在Visual Genome和Open Images V4/V6数据集上进行了实验,结果表明我们的方法达到了最先进的性能。此外,我们还进行了深入的消融研究,以提供关于我们在三重检测器设计和训练策略中的结构化建模的见解。代码和模型可在https://github.com/MCG-NJU/Structured-Sparse-RCNN上获得。
2022-03-28 cs.CV
Structured Sparse Subspace Clustering: A Joint Affinity Learning and Subspace Clustering Framework
Beijing University of Posts and Telecommunications(北京邮电大学);Johns Hopkins University(约翰斯·霍普金斯大学)
子空间聚类是指从子空间的并集中提取的分割数据的问题。解决这个问题的最先进的方法遵循两个阶段的方法。在第一步中,使用稀疏或低秩最小化技术从数据中学习亲和矩阵。在第二步中,通过将谱聚类应用于该亲和力来找到分割。虽然这种方法已经在许多应用中产生了最先进的结果,但它是次优的,因为它没有利用亲和度和分割彼此依赖的事实。在本文中,我们提出了一个联合优化框架-结构化稀疏子空间聚类(S $^3$ C)-学习的亲和力和分割。所提出的S $^3$ C框架基于将每个数据点表示为所有其他数据点的结构化稀疏线性组合,其中结构由取决于未知分割的范数引起。此外,我们提出的S $^3$ C框架扩展到约束结构化稀疏子空间聚类(CS $^3$ C),其中可用的部分边信息被纳入学习阶段的亲和力。我们表明,结构化的稀疏表示和分割,可以通过一个交替方向的方法与谱聚类的乘数相结合。在合成数据集、扩展的Yale B数据集、Hopkins 155运动分割数据库和三个癌症数据集上的实验证明了该方法的有效性。
2017-04-05 cs.CV
Fast approximations to structured sparse coding and applications to object classification
我们描述了一种快速近似稀疏编码的方法。输入空间被二进制决策树细分,并且我们同时学习字典并为树的每个叶子分配允许的字典元素。我们存储一个查找表,其中包含每个节点的赋值和伪逆,允许非常快速的推理。本文给出了一个学习树、字典和字典元素赋值的算法,并在描述这个算法的过程中,讨论了群结构稀疏建模中更一般的群学习问题。我们表明,我们的方法通过在\cite{lazebnik06,yang-cvpr-09}的对象识别框架中使用它来创建良好的稀疏表示。实现我们自己的SIFT描述符的快速版本,整个系统在具有四核CPU的笔记本电脑上以每秒20帧的速度运行$321 \times 481$大小的图像,同时在加州理工学院101和15场景基准测试中牺牲很少的准确性。
2012-02-28 cs.CV
A Lightweight and Detector-free 3D Single Object Tracker on Point Clouds
Technical University of Munich(慕尼黑工业大学);City University of Hong Kong(香港城市大学);Inceptio X-Lab(嬴彻X实验室)
最近的作品3D单目标跟踪处理的任务作为一个目标特定的3D检测任务,其中一个现成的3D检测器通常用于跟踪。然而,由于原始LiDAR扫描中的对象的点云通常是稀疏且不完整的,因此执行精确的目标特定检测是不平凡的。在本文中,我们通过明确利用时间运动线索来解决这个问题,并提出DMT,这是一种基于无检测器运动预测的3D跟踪网络,完全消除了复杂3D检测器的使用,并且比以前的跟踪器更轻,更快,更准确。具体地,首先引入运动预测模块,以无点云的方式估计当前帧的潜在目标中心。然后,提出了一个显式的投票模块,直接从估计的目标中心回归的3D框。在KITTI和NuScenes数据集上的大量实验表明,我们的DMT仍然可以实现更好的性能(比NuScenes数据集提高约10%)和更快的跟踪速度(即,72 FPS),而无需应用任何复杂的3D检测器。我们的代码在\url{https://github.com/jimmy-dq/DMT}上发布
2023-02-11 cs.CV
RAMCT: Novel Region-adaptive Multi-channel Tracker with Iterative Tikhonov Regularization for Thermal Infrared Tracking
College of Computer and Information Technology, China Three Gorges University(中国三峡大学计算机与信息学院);Hubei Province Engineering Technology Research Center for Construction Quality Testing Equipment, China Three Gorges University(中国三峡大学湖北省建筑质量检测装备工程技术研究中心);Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University(中国三峡大学水电工程智能视觉监测湖北省重点实验室)
针对热红外跟踪中低分辨率、遮挡等挑战,提出区域自适应多通道相关滤波跟踪器RAMCT,结合自适应掩码与迭代Tikhonov正则化,在多个基准上超越现有方法。
2025-04-19 cs.CV
Structured Sparse Ternary Weight Coding of Deep Neural Networks for Efficient Hardware Implementations
Seoul National University(首尔大学)
深度神经网络(DNN)通常需要大量的实时推理操作。特别是,全连接层包含大量的权重,因此它们通常需要许多片外存储器访问来进行推理。我们提出了一种用于深度神经网络的权重压缩方法,该方法仅在权重的预定位置处允许+1或-1的值,使得可以容易地进行使用表的解码。例如,结构化稀疏(8,2)编码允许八个权重中最多两个非零值。这种方法不仅可以实现无乘法DNN实现,而且与浮点网络相比,还可以将权重存储压缩高达x32。权值分布归一化和逐步剪枝技术被应用于减轻性能下降。实验使用完全连接的深度神经网络和卷积神经网络进行。
2017-07-01 cs.CV
Pushing the Efficiency Limit Using Structured Sparse Convolutions
Duke University(杜克大学);Shanghai International Studies University(上海外国语大学);KAUST(阿卜杜拉国王科技大学)
权重修剪是压缩深度卷积神经网络的最流行方法之一。最近的研究表明,在随机初始化的深度神经网络中,存在稀疏的子网络,其性能与原始网络相当。不幸的是,找到这些子网络涉及训练和修剪的迭代阶段,这可能是计算上昂贵的。我们提出了结构化稀疏卷积(SSC),它利用图像中的固有结构来减少卷积滤波器中的参数。与在初始化时执行修剪的现有方法相比,这导致卷积架构的效率提高。我们表明,SSC是一个泛化的常用层(dependency,groupwise和逐点卷积)在``高效的架构。在著名的CNN模型和数据集上的大量实验表明了所提出方法的有效性。与CIFAR-10、CIFAR-100、Tiny-ImageNet和ImageNet分类基准的基线相比,基于SSC的架构实现了最先进的性能。
2022-10-23 cs.CV
Task-Driven Dictionary Learning for Hyperspectral Image Classification with Structured Sparsity Constraints
The Johns Hopkins University(约翰斯·霍普金斯大学);U.S. Army Research Laboratory(美国陆军研究实验室)
稀疏表示将信号建模为少量字典原子的线性组合。作为一种生成模型,它要求字典是高度冗余的,以确保信号的稳定的高稀疏水平和低重构误差。然而,在实践中,这一要求通常是削弱了缺乏标记的训练样本。幸运的是,以前的研究表明,冗余字典的要求可以不那么严格,如果采用同时稀疏近似,这可以通过对相邻像素的稀疏代码执行各种结构化稀疏约束来进行。此外,大量的工作表明,应用各种字典学习方法的稀疏表示模型也可以提高分类性能。在本文中,我们强调任务驱动的字典学习算法,这是一个一般的框架监督字典学习方法。我们建议在任务驱动的字典学习方法中加入结构化稀疏先验,以提高高光谱分类的性能。我们的方法能够受益于同时稀疏表示和监督字典学习的优点。我们执行两个不同的结构稀疏先验,联合和拉普拉斯稀疏,任务驱动的字典学习方法,并提供相应的优化算法的细节。大量流行的高光谱图像上的实验表明,我们的方法的分类性能优于稀疏表示分类器与结构化先验或任务驱动的字典学习方法。
2015-02-03 cs.CV
Tree structured sparse coding on cubes
City College of New York(纽约城市学院)
二进制立方体上的树结构稀疏编码的简要描述。
2013-01-16 cs.CV cs.IT math.IT
Subspace Learning in The Presence of Sparse Structured Outliers and Noise
子空间学习是图像和视频处理中的一个重要问题,在图像和视频处理中有着广泛的应用。它可以用来找到信号和图像的低维表示。但在许多应用中,期望信号被异常值和噪声严重失真,这对学习的子空间产生了负面影响。在这项工作中,我们提出了一种新的算法,学习信号表示的子空间,在存在结构化离群值和噪声。该算法试图联合检测离群值和学习图像的子空间。我们提出了一个交替优化算法来解决这个问题,它在学习子空间和找到离群点之间迭代。该算法已经在大量的图像块上进行了训练,并将学习的子空间用于图像分割,并显示出比现有方法更好的分割结果,包括最小绝对偏差拟合,DjVu中基于k均值聚类的分割,以及形状基元提取和编码算法。
2017-07-12 cs.CV
DPA-Net: Structured 3D Abstraction from Sparse Views via Differentiable Primitive Assembly
Amazon(亚马逊公司);Simon Fraser University(西蒙菲莎大学)
DPA-Net将可微基元装配引入NeRF,从稀疏RGB图像中学习以凸体并集表示的结构化三维抽象,无需三维监督,并在稀疏视图三维基元抽象任务上取得最优性能。
2024-08-07 cs.CV
Advancing Structured Priors for Sparse-Voxel Surface Reconstruction
National Taiwan University(台湾国立大学);NVIDIA
本文提出一种结合3D高斯散射和稀疏体素光栅化优点的体素初始化方法,通过深度几何监督提升稀疏体素表面重建的精度和效率。
2026-01-25 cs.CV
Dynamic Sparse Training with Structured Sparsity
University of Calgary(卡尔加里大学);Massachusetts Institute of Technology(麻省理工学院);IAIFI;Google DeepMind(谷歌DeepMind);University of Guelph(圭尔夫大学);Vector Institute for AI(矢量人工智能研究院)
本文提出结构化动态稀疏训练方法 SRigL,通过恒定扇入约束学习 N:M 结构化稀疏性并结合神经元消融,在多种神经网络上实现领先的稀疏训练性能与显著的实际推理加速。
2024-02-21 cs.CV cs.LG
Structured Sparse Method for Hyperspectral Unmixing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
高光谱解混(HU)由于能够揭示高光谱数据中隐藏的信息,在过去的几十年里受到了越来越多的关注。遗憾的是,大多数现有的方法未能利用数据中的空间信息。为了克服这一局限性,我们从以下两个方面提出了一种结构化稀疏正则化非负矩阵分解(SS-NMF)方法。首先,我们将一个图形拉普拉斯编码嵌入在高光谱数据空间的流形结构。以这种方式,高度相似的相邻像素可以被分组在一起。其次,套索惩罚被用于SS-NMF中,因为相同流形结构中的像素被一组公共的相关基稀疏混合。这两个因素作为一个新的结构化稀疏约束。有了这个约束,我们的方法可以学习一个紧凑的空间,其中高度相似的像素被分组以共享相关的稀疏表示。在具有不同噪声水平的真实高光谱数据集上的实验表明,我们的方法明显优于现有的方法。
2014-03-19 cs.AI cs.CV
Learning Efficient Structured Sparse Models
Tel Aviv University(特拉维夫大学);University of Minnesota(明尼苏达大学)
我们提出了一个全面的框架结构化稀疏编码和建模扩展最近的想法,使用可学习的快速回归近似精确的稀疏代码。为此,我们开发了一种新的块坐标邻近分裂方法的迭代解的分层稀疏编码问题,并显示出一个有效的前馈架构来自其迭代。这种架构忠实地近似精确的结构化稀疏码的复杂性的标准优化方法的一小部分。我们还表明,通过使用不同的训练目标函数,可学习的稀疏编码器不再局限于仅仅是一个预先给定的字典的精确稀疏代码的近似,在早期的配方,但可以作为全功能的稀疏编码器,甚至建模。一个简单的实现显示了几个数量级的加速相比,国家的最先进的最小的性能下降,使所提出的框架适合于实时的和大规模的应用。
2012-06-18 cs.CV cs.LG stat.ML
Learning Hybrid Sparsity Prior for Image Restoration: Where Deep Learning Meets Sparse Coding
Xidian University(西安电子科技大学);West Virginia University(西弗吉尼亚大学)
图像复原的方法可以分为基于模型的方法和基于学习的方法。前者-最好的代表是稀疏编码技术-努力利用关于未知高分辨率图像的内在先验知识;而后者-通过最近开发的深度学习技术推广-利用来自一些训练数据集的外部图像先验。探索他们的中间立场并追求能够在两个世界中实现最佳效果的混合图像是很自然的。在本文中,我们提出了一个系统的方法来实现这一目标,称为结构化分析稀疏编码(SASC)。具体而言,通过深度卷积神经网络从外部训练数据中学习结构化稀疏先验(与之前基于学习的方法类似);同时,从输入观察图像中内部估计另一个结构化稀疏先验(与之前基于模型的方法类似)。然后将两个结构化的稀疏先验结合起来,产生一个混合先验,将两个领域的知识。为了管理计算复杂性,我们开发了一种通过深度卷积神经网络实现混合结构稀疏编码过程的新框架。实验结果表明,提出的混合图像恢复方法的性能与目前的国家的最先进的技术,往往更好。
2018-11-28 cs.CV eess.IV
Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch
SenseTime Research(商汤科技研究院);CUHK-Sensetime Joint Lab(香港中文大学-商汤科技联合实验室);CUHK(香港中文大学);Northwestern University(西北大学);NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室)
深度神经网络(DNN)中的稀疏性已被广泛研究,以压缩和加速资源受限环境中的模型。它通常可以分为非结构化细粒度稀疏性和结构化粗粒度稀疏性,非结构化细粒度稀疏性将分布在神经网络上的多个单独权重归零,结构化粗粒度稀疏性修剪神经网络的子网络块。细粒度稀疏可以实现高压缩比,但不是硬件友好的,因此接收有限的速度增益。另一方面,粗粒度稀疏无法同时实现现代GPU上的明显加速和良好的性能。在本文中,我们首次从头开始研究训练一个N:M细粒度结构化稀疏网络,它可以在专门设计的GPU上同时保持非结构化细粒度稀疏和结构化粗粒度稀疏的优势。具体来说,2:4稀疏网络可以在Nvidia A100 GPU上实现2倍的速度提升,而不会降低性能。此外,我们提出了一种新的和有效的成分,稀疏细化直通估计(SR-STE),以减轻在优化过程中香草STE计算的近似梯度的负面影响。我们还定义了一个度量,稀疏架构发散(SAD),以衡量稀疏网络的拓扑结构的变化在训练过程中。最后,我们证明SR-STE的优势与SAD和证明SR-STE的有效性,通过执行各种任务的综合实验。源代码和模型可在https://github.com/NM-sparsity/NM-sparsity上获得。
2021-04-18 cs.AR cs.CV
Sparse and Structured Visual Attention
University of Amsterdam(阿姆斯特丹大学);Priberam Labs(Priberam实验室);Institute of Systems and Robotics(系统与机器人研究所);LUMLIS (Lisbon ELLIS Unit)(LUMLIS(里斯本ELLIS单元));Unbabel(Unbabel公司)
视觉注意力机制广泛应用于多通道任务中,如视觉问答(VQA)。基于softmax的注意力机制的一个缺点是,它们将一些概率质量分配给所有图像区域,而不管它们的相邻结构以及它们与文本的相关性。在本文中,为了更好地将图像结构与文本联系起来,我们用两种替代的稀疏促进变换替换了传统的softmax注意力机制:sparsemax,它只能选择相关区域(对其余区域分配零权重),以及新提出的总变差稀疏注意力(TVmax),它进一步鼓励联合选择相邻的空间位置。VQA的实验表明,在准确性以及更高的相似性,人类的注意力,这表明更好的可解释性增益。
2021-07-08 cs.CL cs.CV
Adaptive Pixel-wise Structured Sparse Network for Efficient CNNs
Tsinghua University(清华大学)
为了加速深度CNN模型,本文提出了一种新的空间自适应框架,可以根据输入图像动态生成像素级稀疏度。该稀疏算法在统一的重要性映射下具有像素级细化、区域自适应等特点,易于硬件实现。进一步提出了一种稀疏控制方法,以使具有不同精度/延迟要求的应用能够在线调整。稀疏模型适用于广泛的视觉任务。实验结果表明,该方法有效地提高了ResNet-18的图像分类和SRResNet的超分辨率的计算效率。在图像分类任务中,我们的方法可以节省30%-70%的MAC,而前1和前5的准确率略有下降。在超分辨率任务中,我们的方法可以减少超过90%的MAC,而PSNR和SSIM仅下降约0.1 dB和0.01。还包括硬件验证。
2021-03-20 cs.CV eess.IV
Structured Priors for Sparse-Representation-Based Hyperspectral Image Classification
The Johns Hopkins University(约翰斯·霍普金斯大学);U.S. Army Research Laboratory(美国陆军研究实验室)
逐像素分类是高光谱图像分析中最重要的步骤之一,其中每个像素被分配到一个预定义的类。稀疏表示分类器(SRC)通过将测试像素表示为标记像素的一个小子集的线性组合,与传统的分类器如支持向量机(SVM)相比,给出了更合理的结果。最近,通过加入额外的结构稀疏先验,第二代SRC出现在文献中,并报告进一步提高HSI的性能。这些先验是基于利用相邻像素之间的空间依赖性,字典的固有结构,或两者兼而有之。在本文中,我们回顾和比较几个结构化的先验稀疏表示为基础的HSI分类。我们还提出了一个新的结构先验称为低秩组先验,它可以被认为是低秩先验的修改。此外,我们将研究不同的结构先验如何改善HSI分类的结果。
2014-01-16 cs.CV cs.LG stat.ML
TrackEverything: Long Horizon Dense Tracking via De-Duplicating 3D Scene Representations
Carnegie Mellon University(卡内基梅隆大学);Meta
TrackEverything通过将视频表示为世界坐标中的持久3D场景轨迹,结合体素化去重、端点与轨迹精化器及3D WAFT特征采样,在40GB内存内实现超1000帧全点密集追踪,短片段APD优于开源密集追踪器20%以上。
2026-09-25 cs.AI cs.CV cs.RO
Multi-dimensional signal approximation with sparse structured priors using split Bregman iterations
CEA(法国原子能委员会);Université Paris-Sud(巴黎南大学);Mensia Technologies S.A.(Mensia科技公司);PSL, Université Paris-Dauphine(巴黎文理研究大学-巴黎多菲纳大学)
本文讨论了结构约束的多维信号稀疏分解到过完备的向量族,称为字典。本文的贡献有三个方面。首先,一个通用的时空正则化项的设计和使用与标准的$\ell_1$正则化项,以执行稀疏分解保持信号的时空结构。其次,提出了一种基于分裂Bregman方法的优化算法来处理相关的优化问题,并分析了其收敛性。我们有充分依据的方法产生相同的精度,在国家的最先进的其他算法,在收敛速度方面有显着的收益。最后,通过对人工问题和实际问题的实证分析,验证了该方法的通用性和有效性。在人工问题上,所提出的正则化包含总变分最小化并恢复预期的分解。在实际的脑电脑电波分解问题上,该方法在P300诱发电位检测方面优于同类方法,使用结构化的空间先验来指导分解。
2016-09-29 cs.CV cs.DS cs.LG
Differentiable Mapping Networks: Learning Structured Map Representations for Sparse Visual Localization
Google(谷歌);National University of Singapore(新加坡国立大学)
映射和定位,最好是从少量的观察,是机器人的基本任务。我们通过将空间结构(可微映射)和端到端学习结合在一个新的神经网络架构中来解决这些任务:可微映射网络(DMN)。DMN构造了一个空间结构化的视图嵌入图,并使用它进行后续的视觉定位与粒子滤波。由于DMN架构是端到端可微的,因此我们可以使用梯度下降来联合学习地图表示和定位。我们将DMN应用于稀疏视觉定位,其中机器人需要在新的环境中相对于来自已知视点的少量图像进行定位。我们使用模拟环境和具有挑战性的现实世界街景数据集来评估DMN。我们发现,DMN学习有效的地图表示视觉定位。空间结构的好处随着较大的环境、用于映射的更多视点以及当训练数据稀缺时而增加。项目网址:http://sites.google.com/view/differentiable-mapping
2020-05-19 cs.CV cs.LG cs.RO