Trap-Based Pest Counting: Multiscale and Deformable Attention CenterNet Integrating Internal LR and HR Joint Feature Learning
Kunsan National University(群山国立大学)
针对害虫计数中遮挡、姿态和尺度变化导致外观多变的问题,提出Mada-CenterNet模型,通过两步多尺度热图生成、内部LR和HR联合特征学习及可变形多尺度注意力,显著提升了计数精度并优于现有模型。
2023-04-05 cs.AI cs.CV
GazeDPM: Early Integration of Gaze Information in Deformable Part Models
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
越来越多的作品探索协作的人类-计算机系统,其中人类注视被用于增强计算机视觉系统。对于目标检测,这些努力到目前为止仅限于具有固有局限性的后期整合方法,诸如在不增加召回的情况下增加精度。我们提出了一个早期的集成方法在一个可变形的部分模型,它构成了一个联合制定的目光和视觉数据。我们表明,我们的Gazestrium方法提高了4%,最近的方法,凝视支持目标检测3%的公共POET数据集上的最先进的基准线。我们的方法还提供了学习模型的内省,可以揭示显着的图像结构,并允许我们调查凝视吸引和排斥区域之间的相互作用,特定于视图的模型的重要性,以及观众的个人偏见的凝视模式。最后,我们研究了我们的方法的重要的实际方面,如使用显着性图,而不是真正的固定的影响,固定的数量的影响,以及鲁棒性凝视估计错误。
2015-05-21 cs.CV cs.HC
A 58.6mW Real-Time Programmable Object Detector with Multi-Scale Multi-Object Support Using Deformable Parts Model on 1920x1080 Video at 30fps
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种可编程的,节能的和实时的【形】目标检测加速器使用可变形的部分模型(变形),与传统的刚体模型的精度提高2倍。对于8个可变形部分的检测,使用三种方法来解决高计算复杂性:分类修剪以减少33倍的部分分类,矢量量化以减少15倍的存储器大小,以及特征基投影以减少2倍的每个分类的成本。该芯片采用65 nm CMOS工艺实现,可以以30 fps的速度处理高清(1920 x1080)图像,无需任何片外存储,同时功耗仅为58.6mW(0.94nJ/像素,1168 GOPS/W)。该芯片具有两个分类引擎,可同时检测两种不同类别的对象。经过测试的60 fps高吞吐量,分类引擎可以进行时间复用,以检测甚至超过两个对象类别。通过改变修剪因子或禁用零件分类,它是能量可扩展的。
2016-07-27 cs.AR cs.CV
End-to-End Integration of a Convolutional Network, Deformable Parts Model and Non-Maximum Suppression
Courant Institute, New York University(纽约大学库朗研究所)
可变形零件模型和卷积网络在目标检测中取得了显著的效果。然而,这两种方法在互补领域找到了各自的优势:DPM精通对象组成,对部件之间的细粒度空间关系进行建模;同样,ConvNets擅长生成强大的图像特征,直接在像素上进行区分训练。在本文中,我们提出了一个新的模型,结合这两种方法,获得各自的优势。我们使用一个新的结构化损失函数来训练这个模型,该函数考虑图像中的所有边界框,而不是孤立的对象实例。这使得非最大抑制(NMS)操作,以前被视为一个单独的后处理阶段,被集成到模型中。这允许以端到端的方式对我们的组合Convnet + NMS + NMS模型进行区分训练。我们在PASCAL VOC 2007和2011数据集上评估了我们的系统,在两个基准上都取得了有竞争力的结果。
2014-11-19 cs.CV
Tracking Deformable Parts via Dynamic Conditional Random Fields
Nanjing University of Posts and Telecommunications(南京邮电大学);Southeast University(东南大学)
尽管许多先进的跟踪方法在这一领域取得了成功,跟踪目标的急剧变化的外观,如变形,视图变化和部分遮挡的视频序列在实际应用中仍然是一个挑战。在这封信中,我们同时考虑到这些严重的跟踪问题,提出了一个基于动态图的模型来跟踪对象及其变形部分在多个分辨率。该方法将学习良好的结构目标检测模型作为先验知识引入到目标跟踪应用中,以处理变形和视角变化。同时,在动态条件随机场框架下,通过空间势和时间势的结合以及非参数化的遮挡处理机制,明确地表达了部分遮挡。实验结果表明,该方法优于国家的最先进的跟踪不同的挑战性视频序列。
2013-10-30 cs.CV cs.MM
Deformable ProtoPNet: An Interpretable Image Classifier Using Deformable Prototypes
University of Maine(缅因大学);Duke University(杜克大学)
本文提出Deformable ProtoPNet,通过引入空间灵活的可变形原型部件来捕捉姿态变化和上下文,在保持基于案例推理可解释性的同时提升了图像分类准确性和解释丰富性。
2024-05-02 cs.AI cs.CV cs.LG
CASPFormer: Trajectory Prediction from BEV Images with Deformable Attention
University of Wuppertal(伍珀塔尔大学);Aptiv Services Deutschland GmbH(安波福德国服务有限公司)
针对依赖HD地图的运动预测方法在实际部署中缺乏可扩展性的问题,提出CASPFormer,基于BEV图像与可变形注意力执行多模态运动预测,引入可学习模式查询解决模式崩溃,在nuScenes数据集上达多个指标SOTA。
2024-09-26 cs.CV cs.LG
Deformable Part Networks
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Emory University(埃默里大学)
在本文中,我们提出了新的可变形部分网络(DPN)学习{ \em姿态不变}表示的二维物体识别。与诸如CapsNet \cite{sabour2017dynamic}和CapsNet \cite{jaderberg2015spatial}之类的最先进的姿态感知网络相比,DPN可以自然地{ \em解释}为具有挑战性的检测问题的有效求解器,即局部化可变形零件模型(LDPM),其中局部化被引入到DPM作为另一个潜在变量,用于在所有像素和(预定义的)尺度上搜索对象的最佳姿态。特别是,我们构建的DPN序列的LDPM单元建模的语义和空间关系之间的可变形部分的层次组成和空间解析树。从经验上讲,我们的17层DPN在affNIST \cite{sabour2017dynamic}上的表现明显优于CapsNets和STNs,例如,分别为19.19\%和12.75\%,具有更好的泛化能力和对仿射变换的更好容忍度。
2018-05-22 cs.CV cs.LG stat.ML
DTM: Deformable Template Matching
U.S. Army Research Laboratory(美国陆军研究实验室)
本文提出了一种新的模板匹配算法,它可以结合变形部分的概念。与物体识别中采用的可变形零件模型(DEPERFORMANCE PARTMENT MODEL,简称DTM)不同,所提出的模板匹配方法称为可变形模板匹配(Deformable Template Matching,DTM),不需要训练步骤。相反,变形是通过一组预定义的基本规则来实现的(例如,左子片不能穿过右片)。使用PASCAL VOC 07数据集对这种新方法进行的实验评估表明,与传统的模板匹配算法相比,这种方法的性能有了很大的提高。此外,为了确认DTM的适用性,将该概念应用于旋转不变SIFT描述符的生成。采用变形匹配的SIFT特征的实验评估显示,与传统的SIFT匹配相比,匹配特征的数量增加。
2016-04-12 cs.CV
A Deep Pyramid Deformable Part Model for Face Detection
Center for Automation Research(自动化研究中心);University of Maryland, College Park(马里兰大学帕克分校)
提出了一种基于可变形部分模型和深度金字塔特征的人脸检测算法。所提出的方法称为DP2MFD是能够检测各种大小和姿势的无约束条件下的人脸。它通过向深度卷积神经网络(CNN)添加归一化层来减少训练和测试深度特征的差距。在四个公开的无约束人脸检测数据集上的大量实验表明,我们的方法能够捕获有意义的人脸结构,并且比许多竞争性人脸检测算法表现得更好。
2015-08-18 cs.CV
Deep Deformable Models: Learning 3D Shape Abstractions with Part Consistency
Rutgers University(罗格斯大学);Google Research(谷歌研究院)
针对形状抽象中基元与真实部件不一致的问题,提出深度可变形模型(DDMs),结合全局与微分同胚局部变形,用更少基元实现精细重建,并在ShapeNet上显著提升重建与部件一致性。
2023-09-02 cs.AI cs.CV
Objective Bicycle Occlusion Level Classification using a Deformable Parts-Based Model
Atlantic Technological University(大西洋理工大学)
本研究提出一种基于可变形部件模型的客观自行车遮挡级别分类基准,利用部件检测与自定义流程量化语义部件可见性,较主观方法显著改进,可促进自动驾驶中骑行者的稳健检测。
2025-05-22 cs.AI cs.CV
Tensor-based approach to accelerate deformable part models
Mathematical Theory of Intelligent Systems of Moscow State University(莫斯科国立大学智能系统数学理论)
本文提供了解决任何密集使用卷积运算的系统(例如CNN)的速度瓶颈的下一步。将本文所述的方法应用于可变形零件模型(DESIGNED PARTIES MODELS)算法中。这里描述的方法是基于多维张量,并提供了有效的权衡性能和准确性。在包括Pascal VOC在内的各种数据库上进行的实验表明,该方法可以在保持相似精度的同时,将卷积次数减少到最多4.5倍。如果允许不显著的精度降低,则可以实现更高的计算增益。该方法包括滤波器张量分解和卷积缩短使用分解的滤波器。所提出的方法以及仿真结果的数学概述。
2017-06-29 cs.CV
One Shot Learning for Deformable Medical Image Registration and Periodic Motion Tracking
University of Freiburg(弗莱堡大学);German Cancer Consortium (DKTK)(德国癌症联盟(DKTK))
形变图像配准是医学成像领域的一个重要研究方向。最近,在这一领域发表了多种深度学习方法,显示出有希望的结果。然而,深度学习方法的缺点是需要大量的训练数据集,并且它们无法配准与训练数据集不同的不可见图像。一次性学习不需要大型训练数据集,并且已经被证明适用于3D数据。在这项工作中,我们提出了一个一次性的注册方法在3D和4D数据集的周期性运动跟踪。当应用于3D数据集时,该算法同时计算配准向量场的逆。对于配准,我们采用了一个U-网络结合了粗到细的方法和差分空间Transformer模块。该算法在多个公开的4D和3D数据集上进行了全面测试。结果表明,该方法能够跟踪周期性运动,并产生竞争力的配准精度。可能的应用是作为3D和4D运动跟踪的独立算法使用,或者在研究开始时使用,直到有足够的数据集用于单独的训练阶段。
2020-02-10 cs.CV
Deformable Part Models are Convolutional Neural Networks
UC Berkeley(加州大学伯克利分校)
可变形零件模型(DPM)和卷积神经网络(CNN)是两种广泛使用的视觉识别工具。它们通常被视为不同的方法:DPM是图形模型(马尔可夫随机场),而CNN是“黑箱”非线性分类器。在本文中,我们表明,一个神经网络可以制定为一个CNN,从而提供了一个新的合成的两个想法。我们的构造涉及展开卷积推理算法,并将每一步映射到等效的(有时是新颖的)CNN层。从这个角度来看,用一个学习过的特征提取器来替换在XML中使用的标准图像特征是很自然的。我们将得到的模型称为DeepPyramid,并在PASCAL VOC上进行了实验验证。DeepPyramid的性能明显优于基于方向梯度特征直方图(HOG)的DPM,并略优于最近推出的R-CNN检测系统的可比版本,同时运行速度更快一个数量级。
2014-10-01 cs.CV
SDM-NET: Deep Generative Network for Structured Deformable Mesh
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);City University of Hong Kong(香港城市大学);Cardiff University(卡迪夫大学);Simon Fraser University(西蒙弗雷泽大学)
我们介绍了SDM-NET,一个深度生成神经网络,产生结构化的可变形网格。具体地,训练网络以生成闭合的可变形网格部分的空间布置,其尊重形状集合的全局部分结构,例如,我们的关键观察是,虽然3D形状的整体结构可能很复杂,但形状通常可以分解为一组部分,每个部分都同胚于一个盒子,并且可以通过变形盒子来恢复部分的更精细尺度几何形状。SDM-NET的体系结构是一个两级的变分自编码器(VAE)。在零件级别,PartVAE学习零件几何形状的可变形模型。在结构层面,我们训练结构化零件VAE(SP-VAE),它联合学习形状集合的零件结构和零件几何形状,确保全局形状结构和表面细节之间的一致性。通过大量的实验和与最先进的形状深度生成模型的比较,我们证明了SDM-NET在生成具有视觉质量,灵活的拓扑结构和有意义的结构的网格方面的优越性,这有利于形状插值和其他后续建模任务。
2019-09-03 cs.CV cs.GR
Deformable Parts Correlation Filters for Robust Visual Tracking
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院)
可变形零件模型主要解决非刚性物体变形和自遮挡问题,在跟踪方面显示出巨大的潜力,但根据最近的基准测试,它们往往落后于整体方法。原因在于,必须估计潜在的大量自由度用于对象定位,并且通常假设星座拓扑的简化以使推断易于处理。我们提出了一种新的星座模型与相关滤波器,处理的几何和视觉约束在一个单一的凸成本函数,并获得一个高效的优化MAP推理的全连接星座。我们提出了一个跟踪器,模型的对象在两个层次的细节。粗级对应于一个根相关滤波器和一个新的颜色模型的近似对象定位,而中间级表示是由新的可变形星座的相关滤波器,细化对象的位置。由此产生的跟踪器在具有高度挑战性的OTB,VOT 2014和VOT 2015基准上进行了严格的分析,表现出最先进的性能并实时运行。
2016-05-12 cs.CV
CDPM: Convolutional Deformable Part Models for Semantically Aligned Person Re-identification
South China University of Technology(华南理工大学);Birkbeck College(伦敦大学伯贝克学院);The University of Sydney(悉尼大学)
部分级表示对于鲁棒的人重新识别是必不可少的。然而,在行人检测过程中出现的常见错误经常会导致身体部位的严重错位问题,这会降低部分表示的质量。因此,为了解决这个问题,我们提出了一种新的模型称为卷积可变形零件模型(CDPM)。CDPM的工作原理是将复杂的部分对齐过程解耦为两个更简单的步骤:首先,垂直对齐步骤在多任务学习模型的帮助下在垂直方向上检测每个身体部位;其次,基于注意力的水平细化步骤抑制每个检测到的身体部位周围的背景信息。由于这两个步骤是正交和顺序执行的,零件对齐的难度大大降低。在测试阶段,CDPM能够准确地对准柔性车身部件,而无需任何外部信息。大量的实验结果表明,所提出的CDPM的有效性的零件对齐。最令人印象深刻的是,CDPM在三个大规模数据集上实现了最先进的性能:Market-1501,DukeMTMC-ReID和CUHK 03。
2019-12-13 cs.CV
Convex Decomposition And Efficient Shape Representation Using Deformable Convex Polytopes
University of Utah(犹他大学)
将形状分解为(近似)凸部分对于基于部分的形状表示、形状匹配和碰撞检测等应用是必不可少的。在本文中,我们提出了一种新的凸分解使用参数隐式形状模型,称为析取正常形状模型(DNSM)。DNSM形成为多面体的联合,这些多面体本身由半空间的交叉形成。其关键思想是通过变形的多面体,自然保持凸的进化过程中,多面体捕获凸的部分,而不需要计算凸性。本文的主要贡献包括一个强大的凸分解,这也导致在一个有效的部分为基础的形状表示,和一个新的形状凸性措施。实验结果表明了该方法的潜力。
2016-06-23 cs.CV
Underwater Fish Tracking for Moving Cameras based on Deformable Multiple Kernels
University of Washington(华盛顿大学);National Taipei University of Technology(国立台北科技大学);Alaska Fisheries Science Center(阿拉斯加渔业科学中心)
需要使用单个或多个水下摄像机的渔业调查是一项新兴技术,可作为非采掘性手段来估计鱼类资源的丰富程度。在开放的水生环境中跟踪活鱼面临的挑战与监控应用中的一般行人或车辆跟踪不同。在许多粗糙的栖息地中,鱼类通过安装在移动平台上的摄像机进行监测,由于背景模型的不适用性,跟踪更具挑战性。本文提出了一种新的跟踪算法的基础上的变形多核(DMK)来解决这些挑战。受可变形零件模型技术的启发,定义了一组核来表示整体对象和以可变形配置排列的几个零件。提取颜色直方图、纹理直方图和方向梯度直方图作为目标特征。通过基于颜色和纹理特征的均值漂移算法有效地估计核运动,实现跟踪。此外,HOG特征变形成本被采用作为核位置的软约束,以保持零件的配置。对水下运动摄像机实际视频集的实验结果表明,该方法具有可靠的性能,与现有技术相比,计算量小得多。
2016-03-05 cs.CV
Part Segmentation for Highly Accurate Deformable Tracking in Occlusions via Fully Convolutional Neural Networks
University of Washington(华盛顿大学);NVIDIA Research(英伟达研究院)
成功地跟踪人体是必须在人周围工作的机器人的重要感知挑战。现有的方法分为两大类:几何跟踪和使用机器学习的直接姿态估计。虽然最近的工作表明直接估计技术可以非常强大,但使用点云的几何跟踪方法可以提供非常高的3D精度,这对于许多机器人应用来说是必要的。然而,当对象的大部分被遮挡时,这些方法可能难以杂乱。为了克服这一限制,我们提出了一种基于全卷积神经网络(FCN)的解决方案。我们为我们的应用开发了一个优化的Fast-FCN网络架构,它允许我们过滤观察到的点云,提高跟踪精度,同时保持交互式帧速率。我们还表明,这个模型可以训练有限数量的例子,几乎没有手动标签,使用现有的几何跟踪器和数据增强自动生成分割图。我们证明了我们的完整系统的准确性,通过比较它对现有的几何跟踪器,并显示在这些具有挑战性的情况下显着改善。
2019-08-05 cs.CV cs.RO