A 58.6mW Real-Time Programmable Object Detector with Multi-Scale Multi-Object Support Using Deformable Parts Model on 1920x1080 Video at 30fps
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种可编程的,节能的和实时的【形】目标检测加速器使用可变形的部分模型(变形),与传统的刚体模型的精度提高2倍。对于8个可变形部分的检测,使用三种方法来解决高计算复杂性:分类修剪以减少33倍的部分分类,矢量量化以减少15倍的存储器大小,以及特征基投影以减少2倍的每个分类的成本。该芯片采用65 nm CMOS工艺实现,可以以30 fps的速度处理高清(1920 x1080)图像,无需任何片外存储,同时功耗仅为58.6mW(0.94nJ/像素,1168 GOPS/W)。该芯片具有两个分类引擎,可同时检测两种不同类别的对象。经过测试的60 fps高吞吐量,分类引擎可以进行时间复用,以检测甚至超过两个对象类别。通过改变修剪因子或禁用零件分类,它是能量可扩展的。
2016-07-27 cs.AR cs.CV
Tracking Deformable Parts via Dynamic Conditional Random Fields
Nanjing University of Posts and Telecommunications(南京邮电大学);Southeast University(东南大学)
尽管许多先进的跟踪方法在这一领域取得了成功,跟踪目标的急剧变化的外观,如变形,视图变化和部分遮挡的视频序列在实际应用中仍然是一个挑战。在这封信中,我们同时考虑到这些严重的跟踪问题,提出了一个基于动态图的模型来跟踪对象及其变形部分在多个分辨率。该方法将学习良好的结构目标检测模型作为先验知识引入到目标跟踪应用中,以处理变形和视角变化。同时,在动态条件随机场框架下,通过空间势和时间势的结合以及非参数化的遮挡处理机制,明确地表达了部分遮挡。实验结果表明,该方法优于国家的最先进的跟踪不同的挑战性视频序列。
2013-10-30 cs.CV cs.MM
GazeDPM: Early Integration of Gaze Information in Deformable Part Models
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
越来越多的作品探索协作的人类-计算机系统,其中人类注视被用于增强计算机视觉系统。对于目标检测,这些努力到目前为止仅限于具有固有局限性的后期整合方法,诸如在不增加召回的情况下增加精度。我们提出了一个早期的集成方法在一个可变形的部分模型,它构成了一个联合制定的目光和视觉数据。我们表明,我们的Gazestrium方法提高了4%,最近的方法,凝视支持目标检测3%的公共POET数据集上的最先进的基准线。我们的方法还提供了学习模型的内省,可以揭示显着的图像结构,并允许我们调查凝视吸引和排斥区域之间的相互作用,特定于视图的模型的重要性,以及观众的个人偏见的凝视模式。最后,我们研究了我们的方法的重要的实际方面,如使用显着性图,而不是真正的固定的影响,固定的数量的影响,以及鲁棒性凝视估计错误。
2015-05-21 cs.CV cs.HC
A United Image Force for Deformable Models and Direct Transforming Geometric Active Contorus to Snakes by Level Sets
Beijing Institute of Petrochemical Technology(北京石油化工学院);Peking University(北京大学);Ministry of Public Security of P.R.C(中华人民共和国公安部)
物体周围的图像力场的均匀分布加快了分割过程的收敛速度。然而,为了实现这一目的,它导致从热扩散模型构造的力不能准确地指示对象边界。基于静电场模型的镜像力可以实现精确的形状恢复。首先,本文提出了一种融合这两种力的方法,该方法能够快速、高精度地提取目标边界。到目前为止,对于Snakes与几何活动轮廓(GAC)之间的关系还没有满意的分析。本研究的第二个贡献是,GAC模型可以直接从Snakes模型推导出来。证明了GAC和Snakes中的每个术语是对应的,具有相似的功能。然而,这两个模型使用不同的数学表示。此外,由于失去了旋转轮廓的能力,水平集的采用可能会限制GAC在某些情况下的使用。
2012-05-07 cs.CV
Leveraging GANs For Active Appearance Models Optimized Model Fitting
本文提出用U-Net生成器和PatchGAN判别器构建GAN增强的主动外观模型拟合框架,以应对非线性外观变化和遮挡问题,实验表明其比经典AAM方法准确率更高、收敛更快。
2025-04-07 cs.AI cs.CV cs.LG
Spatiotemporal Deformable Scene Graphs for Complex Activity Detection
Oxford Brookes University(牛津布鲁克斯大学)
长期复杂活动识别和定位对于智能汽车和手术机器人等自主系统的决策至关重要。在这里,我们通过一种新的可变形,时空场景图的方法,包括三个主要的建筑模块:(i)动作管检测,(ii)零件的可变形几何形状的建模,和(iii)一个图卷积网络的问题。首先,在一系列片段中检测动作管。接下来,设计了一个新的3D可变形RoI池层,用于学习组成动作管的灵活、可变形几何形状。最后,将所有部件视为节点,并基于不同的语义(如出现顺序、共享相同的动作标签和特征相似度)将它们连接起来,构建场景图。我们还为最近发布的ROAD自动驾驶和SARAS-ESAD手术动作数据集提供了新的时间复杂活动注释,并显示了我们的框架对不同领域的适应性。我们的方法在两个增强数据集上都显着优于基于图的竞争对手。
2022-10-30 cs.CV cs.LG
Deformable Part Networks
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Emory University(埃默里大学)
在本文中,我们提出了新的可变形部分网络(DPN)学习{ \em姿态不变}表示的二维物体识别。与诸如CapsNet \cite{sabour2017dynamic}和CapsNet \cite{jaderberg2015spatial}之类的最先进的姿态感知网络相比,DPN可以自然地{ \em解释}为具有挑战性的检测问题的有效求解器,即局部化可变形零件模型(LDPM),其中局部化被引入到DPM作为另一个潜在变量,用于在所有像素和(预定义的)尺度上搜索对象的最佳姿态。特别是,我们构建的DPN序列的LDPM单元建模的语义和空间关系之间的可变形部分的层次组成和空间解析树。从经验上讲,我们的17层DPN在affNIST \cite{sabour2017dynamic}上的表现明显优于CapsNets和STNs,例如,分别为19.19\%和12.75\%,具有更好的泛化能力和对仿射变换的更好容忍度。
2018-05-22 cs.CV cs.LG stat.ML
Deformable ProtoPNet: An Interpretable Image Classifier Using Deformable Prototypes
University of Maine(缅因大学);Duke University(杜克大学)
本文提出Deformable ProtoPNet,通过引入空间灵活的可变形原型部件来捕捉姿态变化和上下文,在保持基于案例推理可解释性的同时提升了图像分类准确性和解释丰富性。
2024-05-02 cs.AI cs.CV cs.LG
DTM: Deformable Template Matching
U.S. Army Research Laboratory(美国陆军研究实验室)
本文提出了一种新的模板匹配算法,它可以结合变形部分的概念。与物体识别中采用的可变形零件模型(DEPERFORMANCE PARTMENT MODEL,简称DTM)不同,所提出的模板匹配方法称为可变形模板匹配(Deformable Template Matching,DTM),不需要训练步骤。相反,变形是通过一组预定义的基本规则来实现的(例如,左子片不能穿过右片)。使用PASCAL VOC 07数据集对这种新方法进行的实验评估表明,与传统的模板匹配算法相比,这种方法的性能有了很大的提高。此外,为了确认DTM的适用性,将该概念应用于旋转不变SIFT描述符的生成。采用变形匹配的SIFT特征的实验评估显示,与传统的SIFT匹配相比,匹配特征的数量增加。
2016-04-12 cs.CV
A Deep Pyramid Deformable Part Model for Face Detection
Center for Automation Research(自动化研究中心);University of Maryland, College Park(马里兰大学帕克分校)
提出了一种基于可变形部分模型和深度金字塔特征的人脸检测算法。所提出的方法称为DP2MFD是能够检测各种大小和姿势的无约束条件下的人脸。它通过向深度卷积神经网络(CNN)添加归一化层来减少训练和测试深度特征的差距。在四个公开的无约束人脸检测数据集上的大量实验表明,我们的方法能够捕获有意义的人脸结构,并且比许多竞争性人脸检测算法表现得更好。
2015-08-18 cs.CV
Deformable Modeling for Human Body Acquired from Depth Sensors
本文提出了一种新的方法来重建完整的三维变形模型随时间的推移,由一个单一的深度相机。这些是用于使来自单个深度相机的对象变形的步骤。从不同的捕获时间重建的部分表面组装在一起,形成一个完整的3D表面。在线性网格变形的基础上,提出了一种网格变形算法来实现不同局部曲面的对齐。然后应用体积方法来组合部分表面,修复丢失的孔和平滑对准误差。
2017-08-30 cs.CV
Tensor-based approach to accelerate deformable part models
Mathematical Theory of Intelligent Systems of Moscow State University(莫斯科国立大学智能系统数学理论)
本文提供了解决任何密集使用卷积运算的系统(例如CNN)的速度瓶颈的下一步。将本文所述的方法应用于可变形零件模型(DESIGNED PARTIES MODELS)算法中。这里描述的方法是基于多维张量,并提供了有效的权衡性能和准确性。在包括Pascal VOC在内的各种数据库上进行的实验表明,该方法可以在保持相似精度的同时,将卷积次数减少到最多4.5倍。如果允许不显著的精度降低,则可以实现更高的计算增益。该方法包括滤波器张量分解和卷积缩短使用分解的滤波器。所提出的方法以及仿真结果的数学概述。
2017-06-29 cs.CV
Deformable Part Models are Convolutional Neural Networks
UC Berkeley(加州大学伯克利分校)
可变形零件模型(DPM)和卷积神经网络(CNN)是两种广泛使用的视觉识别工具。它们通常被视为不同的方法:DPM是图形模型(马尔可夫随机场),而CNN是“黑箱”非线性分类器。在本文中,我们表明,一个神经网络可以制定为一个CNN,从而提供了一个新的合成的两个想法。我们的构造涉及展开卷积推理算法,并将每一步映射到等效的(有时是新颖的)CNN层。从这个角度来看,用一个学习过的特征提取器来替换在XML中使用的标准图像特征是很自然的。我们将得到的模型称为DeepPyramid,并在PASCAL VOC上进行了实验验证。DeepPyramid的性能明显优于基于方向梯度特征直方图(HOG)的DPM,并略优于最近推出的R-CNN检测系统的可比版本,同时运行速度更快一个数量级。
2014-10-01 cs.CV
Deformable Parts Correlation Filters for Robust Visual Tracking
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院)
可变形零件模型主要解决非刚性物体变形和自遮挡问题,在跟踪方面显示出巨大的潜力,但根据最近的基准测试,它们往往落后于整体方法。原因在于,必须估计潜在的大量自由度用于对象定位,并且通常假设星座拓扑的简化以使推断易于处理。我们提出了一种新的星座模型与相关滤波器,处理的几何和视觉约束在一个单一的凸成本函数,并获得一个高效的优化MAP推理的全连接星座。我们提出了一个跟踪器,模型的对象在两个层次的细节。粗级对应于一个根相关滤波器和一个新的颜色模型的近似对象定位,而中间级表示是由新的可变形星座的相关滤波器,细化对象的位置。由此产生的跟踪器在具有高度挑战性的OTB,VOT 2014和VOT 2015基准上进行了严格的分析,表现出最先进的性能并实时运行。
2016-05-12 cs.CV
CDPM: Convolutional Deformable Part Models for Semantically Aligned Person Re-identification
South China University of Technology(华南理工大学);Birkbeck College(伦敦大学伯贝克学院);The University of Sydney(悉尼大学)
部分级表示对于鲁棒的人重新识别是必不可少的。然而,在行人检测过程中出现的常见错误经常会导致身体部位的严重错位问题,这会降低部分表示的质量。因此,为了解决这个问题,我们提出了一种新的模型称为卷积可变形零件模型(CDPM)。CDPM的工作原理是将复杂的部分对齐过程解耦为两个更简单的步骤:首先,垂直对齐步骤在多任务学习模型的帮助下在垂直方向上检测每个身体部位;其次,基于注意力的水平细化步骤抑制每个检测到的身体部位周围的背景信息。由于这两个步骤是正交和顺序执行的,零件对齐的难度大大降低。在测试阶段,CDPM能够准确地对准柔性车身部件,而无需任何外部信息。大量的实验结果表明,所提出的CDPM的有效性的零件对齐。最令人印象深刻的是,CDPM在三个大规模数据集上实现了最先进的性能:Market-1501,DukeMTMC-ReID和CUHK 03。
2019-12-13 cs.CV
SDM-NET: Deep Generative Network for Structured Deformable Mesh
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);City University of Hong Kong(香港城市大学);Cardiff University(卡迪夫大学);Simon Fraser University(西蒙弗雷泽大学)
我们介绍了SDM-NET,一个深度生成神经网络,产生结构化的可变形网格。具体地,训练网络以生成闭合的可变形网格部分的空间布置,其尊重形状集合的全局部分结构,例如,我们的关键观察是,虽然3D形状的整体结构可能很复杂,但形状通常可以分解为一组部分,每个部分都同胚于一个盒子,并且可以通过变形盒子来恢复部分的更精细尺度几何形状。SDM-NET的体系结构是一个两级的变分自编码器(VAE)。在零件级别,PartVAE学习零件几何形状的可变形模型。在结构层面,我们训练结构化零件VAE(SP-VAE),它联合学习形状集合的零件结构和零件几何形状,确保全局形状结构和表面细节之间的一致性。通过大量的实验和与最先进的形状深度生成模型的比较,我们证明了SDM-NET在生成具有视觉质量,灵活的拓扑结构和有意义的结构的网格方面的优越性,这有利于形状插值和其他后续建模任务。
2019-09-03 cs.CV cs.GR
Convex Decomposition And Efficient Shape Representation Using Deformable Convex Polytopes
University of Utah(犹他大学)
将形状分解为(近似)凸部分对于基于部分的形状表示、形状匹配和碰撞检测等应用是必不可少的。在本文中,我们提出了一种新的凸分解使用参数隐式形状模型,称为析取正常形状模型(DNSM)。DNSM形成为多面体的联合,这些多面体本身由半空间的交叉形成。其关键思想是通过变形的多面体,自然保持凸的进化过程中,多面体捕获凸的部分,而不需要计算凸性。本文的主要贡献包括一个强大的凸分解,这也导致在一个有效的部分为基础的形状表示,和一个新的形状凸性措施。实验结果表明了该方法的潜力。
2016-06-23 cs.CV
Underwater Fish Tracking for Moving Cameras based on Deformable Multiple Kernels
University of Washington(华盛顿大学);National Taipei University of Technology(国立台北科技大学);Alaska Fisheries Science Center(阿拉斯加渔业科学中心)
需要使用单个或多个水下摄像机的渔业调查是一项新兴技术,可作为非采掘性手段来估计鱼类资源的丰富程度。在开放的水生环境中跟踪活鱼面临的挑战与监控应用中的一般行人或车辆跟踪不同。在许多粗糙的栖息地中,鱼类通过安装在移动平台上的摄像机进行监测,由于背景模型的不适用性,跟踪更具挑战性。本文提出了一种新的跟踪算法的基础上的变形多核(DMK)来解决这些挑战。受可变形零件模型技术的启发,定义了一组核来表示整体对象和以可变形配置排列的几个零件。提取颜色直方图、纹理直方图和方向梯度直方图作为目标特征。通过基于颜色和纹理特征的均值漂移算法有效地估计核运动,实现跟踪。此外,HOG特征变形成本被采用作为核位置的软约束,以保持零件的配置。对水下运动摄像机实际视频集的实验结果表明,该方法具有可靠的性能,与现有技术相比,计算量小得多。
2016-03-05 cs.CV
Small Noisy and Perspective Face Detection using Deformable Symmetric Gabor Wavelet Network
Dept. of Computer Engineering, Kyung Hee University(庆熙大学计算机工程系)
低分辨率图像中的人脸检测和跟踪是一个不平凡的任务,由于外观特征的人脸特征的限制。此外,面部表情在这个小而嘈杂的脸上产生了额外的失真。本文提出了一种可变形对称Gabor小波网络人脸模型,用于低分辨率图像中的人脸检测。我们的模型优化了旋转,平移,膨胀,透视和部分变形量的对称约束的人脸模型。对称性约束有助于我们的模型对噪声和失真更加鲁棒。在低分辨率人脸图像数据集和视频上的实验结果表明,在各种具有挑战性的条件下,人脸检测和跟踪结果都很有希望。
2020-10-30 cs.CV
A Comprehensive Performance Evaluation of Deformable Face Tracking "In-the-Wild"
Imperial College London(帝国理工学院);Seeing Machines Ltd.(Seeing Machines 有限公司)
最近,诸如面部检测、面部地标定位以及面部识别和验证等技术已经足够成熟,可以为在任意条件下(称为“野外”)捕获的图像提供有效和高效的解决方案。这部分归因于已经为人脸检测、地标定位和识别/验证开发了全面的“野外”基准。一个非常重要的技术,还没有得到彻底的评估是可变形的人脸跟踪“在野外”。到目前为止,性能主要是通过在短视频上视觉评估可变形人脸跟踪技术的结果来定性评估的。在本文中,我们进行了第一次,尽我们所知,彻底评估国家的最先进的可变形人脸跟踪管道使用最近推出的300 VW基准。我们评估了许多不同的体系结构,主要集中在在线可变形人脸跟踪的任务。特别是,我们比较了以下一般策略:(a)通用人脸检测加上通用面部地标定位,(b)通用模型免费跟踪加上通用面部地标定位,以及(c)混合方法使用国家的最先进的人脸检测,模型免费跟踪和面部地标定位技术。我们的评估揭示了未来的途径,进一步研究的主题。
2017-02-28 cs.AI cs.CV