DenseCap: Fully Convolutional Localization Networks for Dense Captioning
Stanford University（斯坦福大学）
我们介绍了密集字幕任务，这需要一个计算机视觉系统来定位和描述显着的区域在图像中的自然语言。当描述由单个单词组成时，密集字幕任务概括目标检测，并且当一个预测区域覆盖整个图像时，概括图像描述。为了共同解决定位和描述任务，我们提出了一种全卷积定位网络（FCLN）架构，该架构通过单个高效的前向传递处理图像，不需要外部区域建议，并且可以通过单轮优化进行端到端训练。该体系结构由卷积网络、一个新的密集定位层和生成标签序列的递归神经网络语言模型组成。我们在Visual Genome数据集上评估了我们的网络，该数据集包括94，000张图像和4，100，000个区域接地标题。我们观察到的速度和准确性的改进基线的基础上，目前的最先进的方法在生成和检索设置。
2015-11-24 cs.CV cs.LG
Improving Object Detection with Deep Convolutional Networks via Bayesian Optimization and Structured Prediction
University of Michigan（密歇根大学）；Zhejiang University（浙江大学）
基于深度卷积神经网络（CNN）的对象检测系统最近在几个目标检测基准上取得了突破性的进展。虽然这些高容量神经网络学习的特征对于分类是有区别的，但不准确的定位仍然是检测错误的主要来源。在高容量CNN架构的基础上，我们通过以下方式解决定位问题：1）使用基于贝叶斯优化的搜索算法，该算法顺序地为对象限界框提出候选区域，以及2）使用明确惩罚定位不准确性的结构化损失来训练CNN。在实验中，我们证明了所提出的每一种方法在PASCAL VOC 2007和2012数据集上的检测性能都优于基线方法。此外，这两种方法是互补的，并且在组合时显著优于先前的最新技术。
2016-01-14 cs.CV
Effective face landmark localization via single deep network
National Key Laboratory of Fundamental Science on Synthetic Vision（视觉合成基础科学国家重点实验室）；School of Computer Science, Sichuan University（四川大学计算机学院）
在本文中，我们提出了一种新的人脸对齐方法，使用单一的深度网络（SDN）在现有的有限的训练数据。在典型的卷积神经网络（CNN）中，SDN采用3层组的堆栈，而不是使用一个卷积层之后的最大池化层。每个组层包含两个卷积层和一个最大池化层，可以分层提取特征。针对COFW和300-W数据集缺乏训练图像的问题，提出了有效的数据增强策略和相应的训练技巧。实验结果表明，该方法在检测精度和速度上都优于现有的方法。
2017-02-09 cs.CV
Multi-scale discriminative Region Discovery for Weakly-Supervised Object Localization
ZhengZhou University（郑州大学）；University of Technology Sydney（悉尼科技大学）
图像中弱监督目标的定位是计算机视觉研究领域的一个关键问题。许多现有的弱监督对象定位（WSOL）方法通过使用由深度卷积神经网络获得的特征图（激活图）来估计最具区分性的区域来解决这个问题，即，仅定位具有最具区分性响应的对象或其部分。然而，当一幅图像包含具有相同类型的多个对象或小对象时，激活图通常显示不同的局部最大响应或相对较弱的响应。在本文中，我们提出了一种简单而有效的多尺度判别区域发现方法，不仅可以定位更多完整的对象，而且可以尽可能多地使用图像级的类标签。该方法将流入CNN不同卷积层的梯度权值作为输入，与以往只考虑最终卷积层的梯度权值不同。为了挖掘更多的区分区域的目标定位的任务，多个局部最大值的梯度权重图被利用来生成定位地图与并行滑动窗口。此外，来自不同卷积层的多尺度定位图被融合以产生最终结果。我们在ILSVRC 2016，CUB-200-2011和PASCAL VOC 2012数据集上以VGGnet为基础评估了所提出的方法。在ILSVRC 2016上，该方法产生的Top-1定位误差为48.65%，比以前的结果高出2.75%。在PASCAL VOC 2012上，我们的方法实现了最高的定位精度0.43。即使对于CUB-200-2011数据集，我们的方法仍然取得了有竞争力的结果。
2019-09-24 cs.CV
A Convolutional Cost-Sensitive Crack Localization Algorithm for Automated and Reliable RC Bridge Inspection
University at Buffalo（纽约州立大学布法罗分校）
桥梁是交通基础设施的重要组成部分，需要定期进行监测。由专门小组进行的目视检查一直是桥梁结构健康监测（SHM）的主要工具之一。然而，这样的常规方法具有某些缺点。手动检查在恶劣环境中可能具有挑战性，并且通常存在偏见。在过去的十年中，配备摄像头的无人机（UAV）已被广泛用于目视检查;然而，从原始图像中自动提取有用信息的任务仍然具有挑战性。本文提出了一种深度学习语义分割框架来自动定位表面裂纹。由于图像中裂纹和背景类别的高度不平衡，研究了不同的策略以提高性能和可靠性。训练的模型在真实世界的裂缝图像上进行测试，在精确度和召回率概念定义的指标方面显示出令人印象深刻的鲁棒性。这些技术可用于桥梁的SHM，从无人机拍摄的未经处理的图像中提取有用的信息。
2019-05-23 cs.CV
Unsupervised Object Discovery and Co-Localization by Deep Descriptor Transforming
The University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）
随着计算机视觉和机器学习应用的快速发展，可重用模型设计变得越来越重要。在本文中，我们专注于预训练深度卷积模型的可重用性。具体来说，与将预训练模型视为特征提取器不同，我们揭示了卷积层下的更多宝藏，即，卷积激活可以用作图像共同定位问题中的公共对象的检测器。我们提出了一种简单而有效的方法，称为深度描述符变换（DDT），用于评估描述符的相关性，然后获得类别一致的区域，该区域可以准确地定位一组未标记图像中的公共对象，即，无监督的对象发现。实证研究验证了所提出的DDT方法的有效性。在基准图像共定位数据集上，DDT始终大幅优于现有的最先进的方法。此外，DDT还表现出良好的泛化能力，不可见的类别和处理噪声数据的鲁棒性。除此之外，DDT还可以用于将Web图像收集到有效的外部数据源中，以提高图像识别和目标检测的性能。
2017-07-20 cs.CV
Towards integrating spatial localization in convolutional neural networks for brain image segmentation
Univ Lyon（里昂大学）；INSA‐Lyon（里昂国立应用科学学院）；Université Claude Bernard Lyon 1（里昂第一大学）；UJM-Saint Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；Inserm（法国国家健康与医学研究院）；CREATIS UMR 5220（CREATIS联合研究单位5220）；U1206（U1206研究单位）
语义分割是医学成像领域中一个成熟而又快速发展的领域。在本文中，我们专注于脑磁共振图像（MRI）分割成大脑结构使用卷积神经网络（CNN）。CNN通过寻找仅描述补丁内容的有效高维图像特征来实现良好的性能。在这项工作中，我们提出了不同的方法来将空间约束引入网络，以进一步减少预测的不一致性。训练了基于补丁的CNN架构，利用多个尺度来收集上下文信息。通过到地标特征的距离或通过概率图谱的集成在CNN内引入空间约束。我们的实验表明，使用空间信息有助于减少分割不一致。
2018-04-12 cs.CV stat.ML
Adversarial Learning of Structure-Aware Fully Convolutional Networks for Landmark Localization
Nanjing University of Science and Technology（南京理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Nanjing University（南京大学）
单目图像中的地标/姿态估计由于其重要的应用而在计算机视觉中受到了广泛的关注。当输入图像严重遮挡时，不利的相机视图。在这种情况下，可能会产生生物学上难以置信的姿势预测。相比之下，人类视觉能够通过利用界标点互连的几何约束来预测姿态。为了解决这个问题，通过结合关于姿势组件结构的先验知识，我们提出了一种新的结构感知的完全卷积网络，以在深度网络的训练过程中隐式地考虑这些先验知识。这种约束的显式学习通常具有挑战性。相反，受人类如何识别不可信姿势的启发，我们设计了判别器来区分真实姿势和虚假姿势（例如生物学上不可信的姿势）。如果姿态生成器G生成的结果无法与真实的结果区分开来，则网络成功地学习了先验知识。网络的训练遵循条件生成对抗网络（GANs）的策略。所提出的网络的有效性进行了评估三个姿势相关的任务：2D单人姿势估计，2D面部地标估计和3D单人姿势估计。所提出的方法显著优于最先进的方法，并且几乎总是生成合理的姿势预测，证明了使用GANs的结构隐式学习的有用性。
2019-02-24 cs.CV
Efficient identification, localization and quantification of grapevine inflorescences in unprepared field images using Fully Convolutional Networks
University of Bonn（波恩大学）；Julius Kühn-Institut, Federal Research Centre for Cultivated Plants（尤利乌斯·库恩研究所——联邦栽培植物研究中心）
产量及其预测是葡萄育种和葡萄园管理的重要内容之一。通常，在收获前通过外推法手动估计该性状，这通常是劳动密集型的，破坏性的和不准确的。在本研究中，开发了一种基于图像的自动化工作流程，用于量化葡萄藤未准备好的田间图像中的花序和单花，即没有应用人工背景或光线。它是一种无创、低成本、高通量、客观的表型分析新方法。首先，描述花序的图像区域被识别和定位。这是通过使用全卷积网络（FCN）将图像分割为“花序”和“非花序”类别来完成的。因此，有效的图像分割是最具挑战性的步骤，涉及花的小几何形状和密集分布（每个花序几百朵花）、前和背景中所有植物器官的相似颜色以及只有大约5%的图像显示花序的情况。经过训练的FCN在测试数据集上实现了87.6%的平均交集大于并集（IOU）。最后，使用圆形霍夫变换从“花序”区域提取单个花。使用训练的FCN模型得到的分割，花提取达到了80.3%的召回率和70.7%的准确率。综上所述，所提出的方法是一种很有前途的策略，以预测产量潜力自动在葡萄生长的最早阶段，这是适用于客观的监测和评估育种材料，遗传资源库或商业葡萄园。
2018-07-10 cs.CV
Soft Proposal Networks for Weakly Supervised Object Localization
University of Chinese Academy of Sciences（中国科学院大学）；Duke University（杜克大学）
弱监督对象定位仍然具有挑战性，在训练过程中只有图像标签而不是边界框可用。对象建议是本地化中的一个有效组件，但通常计算量很大，并且无法与其他一些模块进行联合优化。在本文中，据我们所知，我们首次将弱监督对象建议以端到端的学习方式集成到卷积神经网络（CNN）中。我们设计了一个网络组件Soft Proposal（SP），可以插入任何标准卷积架构，以引入几乎无成本的对象提案，比最先进的方法快几个数量级。在SP增强的CNN中，被称为软提议网络（SPN），迭代进化的对象提议是基于深度特征图生成的，然后投影回来，并进一步与网络参数联合优化，仅具有图像级监督。通过统一的学习过程，SPN可以学习更好的以对象为中心的过滤器，发现更多有区别的视觉证据，并抑制背景干扰，从而显着提高弱监督对象定位和分类性能。我们报告了流行基准测试的最佳结果，包括PASCAL VOC，MS COCO和ImageNet。
2017-09-06 cs.CV
Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network
Tsinghua University（清华大学）；Megvii Inc.（旷视科技）
网络架构设计的最新趋势之一[30，31，14]是堆叠小过滤器（例如，1 × 1或3 × 3），因为在给定相同的计算复杂性的情况下，堆叠的小滤波器比大内核更有效。然而，在语义分割领域，我们需要执行密集的每像素预测，我们发现，当我们必须同时执行分类和定位任务时，大的内核（和有效的感受野）起着重要的作用。根据我们的设计原则，我们提出了一个全局卷积网络来解决语义分割的分类和定位问题。我们还提出了一个基于残差的边界细化，以进一步细化对象的边界。我们的方法在两个公共基准上实现了最先进的性能，并显著优于之前的结果，PASCAL VOC 2012数据集上的82.2%（vs 80.2%）和Cityscapes数据集上的76.9%（vs 71.8%）。
2017-03-08 cs.CV
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs
Google Inc.（谷歌公司）；University College London（伦敦大学学院）；Johns Hopkins University（约翰霍普金斯大学）
在这项工作中，我们用深度学习解决了语义图像分割的任务，并做出了三个主要贡献，实验表明这些贡献具有实质性的实际价值。首先，我们强调使用上采样滤波器的卷积，或“atrous卷积”，作为密集预测任务中的强大工具。Atrous卷积允许我们显式控制在深度卷积神经网络内计算特征响应的分辨率。它还允许我们有效地扩大过滤器的视野，以包含更大的上下文，而不增加参数的数量或计算量。其次，我们提出了一种新的空间金字塔池（ASPP）来鲁棒地分割多尺度的对象。ASPP使用多个采样率和有效视场的滤波器探测传入的卷积特征层，从而以多个尺度捕获对象以及图像上下文。第三，我们通过结合DCNN和概率图形模型的方法来改进对象边界的定位。DCNN中通常部署的最大池化和下采样的组合实现了不变性，但对定位精度有影响。我们通过将最终DCNN层的响应与完全连接的条件随机场（CRF）相结合来克服这一点，这在定性和定量上都表明可以提高定位性能。我们提出的“DeepLab”系统在PASCAL VOC-2012语义图像分割任务中设置了新的最先进技术，在测试集中达到了79.7% mIOU，并在其他三个数据集上取得了进步：PASCAL-上下文，PASCAL-人-部分和城市景观。我们所有的代码都在网上公开提供。
2017-05-12 cs.CV
Embedded Encoder-Decoder in Convolutional Networks Towards Explainable AI
The Procter and Gamble Co.（宝洁公司）
最近，理解深度学习模型的中间层和发现刺激的驱动特征引起了人们的极大兴趣。可解释的人工智能（XAI）提供了一种打开AI黑盒并做出透明和可解释的决策的新方法。本文提出了一种新的可解释的卷积神经网络（XCNN），它在端到端模型架构中表示刺激的重要和驱动视觉特征。该网络采用CNN架构中的编码器-解码器神经网络，以基于其类别来表示图像中的感兴趣区域。该模型在没有本地化标签的情况下进行训练，并生成热图作为网络架构的一部分，而无需额外的后处理步骤。在CIFAR-10、Tiny ImageNet和MNIST数据集上的实验结果表明，我们的算法（XCNN）成功地使CNN变得可解释。基于视觉评估，该模型在特定于类的特征表示和可解释的热图生成方面优于当前算法，同时提供了一个简单灵活的网络架构。这种方法的初步成功保证了进一步的研究，以加强弱监督本地化和语义分割在可解释的框架。
2020-06-19 cs.CV
Integrating Spatial Configuration into Heatmap Regression Based CNNs for Landmark Localization
Graz University of Technology（格拉茨工业大学）；Ludwig Boltzmann Institute for Clinical Forensic Imaging（路德维希·玻尔兹曼临床法医成像研究所）
在许多医学图像分析应用中，通常只有有限的训练数据可用，这使得卷积神经网络（CNN）的训练具有挑战性。在这项关于解剖标志定位的工作中，我们提出了一种CNN架构，该架构可以学习将定位任务分为两个更简单的子问题，从而减少对大型训练数据集的需求。我们的全卷积空间预测网络（SCN）将一个组件专用于局部准确但模糊的候选预测，而另一个组件通过结合地标的空间配置来提高对模糊性的鲁棒性。在我们的实验评估中，我们表明，所提出的SCN优于相关方法的地标定位误差的大小有限的数据集。
2019-08-02 cs.CV eess.IV
Weakly Supervised Object Localization on grocery shelves using simple FCN and Synthetic Dataset
Paralleldots, Inc.（帕拉莱多斯公司）
我们提出了一个弱监督的方法，使用两种算法来预测对象的边界框只给一个图像分类数据集。第一种算法是一个简单的全卷积网络（FCN），用于对对象实例进行分类。我们利用FCN的属性返回一个大于训练图像的掩码，在测试期间通过将图像金字塔传递给它来获得主要的输出分割掩码。我们通过卷积编码器-解码器（ConvAE）将FCN输出掩码增强为最终的输出边界框。ConvAE经过训练，在人工生成的输出分割掩码数据集上定位对象。我们证明了这种方法的有效性，在杂货店货架上的对象，注释数据的目标检测是很难由于各种各样的对象。该方法可以推广到任何图像采集容易而坐标标注困难的问题领域。
2019-01-09 cs.CV
A Robot Localization Framework Using CNNs for Object Detection and Pose Estimation
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
外部定位是小型或具有成本效益的机器人室内操作的重要组成部分，因为它们被用于例如群体机器人。本文提出了一种基于卷积神经网络的任意机器人两阶段定位和实例识别框架。对操作区的外部摄像机图像执行目标检测，为识别和取向估计卷积神经网络提供机器人边界框。此外，我们提出了一个过程来生成必要的训练数据。该框架进行了评估与3种不同的机器人类型和各种识别模式。我们分析了主要的框架超参数，为框架操作设置提供了建议。我们在GPU上以50 Hz的帧速率运行时，实现了高达98%的mAP@IOU0.5和仅1.6 °的方向误差。
2018-10-03 cs.CV cs.RO
Improved Techniques For Weakly-Supervised Object Localization
Yonsei University（延世大学）
我们提出了一种改进的弱监督对象定位技术。传统的方法有一个局限性，他们只集中在最有区别的部分的目标对象。最近的研究解决了这个问题，并解决了这个限制，增加了训练数据的歧视性较低的部分。为此，我们采用了一种有效的数据增强，以提高目标定位的准确性。此外，我们引入了改进的学习技术，通过优化卷积神经网络（CNN）的基础上，最先进的模型。基于大量的实验，我们评估所提出的方法的有效性定性和定量。特别是，我们观察到，与当前最先进的弱监督对象定位技术相比，我们的方法根据配置将Top-1定位精度提高了21.4 - 37.3%。
2018-05-10 cs.CV
Detection and Localization of Robotic Tools in Robot-Assisted Surgery Videos Using Deep Neural Networks for Region Proposal and Detection
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
机器人辅助手术（RAS）视频的视频理解是一个活跃的研究领域。对外科医生的手势和技能水平进行建模提出了一个有趣的问题。所得出的见解可以应用于有效的技能获取、客观的技能评估、实时反馈和人机协作手术。我们提出了一个解决方案的工具检测和本地化开放的问题，在RAS视频理解，使用严格的计算机视觉的方法和深度学习的最新进展。我们提出了一个架构，使用多模态卷积神经网络的快速检测和RAS视频中的工具定位。据我们所知，这种方法将是第一个将深度神经网络用于RAS视频中的工具检测和定位的方法。我们的架构应用区域建议网络（RPN），和多模态双流卷积网络的目标检测，共同预测对象和定位的融合图像和时间的运动线索。我们的平均精度（AP）为91%，每个测试帧检测的平均计算时间为0.1秒，这表明我们的研究优于传统的医学成像方法，同时也强调了使用RPN的精度和效率的好处。我们还介绍了一个新的数据集，ATLAS Dione，RAS视频理解。我们的数据集提供了来自Roswell Park Cancer Institute（RPCI）（Buffalo，NY）的十名外科医生在达芬奇手术系统（dVSS R）上执行六种不同手术任务的视频数据，每帧都有机器人工具的注释。
2020-07-29 cs.CV
Convolutional Random Walk Networks for Semantic Image Segmentation
University of Pennsylvania（宾夕法尼亚大学）；Dartmouth College（达特茅斯学院）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
当前大多数语义分割方法依赖于全卷积网络（FCN）。然而，它们使用大的感受野和许多池化层导致深层内的低空间分辨率。这导致边界周围的预测定位较差。先前的工作试图通过用CRF或MRF后处理预测来解决这个问题。但这样的模型往往无法捕捉对象之间的语义关系，这导致空间不相交的预测。为了克服这些问题，最近的方法将CRF或MRF集成到FCN框架中。这些新模型的缺点是它们比传统的FCN复杂得多，这使得训练和测试更具挑战性。在这项工作中，我们介绍了一个简单而有效的卷积随机游走网络（RWN），它解决了边界定位差和空间碎片预测的问题，而模型复杂性几乎没有增加。我们提出的RWN共同优化的目标像素级的亲和力和语义分割。它通过一个新的随机游走层将这两个目标结合起来，该层在网络的深层执行一致的空间分组。我们的RWN是使用标准卷积和矩阵乘法实现的。这允许轻松集成到现有的FCN框架中，并通过标准的反向传播实现整个网络的端到端训练。我们的RWN的实现只需要$131$额外的参数相比，传统的FCNs，但它始终产生一个改进的语义分割和场景标记的FCNs。
2017-05-08 cs.CV
DenseBox: Unifying Landmark Localization with End to End Object Detection
Baidu Research（百度研究院）
单个全卷积神经网络（FCN）如何执行目标检测？我们介绍了DenseBox，这是一个统一的端到端FCN框架，可以通过图像的所有位置和尺度直接预测边界框和对象类置信度。我们的贡献是双重的。首先，我们表明，一个单一的FCN，如果仔细设计和优化，可以非常准确和有效地检测多个不同的对象。其次，我们表明，当在多任务学习过程中结合地标定位时，DenseBox进一步提高了目标检测的准确性。我们在公共基准数据集上展示了实验结果，包括MALF人脸检测和KITTI汽车检测，这表明我们的DenseBox是检测人脸和汽车等具有挑战性的物体的最先进系统。
2015-09-19 cs.CV
Multi-scale Volumes for Deep Object Detection and Localization
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本研究旨在分析改进的多尺度推理用于深度卷积神经网络的目标检测和定位的益处。为此，提出了一种有效的和通用的目标检测框架，该框架在深特征金字塔的尺度体积上操作。与所提出的方法相反，大多数当前最先进的对象检测器在训练中在单一尺度上操作，而测试涉及跨尺度的独立评估。所提出的方法的一个好处是更好地捕获多尺度上下文信息，从而在PASCAL VOC数据集和多视图高速公路车辆数据集上的对象的检测性能和定位质量方面都有显着提高。联合检测和定位尺度特定的模型，特别有利于检测具有挑战性的对象类别，表现出大规模的变化，以及小对象的检测。
2016-07-26 cs.CV
Region Similarity Representation Learning
UC Berkeley（加州大学伯克利分校）；UC San Diego（加州大学圣迭戈分校）
我们提出了区域相似性表示学习（ReSim），这是一种新的自监督表示学习方法，用于基于本地化的任务，如目标检测和分割。虽然现有的工作主要集中在学习整个图像的全局表示上，但ReSim学习了用于本地化的区域表示以及语义图像级表示。ReSim通过在两个视图之间的重叠区域上滑动固定大小的窗口来操作（例如，图像裁剪），将这些区域与其对应的卷积特征图区域对齐，然后最大化视图之间的特征相似性。因此，ReSim在神经网络的卷积特征映射中学习空间和语义一致的特征表示。图像区域的移位或缩放，例如，对象的移动或缩放在特征图中具有相应的变化;这允许下游任务利用这些表示进行定位。通过目标检测、实例分割和密集姿态估计实验，我们说明了ReSim如何学习表示，与竞争对手的MoCo-v2基线相比，这些表示显著提高了定位和分类性能：$+2.7$ AP $^{\text{bb}}_{75}$ VOC、$+1.1$ AP $^{\text{bb}}_{75}$ COCO和$+1.9$ AP $^{\text{mk}}$ Cityscapes。代码和预训练模型发布于：\url{https://github.com/Tete-Xiao/ReSim}
2021-08-18 cs.CV
Deformable Part-based Fully Convolutional Network for Object Detection
Thales Optronique S.A.S.（泰雷兹光电子公司）
现有的基于区域的对象检测器仅限于具有固定框几何形状的区域来表示对象，即使这些区域是高度非矩形的。在本文中，我们介绍了DP-FCN，一个深度模型的目标检测，明确适应形状的物体与变形部分。在没有额外注释的情况下，它学会关注有区别的元素并将它们对齐，同时为分类和几何信息带来更多的不变性，以改进定位。DP-FCN由三个主要模块组成：一个全卷积网络，以有效地保持空间分辨率，一个可变形的部分为基础的RoI池层，以优化零件的位置和建立不变性，和一个变形感知定位模块明确利用部分的位移，以提高限界框回归的准确性。我们通过实验验证了我们的模型，并显示出显着的收益。DP-FCN在仅使用VOC数据的PASCAL VOC 2007和2012上实现了83.1%和80.9%的最新性能。
2017-07-19 cs.AI cs.CV cs.LG
Multiscale Vision Transformer With Deep Clustering-Guided Refinement for Weakly Supervised Object Localization
Hanyang University（汉阳大学）；Seoul National University of Science and Technology（首尔国立科技大学）
针对弱监督目标定位精度有限的问题，提出多尺度目标定位Transformer及深度聚类引导优化方法，在ILSVRC-2012数据集上验证了有效性。
2023-12-15 cs.AI cs.CV
Deep Convolutional Neural Network for 6-DOF Image Localization
Tsinghua University（清华大学）
本文提出了一种精确、鲁棒的六自由度图像定位方法。我们的方法有两个关键点，1。基于点云模型的海量照片自动合成与标注;使用深度卷积神经网络回归进行姿态估计。我们的模型可以直接从图像中回归6-DOF相机姿势，准确地描述它是在哪里以及如何捕获的。我们在户外数据集上实现了1米和1度的精度，该数据集覆盖了我们校园内约2英亩的土地。
2016-11-08 cs.CV
Binarized Convolutional Landmark Localizers for Human Pose Estimation and Face Alignment with Limited Resources
The University of Nottingham（诺丁汉大学）
我们的目标是设计出既能保持CNN在地标定位方面的突破性性能，同时又轻便、紧凑、适用于计算资源有限的应用的架构。为此，我们做出了以下贡献：（a）我们是第一个研究神经网络二值化对定位任务，即人体姿态估计和人脸对齐的影响。我们详尽地评估各种设计选择，确定性能瓶颈，更重要的是提出多种正交方法来提高性能。(b)基于我们的分析，我们提出了一种新的层次化，并行和多尺度的残差架构，在具有相同数量的参数的同时，比标准瓶颈块产生大的性能改善，从而弥合了原始网络与其二进制化对应物之间的差距。(c)我们进行了大量的消融研究，阐明了拟议的块的属性和性能。(d)我们目前的实验结果对最具挑战性的数据集的人体姿态估计和人脸对齐，在许多情况下，最先进的性能报告。代码可从https://www.adrianbulat.com/binary-cnn-landmarks下载
2017-08-07 cs.CV cs.LG stat.ML
OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
我们提出了一个集成的框架，使用卷积网络进行分类，定位和检测。我们展示了如何在ConvNet中有效地实现多尺度和滑动窗口方法。我们还介绍了一种新的深度学习方法，通过学习预测对象边界来进行定位。然后，为了增加检测置信度，边界框被累积而不是被抑制。我们表明，不同的任务可以同时使用一个共享网络学习。该集成框架是ImageNet大规模视觉识别挑战赛2013（ILSVRC 2013）本地化任务的获胜者，并在检测和分类任务中获得了非常有竞争力的结果。在赛后工作中，我们为检测任务建立了一个新的艺术状态。最后，我们从我们最好的模型中发布了一个名为OverFeat的特征提取器。
2014-02-24 cs.CV
Visual Explanations From Deep 3D Convolutional Neural Networks for Alzheimer's Disease Classification
University of Florida（佛罗里达大学）
我们开发了三种有效的方法，用于从3D卷积神经网络（3D-CNN）中生成用于阿尔茨海默病分类的视觉解释。一种方法对分层3D图像分割进行敏感性分析，另两种方法在空间图上可视化网络激活。视觉检查和定量定位基准表明，所有方法都可以识别阿尔茨海默病诊断的重要大脑部位。对比分析表明，基于敏感性分析的方法难以处理松散分布的大脑皮层，基于激活可视化的方法受到卷积层分辨率的限制。这些方法的互补性从不同角度提高了对3D-CNN在阿尔茨海默病分类中的理解。
2018-07-06 cs.AI cs.CV cs.LG
Camera-based Image Forgery Localization using Convolutional Neural Networks
University Federico II of Naples（那不勒斯费德里科二世大学）
相机指纹是许多图像取证任务的宝贵工具。一个众所周知的例子是光响应非均匀性（PRNU）噪声模式，一个强大的设备指纹。在这里，为了解决图像伪造定位问题，我们依赖于noiseprint，这是最近提出的一种基于CNN的相机模型指纹。训练CNN以最小化相同模型块之间的距离，否则最大化距离。因此，噪声印记解释了模型相关伪影，就像PRNU解释了设备相关非均匀性一样。然而，与PRNU不同的是，它只受到高级场景内容残差的轻微影响。实验结果表明，所提出的基于噪声印记的伪造定位方法优于基于PRNU的参考。
2018-08-29 cs.CV
Automatic localization and decoding of honeybee markers using deep convolutional neural networks
Freie Universität Berlin（柏林自由大学）
蜜蜂是一种有趣的模式动物，可以用来研究集体行为是如何从数千个个体的（相互）行动中产生的。蜜蜂一生中可能会获得独特的记忆。这些经历甚至在很长的时间范围内影响社会互动。因此，跟踪和识别蜂群中所有蜜蜂的一生可能会揭示个体差异和蜂群行为的相互作用。本文提出了一种基于两个深度卷积神经网络的软件管道，用于蜜蜂从生命的第一天到最后一天携带的自定义二进制标记的定位和解码。我们表明，这种方法优于最近文献中提出的类似系统。通过向公众开放这个软件，我们希望由此产生的数据集将有助于促进对蜜蜂集体智慧的理解。
2018-02-14 cs.CV
Accurate Text Localization in Natural Image with Cascaded Convolutional Text Network
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Wuhan University（武汉大学）；The Chinese University of Hong Kong（香港中文大学）
我们引入了一个新的自顶向下的管道场景文本检测。我们提出了一种新的级联卷积文本网络（CCTN），它将两个定制的卷积网络连接起来，用于从粗到细的文本定位。该CCTN快速检测文本区域大致从低分辨率的图像，然后准确地定位文本行从每个放大的区域。我们将先前的基于字符的检测转换为直接的文本区域估计，避免了多个自自底向上的后处理步骤。该算法以整个文本区域为检测对象，提供了较强的语义信息，具有较强的鲁棒性和区分能力。我们通过开发矩形卷积和多个网络融合来定制卷积网络。这使它能够有效地处理多形状和多尺度文本。此外，通过共享卷积计算，CCTN在计算上是高效的，并且高级属性允许它对各种语言和多个方向保持不变。它在ICDAR 2011和ICDAR 2013上实现了0.84和0.86的F-测量值，与最先进的结果相比有了实质性的改进[23，1]。
2016-03-31 cs.CV
Deep Concept-wise Temporal Convolutional Networks for Action Localization
Baidu Inc（百度公司）；MIT-Watson AI Lab（麻省理工学院-沃森人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）
现有的动作定位方法在从视频帧提取的1D特征图上采用浅时间卷积网络（\ie，TCN）。在本文中，我们经验性地发现，堆叠更多常规的时间卷积层实际上会降低动作分类性能，这可能是由于1D特征图的所有通道（通常是高度抽象的，可以被视为潜在概念）在时间卷积中过度重组。为了解决这个问题，我们引入了一个新的概念时间卷积（CTC）层作为传统时间卷积层的替代，用于训练更深层次的动作定位网络。CTC层不是重组潜在概念，而是为每个概念单独部署一些时间过滤器，并在概念之间共享过滤器参数。从而可以捕捉不同概念的共同时间模式，并显着丰富的表征能力。通过堆叠CTC层，我们提出了一种深度概念时间卷积网络（C-TCN），它将THUMOS'14上最先进的动作定位性能从42.8提升到52.1，在mAP（\%）方面，实现了21.7\%的相对提高。在ActivityNet上也取得了良好的效果。
2019-08-26 cs.CV
Image Splicing Localization Using A Multi-Task Fully Convolutional Network (MFCN)
University of Southern California（南加州大学）
在这项工作中，我们提出了一种利用全卷积网络（FCN）来定位图像拼接攻击的技术。我们首先评估了仅在表面标签上训练的单任务FCN（SFCN）。尽管SFCN被证明比现有方法提供更优越的性能，但在某些情况下它仍然提供粗略的定位输出。因此，我们建议使用多任务FCN（MFCN），它利用两个输出分支进行多任务学习。一个分支用于学习曲面标签，而另一个分支用于学习拼接区域的边或边界。我们使用CASIA v2.0数据集训练网络，并在CASIA v1.0、Columbia Uncompressed、Carvalho和DARPA/NIST Nimble Challenge 2016 SCI数据集上测试训练模型。实验表明，SFCN和MFCN优于现有的拼接定位算法，MFCN可以实现更精细的定位比SFCN。
2017-09-06 cs.CV
Congested Crowd Instance Localization with Dilated Convolutional Swin Transformer
Academy of Advanced Interdisciplinary Research, Xidian University（西安电子科技大学先进交叉研究院）；School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））；Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education, International Research Center for Intelligent Perception and Computation, Xidian University（西安电子科技大学智能感知与图像理解教育部重点实验室、智能感知与计算国际研究中心）
人群定位是一个新的计算机视觉任务，从人群计数演变而来。与后者不同的是，它为每个实例提供了更精确的位置信息，而不仅仅是为整个人群场景计数，这带来了更大的挑战，特别是在极度拥挤的人群场景中。本文主要研究如何在高密度人群场景中实现精确的实例定位，并针对传统模型由于目标遮挡、图像模糊等原因导致特征提取能力降低的问题，提出了一种适用于拥挤人群场景的扩展卷积Swin Transformer（DCST）算法。具体而言，基于窗口的视觉Transformer被引入到人群定位任务中，有效地提高了表示学习的能力。然后，在Transformer的不同阶段中插入设计良好的扩展卷积模块，以增强大范围上下文信息。大量的实验证明了所提出的方法的有效性，并在五个流行的数据集上实现了最先进的性能。特别是，所提出的模型实现的F1-措施的77.5%和MAE的84.2的定位和计数性能，分别。
2021-08-02 cs.CV
Graph Convolutional Networks for Temporal Action Localization
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯AI实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
大多数最先进的动作本地化系统单独处理每个动作建议，而不会在学习过程中明确利用它们的关系。然而，提案之间的关系实际上在动作定位中起着重要的作用，因为一个有意义的动作总是由视频中的多个提案组成。在本文中，我们提出了利用图卷积网络（GCN）的建议，建议的关系。首先，我们构造了一个行动建议图，其中每个建议被表示为一个节点，两个建议之间的关系被表示为一条边。在这里，我们使用两种类型的关系，一种用于捕获每个建议的上下文信息，另一种用于表征不同动作之间的相关性。然后，我们在图上应用GCN来建模不同建议之间的关系，并学习用于动作分类和定位的强大表示。实验结果表明，我们的方法显着优于国家的最先进的THUMOS 14（49.1%对42.8%）。此外，在ActivityNet上的增强实验也验证了建模行动建议关系的有效性。代码可在https://github.com/Alvin-Zeng/PGCN上获得。
2019-09-07 cs.CV
DeepSolarEye: Power Loss Prediction and Weakly Supervised Soiling Localization via Fully Convolutional Networks for Solar Panels
University of Washington（华盛顿大学）；IBM Research Lab（IBM研究实验室）
污垢对太阳能电池板的影响是可再生能源领域中一个重要且研究充分的问题。在本文中，我们提出了第一个基于卷积神经网络（CNN）的方法，用于太阳能电池板污染和缺陷分析。我们的方法将太阳能电池板的RGB图像和环境因素作为输入来预测功率损耗、污染定位和污染类型。在计算机视觉中，定位是一项复杂的任务，通常需要手动标记的训练数据，例如边界框或分割掩模。我们提出的方法包括专门的四个阶段，完全避免了本地化的地面真相，只需要面板图像与功率损失标签的训练。使用网络监督学习将从预测的定位掩模获得的影响区域分类为污染类型。为了提高CNN的定位能力，我们引入了一种新的双向输入感知融合（BiDIAF）块，该块在CNN的不同级别上加强输入，以学习特定于输入的特征图。我们的实证研究表明，BiDIAF提高了约3%的功率损耗预测精度和约4%的定位精度。当以弱监督方式学习时，我们的端到端模型在本地化方面进一步提高了约24%。我们的方法是可推广的，并在网络抓取的太阳能电池板图像上显示出有希望的结果。我们的系统在NVIDIA TitanX GPU上的帧速率为22 fps（包括所有步骤）。此外，我们收集了第一个用于太阳能电池板图像分析的数据集，包括45，000多张图像。
2018-03-18 cs.CV
CDC: Convolutional-De-Convolutional Networks for Precise Temporal Action Localization in Untrimmed Videos
Columbia University（哥伦比亚大学）；Mitsubishi Electric（三菱电机）
时间动作定位是一个重要而又具有挑战性的问题。给定一个由多个动作实例和复杂背景内容组成的长的、未修剪的视频，我们不仅需要识别它们的动作类别，而且需要定位每个实例的开始时间和结束时间。许多最先进的系统使用段级分类器来选择预定边界的建议段并对其进行排名。然而，理想的模型应该超越段级，并在时间上以细粒度进行密集预测，以确定精确的时间边界。为此，我们设计了一种新的卷积-去卷积（CDC）网络，该网络将CDC过滤器置于3D ConvNets之上，这已被证明对抽象动作语义是有效的，但减少了输入数据的时间长度。建议的CDC滤波器执行所需的时间上采样和空间下采样操作，同时预测在帧级粒度的行动。它是唯一的联合建模动作语义的时空和细粒度的时间动态。我们以端到端的方式高效地训练CDC网络。我们的模型不仅在检测每一帧中的动作方面取得了优异的性能，而且还显着提高了定位时间边界的精度。最后，CDC网络展示了非常高的效率，能够在单个GPU服务器上每秒处理500帧。我们将更新相机准备的版本，并在网上公布的源代码很快。
2017-06-13 cs.CV
A Coarse-to-fine Deep Convolutional Neural Network Framework for Frame Duplication Detection and Localization in Forged Videos
Kitware Inc.（Kitware公司）
视频可以通过复制一系列连续的帧来操纵，目的是隐藏或模仿同一视频中的特定内容。在本文中，我们提出了一种新的基于深度卷积神经网络的粗到精框架，以自动检测和定位这种帧重复。首先，I3D网络找到候选复制帧序列与对应的所选原始帧序列之间的粗级匹配。然后，基于ResNet架构的Siamese网络识别单个复制帧与相应的选定帧之间的精细级别对应关系。我们还提出了一个强大的统计方法来计算一个视频级的分数，表明操纵或伪造的可能性。此外，为了提供操作定位信息，我们开发了一个基于I3D网络的不一致性检测器，以区分重复帧和选定的原始帧。对两个具有挑战性的视频伪造数据集的量化评估清楚地表明，这种方法的性能显着优于四个最近的最先进的方法。
2019-05-06 cs.CV
Graph Convolutional Module for Temporal Action Localization in Videos
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；Tsinghua University（清华大学）；Tencent AI Laboratory（腾讯人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
时间动作定位是计算机视觉领域的一个重要研究课题。现有技术的动作定位方法将每个视频划分为多个动作单元（即，两阶段方法中的建议和一阶段方法中的片段），然后分别对它们中的每一个执行动作识别/回归，而不明确地利用它们在学习期间的关系。在本文中，我们认为动作单元之间的关系在动作定位中起着重要的作用，一个更强大的动作检测器不仅应该捕获每个动作单元的本地内容，而且还应该允许更宽的视野来观察与之相关的上下文。为此，我们提出了一个通用的图卷积模块（GCM），可以很容易地插入到现有的动作定位方法中，包括两阶段和一阶段范例。具体地说，我们首先构造一个图，其中每个动作单元表示为一个节点，两个动作单元之间的关系表示为一条边。在这里，我们使用两种类型的关系，一种用于捕获不同动作单元之间的时间连接，另一种用于表征它们的语义关系。特别是对于两阶段方法中的时间连接，我们进一步探索了两种不同的边缘，一种连接重叠的动作单元，另一种连接周围但不相交的单元。在我们构建的图的基础上，我们应用图卷积网络（GCN）来建模不同动作单元之间的关系，它能够学习更多的信息表示来增强动作定位。实验结果表明，我们的GCM一致地提高了现有动作定位方法的性能，包括两阶段方法（例如，CBR和R-C3 D）和一步法（例如，D-SSAD），验证了我们的GCM的通用性和有效性。
2021-12-01 cs.CV
Angiodysplasia Detection and Localization Using Deep Convolutional Neural Networks
Institute for Medical Engineering and Science（医学工程与科学研究所）；Massachusetts Institute of Technology（麻省理工学院）；Lyft Inc.（来福特公司）；Neuromation OU（神经自动化有限公司）；University of Michigan（密歇根大学）
血管发育不良病变的准确检测和定位是消化道出血和贫血早期诊断的重要问题。使用无线胶囊内镜进行血管发育不良检测和定位的金标准。这种药丸状的装置能够在通过胃肠道的一次过程中产生数千个足够高分辨率的图像。在本文中，我们介绍了我们的获奖解决方案MICCAI 2017内窥镜视觉SubChallenge：血管发育不良检测和定位，其使用几种新型深度神经网络架构对最先进的结果进行了进一步改进。它解决了二进制分割问题，其中图像中的每个像素都被标记为血管发育不良病变或背景。然后，我们分析每个预测掩码的连通分量。基于分析，我们开发了一个分类器，预测血管发育不良病变（二元变量）和检测器的位置（中心的一个组成部分）。在这种情况下，我们的方法在血管发育不良检测和定位的每个任务子类别中都优于其他方法，从而为这些问题提供了最先进的结果。我们的解决方案的源代码在https://github.com/ternaus/angiodysplasia-segmentatio上公开提供
2018-04-21 cs.CV
Dark Reciprocal-Rank: Boosting Graph-Convolutional Self-Localization Network via Teacher-to-student Knowledge Transfer
University of Fukui（福井大学）
在视觉机器人自定位中，基于图的场景表示和匹配作为一种鲁棒的、有区别的自定位方法，近年来引起了研究兴趣。虽然有效，但它们的计算和存储成本不能很好地扩展到大型环境。为了缓解这个问题，我们制定自定位作为一个图分类问题，并试图使用图卷积神经网络（GCN）作为一个图分类引擎。一种直接的方法是使用视觉特征描述符，这些描述符被最先进的自定位系统直接用作图节点特征。然而，它们在原始自定位系统中的优异性能可能不一定在基于GCN的自定位中被复制。为了解决这个问题，我们引入了一种新的教师到学生的知识转移方案的基础上排名匹配，其中的倒数排名向量输出的现成的最先进的教师自定位模型被用作暗知识转移。实验表明，所提出的图卷积自定位网络的性能显着优于最先进的自定位系统以及教师分类器。
2020-11-01 cs.CV cs.RO
High-speed Railway Fastener Detection and Localization Method based on convolutional neural network
Beijing University of Posts and Telecommunications（北京邮电大学）
铁路运输是我国国民经济的大动脉，在当今社会发展中发挥着重要作用。由于我国铁路安检技术起步较晚，目前铁路安检任务主要依靠人工检查，但人工检查效率低，需要投入大量人力物力。本文建立了一个钢轨扣件检测图像数据集，该数据集包含4种类型的4,000张钢轨扣件图片。我们使用区域建议网络生成感兴趣区域，使用卷积神经网络提取特征，并将分类器融合到检测网络中。通过在线硬样本挖掘来提高模型的准确性，我们通过减少感兴趣区域的数量来优化Faster RCNN检测框架。最终在TITAN X GPU的部署环境下，模型准确率达到99%，速度达到35 FPS。
2019-07-31 cs.CV
Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos
本文主要研究视频中的时间语言定位问题，其目的是在未经裁剪的视频中识别由自然语言句子描述的时刻的起点和终点。然而，它是不平凡的，因为它不仅需要全面理解的视频和句子查询，但也准确的语义之间的对应捕捉。现有的努力主要集中在探索视频片段和查询词之间的顺序关系以推理视频和句子查询，而忽略了其他模态内关系（例如，视频剪辑之间的语义相似性和查询词之间的句法依赖性）。为此，在这项工作中，我们提出了一个多模态交互图卷积网络（MIGCN），它共同探讨了复杂的模态内的关系和模态间的相互作用驻留在视频和句子查询，以促进理解和语义对应捕捉的视频和句子查询。此外，我们设计了一个自适应的上下文感知定位方法，其中的上下文信息被带到候选时刻和多尺度全连接层的设计，以排名和调整的边界生成的粗候选时刻具有不同的长度。Charades-STA和ActivityNet数据集上的大量实验证明了我们模型的良好性能和优越效率。
2021-10-12 cs.CV
Video Anomaly Detection and Localization via Gaussian Mixture Fully Convolutional Variational Autoencoder
Wuhan University（武汉大学）；McGill University（麦吉尔大学）
我们提出了一种新的端到端部分监督的深度学习方法，用于仅使用正常样本的视频异常检测和定位。激发这项研究的见解是，正常样本可以与高斯混合模型（GMM）的至少一个高斯分量相关联，而异常不属于任何高斯分量。该方法基于高斯混合变分自编码器，其可以将正常样本的特征表示学习为使用深度学习训练的高斯混合模型。一个不包含全连接层的全卷积网络（FCN）被用于编码器-解码器结构，以保持输入图像和输出特征图之间的相对空间坐标。基于每个高斯混合分量的联合概率，我们引入了一种基于样本能量的方法来对图像测试块的异常进行评分。一个双流网络框架相结合的外观和运动异常，使用RGB帧的前和动态流图像，后者。我们测试我们的方法在两个流行的基准（UCSD数据集和大道数据集）。实验结果验证了该方法的优越性。
2018-05-29 cs.CV
Convolutional Cross-View Pose Estimation
Delft University of Technology（代尔夫特理工大学）
提出一种端到端跨视角姿态估计方法，通过匹配地面与航空图像描述符，利用对比学习和粗到细定位解码器，在VIGOR和KITTI上显著降低定位误差，并在Oxford RobotCar上实现实时可靠姿态估计。
2023-12-22 cs.CV
Exploring Temporal Preservation Networks for Precise Temporal Action Localization
National Laboratory for Parallel and Distributed Processing（并行与分布式处理国家重点实验室）；National University of Defense Technology（国防科技大学）
时间动作定位是计算机视觉的一个重要任务。虽然已经提出了各种各样的方法，但如何精确地预测动作片段的时间边界仍然是一个悬而未决的问题。大多数作品使用段级分类器来选择由动作建议或密集滑动窗口预先确定的视频段。然而，为了实现更精确的动作边界，时间定位系统应该以细粒度进行密集预测。一项新提出的工作利用卷积-解卷积-卷积（CDC）滤波器对3D ConvNets的预测进行上采样，从而可以执行每帧动作预测，并在时间动作定位方面实现有希望的性能。然而，CDC网络部分地由于时间下采样操作而丢失时间信息。在本文中，我们提出了一个优雅而强大的时间保持卷积（TPC）网络，该网络为3D ConvNets配备了TPC过滤器。TPC网络可以完全保持时间分辨率，同时对空间分辨率进行下采样，从而实现帧级粒度动作定位。TPC网络可以以端到端的方式进行训练。在公开数据集上的实验结果表明，TPC网络在每帧动作预测方面取得了显着的改进，在片段级时间动作定位方面取得了竞争性的结果。
2017-09-11 cs.CV
Abnormality Detection and Localization in Chest X-Rays using Deep Convolutional Neural Networks
Semion
胸部X射线（CXR）被广泛用于诊断心脏和肺区域的异常。以高精度自动检测这些异常可以极大地增强现实世界的诊断过程。然而，由于缺乏标准的公开数据集和基准研究，很难对各种检测方法进行比较。为了克服这些困难，我们使用了公开可用的Indiana CXR、JSRT和Shenzhen数据集，并研究了已知深度卷积网络（DCN）架构在不同异常情况下的性能。我们发现，相同的DCN架构并不能在所有异常情况下都表现良好。与深特征相比，浅特征或更早的层始终提供更高的检测精度。我们还发现集成模型与单个模型相比显着提高了分类。结合这些见解，我们报告了这些数据集上胸部X射线异常检测的最高准确性。我们发现，对于心脏肥大检测，与基于规则的方法相比，深度学习方法将准确率提高了惊人的17个百分点。我们将这些技术应用于不同数据集上的结核病检测问题，并实现了最高的准确率。我们使用这些经过训练的分类器进行的定位实验表明，对于心脏肥大和肺水肿等空间分布的异常，网络可以在大部分时间成功定位异常。心脏肥大定位的一个显著结果是心脏及其周围区域是心脏肥大检测的最主要原因，这与使用心脏和肺面积的比率作为测量的基于规则的模型相反。我们相信，通过基于深度学习的分类和定位，我们将发现医学图像诊断中许多传统上没有考虑的有趣特征。
2017-09-27 cs.CV
Weakly Supervised Localization using Deep Feature Maps
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Army Research Laboratory（陆军研究实验室）
目标定位是一个重要的计算机视觉问题，具有广泛的应用。缺乏大规模的对象级注释和相对丰富的图像级标签使得对象本地化任务中的监督薄弱成为一个令人信服的理由。深度卷积神经网络是用于对象识别的相关问题的一类最先进的方法。在本文中，我们描述了一种新的目标定位算法，它使用的分类网络只训练图像标签。这种弱监督方法利用了在分类网络的卷积层中捕获的局部空间和语义模式。我们提出了一种有效的束搜索为基础的方法来检测和定位图像中的多个对象。所提出的方法显着优于国家的最先进的标准对象定位数据集的mAP分数增加了8个点。
2016-03-29 cs.CV
DistillPose: Lightweight Camera Localization Using Auxiliary Learning
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
我们提出了一个轻量级的基于检索的管道来预测从RGB图像的6DOF相机构成。我们的管道使用卷积神经网络（CNN）将查询图像编码为特征向量。最近邻查找查找姿态方面最近的数据库图像。连体卷积神经网络将来自最近邻数据库图像的相对姿态回归到查询图像。然后将相对姿态应用于最近的相邻绝对姿态以获得查询图像的最终绝对姿态预测。我们的模型是一个浓缩版本的NN网络，减少了98.87%的参数，信息检索特征向量的大小87.5%，推理时间89.18%，而没有显着降低定位精度。
2021-08-09 cs.CV
Part Detector Discovery in Deep Convolutional Neural Networks
Friedrich Schiller University of Jena（耶拿弗里德里希·席勒大学）
目前的细粒度分类方法往往依赖于一个强大的本地化的对象部分，以提取本地化的特征表示适合的歧视。然而，零件定位是一个具有挑战性的任务，由于外观和姿态的变化很大。在本文中，我们展示了如何使用预训练的卷积神经网络进行鲁棒和高效的对象部分发现和定位，而无需在当前数据集上实际训练网络。我们的方法称为“部分检测器发现”（PDD）是基于分析网络输出的梯度图，并找到空间上与注释的语义部分或边界框相关的激活中心。这不仅使我们能够在CUB200 - 2011数据集上获得出色的性能，而且与以前的方法相比，还可以联合执行检测和鸟类分类，而无需在测试期间使用给定的限界框注释，并在训练期间使用地面实况部分。该代码可在www.example.com和www.example.com上获得。
2014-11-14 cs.CV
Image Forgery Localization Based on Multi-Scale Convolutional Neural Networks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们提出了利用卷积神经网络（CNN）和基于分割的多尺度分析来定位数字图像中的篡改区域。首先，针对不同尺度的颜色输入滑动窗口，设计了一种统一的CNN结构。然后，我们精心设计了CNN在采样训练块上的训练过程。利用一组基于CNN的鲁棒多尺度篡改检测器，可以生成互补的篡改可能性图。最后，提出了一种基于分割的方法来融合地图并生成最终的决策图。通过利用小规模和大规模分析的优点，基于分割的多尺度分析可以在CNN的伪造定位方面实现性能飞跃。大量的实验证明了我们的方法的有效性和效率。
2018-02-07 cs.CV cs.MM
Sound Source Localization in a Multipath Environment Using Convolutional Neural Networks
Australian Centre for Field Robotics（澳大利亚野外机器人中心）；Computing and Audio Research Laboratory（计算与音频研究实验室）；The University of Sydney（悉尼大学）
声在浅水环境中的传播的特征在于来自海面和海底的边界反射。这些反射导致多个（间接）声音传播路径，这会降低被动声源定位方法的性能。本文提出了使用卷积神经网络（CNN）的宽带声辐射噪声源（如机动船）在浅水多径环境中的定位。结果表明，CNN倒谱图和广义交叉相关图输入操作能够更可靠地估计瞬时范围和轴承的过境机动船舶时，传统的被动测距方法的源定位性能下降。随后的改进，在源定位性能证明使用在海上实验中收集的真实数据。
2017-10-27 cs.CV cs.SD eess.AS
Automated Steel Bar Counting and Center Localization with Convolutional Neural Networks
Shantou University（汕头大学）；College of Engineering（工学院）
钢筋自动计数和中心定位在钢筋生产自动化中起着重要作用。传统的钢筋计数方法仅限于钢筋计数，其性能往往受到复杂工业环境的限制。卷积神经网络（CNN）具有在复杂环境下处理复杂任务的强大能力，本文将其应用于该工作。提出了一种称为CNN-DC的框架，同时实现自动钢筋计数和中心定位。所提出的框架CNN-DC首先用深度CNN检测候选中心点。然后提出了一种有效的聚类算法距离聚类（DC），对候选中心点进行聚类，定位钢筋的真实中心。在已建立的钢筋数据集上，所提出的CNN-DC可以实现99.26%的钢筋计数准确率和4.1%的中心定位中心偏移，这表明所提出的CNN-DC可以很好地执行自动钢筋计数和中心定位。代码可在https://github.com/BenzhangQiu/Steel-bar-Detection上公开获取。
2019-06-19 cs.CV cs.SY eess.SY
Deep-Anomaly: Fully Convolutional Neural Network for Fast Anomaly Detection in Crowded Scenes
Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；Di Hub；Iran University of Science and Technology（伊朗科技大学）；Auckland University of Technology（奥克兰理工大学）
在拥挤的场景中检测异常行为必须应对许多挑战。提出了一种有效的视频异常检测和定位方法。使用完全卷积神经网络（FCN）和时间数据，将预训练的监督FCN转换为非监督FCN，以确保检测场景中的（全局）异常。高性能的速度和准确性方面实现了通过调查级联检测作为一个结果，降低计算复杂度。这种基于FCN的架构解决了两个主要任务，特征表示和级联离群值检测。两个基准测试的实验结果表明，该方法的检测和定位的准确性优于现有的方法。
2017-04-30 cs.CV
