Robust Template Matching via Hierarchical Convolutional Features from a Shape Biased CNN
King’s College London（伦敦国王学院）
在搜索图像中找到模板是许多计算机视觉应用的重要任务。最近的方法在由卷积神经网络（CNN）产生的深特征空间中执行模板匹配，发现其对外观变化提供更多的容限。在这篇文章中，我们研究了增强CNN的形状信息编码是否可以产生更多可区分的特征，从而提高模板匹配的性能。这项调查的结果在一个新的模板匹配方法，产生国家的最先进的结果在一个标准的基准。为了证实这些结果，我们还创建了一个新的基准，并表明所提出的方法在这个新的数据集上也优于现有的技术。我们的代码和数据集可以在https://github.com/iminfine/Deep-DIM上找到。
2021-05-07 cs.CV
GLMNet: Graph Learning-Matching Networks for Feature Matching
Anhui University（安徽大学）
最近，图卷积网络（GCN）在图匹配任务中显示出巨大的潜力。它可以在一个统一的端到端模型中集成图节点特征嵌入、节点亲和学习和匹配优化。图匹配的一个重要方面是构造两个匹配图。然而，我们提供给现有图卷积匹配网络的匹配图通常是固定的，并且与图匹配无关，因此不能保证图匹配任务是最佳的。此外，现有的GCN匹配方法采用几个通用的基于平滑的图卷积层来生成图节点嵌入，其中大量的平滑卷积操作可能会稀释图节点的所需区分信息。为了克服这些问题，我们提出了一种新的图学习匹配网络（GLMNet）的图匹配问题。GLMNet有三个主要方面。(1)它将图学习集成到图匹配中，从而自适应地学习最适合图匹配任务的一对最优图。(2)它还采用拉普拉斯锐化卷积模块来生成更多的判别节点嵌入，用于图匹配。(3)设计了一种新的约束正则化损失用于GLMNet训练，它可以编码匹配优化中所需的一对一匹配约束。在两个基准测试上的实验验证了GLMNet的有效性及其主要模块的优势。
2019-11-18 cs.CV
Low complexity convolutional neural network for vessel segmentation in portable retinal diagnostic devices
Isfahan University of Technology（伊斯法罕理工大学）；University of Michigan（密歇根大学）
视网膜血管信息有助于视网膜疾病的筛查和诊断。视网膜血管分割提供了关于血管的有用信息，并且可以由医生在眼内手术和视网膜诊断操作期间使用。卷积神经网络（CNN）是医学图像分类和分割的有力工具。CNN的复杂性使得它们难以在便携式设备（例如双目间接检眼镜）中实现。本文提出了一种基于量化和剪枝相结合的CNN简化方法。全连接层被量化，卷积层被修剪，以具有简单有效的网络结构。STARE数据集上的实验表明，我们的简化网络能够分割视网膜血管，具有可接受的精度和低复杂度。
2018-02-21 cs.CV
Cascaded multi-scale and multi-dimension convolutional neural network for stereo matching
Peking University（北京大学）
卷积神经网络（CNN）已被证明比传统的立体声算法更好地执行立体声估计。许多努力集中在逐像素匹配成本计算上，这是许多最新算法的重要构建块。然而，这些架构仅限于小规模和单一规模的感受野，并使用传统的方法进行成本聚合，甚至忽略成本聚合。因此，我们将两者都考虑在内。首先，我们提出了一种新的多尺度匹配代价计算子网络，在该子网络中同时实现了两种不同大小的感受野。通过这种方式，网络可以充分利用这两种变体，并平衡感受野增加和细节损失之间的权衡。此外，我们表明，我们的多维聚合子网络，其中包含2D卷积和3D卷积运算可以提供丰富的上下文和语义信息，估计一个准确的初始视差。最后，具有挑战性的立体基准KITTI上的实验表明，该方法可以实现竞争力的结果，即使没有任何额外的后处理。
2018-04-17 cs.CV
Descriptor Matching with Convolutional Neural Networks: a Comparison to SIFT
最新的结果表明，通过卷积神经网络学习的特征在分类任务中的表现大大优于以前的描述符。事实证明，当这些网络应用于与它们训练时不同的数据集或识别任务时，它们仍然工作得很好。然而，像SIFT这样的描述符不仅用于识别，而且还用于许多依赖于描述符匹配的对应问题。在本文中，我们将卷积神经网络的各个层的特征与标准SIFT描述符进行了比较。我们考虑一个在ImageNet上训练的网络和另一个在没有监督的情况下训练的网络。令人惊讶的是，卷积神经网络在描述符匹配方面明显优于SIFT。本文已与arXiv：1406.6909合并
2015-06-24 cs.CV cs.LG
Look Wider to Match Image Patches with Convolutional Neural Networks
Automation and Systems Research Institute, Seoul National University（首尔国立大学自动化与系统研究所）
当人类匹配两个图像时，观看者具有观看目标像素周围的宽区域以获得正确对应的线索的自然倾向。然而，设计以相同方式在大窗口上工作的匹配成本函数是困难的。成本函数通常不够智能，无法丢弃与目标像素无关的信息，从而导致不期望的伪影。在本文中，我们提出了一种新的学习一个大尺寸窗口的立体匹配成本。与传统的池化层不同，所提出的每像素池化层可以覆盖很大的区域，而不会损失分辨率和细节。因此，学习的匹配成本函数可以成功地利用来自大区域的信息，而不会引入增肥效应。尽管存在弱纹理、深度不连续性、光照和曝光差异，该方法仍具有鲁棒性。该方法在Middlebury基准测试中达到了近峰值性能。
2017-09-19 cs.CV
Pixel-Level Matching for Video Object Segmentation using Convolutional Neural Networks
UMN（明尼苏达大学）；KAIST（韩国科学技术院）
提出了一种基于卷积神经网络（CNN）像素级匹配的视频对象分割算法。我们的网络的目标是区分目标区域从背景的基础上，两个对象单元之间的像素级相似性。所提出的网络表示一个目标对象使用不同的深度层的功能，以利用空间细节和类别级的语义信息。此外，我们提出了一种特征压缩技术，大大降低了内存需求，同时保持功能表示的能力。两阶段训练（预训练和微调）允许我们的网络处理任何目标对象，而不管其类别（即使对象的类型不属于预训练数据）或其在视频序列中的外观变化。在大型数据集上的实验证明了我们的模型在准确性，速度和稳定性方面的有效性。最后，我们介绍了我们的网络到不同的域，如红外数据域的可移植性。
2017-08-17 cs.CV
Image Retrieval for Structure-from-Motion via Graph Convolutional Network
传统的运动恢复结构（Structure-from-Motion，SfM）图像检索技术在有效识别重复模式方面存在局限性，不能保证创建足够多的高精度和高召回率的匹配对。本文提出了一种基于图卷积网络（GCN）的检索方法，该方法能够在不增加冗余的情况下生成精确的成对匹配。我们将图像检索任务定义为图数据中的节点二进制分类问题：如果节点与查询图像共享场景重叠，则将其标记为阳性。其关键思想是，我们发现，在特征空间中的局部上下文周围的查询图像包含丰富的信息，该图像和它的邻居之间的匹配关系。通过构建一个子图周围的查询图像作为输入数据，我们采用了一个可学习的GCN利用子图中的节点是否有重叠区域与查询照片。实验表明，我们的方法在高度模糊和重复场景的挑战性数据集上表现得非常好。此外，与最先进的匹配检索方法相比，所提出的方法显着减少无用的尝试匹配，而不牺牲重建的准确性和完整性。
2020-09-17 cs.CV
Cascade Residual Learning: A Two-stage Convolutional Neural Network for Stereo Matching
SenseTime Group Limited（商汤集团有限公司）
利用卷积神经网络（CNN）的最新发展，匹配来自立体对的密集对应关系已被视为学习问题，其性能超过传统方法。然而，要为本来就处境不利的区域创造高质量的差距仍然具有挑战性。为了解决这个问题，我们提出了一种新的级联CNN架构组成的两个阶段。第一阶段通过为其配备额外的上卷积模块来推进最近提出的DispNet，从而产生具有更多细节的视差图像。第二级明确纠正由第一级初始化的视差;它与第一级耦合并生成跨多个尺度的残差信号。来自两个级的输出的总和给出最终视差。相对于直接学习的差距在第二阶段，我们表明，剩余学习提供了更有效的细化。此外，它也有利于整个级联网络的训练。实验表明，我们的级联残差学习方案提供了最先进的性能匹配立体对应。在提交本文时，我们的方法在KITTI 2015立体声基准中排名第一，远远超过了之前的作品。
2018-07-30 cs.CV
Convolutional neural net face recognition works in non-human-like ways
University of Stirling（斯特林大学）
卷积神经网络（CNN）在许多模式识别问题中具有最先进的性能，但可能被精心设计的噪声模式所欺骗。我们报告说，CNN的人脸识别系统也会出现令人惊讶的“错误”。我们测试了六个商业人脸识别CNN，发现它们在标准人脸匹配任务中的表现优于典型的人类参与者。然而，他们也宣布了人类不会的匹配，其中一个图像已经被转换为不同的性别或种族。这并不是因为性能差;最好的CNN在人脸匹配任务上几乎完美地执行，但也声明了不同种族或性别的人脸的最多匹配。虽然性别和种族的显著性不同，但人类和计算机系统的工作方式并不完全不同。他们倾向于发现相同的图像对很难，这表明他们对潜在的相似性空间有一定的一致性。
2020-06-23 cs.CV
U-mesh: Human Correspondence Matching with Mesh Convolutional Networks
Technion-Israel Institute of Technology（以色列理工学院）
3D扫描技术的发展推动了对解释几何数据的方法的需求，特别是对于人类受试者。在本文中，我们提出了一个优雅的融合回归（自下而上）和生成（自上而下）的方法，以适应参数模板模型的原始扫描网格。我们的第一个主要贡献是一个内在的卷积网格U-net架构，它预测与模板表面的逐点对应。软对应被公式化为新构造的笛卡尔空间中的坐标。将对应关系建模为欧几里德接近度可以实现有效的优化，无论是对于网络训练还是对于算法的下一步。我们的第二个贡献是一个生成优化算法，它使用U网对应预测来指导参数迭代最近点配准。通过使用预先训练的人体表面参数模型，我们最大限度地利用特定领域的先验知识。网格卷积网络与生成模型拟合的配对使我们能够预测真实人体表面扫描的对应关系，包括遮挡、局部性和不同的属（例如，来自自接触）。我们评估所提出的方法上的FAUST对应的挑战，我们实现了20%（33%）的改进，超过最先进的方法间（内）的主题对应。
2021-08-22 cs.CV
Deep Direct Regression for Multi-Oriented Scene Text Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在本文中，我们首先提供了一个新的角度来划分现有的高性能目标检测方法直接和间接回归。直接回归通过预测给定点的偏移量来执行边界回归，而间接回归则预测某些限界框建议的偏移量。然后分析了Faster-RCNN和SSD等最新检测结构所采用的间接回归方法在多方向场景文本检测中的不足，指出了直接回归方法的潜在优势。为了验证这一观点，我们提出了一种基于深度直接回归的多方向场景文本检测方法。我们的检测框架简单有效，具有完全卷积网络和一步后处理。全卷积网络以端到端的方式进行优化，并具有双任务输出，其中一个是文本和非文本之间的像素分类，另一个是直接回归以确定四边形文本边界的顶点坐标。所提出的方法是特别有益的定位附带场景文本。在ICDAR 2015偶然场景文本基准测试中，我们的方法达到了81%的F1测量值，这是一种新的最先进的方法，明显优于以前的方法。在其他具有聚焦场景文本的标准数据集上，我们的方法也达到了最先进的性能。
2017-03-24 cs.CV
Image Patch Matching Using Convolutional Descriptors with Euclidean Distance
Aalto University（阿尔托大学）；University of Oulu（奥卢大学）
在这项工作中，我们提出了一种基于神经网络的图像描述符适合图像块匹配，这是一个重要的任务，在许多计算机视觉应用。我们的方法受到了深度卷积神经网络（CNN）在目标检测和分类任务中最近成功的影响。我们开发了一个模型，该模型将原始输入补丁映射到低维特征向量，以便表示之间的距离对于类似的补丁是小的，否则是大的。作为距离度量，我们使用L2范数，即欧几里得距离，它可以快速评估并用于最流行的手工描述符，如SIFT。根据结果，我们的方法优于最先进的基于L2的描述符，可以被认为是SIFT的直接替代。此外，我们进行了实验与批量归一化和直方图均衡化作为预处理方法的输入数据。结果证实，这些技术进一步提高了所提出的描述符的性能。最后，我们通过将我们的CNN与最近提出的空间Transformer网络相结合，展示了有希望的初步结果，并对其影响进行了可视化和解释。
2017-10-31 cs.CV
All Graphs Lead to Rome: Learning Geometric and Cycle-Consistent Representations with Graph Convolutional Networks
University of Pennsylvania（宾夕法尼亚大学）
图像特征匹配是许多几何计算机视觉应用的基本部分，并且使用多幅图像可以提高性能。在这项工作中，我们制定多图像匹配作为一个图嵌入问题，然后使用图卷积网络学习一个适当的嵌入函数对齐图像特征。我们使用周期一致性以无监督的方式训练我们的网络，因为获取地面真实对应很困难或昂贵。此外，几何一致性损失可以在训练时添加，即使信息在测试集中不可用，这与直接优化循环一致性的先前方法不同。据我们所知，没有其他作品使用学习多图像特征匹配。我们的实验表明，我们的方法是有竞争力的其他优化方法。
2019-01-07 cs.CV
Numerical Coordinate Regression with Convolutional Neural Networks
La Trobe University（拉筹伯大学）
我们研究了深度学习方法来推断输入图像中感兴趣点的数值坐标。现有的基于卷积神经网络的解决方案要么采用热图匹配方法，要么回归到具有完全连接的输出层的坐标。这两种方法都不是理想的，因为前者不是完全可微的，而后者缺乏内在的空间概括。我们提出了我们的可微空间数值变换（DSNT），以填补这一空白。DSNT层不添加任何可训练参数，完全可微，并具有良好的空间泛化能力。与热图匹配不同，DSNT在低热图分辨率下工作良好，因此它可以作为各种现有全卷积架构的输出层。因此，DSNT提供了一个更好的权衡推理速度和预测精度相比，现有的技术。当DSNT用于取代几乎所有最先进的姿态估计方法中使用的流行热图匹配方法时，DSNT为所有测试的模型架构提供了更好的预测精度。
2018-05-03 cs.CV
Pose-driven Deep Convolutional Model for Person Re-identification
School of Electronics Engineering and Computer Science, Peking University（北京大学信息科学技术学院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；Department of Computer Science, University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校计算机科学系）
特征提取和匹配是身份再识别的两个关键环节。大的姿态变形和复杂的视图变化所表现出的捕获的人的图像显着增加了学习和匹配的人的图像的特征的难度。为了克服这些困难，在这项工作中，我们提出了一个姿势驱动的深度卷积（PDC）模型来学习改进的特征提取和匹配模型从端到端。我们的深层架构明确地利用人体部分线索来减轻姿势变化，并从全局图像和不同的局部部分中学习鲁棒的特征表示。为了匹配来自全局人体和局部人体部位的特征，进一步设计了一个姿态驱动的特征加权子网络来学习自适应特征融合。在三个流行的数据集上进行的广泛的实验分析和结果表明，我们的模型在所有已发表的最先进的方法上都有显着的性能改进。
2017-09-25 cs.CV
Palmprint image registration using convolutional neural networks and Hough transform
基于细节特征的掌纹识别系统在过去的二十年里受到了广泛的关注。由于掌纹中的大量细节点（大约1000个细节点），匹配过程是耗时的，这使得其对于实时的应用是不实际的。解决这个问题的一种方法是将所有掌纹图像与参考图像对齐，并将它们带到相同的坐标系。将所有的掌纹图像带到同一个坐标系，在细节匹配过程中减少了计算量。本文利用卷积神经网络（CNN）和广义Hough变换（GHT），提出了一种新的掌纹图像精确配准方法。该方法找到掌纹和参考图像之间的对应旋转和位移（在x和y方向上）。准确的掌纹配准可以提高匹配过程的速度和精度。该方法能够自动区分左右掌纹，提高了匹配速度。此外，在配准阶段设计了CNN的结构，将掌纹图像从背景中分割出来，为细节点提取做了预处理。在THUPALMLAB数据库上对所提出的配准方法和细节柱码（MCC）匹配算法进行了评估，结果表明该算法优于大多数现有算法。
2019-04-03 cs.CV
Computing the Stereo Matching Cost with a Convolutional Neural Network
University of Ljubljana（卢布尔雅那大学）；New York University（纽约大学）
我们提出了一种方法，用于提取深度信息的纠正图像对。我们训练一个卷积神经网络来预测两个图像块的匹配程度，并使用它来计算立体匹配成本。通过基于交叉的成本聚合和半隐式匹配来细化成本，然后进行左右一致性检查以消除遮挡区域中的错误。我们的立体方法在KITTI立体数据集上实现了2.61%的出错率，并且是目前（2014年8月）在该数据集上表现最好的方法。
2015-10-20 cs.CV cs.LG cs.NE
End-to-End Learning of Multi-scale Convolutional Neural Network for Stereo Matching
Peking University（北京大学）
深度神经网络在立体匹配任务中表现出了优异的性能。最近，基于CNN的方法已经表明，立体匹配可以被公式化为一个监督学习任务。然而，很少有人关注的上下文语义信息和细节的融合。为了解决这个问题，我们提出了一种基于丰富的上下文细节和语义信息的视差估计网络，称为多尺度特征网络（MSFNet）。首先，我们设计了一种新的结构，通过融合多尺度特征来编码丰富的语义信息和细粒度的细节。结合了逐元素添加和拼接的优点，有利于语义信息和细节信息的融合。其次，引入了一种引导机制，引导网络自动将更多的注意力集中在不可靠的区域。第三，我们制定了一致性检查作为一个错误的地图，获得的低阶段功能与细粒度的细节。最后，我们采用左特征和合成左特征之间的一致性检查来细化初始视差。在场景流和KITTI 2015基准测试上的实验表明，该方法可以达到最佳的性能。
2019-06-25 cs.CV
Multimodal Convolutional Neural Networks for Matching Image and Sentence
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
在本文中，我们提出了多模态卷积神经网络（m-CNN）的图像和句子匹配。我们的m-CNN提供了一个具有卷积架构的端到端框架，以利用图像表示，单词组成以及两种模式之间的匹配关系。更具体地说，它由一个图像CNN编码图像内容，和一个匹配CNN学习图像和句子的联合表示。匹配的CNN将词组合成不同的语义片段，并学习图像与不同层次的语义片段之间的模态间关系，从而充分利用图像与句子之间的匹配关系。在双向图像和句子检索的基准数据库上的实验结果表明，所提出的m-CNN可以有效地捕获图像和句子匹配所需的信息。具体来说，我们提出的m-CNN在Flickr 30 K和Microsoft COCO数据库上进行双向图像和句子检索，达到了最先进的性能。
2015-08-29 cs.CL cs.CV cs.NE
JigsawNet: Shredded Image Reassembly using Convolutional Neural Network and Loop-based Composition
Xiamen University（厦门大学）；Louisiana State University（路易斯安那州立大学）
本文提出了一种新的算法来重组一个任意切碎的图像，其原始状态。现有的重组流水线通常由局部匹配阶段和全局合成阶段组成。在局部阶段，片段重组的一个关键挑战是可靠地计算和识别正确的成对匹配，大多数现有算法使用手工制作的功能，因此不能可靠地处理复杂的难题。我们构建了一个深度卷积神经网络来检测成对拼接的兼容性，并使用它来修剪计算的成对匹配。为了提高网络的效率和准确性，我们将CNN的计算转移到拼接区域，并应用boost训练策略。在全局合成阶段，我们修改了常用的贪婪边选择策略，提出了两种新的基于循环闭合的搜索算法。大量的实验表明，我们的算法显着优于现有的方法在解决各种难题，特别是那些具有挑战性的许多碎片片。
2018-09-11 cs.CV
3D Convolutional Neural Networks for Cross Audio-Visual Matching Recognition
视听识别（AVR）已被认为是音频损坏时的语音识别任务的解决方案，以及用于多说话人场景中的说话人验证的视觉识别方法。AVR系统的方法是利用从一个模态中提取的信息，通过补充缺失的信息来提高另一个模态的识别能力。关键的问题是找到音频和视频流之间的对应关系，这是这项工作的目标。我们建议使用耦合的3D卷积神经网络（3D-CNN）架构，可以将两种模式映射到一个表示空间，以评估使用学习的多模态功能的视听流的对应关系。所提出的架构将结合空间和时间的信息，有效地找到时间信息之间的相关性，为不同的方式。通过使用相对较小的网络架构和更小的数据集进行训练，我们提出的方法超越了现有的使用3D CNN进行特征表示的视听匹配类似方法的性能。我们还证明了一个有效的对选择方法可以显着提高性能。与最先进的方法相比，所提出的方法在等出错率（EER）上实现了20%以上的相对改进，在平均精度（AP）上实现了7%以上的相对改进。
2017-08-13 cs.CV
Convolutional neural network architecture for geometric matching
École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Czech Technical University in Prague（布拉格捷克理工大学）；DeepMind；INRIA（法国国家信息与自动化研究所）
我们解决的问题，确定两个图像之间的对应关系与几何模型，如仿射或薄板样条变换，并估计其参数。这项工作的贡献是三方面的。首先，我们提出了一个卷积神经网络架构的几何匹配。该架构基于三个主要组件，这些组件模拟特征提取、匹配和同时内点检测和模型参数估计的标准步骤，同时可端到端训练。其次，我们证明了可以从合成生成的图像中训练网络参数，而不需要手动注释，并且我们的匹配层显着提高了泛化能力，使其能够在前像中从未见过。最后，我们证明了相同的模型可以执行实例级和类别级匹配，在具有挑战性的Proposal Flow数据集上提供最先进的结果。
2017-04-13 cs.CV cs.LG
Automatic Classification of Human Epithelial Type 2 Cell Indirect Immunofluorescence Images using Cell Pyramid Matching
The University of Queensland（昆士兰大学）；NICTA（澳大利亚国家信息与通信技术研究院）；Queensland University of Technology（昆士兰科技大学）；National University of Singapore（新加坡国立大学）；Sullivan Nicolaides Pathology（Sullivan Nicolaides病理研究所）
本文介绍了一种新的系统，用于自动分类的图像从抗核抗体（ANA）病理测试人类上皮2型（HEp-2）细胞使用间接免疫荧光（IIF）协议。HEp-2细胞上的IIF方案由于其高灵敏度和可检测的抗原范围大而成为鉴定ANA存在的标志性方法。然而，它有许多缺点，如主观性以及时间和劳动密集型。计算机辅助诊断（CAD）系统已经被开发来解决这些问题，其自动将HEp-2细胞图像分类成其已知模式之一（例如，有斑点的、均匀的）。大多数现有的CAD系统使用手工挑选的特征来表示HEp-2细胞图像，这可能仅在有限的情况下起作用。我们提出了一种新的自动细胞图像分类方法，称为细胞金字塔匹配（CPM），这是由区域直方图的视觉词加上多核学习框架。我们提出了一个研究生成直方图的几种变化，并显示了两个公开可用的数据集上的系统的有效性：ICPR HEp-2细胞分类竞赛数据集和SNPHEp-2数据集。
2014-03-15 cs.CV q-bio.CB q-bio.QM
Adaptive Deep Pyramid Matching for Remote Sensing Scene Classification
Nanjing University of Information Science and Technology（南京信息工程大学）；Beijing Electro-Mechanical Engineering Institute（北京机电工程研究所）；University of Extremadura（埃斯特雷马杜拉大学）
卷积神经网络（CNN）在遥感领域引起了越来越多的关注。大多数CNN仅将最后的全连接层作为遥感图像分类的特征，而丢弃其他可能对分类目的也有帮助的卷积层特征。在本文中，我们提出了一种新的自适应深度金字塔匹配（ADPM）模型，利用所有的卷积层的遥感图像分类的功能。为此，从数据本身学习不同卷积层的最佳融合权重。在遥感图像中，感兴趣的目标在不同的场景中表现出不同的尺度，甚至单个场景可能包含不同大小的目标。为了解决这个问题，我们选择了具有空间金字塔池（SPP-net）的CNN作为基本深度网络，并进一步构建了多尺度ADPM模型，以从多尺度图像中学习互补信息。我们的实验已经进行了使用两个广泛使用的遥感图像数据库，结果表明，该方法显着提高了性能相比，其他国家的最先进的方法。
2016-11-11 cs.CV
Sketch-based 3D Shape Retrieval using Convolutional Neural Networks
NICTA（澳大利亚国家信息与通信技术研究院）；ANU（澳大利亚国立大学）；University of Maryland at College Park（马里兰大学帕克分校）
从二维人体草图中检索三维模型在图形学、图像检索和计算机视觉等领域受到了广泛的关注。几乎总是在现有技术的方法中，为3D模型计算大量的“最佳视图”，希望查询草图使用预定义的特征与3D模型的这些2D投影之一匹配。我们认为，这两个阶段的方法（视图选择-匹配）是务实的，但也有问题，因为“最佳视图”是主观和模糊的，这使得匹配的输入模糊。匹配的这种不精确性质进一步使得手动选择特征具有挑战性。而不是依赖于难以捉摸的概念“最佳视图”和手工制作的功能，我们建议使用极简主义的方法来定义我们的意见，并学习草图和视图的功能。具体来说，我们大大减少了视图的数量，只有两个预定义的方向为整个数据集。然后，我们学习两个连体卷积神经网络（CNN），一个用于视图，一个用于草图。损失函数定义在域内以及跨域的相似性。我们在三个基准数据集上的实验表明，我们的方法明显优于最先进的方法，并且在所有传统指标上都优于它们。
2015-04-14 cs.CV
Combining the Best of Convolutional Layers and Recurrent Layers: A Hybrid Network for Semantic Segmentation
Facebook（脸书）；Google（谷歌）；The University of Hong Kong（香港大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
语义分割的最新成果是由全卷积神经网络（FCN）建立的。FCS依赖于级联的卷积层和池化层来逐渐扩大神经元的感受野，从而以间接的方式对远程上下文依赖性进行建模。在这项工作中，我们提倡使用空间递归层（即ReNet层），它直接捕获全局上下文并导致改进的特征表示。我们通过构建一个朴素的深度ReNet（N-ReNet）来证明ReNet层的有效性，该ReNet在斯坦福背景数据集上实现了具有竞争力的性能。此外，我们将ReNet层与FCNs集成，并开发了一种新的混合深度ReNet（H-ReNet）。它具有一些显着的特性，包括全图像感受野，端到端训练和高效的网络执行。在PASCAL VOC 2012基准测试中，H-ReNet将最先进的分段、CRFasRNN和DeepParsing方法的结果分别提高了3.6%、2.3%和0.2%，并在20个对象类中的13个实现了最高的IoU。
2016-03-15 cs.CV
Selective Convolutional Network: An Efficient Object Detector with Ignoring Background
Huazhong University of Science and Technology（华中科技大学）
众所周知，注意力机制可以有效地提高包括对象检测器在内的许多CNN的性能。而不是精炼特征图preferably，我们减少了令人望而却步的计算复杂性的一种新颖的尝试注意。因此，我们引入了一种高效的对象检测器，称为选择性卷积网络（SCN），它只选择性地计算包含有意义和有益信息的位置。该算法的基本思想是将不重要的背景区域排除在外，从而有效地降低了特征提取的计算量。为了解决这个问题，我们设计了一个精心设计的结构，可以忽略不计的开销来指导网络下一步去哪里。它是端到端可训练的，易于嵌入。在没有额外分割数据集的情况下，我们探索了两种不同的训练策略，包括直接监督和间接监督。大量的实验评估PASCAL VOC 2007和MS COCO检测数据集的性能。结果表明，SSD和Pelee与我们的方法相结合，平均减少了1/5和1/3的范围内的计算精度略有损失，证明SCN的可行性。
2020-02-04 cs.CV
Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches
Faculty of Computer and Information Science（计算机与信息科学学院）；University of Ljubljana（卢布尔雅那大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了一种方法，用于提取深度信息的纠正图像对。我们的方法侧重于许多立体声算法的第一阶段：匹配成本计算。我们通过学习一个小的图像补丁使用卷积神经网络的相似性度量的问题。训练进行监督的方式，通过构建一个二进制分类数据集与相似和不相似的补丁对的例子。我们为此任务研究了两种网络架构：一种是为了速度而调整，另一种是为了准确性。卷积神经网络的输出用于初始化立体匹配成本。一系列后处理步骤如下：基于交叉的成本聚合，半像素匹配，左右一致性检查，子像素增强，中值滤波和双边滤波。我们在KITTI 2012，KITTI 2015和Middlebury立体声数据集上评估了我们的方法，并表明它在所有三个数据集上都优于其他方法。
2016-05-18 cs.CV cs.LG cs.NE
A Structure-Aware Method for Direct Pose Estimation
University of Kentucky（肯塔基大学）；DZYNE Technologies（DZYNE技术公司）
从单幅图像中估计摄像机的姿态是计算机视觉中的一个基本问题。解决这个问题的现有方法分为两个不同的类别，我们称之为直接和间接。直接方法，如PoseNet，从图像中回归姿态作为固定函数，例如使用前馈卷积网络。这样的方法是可取的，因为它们是确定性的，并在恒定的时间内运行。姿势回归的间接方法通常是不确定的，具有各种外部依赖性，例如图像检索和假设采样。我们提出了一种直接的方法，从基于结构的方法的灵感，将明确的3D约束到网络。我们的方法保持了其他直接方法的理想品质，同时实现了更低的误差。
2020-12-22 cs.CV
DA$^{\textbf{2}}$-Net : Diverse & Adaptive Attention Convolutional Neural Network
标准卷积神经网络（CNN）设计很少关注明确捕获不同特征以增强网络性能的重要性。相反，大多数现有的方法都采用间接的方法来增加或调整网络的深度和宽度，这在许多情况下会显着增加计算成本。受生物视觉系统的启发，我们提出了一种多样的自适应注意力卷积网络（DA $^{2}$ -Net），它使任何前馈CNN都能够显式地捕获不同的特征，并自适应地选择和强调信息量最大的特征，以有效地提高网络的性能。DA $^{2}$ -Net产生的计算开销可以忽略不计，它被设计成可以很容易地与任何CNN架构集成。我们在基准数据集上广泛评估了DA $^{2}$ -Net，包括CIFAR 100，SVHN和ImageNet，以及各种CNN架构。实验结果表明，DA $^{2}$ -Net提供了一个显着的性能改善，非常小的计算开销。
2021-11-25 cs.AI cs.CV
Convolutional Hashing for Automated Scene Matching
Castle Global, Inc.
我们提出了一个强大的新的损失函数和训练计划学习二进制哈希函数。特别是，我们证明了我们的方法，首次创建一个神经网络，优于国家的最先进的Haar小波和颜色布局描述符在自动场景匹配的任务。通过准确地将网络输出流形上的距离与汉明空间中的距离相关联，我们实现了非平凡假阳性率降低100倍，真阳性率显着提高。我们希望我们的见解为应用于其他信息检索哈希任务的哈希模型提供巨大的胜利。
2018-02-09 cs.CV cs.IR stat.ML
Channel redundancy and overlap in convolutional neural networks with channel-wise NNK graphs
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Southern California（南加州大学）
卷积神经网络（CNN）深层的特征空间通常是非常高维的，难以解释。然而，卷积层由多个通道组成，这些通道由不同类型的输入激活，这表明通过研究通道以及它们之间的关系可以获得更多的见解。在本文中，我们首先从理论上分析通道非负核（CW-NNK）回归图，这使我们能够量化通道之间的重叠，并间接地量化数据表示流形的内在维度。我们发现，通道之间的冗余是显着的，并在训练过程中随层深度和正则化水平而变化。此外，我们观察到最后一个卷积层中的信道重叠与泛化性能之间存在相关性。我们的实验结果表明，这些技术可以导致更好地理解深度表示。
2021-10-18 cs.CV cs.LG
CAE-LO: LiDAR Odometry Leveraging Fully Unsupervised Convolutional Auto-Encoder for Interest Point Detection and Feature Description
Wuhan University（武汉大学）；Finnish Geospatial Research Institute（芬兰地理空间研究所）；Hubei University of Technology（湖北工业大学）
LiDAR测距作为3D测绘、自动驾驶和机器人导航中的重要技术，仍然是一项具有挑战性的任务。适当的数据结构和无监督的深度学习是实现易于调整的高性能LiDAR测距解决方案的关键。利用紧凑的2D结构球环投影模型和保持输入数据原始形状的体素模型，提出了一种完全无监督的基于卷积自动编码器的LiDAR测距方法（CAE-LO），该方法利用2D CAE从球环数据中检测兴趣点，利用3D CAE从多分辨率体素模型中提取特征。本文的主要贡献有：1）基于KITTI数据集的实验表明，本文的兴趣点能够捕捉到更多的局部细节，提高了非结构化场景下的匹配成功率，在匹配内点比率方面，本文的特征比现有的特征高出50%以上; 2）提出了一种基于匹配对转移的关键帧选择方法，基于来自球面环的扩展兴趣点的用于关键帧的里程计细化方法，以及后向姿态更新方法。里程计精化实验验证了所提思想的可行性和有效性。
2020-10-31 cs.CV
GCCN: Global Context Convolutional Network
RMIT University（皇家墨尔本理工大学）
在本文中，我们提出了全局上下文卷积网络（GCCN）的视觉识别。GCCN计算表示跨图像块的上下文信息的全局特征。这些全局上下文特征被定义为每个补丁中具有高视觉锐度的局部最大值像素。然后将这些特征连接并用于增强卷积特征。学习的特征向量使用全局上下文特征使用Frobenius范数进行归一化。这种简单的方法实现了与最先进的方法相比的高准确性，在CIFAR-10和STL-10数据集上分别为94.6%和95.41%。为了探索GCCN对其他视觉表示任务的潜在影响，我们将GCCN作为Few-Shot图像分类的基础模型。我们学习增强特征向量与其原型表示之间的度量距离，类似于原型和匹配网络。GCCN优于最先进的少样本学习方法，在Omniglot、MiniImageNet和CUB-200上分别达到99.9%、84.8%和80.74%。在不同的少样本学习场景中，GCCN显著提高了最先进的原型和匹配网络的准确性，最高可达30%。
2021-10-22 cs.CV
A Hierarchical Matcher using Local Classifier Chains
Computational Biomedicine Lab（计算生物医学实验室）
本文主要研究在不改变网络结构的情况下，提高当前卷积神经网络在视觉识别中的性能。提出了一种分层匹配器，该匹配器在所有类标签上的一个全局神经网络之后构建局部二进制神经网络链，称为基于局部分类器链的卷积神经网络（LCC-CNN）。每个样本的签名分为两个分量：基于全局网络的全局分量;基于局部二进制网络的局部分量。局部网络是基于由相似矩阵和混淆矩阵创建的标签对构建的。在匹配过程中，每个样本通过一个全局网络和一个局部网络链，以获得其最终匹配，以避免错误传播。建议的匹配器已与图像识别，字符识别和人脸识别数据集进行了评估。实验结果表明，与仅使用全局深度网络的方法相比，该匹配器具有更好的性能。与UR 2D系统相比，UHDB 31数据集和IJB-A数据集的精度分别提高了1%和0.17%。
2018-05-07 cs.CV
STNReID : Deep Convolutional Networks with Pairwise Spatial Transformer Networks for Partial Person Re-identification
Zhejiang University（浙江大学）；Beijing Research Institute of Megvii Inc（旷视科技北京研究院）
部分人重新识别（ReID）是一个具有挑战性的任务，因为只有部分信息的人的图像可用于匹配目标人。很少有研究，特别是关于深度学习的研究，专注于将部分人物图像与整体人物图像进行匹配。该研究提出了一种新的基于成对空间Transformer网络（STNReID）的深度部分ReID框架，该框架可以在现有的整体人数据集上进行训练。STNReID包括空间Transformer网络（STN）模块和ReID模块。仿射模块从整体图像中采样仿射图像（语义上对应的补丁）以匹配部分图像。ReID模块提取整体、部分和仿射图像的特征。在STNReID模块和ReID模块之间观察到竞争（或对抗），并且应用两阶段训练来获得部分ReID的强STNReID。实验结果表明，我们的STNReID在部分ReID和部分iLIDS数据集上分别获得了66.7%和54.6%的rank-1准确率。这些值与用最先进的方法获得的值相当。
2020-01-07 cs.CV
The Perfect Match: 3D Point Cloud Matching with Smoothed Densities
ETH Zurich（苏黎世联邦理工学院）
我们提出了3DSmoothNet，这是一个完整的工作流程，可以使用体素化平滑密度值（SDV）表示来匹配具有连体深度学习架构和完全卷积层的3D点云。后者是按兴趣点计算的，并与局部参考系（LRF）对齐，以实现旋转不变性。我们的紧凑，学习，旋转不变的3D点云描述符在3DMatch基准数据集上实现了94.9%的平均召回率，比最先进的32个输出维度高出20%以上。这种非常低的输出维度允许在标准PC上以每个特征点0.1 ms进行近实时对应搜索。我们的方法是传感器和场景感知的，因为SDV，LRF和学习具有完全卷积层的高度描述性特征。我们发现，仅在建筑物的RGB-D室内场景上训练的3DSmoothNet在室外植被的激光扫描上实现了79.0%的平均召回率，是我们最接近的基于学习的竞争对手的两倍多。代码、数据和预训练模型可在https://github.com/zgojcic/3DSmoothNet上在线获取。
2019-12-02 cs.CV
Matching High-Dimensional Geometric Quantiles for Test-Time Adaptation of Transformers and Convolutional Networks Alike
Computer Science and Information Systems（计算机科学与信息系统）
本文提出了一种架构无关的测试时适应方法，通过匹配高维几何分位数来纠正分布偏移，适用于卷积网络和变换器等通用架构。
2026-01-16 cs.CV cs.LG
Learning to Discover Reflection Symmetry via Polar Matching Convolution
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
反射对称检测的任务仍然具有挑战性，由于显着的变化和模糊的对称模式在野外。此外，由于局部区域需要在反射中匹配以检测对称模式，因此标准卷积网络很难学习该任务，因为标准卷积网络与旋转和反射不是等变的。为了解决这个问题，我们引入了一种新的卷积技术，称为极坐标匹配卷积，它利用了极坐标特征池，自相似编码和不同角度轴的系统内核设计。提出的高维核卷积网络有效地学习从真实世界的图像中发现对称模式，克服了标准卷积的局限性。此外，我们提出了一个新的数据集，并引入了一个自监督学习策略，通过合成图像来增强数据集。实验表明，我们的方法优于国家的最先进的方法在准确性和鲁棒性。
2021-09-03 cs.CV
Magnetic Resonance Fingerprinting Reconstruction via Spatiotemporal Convolutional Neural Networks
Institute for Surgical Technology and Biomechanics, University of Bern（伯尔尼大学外科技术与生物力学研究所）；Medical Imaging Research Center, Dayananda Sagar Institutions（达亚南达·萨加尔机构医学成像研究中心）；Support Center for Advanced Neuroimaging (SCAN), Institute for Diagnostic and Interventional Neuroradiology, Inselspital, Bern University Hospital, University of Bern（伯尔尼大学伯尔尼大学医院因塞尔医院诊断与介入神经放射学研究所高级神经影像支持中心（SCAN））
磁共振指纹（MRF）在单次快速采集中量化多个核磁共振参数。标准MRF使用字典匹配来重建参数化映射，由于计算效率低而缺乏可扩展性。我们建议使用时空卷积神经网络进行MRF地图重建，该网络利用相邻MRF信号演变之间的关系来代替字典匹配。我们评估我们的多参数脑扫描方法，并将其与最近的三种MRF重建方法进行比较。我们的方法实现了国家的最先进的重建精度，并产生定性更有吸引力的地图相比，其他重建方法。此外，与基于字典的方法相比，重建时间显著减少。
2018-07-24 cs.CV
Two-Stream Convolutional Networks for Dynamic Texture Synthesis
York University（约克大学）；Ryerson University（瑞尔森大学）
本文介绍了一种用于动态纹理合成的双流模型。我们的模型基于预训练的卷积网络（ConvNets），该网络针对两个独立的任务：（i）对象识别，以及（ii）光流预测。给定一个输入动态纹理，来自对象识别ConvNet的滤波器响应的统计数据封装了输入纹理的每帧外观，而来自光流ConvNet的滤波器响应的统计数据对其动态进行建模。为了生成一个新的纹理，随机初始化的输入序列进行优化，以匹配每个流的示例纹理的特征统计。受最近图像风格转移工作的启发，并启用双流模型，我们还应用合成方法将一个纹理的纹理外观与另一个纹理的动态相结合，生成全新的动态纹理。我们表明，我们的方法产生新的，高质量的样本，匹配输入纹理的逐帧外观和时间演变。最后，我们定量评估我们的纹理合成方法与彻底的用户研究。
2018-04-12 cs.CV
Multi-scale Matching Networks for Semantic Correspondence
Fudan University（复旦大学）；Shanghai Key Lab of Intelligent Information Processing（上海市智能信息处理重点实验室）；The University of Hong Kong（香港大学）
在以前的各种工作中，深度特征已经被证明在构建精确的密集语义对应方面是强大的。然而，卷积神经网络的多尺度和金字塔层次尚未被很好地研究以学习用于语义对应的有区别的像素级特征。在本文中，我们提出了一个多尺度匹配网络，是敏感的相邻像素之间的微小语义差异。我们遵循从粗到精的匹配策略，构建了一个自上而下的特征和匹配增强方案，该方案与深度卷积神经网络的多尺度层次结构相结合。在特征增强过程中，尺度内增强通过局部自注意将来自多个层的相同分辨率特征图融合在一起，而跨尺度增强沿着自上而下的层次结构产生更高分辨率的特征图。此外，我们在不同的尺度上学习互补的匹配细节，从而使整体的匹配分数逐渐被不同语义层次的特征所细化。我们的多尺度匹配网络可以很容易地进行端到端训练，只需很少的额外可学习参数。实验结果表明，该方法实现了最先进的性能在三个流行的基准与高计算效率。
2021-08-27 cs.CV
Pyramid Person Matching Network for Person Re-identification
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
在这项工作中，我们提出了一个深度卷积金字塔的人匹配网络（PPMN）与专门设计的金字塔匹配模块，以解决人的重新识别的问题。该架构将一对RGB图像作为输入，并输出指示两个输入图像是否表示同一个人的相似度值。该方法基于深度卷积神经网络，首先学习具有语义成分感知特征的区分性语义表示，然后采用金字塔匹配模块匹配人的公共语义成分，该模块对空间尺度变化和视点变化造成的位置错位具有鲁棒性。上述两个过程通过统一的端到端深度学习方案进行联合优化。在几个基准数据集上的大量实验证明了我们的方法对最先进的方法的有效性，特别是在rank-1识别率上。
2018-03-07 cs.CV
Fast Deep Stereo with 2D Convolutional Processing of Cost Signatures
Swarthmore College（斯沃斯莫尔学院）；Washington University in St. Louis（圣路易斯华盛顿大学）
现代基于神经网络的算法能够从立体图像对产生高度准确的深度估计，几乎与来自更昂贵的深度传感器的测量的可靠性相匹配。然而，这种准确性伴随着更高的计算成本，因为这些方法使用被设计为计算和处理所有位置处的所有候选匹配的匹配分数的网络架构，其中浮点计算在具有对应于空间和视差两者的维度的匹配体积上重复。这导致处理每个图像对的运行时间更长，使得它们在机器人和自动驾驶汽车中的实时使用变得不切实际。我们提出了一种新的立体声算法，采用了更有效的网络架构。我们的方法使用计算速度快的传统匹配成本构建初始匹配成本量，并训练网络从该量中估计差异。至关重要的是，我们的网络只采用每像素和二维卷积操作：将每个位置的匹配信息总结为低维特征向量，并在空间上处理这些“成本签名”特征以产生密集的视差图。KITTI基准测试的实验结果表明，我们的方法提供了竞争力的准确性，在显着更高的速度-在现代GPU上以每秒48帧的速度运行。
2019-03-08 cs.CV cs.RO
Binarizing Sparse Convolutional Networks for Efficient Point Cloud Analysis
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
在本文中，我们提出了一种称为BSC-Net的二进制稀疏卷积网络，用于高效的点云分析。我们经验地观察到稀疏卷积操作比标准卷积导致更大的量化误差。然而，传统的网络量化方法在稀疏卷积中直接二值化权重和激活，由于显著的量化损失而导致性能下降。相反，我们搜索卷积运算的最佳子集，在各个位置激活稀疏卷积以减轻量化误差，并且实值和二进制稀疏卷积网络之间的性能差距在没有复杂度开销的情况下被关闭。具体来说，我们首先提出了移位稀疏卷积，融合的信息在感受野的活性位点，匹配预定义的位置。然后采用可微搜索策略，在移位稀疏卷积中寻找最优的活性位点匹配，量化误差明显减小，从而提高了点云分析的效率。为了公平地评估所提出的方法，我们根据经验选择了有利于稀疏卷积网络二值化的最新进展来构建一个强大的基线。在Scan-Net和NYU Depth v2上的实验结果表明，我们的BSC-Net在我们的srtong基线上取得了显着的改进，并且在二值化稀疏卷积网络时没有额外的计算开销的情况下，性能明显优于最先进的网络二值化方法。
2023-03-27 cs.CV
Homography Estimation with Convolutional Neural Networks Under Conditions of Variance
Purdue University（普渡大学）
平面单应性估计是许多计算机视觉问题的基础，例如同时定位与地图构建（SLAM）和增强现实（AR）。然而，高方差的条件甚至混淆了最先进的算法。在这份报告中，我们分析了最近发表的两种方法的性能，使用卷积神经网络（CNN），旨在取代更传统的基于特征匹配的方法来估计单应性。我们对基于CNN的方法的评估特别关注在显著噪声、照明移位和遮挡的条件下测量性能。我们还测量了在不同程度的噪声下训练CNN的好处。此外，我们还比较了使用彩色图像而不是灰度图像作为CNN输入的效果。最后，我们将结果与使用SIFT，SURF和ORB的基于基线特征匹配的单应性估计方法进行比较。我们发现，CNN可以被训练成对噪声更鲁棒，但在无噪声的情况下，准确性的代价很小。此外，CNN在极端方差条件下的表现明显优于基于特征匹配的同行。关于颜色输入，我们得出结论，在CNN架构没有改变以利用颜色平面中的附加信息的情况下，使用颜色输入或灰度输入的性能差异可以忽略不计。关于用噪声损坏的输入训练的CNN，我们表明，将CNN训练到特定的噪声幅度会导致CNN性能最好的噪声水平的“金发区”。
2020-10-22 cs.CV
Device-based Image Matching with Similarity Learning by Convolutional Neural Networks that Exploit the Underlying Camera Sensor Pattern Noise
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）；Universidad de León（莱昂大学）
数字图像取证中的挑战性问题之一是识别由同一相机设备捕获的图像的能力。这些知识可以帮助法医专家通过分析数字图像来收集有关嫌疑人的情报。在本文中，我们提出了一个由两部分组成的网络来量化给定的一对图像具有相同源相机的可能性，并且我们在包含来自31个不同相机的1851张图像的基准Dresden数据集上对其进行了评估。据我们所知，我们是第一个解决基于设备的图像匹配挑战的公司。虽然所提出的方法还没有做好取证准备，但我们的实验表明，这个方向值得追求，目前达到了85%的准确率。这项正在进行的工作是欧盟资助的项目4NSEEK的一部分，该项目涉及对儿童性虐待的法医学。
2020-04-23 cs.CV eess.IV
Iris Verification with Convolutional Neural Network and Unit-Circle Layer
Czech Technical University（捷克理工大学）；Microsoft Development Center Serbia（微软塞尔维亚开发中心）
我们提出了一种新的卷积神经网络来验证两个归一化图像之间的虹膜匹配。该网络经过端到端的训练，并在三个公开可用的数据集上进行验证，从而针对四种基线方法产生最先进的结果。该网络在CASIA.v4数据集上的表现比最先进的方法好10%。在网络中，我们使用了一个新的单元圈层，取代了一个共同的虹膜验证流水线中的Gabor过滤步骤。我们表明，该层将模型的性能提高了15%，对以前看不到的数据。
2019-09-17 cs.CV
Semi-Supervised Semantic Matching
Aalto University（阿尔托大学）
卷积神经网络（CNN）已成功地应用于解决语义相关图像之间的对应性估计问题。由于无法获得大规模的训练数据集，现有的方法采用自监督或无监督的训练范式。在本文中，我们提出了一个半监督学习框架，施加循环一致性约束的未标记的图像对。与监督损失一起，所提出的模型在基准语义匹配数据集上达到了最先进的水平。
2019-01-24 cs.CV
Convolutional Neural Networks for Aerial Vehicle Detection and Recognition
West Virginia University（西弗吉尼亚大学）；University of Liverpool（利物浦大学）
本文研究了使用文本引导的深度卷积神经网络分类器进行飞行器识别的问题。该网络接收航空图像和所需类别，并通过匹配图像和所需类别的文本描述来进行是或否输出。我们训练和测试我们的模型上合成的航空数据集和我们所需的类组成的类类型和颜色的车辆的组合。当在测试中考虑比训练中更多的类时，这种策略会有所帮助。
2018-08-26 cs.CV
Patch Craft: Video Denoising by Deep Modeling and Patch Matching
The Technion（以色列理工学院）；Google Research（谷歌研究院）
自然图像的非局部自相似特性已被广泛地用于解决各种图像处理问题。当涉及到视频序列时，由于时间冗余，利用这种力量甚至更有益。在图像和视频去噪的背景下，许多面向经典的算法采用自相似性，将数据分成重叠的补丁，收集相似的数据组并以某种方式将它们处理在一起。随着卷积神经网络（CNN）的出现，基于补丁的框架已经被抛弃。大多数CNN去噪器对整个图像进行操作，仅通过使用大的接收场来隐式地利用非局部关系。这项工作提出了一种新的方法，用于在视频去噪的背景下利用自相似性，同时仍然依赖于常规的卷积架构。我们介绍了一个概念的补丁工艺帧-人工帧，是类似于真正的，建立平铺匹配补丁。我们的算法用补丁工艺帧来增强视频序列，并将它们馈送到CNN。我们证明了所提出的方法获得的去噪性能的大幅提升。
2021-10-30 cs.CV
Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis
Johannes Gutenberg University（约翰内斯·古腾堡大学）
本文研究了生成马尔可夫随机场（MRF）模型和区分训练的深度卷积神经网络（dCNN）的组合，用于合成2D图像。生成MRF作用于dCNN特征金字塔的更高级别，在抽象级别控制图像布局。我们将该方法应用于摄影和非照片真实感（艺术品）合成任务。MRF正则化器可防止过度激励伪影，并减少先前dCNN反演方法中常见的不可信特征混合，从而允许合成具有更高视觉可扩展性的摄影内容。与标准的基于MRF的纹理合成不同，组合系统可以匹配和适应具有相当大的可变性的局部特征，产生的结果远远超出了经典的生成MRF方法。
2016-01-18 cs.CV
Enabling Efficient Deep Convolutional Neural Network-based Sensor Fusion for Autonomous Driving
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
自动驾驶需要准确的感知和安全的决策。为了实现这一点，自动化车辆现在配备有多个传感器（例如，相机、激光雷达等），使他们能够通过融合来自不同传感模式的数据来利用互补的环境背景。随着深度卷积神经网络（DCNN）的成功，DCNN之间的融合已被证明是一种有前途的策略，以达到令人满意的感知精度。然而，现有的主流DCNN融合方案通过在各个阶段直接将从不同模态提取的特征图逐元素添加在一起来进行融合，而没有考虑被融合的特征是否匹配。因此，我们首先提出了一个特征视差度量，以定量地衡量融合的特征图之间的特征视差的程度。然后，我们提出融合滤波器作为一种特征匹配技术，以解决特征不匹配的问题。我们还提出了一个层共享技术在深层，可以实现更好的精度与更少的计算开销。再加上特征差异的帮助，我们提出的技术使DCNN能够从不同的模态中学习具有相似特征和互补视觉上下文的相应特征图，以实现更好的准确性。实验结果表明，我们提出的融合技术可以达到更好的精度KITTI数据集与较少的计算资源的需求。
2022-02-22 cs.CV
