Potential Convolution: Embedding Point Clouds into Potential Fields
National University of Defense Technology（国防科技大学）；Technical University of Munich（慕尼黑工业大学）；HKUST（香港科技大学）
近年来，各种基于连续或离散核函数的卷积算法在点云处理中得到了广泛的研究，并在形状分类、场景分割等应用中取得了令人瞩目的效果，但仍存在一些不足。对于连续核，核权值的不准确估计是进一步提高性能的瓶颈;而对于离散核，核表示为位于3D空间中的点，缺乏丰富的几何信息。在这项工作中，我们没有定义一个连续或离散的内核，而是直接将卷积内核嵌入到可学习的势场中，从而产生了势卷积。为势卷积定义了各种势函数，使势卷积具有很好的推广性。具体来说，我们通过逐点卷积运算提供了两个简单而有效的势函数。综合实验表明，我们的方法的有效性，它实现了优越的性能上流行的三维形状分类和场景分割基准相比，其他国家的最先进的点卷积方法。
2021-04-05 cs.CV
ShellNet: Efficient Point Cloud Convolutional Neural Networks using Concentric Shells Statistics
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Tokyo（东京大学）；Hong Kong University of Science and Technology（香港科技大学）
自卷积神经网络引入以来，3D数据的深度学习取得了显著进展，该网络可以处理点云数据中的点顺序模糊性。虽然能够在各种场景理解任务中实现良好的精度，但以前的方法通常具有低的训练速度和复杂的网络架构。在本文中，我们通过提出一种用于点云深度学习的高效端到端置换不变卷积来解决这些问题。我们简单而有效的卷积算子ShellConv使用同心球壳的统计数据来定义代表性特征并解决点序模糊性，从而允许传统卷积对此类特征执行。在ShellConv的基础上，我们进一步构建了一个高效的神经网络ShellNet，直接消耗具有较大感受野的点云，同时保持较少的层。我们通过在对象分类、对象部分分割和语义场景分割上产生最先进的结果，同时保持网络非常快速地进行训练，来展示ShellNet的功效。
2019-08-17 cs.CV
Classification of Point Cloud Scenes with Multiscale Voxel Deep Network
Mines ParisTech（巴黎高等矿业学院）；PSL Research University（巴黎文理研究大学）；Centre for Robotics（机器人中心）
在这篇文章中，我们描述了一种新的卷积神经网络（CNN）来分类城市或室内场景的3D点云。给出了解决方案的工作场景点云遇到的问题，并描述了一个网络，允许点分类只使用在多尺度邻域中的点的位置。在简化的8 Semantic3D基准上[Hackel等人，2017]，这个网络排名第二，击败了点分类方法的最新技术（那些不使用正则化步骤的方法）。
2018-04-10 cs.CV
Efficient Continuous Group Convolutions for Local SE(3) Equivariance in 3D Point Clouds
TU Wien（维也纳工业大学）
针对3D场景点云SE(3)等变卷积计算复杂的问题，提出基于一般群卷积和局部参考帧的高效连续局部SE(3)等变卷积层，在不增加参数的情况下提升表达能力，且在多任务多数据集上性能优异、计算开销小。
2025-02-11 cs.CV
DAR-Net: Dynamic Aggregation Network for Semantic Scene Segmentation
Purdue University（普渡大学）
传统的基于网格/邻域的静态池已经成为点云几何分析的一个限制。在本文中，我们提出了DAR-Net，这是一种新型网络架构，专注于动态特征聚合。DAR-Net的核心思想是生成一个自适应池化骨架，该骨架同时考虑场景复杂度和局部几何特征。骨架提供可变的半局部感受野和权重，作为连接局部卷积特征提取器和全局递归特征集成器的桥梁。室内场景数据集上的实验结果表明，所提出的方法相比，采用静态池化方法的最先进的架构的优势。
2019-12-26 cs.CV cs.LG
2D-3D Geometric Fusion Network using Multi-Neighbourhood Graph Convolution for RGB-D Indoor Scene Classification
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
多模态融合已被证明有助于提高场景分类任务的性能。本文提出了一个二维-三维融合阶段，结合三维几何特征和二维纹理特征获得的二维卷积神经网络。为了获得鲁棒的3D几何嵌入，提出了一种使用两个新层的网络。第一层，多邻域图卷积，旨在学习场景的更鲁棒的几何描述符，该描述符结合了两个不同的邻域：一个在欧几里得空间中，另一个在特征空间中。第二层，最近的体素池，提高了性能的著名的体素池。在NYU-Depth-V2和SUN RGB-D数据集上的实验结果表明，该方法在RGB-D室内场景分类任务中的性能优于当前最先进的方法。
2021-05-27 cs.AI cs.CV
A New Lightweight Hybrid Graph Convolutional Neural Network -- CNN Scheme for Scene Classification using Object Detection Inference
Paris-Saclay University（巴黎-萨克雷大学）；Sorbonne Paris Nord University（索邦巴黎北大学）；NTNU University（挪威科技大学）
提出轻量级混合图卷积神经网络- CNN框架，利用目标检测输出生成图表示进行场景分类，在COCO派生数据集上效率超90%且参数更少。
2024-07-19 cs.AI cs.CV
DeepSSN: a deep convolutional neural network to assess spatial scene similarity
Beijing University of Chemical Technology（北京化工大学）；Chinese Academy of Sciences（中国科学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of South Florida（南佛罗里达大学）
空间查询草图是一个直观的工具，探索人类的地理环境的空间知识，并支持场景数据库查询的通信。然而，传统的基于草图的空间搜索方法表现不够，由于他们无法找到隐藏的多尺度地图功能从心理草图。在这项研究中，我们提出了一种深度卷积神经网络，即深度空间场景网络（DeepSSN），以更好地评估空间场景相似性。在DeepSSN中，设计了三元组损失函数作为综合距离度量来支持相似性评估。在空间推理中使用定性约束网络的正例和反例挖掘策略，旨在确保在训练过程中不断增加三元组的区别。此外，我们开发了一个原型空间场景搜索系统使用建议的DeepSSN，其中用户通过草图输入空间查询和系统可以自动增加草图训练数据。该模型使用多源合并地图数据进行验证，其中包括数据增强后的131，300个标记场景样本。实证结果表明，DeepSSN使用平均倒数秩和精度指标优于基线方法，包括k-最近邻，多层感知器，AlexNet，DenseNet和ResNet。该研究通过引入一种针对空间场景查询的新型深度学习方法来推进地理信息检索研究。
2022-02-07 cs.AI cs.CV
Multiple instance dense connected convolution neural network for aerial image scene classification
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）；Faculty of Information Engineering, China University of Geosciences（中国地质大学（武汉）信息工程学院）
随着深度学习的发展，许多最先进的自然图像场景分类方法已经表现出令人印象深刻的性能。当前的卷积神经网络倾向于提取场景中的全局特征和全局语义信息，而地理空间对象可以位于航拍图像场景中的任何位置，并且它们的空间布置趋于复杂。一种可能的解决方案是保留更多的本地语义信息并增强特征传播。提出了一种端到端的多实例稠密连接卷积神经网络（MIDCCNN）用于航空影像场景分类。首先，建立一个23层的稠密连接卷积神经网络（DCCNN），并作为骨干提取卷积特征。它能够保持中低层卷积特征。然后，提出了一种基于注意力的多实例池，以突出航空图像场景中的局部语义。最后，我们最大限度地减少袋级预测和地面真值标签之间的损失，以便可以直接训练整个框架。在三个航空图像数据集上的实验表明，我们提出的方法可以大大优于当前基线。
2019-08-22 cs.CV
Industrial Scene Change Detection using Deep Convolutional Neural Networks
Veunex Company（Veunex公司）
在特殊护理应用中，根据在不同时间属于同一场景的两幅图像中的对象的存在或移除来发现和定位两个场景中的概念变化具有重要意义。这主要是因为在某些环境中添加或删除重要对象可能是有害的。因此，有必要设计一个程序，使用机器视觉定位这些差异。这个问题最重要的挑战是光照条件的变化和场景中阴影的存在。因此，所提出的方法必须能够抵抗这些挑战。本文介绍了一种基于深度卷积神经网络的迁移学习方法，该方法采用智能数据合成过程进行训练。该方法的结果在为此目的提供的数据集上进行了测试和呈现。结果表明，该方法是更有效的比其他方法，可以用于各种实际的工业环境。
2022-12-29 cs.AI cs.CV cs.LG
Residual Attention Graph Convolutional Network for Geometric 3D Scene Classification
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
几何3D场景分类是一个非常具有挑战性的任务。当前的方法仅使用RGB-D传感器提供的深度通道来提取几何信息。这些类型的方法由于在深度通道中丢失局部几何上下文而引入可能的误差。这项工作提出了一种新的剩余注意力图卷积网络，利用内在的几何上下文内的3D空间，而不使用任何类型的点特征，允许使用有组织或无组织的3D数据。在NYU Depth v1和SUN-RGBD数据集上进行了实验，研究了不同的配置，并验证了所提方法的有效性。实验结果表明，该方法优于当前国家的最先进的几何三维场景分类任务。
2019-09-30 cs.CV
Convolutional Patch Networks with Spatial Prior for Road Detection and Urban Scene Understanding
Friedrich Schiller University of Jena（耶拿弗里德里希·席勒大学）
对单个图像块进行分类在许多不同的应用中是重要的，例如道路检测或场景理解。在本文中，我们提出了卷积补丁网络，这是一种学习来区分不同图像补丁的卷积网络，可用于逐像素标记。我们还展示了如何将补丁的空间信息作为网络的输入，这允许学习空间先验的某些类别与外观模型。特别是，我们专注于道路检测和城市场景理解，这两个应用领域，我们能够在KITTI以及LabelMeFacade数据集上实现最先进的结果。此外，我们的论文为在该领域工作的人们提供了一个指导方针，并拼命地徘徊在所有令图像补丁训练CN变得非常困难的艰苦细节中。
2015-02-23 cs.CV
Efficient Semantic Scene Completion Network with Spatial Group Convolution
Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）
我们引入了空间群卷积（SGC）来加速3D密集预测任务的计算。SGC与组卷积正交，组卷积作用于空间维度而不是特征通道维度。该算法将输入体素分成不同的组，然后对这些组进行3D稀疏卷积。由于在执行卷积时只考虑有效体素，因此可以显著减少计算量，但精度略有损失。语义场景完成任务，其目的是预测一个完整的3D体积与语义标签从一个单一的深度图像上所提出的操作进行了验证。通过SGC，我们进一步提出了一个高效的3D稀疏卷积网络，它利用了多尺度架构和从粗到细的预测策略。评估是在SUNC数据集上进行的，实现了最先进的性能和快速。代码可在https://github.com/zjhthu/SGC-Release.git上获得
2019-07-11 cs.CV
Anisotropic Convolutional Networks for 3D Semantic Scene Completion
Nanjing University of Science and Technology（南京理工大学）；University of Oxford（牛津大学）；University of Wollongong（伍伦贡大学）；The University of Adelaide（阿德莱德大学）
语义场景补全（SSC）是一种基于体素的标记任务，它试图从单个深度和/或RGB图像中同时推断场景的占用和语义标签。SSC面临的主要挑战是如何有效地利用3D上下文来建模各种形状，布局和可见性严重变化的物体或东西。为了处理这种变化，我们提出了一种称为各向异性卷积的新模块，其灵活性和功能对于标准3D卷积及其一些变体等竞争方法来说是不可能的。与仅限于固定3D感受野的标准3D卷积相比，我们的模块能够对维度各向异性体素进行建模。基本思想是通过将3D卷积分解为三个连续的1D卷积来实现各向异性3D感受野，并且每个这样的1D卷积的核大小在运行中自适应地确定。通过堆叠多个这样的各向异性卷积模块，可以进一步增强逐体素建模能力，同时保持可控量的模型参数。在NYU-Depth-v2和NYUCAD两个SSC基准测试上进行的广泛实验表明，所提出的方法具有优越的性能。我们的代码可在https://waterljwant.github.io/SSC/上获得
2020-04-05 cs.CV
Understand Scene Categories by Objects: A Semantic Regularized Scene Classifier Using Convolutional Neural Networks
Zhejiang University（浙江大学）；The University of Technology, Sydney（悉尼科技大学）
场景分类是当今机器人环境理解的基本感知任务。在本文中，我们试图利用流行的机器学习技术深度学习来增强场景理解，特别是在机器人应用中。由于场景图像比标志性对象图像具有更大的多样性，因此深度学习方法在较少样本的情况下从场景图像中自动学习特征更具挑战性。受人类基于对象知识的场景理解的启发，我们通过鼓励深层神经网络结合对象级信息来解决场景分类问题。这是通过语义分割的正则化来实现的。与250万张图像相比，只有5000张训练图像，我们在公开的SUN RGB-D数据集上展示了所提出的深度架构实现了优于最先进的场景分类结果。此外，语义分割的性能，正则化，也达到了一个新的记录与细化来自预测的场景标签。最后，我们将我们的SUN RGB-D数据集训练的模型应用于移动机器人捕获的图像，对我们大学的场景进行分类，证明了所提出的算法的泛化能力。
2015-09-22 cs.CV
Learning Scene Gist with Convolutional Neural Networks to Improve Object Recognition
Harvard University（哈佛大学）
卷积神经网络（CNN）的进步在实现多个对象识别任务的高性能水平方面取得了重大进展。虽然一些方法利用来自整个场景的信息来提出感兴趣的区域，但是解释特定区域或对象的任务仍然独立于图像中的其他对象和特征来执行。在这里，我们证明了一个场景的“要点”可以显着有助于人类如何识别物体。这些发现与人类在物体上形成中央凹并结合周边信息以帮助识别的概念一致。我们使用生物启发的两部分卷积神经网络（“GistNet”），该网络对中央凹和外围进行建模，以提供原理证明，即计算对象识别可以从场景的要点作为上下文信息中显著受益。我们的模型在某些对象类别中结合上下文要点时，准确性提高了50%，而原始模型大小仅增加了5%。这个模型反映了我们对人类视觉系统如何识别物体的直觉，提出了具体的生物学合理的约束，以改善机器视觉和建立初步步骤的挑战场景理解。
2018-06-09 cs.CV
Deep-Anomaly: Fully Convolutional Neural Network for Fast Anomaly Detection in Crowded Scenes
Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；Di Hub；Iran University of Science and Technology（伊朗科技大学）；Auckland University of Technology（奥克兰理工大学）
在拥挤的场景中检测异常行为必须应对许多挑战。提出了一种有效的视频异常检测和定位方法。使用完全卷积神经网络（FCN）和时间数据，将预训练的监督FCN转换为非监督FCN，以确保检测场景中的（全局）异常。高性能的速度和准确性方面实现了通过调查级联检测作为一个结果，降低计算复杂度。这种基于FCN的架构解决了两个主要任务，特征表示和级联离群值检测。两个基准测试的实验结果表明，该方法的检测和定位的准确性优于现有的方法。
2017-04-30 cs.CV
A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation
University of Freiburg（弗赖堡大学）；Technical University of Munich（慕尼黑工业大学）
最近的工作表明，光流估计可以用公式表示为监督学习任务，并且可以用卷积网络成功地解决。所谓的FlowNet的训练是由一个大型的合成生成的数据集实现的。本文将基于卷积网络的光流估计的概念扩展到视差和场景流估计。为此，我们提出了三个合成立体视频数据集，具有足够的现实主义，变化和大小，成功地训练大型网络。我们的数据集是第一个能够训练和评估场景流方法的大规模数据集。除了数据集之外，我们还提出了一个用于实时视差估计的卷积网络，该网络提供了最先进的结果。通过结合流量和视差估计网络并对其进行联合训练，我们展示了使用卷积网络的第一个场景流量估计。
2015-12-07 cs.CV cs.LG stat.ML
SceneMixer: Exploring Convolutional Mixing Networks for Remote Sensing Scene Classification
College of Engineering（工程学院）；University of Dubai（迪拜大学）；Department of Geography（地理系）；Simon Fraser University（西蒙弗雷泽大学）；Department of Computer Science（计算机科学系）；Tezpur University（泰朱普大学）
SceneMixer通过卷积混合网络提升遥感场景分类的准确性和效率。
2025-12-07 cs.CV
Memory Matters: Convolutional Recurrent Neural Network for Scene Text Recognition
National University of Defense Technology（国防科技大学）
自然场景中的文本识别是一个具有挑战性的问题，因为影响文本外观的因素很多。在本文中，我们提出了一种方法，直接转录场景文本图像的文本，而不需要复杂的字符分割。我们利用深度神经网络的最新进展来模拟具有时间动态的场景文本图像的外观。具体来说，我们集成了卷积神经网络（CNN）和循环神经网络（RNN），这是通过观察两个模型的互补建模能力来实现的。这项工作的主要贡献是调查时间记忆如何帮助在这个特定的问题的分割自由的方式。通过使用长短期记忆（LSTM）块作为隐藏单元，我们的模型可以保留长期记忆，而HSTOM只保持短期状态依赖。我们进行实验街景门牌号码数据集包含高度可变的数字图像。实验结果表明，该方法优于传统的基于HMM的方法。
2016-01-06 cs.CV
Malleable 2.5D Convolution: Learning Receptive Fields along the Depth-axis for RGB-D Scene Parsing
Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
深度数据提供几何信息，可以在RGB-D场景解析任务中带来进展。最近的几项工作提出了RGB-D卷积算子，沿着深度轴构建感受野，以处理像素之间的3D邻域关系。然而，这些方法通过超参数预先定义深度感受野，使得它们依赖于参数选择。在本文中，我们提出了一种新的算子，称为可延展的2.5D卷积学习沿深度轴的感受野。可延展的2.5D卷积具有一个或多个2D卷积内核。我们的方法分配每个像素的内核之一，或没有他们根据其相对的深度差异，和分配过程被制定为一个可微的形式，使它可以通过梯度下降学习。所提出的算子在标准的2D特征图上运行，可以无缝地集成到预先训练的CNN中。我们对两个具有挑战性的RGB-D语义分割数据集NYUDv 2和Cityscapes进行了大量的实验，以验证我们的方法的有效性和泛化能力。
2020-07-18 cs.CV
Attentional Graph Convolutional Network for Structure-aware Audio-Visual Scene Classification
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；McGill University（麦吉尔大学）
视听场景理解是一个具有挑战性的问题，由于非结构化的时空关系，存在于音频信号和空间布局的不同对象和各种纹理模式的视觉图像。近年来，许多研究都集中在从卷积神经网络中提取特征，而对声音信号和视觉图像的显式语义相关帧的学习却被忽视了。为此，我们提出了一个端到端的框架，即注意力图卷积网络（AGCN），结构感知的视听场景表示。首先，声音和输入图像的频谱图通过骨干网络进行特征提取。然后，为了建立输入特征的多尺度层次信息，我们利用注意力融合机制来聚合来自骨干网络的多个层的特征。值得注意的是，为了更好地表示视听输入的显著区域和上下文信息，为视听场景表示构建了显著声学图（SAG）和上下文声学图（CAG）、显著视觉图（SVG）和上下文视觉图（CVG）。最后，构造的图通过图卷积网络进行结构感知的视听场景识别。在音频、视频和视听场景识别数据集上的大量实验结果表明，AGCN方法取得了令人满意的结果。在频谱图和图像上的可视化图形已经被呈现以显示所提出的CAG/SAG和CVG/SVG的有效性，其可以集中于显著和语义相关的区域。
2022-12-31 cs.CV
Automatic Building Extraction in Aerial Scenes Using Convolutional Networks
Oak Ridge National Laboratory（橡树岭国家实验室）
由于建筑物外观变化非常大，从航空和卫星图像中自动提取建筑物具有很大的挑战性。为了解决这个问题，我们设计了一个卷积网络，它的最后一级集成了来自多个前级的激活，用于像素级预测，并引入了建筑边界的符号距离函数作为输出表示，它具有增强的表示能力。我们充分利用地理信息系统（GIS）提供的丰富的建筑物足迹数据来编译训练数据。经过训练的网络在比先前工作中使用的数据集更大、更复杂的数据集上实现了卓越的性能，表明所提出的方法为自动化这项劳动密集型任务提供了一种有前途的可扩展解决方案。
2016-02-21 cs.CV
SA-CNN: Dynamic Scene Classification using Convolutional Neural Networks
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳加尔分校）
近年来，将自然动态场景的视频分类到适当的类中的任务得到了很多关注。当用于捕获视频的相机是动态的时，该问题尤其变得具有挑战性。在本文中，我们分析了统计聚合（SA）技术在各种预训练卷积神经网络（CNN）模型上的性能，以解决这个问题。所提出的方法通过提取视频中的多个帧的CNN激活特征来工作，然后使用聚合方案以获得视频的鲁棒特征描述符。我们通过结果表明，所提出的方法比马里兰州和YUPenn数据集的最先进的性能更好。得到的最终描述符是强大的，足以区分动态场景，甚至能够解决的情况下，相机运动是占主导地位的场景动态是复杂的。此外，本文还对各种聚集方法及其组合的性能进行了广泛的研究。我们比较了所提出的方法与其他动态场景分类算法在两个公开的数据集-马里兰州和YUPenn证明所提出的方法的优越性能。
2015-08-29 cs.CV
Improving Text Proposals for Scene Images with Fully Convolutional Networks
Universitat Autònoma de Barcelona (UAB)（巴塞罗那自治大学）；Computer Vision Centre (CVC)（计算机视觉中心）；Eurecat - Catalunya Technology Center（Eurecat - 加泰罗尼亚技术中心）；University of Florence（佛罗伦萨大学）
文本建议已经作为对象建议的类依赖版本出现-有效的方法来减少图像中可能的文本对象位置的搜索空间。结合强词分类器，文本提案目前在端到端场景文本识别中产生最先进的结果。在本文中，我们对Gomez和Karatzas（2016）的原始文本提案算法进行了改进，将其与全卷积网络相结合，以提高提案的排名。ICDAR RRC和COCO文本数据集的结果显示出优于当前最先进技术的性能。
2017-02-16 cs.CV
Developing efficient transfer learning strategies for robust scene recognition in mobile robotics using pre-trained convolutional neural networks
University of Bayreuth（拜罗伊特大学）
我们提出了四种不同的鲁棒迁移学习和数据增强策略，用于鲁棒的移动场景识别。通过在广泛可用的Event 8，Scene 15，Stanford 40和MIT 67数据集上训练三个移动就绪（EfficientNetB 0，MobileNetV 2，MobileNetV 3）和两个大规模基线（VGG 16，ResNet 50）卷积神经网络架构，我们展示了我们的迁移学习策略的泛化能力。此外，我们测试了我们的迁移学习策略的鲁棒性下的观点和照明变化使用KTH-Idol 2数据库。此外，在不同的迁移学习策略下，推理优化技术的一般性能和鲁棒性的影响进行了评估。实验结果表明，当采用迁移学习时，微调结合广泛的数据增强提高了移动场景识别的整体准确性和鲁棒性。我们使用各种基线卷积神经网络实现了最先进的结果，并在具有挑战性的移动机器人位置识别中显示了对照明和视点变化的鲁棒性。
2021-07-23 cs.CV cs.RO
Kronecker Product Feature Fusion for Convolutional Neural Network in Remote Sensing Scene Classification
Xi'an Institute of Optics and Precision Mechanics of CAS（中国科学院西安光学精密机械研究所）
针对遥感场景分类任务，提出基于克罗内克积的新型特征融合算法KPFF，统一了加法与拼接融合方法并明确反向传播过程，实验验证其可有效提升CNN分类准确率。
2024-01-08 cs.CV cs.LG
Scene Flow to Action Map: A New Representation for RGB-D based Action Recognition with Convolutional Neural Networks
University of Wollongong（卧龙岗大学）；China University of Geosciences（中国地质大学）
场景流描述了真实世界中三维物体的运动，可能是三维动作识别的基础。然而，它用于动作识别，特别是在卷积神经网络（ConvNets）的背景下，以前没有研究过。在本文中，我们提出了从RGB-D数据中提取和使用场景流进行动作识别。以前的工作已经考虑了深度和RGB模态作为单独的通道，并提取特征用于以后的融合。我们采取不同的方法，并考虑作为一个实体的模态，从而允许特征提取的动作识别在开始。提出了利用场景流进行动作识别的两个关键问题：如何组织场景流矢量和如何基于场景流表示视频的长期动态特性。为了在可用数据集上正确计算场景流，我们提出了一种有效的自校准方法，在不知道相机参数的情况下在空间上对齐RGB和深度数据。基于场景流矢量，我们提出了一种新的表示，即场景流动作图（SFAM），描述了几个长期的时空动态动作识别。我们采用一个通道变换核，将场景流向量转换到一个类似RGB的最佳颜色空间。这种转换比ImageNet更好地利用了经过训练的ConvNets模型。实验结果表明，这种新的表示方法在两个大型公共数据集上的性能可以超过最先进的方法。
2017-03-27 cs.CV
Focus-Enhanced Scene Text Recognition with Deformable Convolutions
University of Electronic Science and Technology of China（电子科技大学）
近年来，基于深度学习的场景文本识别方法在计算机视觉领域兴起。现有的方法取得了很好的性能，但不规则文本的识别仍然是具有挑战性的，由于各种形状和扭曲的模式。想想看，在现实世界中阅读文字时，我们通常不会在脑海中纠正它，而是调整我们的焦点和视野。同样，通过利用几何结构可调的可变形卷积层，我们提出了一种增强的识别网络，无需纠正处理不规则文本的步骤。大量的实验已经应用，在公共基准测试的结果证明了我们提出的组件的有效性，并表明我们的方法已经达到令人满意的性能。该代码将很快在https://github.com/Alpaca07/dtr上公开发布。
2019-09-23 cs.CV
CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Beijing University of Posts and Telecommunications（北京邮电大学）
我们提出了一个名为CSRNet的拥挤场景识别网络，以提供一种数据驱动和深度学习方法，可以理解高度拥挤的场景，并执行准确的计数估计，以及呈现高质量的密度图。拟议的CSRNet由两个主要组成部分组成：卷积神经网络（CNN）作为2D特征提取的前端，以及用于后端的扩张的CNN，其使用扩张的内核来提供更大的接收字段并取代池化操作。CSRNet是一个易于训练的模型，因为它具有纯卷积结构。我们在四个数据集（上海科技数据集，UCF_CC_50数据集，WorldEXPO'10数据集和UCSD数据集）上演示了CSRNet，并提供了最先进的性能。在ShanghaiTech Part_B数据集中，CSRNet的平均绝对误差（MAE）比之前的最先进方法低47.3%。我们扩展的目标应用程序计数其他对象，如在TRANCOS数据集的车辆。结果表明，CSRNet显着提高了输出质量，MAE比以前的最先进的方法低15.4%。
2018-04-11 cs.CV
Recurrent Convolutional Neural Networks for Scene Parsing
场景解析是一种技术，它根据图像中的所有像素所属的类别对其进行标记。为了保证良好的视觉一致性和高的类准确性，场景解析器必须捕获图像的长程依赖性。在前馈架构中，这可以简单地通过考虑在要标记的每个像素周围的足够大的输入上下文补丁来实现。我们提出了一种方法，包括一个经常性的卷积神经网络，它允许我们考虑一个大的输入上下文，同时限制了模型的容量。与大多数标准方法相反，我们的方法不依赖于任何分割方法，也不依赖于任何特定于任务的特征。该系统以端到端的方式在原始像素上进行训练，并以低推理成本对复杂的空间依赖性进行建模。当上下文大小随着内置的递归而增加时，系统会识别并纠正自己的错误。我们的方法在斯坦福背景数据集和SIFT流数据集上都具有最先进的性能，同时在测试时保持非常快的速度。
2013-06-12 cs.CV
Depth Not Needed - An Evaluation of RGB-D Feature Encodings for Off-Road Scene Understanding by Convolutional Neural Network
Durham University（杜伦大学）；Institute for Infocomm Research（资讯通信研究所）
自动驾驶车辆的场景理解是一项具有挑战性的计算机视觉任务，卷积神经网络（CNN）的最新进展取得了明显超过现有传统特征驱动方法的结果。然而，有限的工作调查的应用程序，这种方法无论是在高度非结构化的越野环境或RGBD输入数据。在这项工作中，我们采用了一种现有的CNN架构，旨在对城市道路场景的RGB图像进行语义分割，然后对其进行调整和重新训练，以使用在一系列具有挑战性的越野条件下获得的多通道RGBD图像执行相同的任务。我们比较了两种不同的立体匹配算法和五种不同的编码深度信息的方法，包括视差，局部法线方向和HHA（水平视差，地平面以上的高度，与重力的角度），以创建我们的数据集的总共十个实验变化，其中每一个都用于训练和测试CNN，以便可以对使用标准RGB输入训练的CNN评估分类性能。
2018-01-04 cs.CV
Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring
Seoul National University（首尔国立大学）
一般动态场景的非均匀盲去模糊是一个具有挑战性的计算机视觉问题，因为模糊不仅来自多个目标的运动，而且来自相机抖动、场景深度变化。为了去除这些复杂的运动模糊，传统的基于能量优化的方法依赖于简单的假设，使得模糊核是部分均匀的或局部线性的。此外，最近的基于机器学习的方法也依赖于在这些假设下生成的合成模糊数据集。这使得传统的去模糊方法无法去除模糊核难以近似或参数化的模糊（例如，对象运动边界）。在这项工作中，我们提出了一种多尺度卷积神经网络，它以端到端的方式恢复清晰的图像，其中模糊是由各种来源引起的。同时，我们提出了多尺度损失函数，模仿传统的粗到细的方法。此外，我们提出了一个新的大规模的数据集，提供对现实的模糊图像和相应的地面真实锐利的图像，由高速相机获得。通过在该数据集上训练所提出的模型，我们实证地证明了我们的方法不仅在定性上而且在定量上实现了动态场景去模糊的最新性能。
2018-05-07 cs.CV
Joint Spatial and Layer Attention for Convolutional Networks
University of Ontario Institute of Technology（安大略理工大学）；Ryerson University（瑞尔森大学）
在本文中，我们提出了一种新的方法，该方法学习顺序地关注不同的卷积神经网络（CNN）层（即，“什么”特征抽象要注意）和所选特征图的不同空间位置（即，“在什么地方”，完成手头的任务。具体地，在每个递归神经网络（RNN）步骤中，选择CNN层和其内的局部空间区域用于进一步处理。我们证明了这种方法在两个计算机视觉任务上的有效性：（i）基于图像的六自由度相机姿态回归和（ii）室内场景分类。从经验上讲，我们表明，结合“什么”和“在哪里”方面的注意力提高网络性能的两个任务。我们评估我们的方法对标准基准相机定位（剑桥，7场景，和TUM-LSI）和场景分类（MIT-67室内场景）。对于摄像机定位，我们的方法减少了18.8\%的位置和8.2\%的方向（平均在所有场景）的中位误差，和场景分类，它提高了3.4\%的平均精度比以前的方法。
2019-05-31 cs.CV
A Binary Convolutional Encoder-decoder Network for Real-time Natural Scene Text Processing
Nanyang Technological University（南洋理工大学）；Arizona State University（亚利桑那州立大学）
在本文中，我们开发了一个二进制卷积编码器-解码器网络（B-CEDNet）的自然场景文本处理（NSTP）。它将文本图像转换为一个类别区分的显著图，揭示了字符的类别，空间和形态信息。现有的解决方案或者是存储器消耗的或者是运行时间消耗的，其不能应用于诸如高级驾驶员辅助系统之类的资源受限设备上的实时的【形】应用。所开发的网络可以通过一次性的前向操作处理包含字符的多个区域，并被训练为具有二进制权重和二进制特征图，这导致了显着的推理运行时间加速和内存使用减少。通过对超过200，000幅合成场景文本图像（大小为$32\times128$）的训练，该算法在ICDAR-03和ICDAR-13数据集上可以达到$90\%$和$91\%$像素级精度。它只消耗在GPU上实现的$4.59\ ms$推理运行时间，网络大小为2.14 MB，比全精度版本快$8\times$，小$96\%$。
2016-12-12 cs.CV
Sample Dropout for Audio Scene Classification Using Multi-Scale Dense Connected Convolutional Neural Network
National University of Defense Technology（国防科技大学）
声场景分类是一个复杂的机器问题。深度卷积神经网络（CNN）作为一个新兴的研究领域，取得了令人信服的结果。在本文中，我们探索使用多尺度密集连接卷积神经网络（DenseNet）的分类任务，其目标是提高分类性能的多尺度特征可以从音频信号的时频表示中提取。另一方面，大多数先前的基于CNN的音频场景分类方法旨在通过采用不同的正则化技术（例如隐藏单元的丢弃和数据增强）来减少过拟合，从而提高分类精度。众所周知，训练集中的离群值对训练后的模型有很大的负面影响，剔除离群值可以提高分类性能，但在以往的研究中往往没有得到充分的探索。本文受语音信号处理中静音去除的启发，提出了一种新的样本丢弃方法，旨在去除训练数据集中的离群点。使用DCASE 2017音频场景分类数据集，实验结果表明，提出的多尺度DenseNet比传统的单尺度DenseNet具有更好的性能，而样本丢弃方法可以进一步提高多尺度DenseNet的分类鲁棒性。
2018-06-12 cs.CV
CNN-LTE: a Class of 1-X Pooling Convolutional Neural Networks on Label Tree Embeddings for Audio Scene Recognition
我们在本报告中描述了我们提交给DCASE 2016挑战赛的音频场景识别系统。首先，给定场景的标签集，自动构造标签树。然后，在特征提取步骤中使用该类别分类法，在该步骤中，音频场景实例由标签树嵌入图像表示。不同的卷积神经网络，这些网络是为手头的任务量身定制的，最终在图像特征的基础上学习，用于场景识别。我们的系统达到了81.2%和83.3%的整体识别准确率，并优于DCASE 2016基线，开发和测试数据的绝对改进分别为8.7%和6.1%。
2016-08-15 cs.CV cs.LG cs.MM
MoE-SPNet: A Mixture-of-Experts Scene Parsing Network
The University of Sydney（悉尼大学）；University of Pittsburgh（匹兹堡大学）
场景分析是理解场景语义的一个不可或缺的组成部分。传统的方法依赖于手工制作的局部特征和概率图形模型，以结合局部和全局线索。近年来，基于全卷积神经网络的方法在场景分析方面取得了新的进展。这些方法共同的一个重要策略是由深度卷积神经网络产生的分层特征的聚合。然而，典型的算法通常通过级联或线性组合来聚合分层卷积特征，这不能充分利用多尺度特征中上下文信息的分散性和场景的空间不均匀性。在本文中，我们提出了一个混合专家模型场景解析网络（MoE-SPNet），它包含一个卷积的混合专家模型层，以评估来自不同层次和不同空间位置的特征的重要性。此外，我们提出了一个变种的混合专家模型称为自适应分层特征聚合（AHFA）机制，可以纳入现有的场景解析网络，使用跳过连接融合功能层明智的。在所提出的网络中，在每个空间位置的不同级别的功能自适应地重新加权，根据本地结构和周围的上下文信息之前聚合。我们基于FCN-8 s和DeepLab-ASPP两种基线模型，在PASCAL VOC 2012和SceneParse 150两个场景解析数据集上验证了所提方法的有效性。
2018-06-19 cs.CV
Object-Scene Convolutional Neural Networks for Event Recognition in Images
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
从静止图像中识别事件对于图像理解具有重要意义。然而，与视频中的事件识别相比，图像中的事件识别的研究工作要少得多。针对图像事件识别问题，提出了一种基于深度神经网络的有效方法。具体来说，我们设计了一个新的架构，称为对象场景卷积神经网络（OS-CNN）。该体系结构被分解为对象网和场景网，分别从对象和场景上下文的角度提取对事件理解有用的信息。同时，我们研究了OS-CNN设计的不同网络架构，并使深度（AlexNet）和非常深度（GoogLeNet）网络适应事件识别任务。此外，我们还发现深度网络和超深度网络是互补的。最后，基于所提出的OS-CNN和不同网络架构的比较研究，我们提出了一个五流CNN的解决方案，用于ChaLearn Looking at People（ChaLearn Looking at People）2015挑战赛中的文化事件识别。我们的方法获得了85.5%的性能和排名的$1^{st}$在这个挑战的地方。
2015-05-02 cs.CV
Compositional Factorization of Visual Scenes with Convolutional Sparse Coding and Resonator Networks
Redwood Center for Theoretical Neuroscience, UC Berkeley（加州大学伯克利分校红木理论神经科学中心）；Université Paris-Saclay（巴黎-萨克雷大学）；Örebro University（厄勒布鲁大学）；Research Institutes of Sweden（瑞典研究院）
本文提出将卷积稀疏编码与谐振器网络结合，把图像稀疏特征编码为高维向量并分解以解析场景，提升分布式表示容量并减少搜索冲突，实现快速准确的场景分解。
2024-04-29 cs.CV cs.NE
FC2RN: A Fully Convolutional Corner Refinement Network for Accurate Multi-Oriented Scene Text Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
目前的场景文本检测工作主要集中在曲线文本检测上。然而，在实际应用中，曲线文本比多方向文本更稀缺。准确检测尺度、方向和纵横比变化较大的多方向文本具有重要意义。在面向多个方向的检测方法中，场景文本几何形状的直接回归方法具有简单但功能强大的特点，在学术界和工业界得到了广泛的应用，但由于感受野的限制，它可能会产生不完美的检测结果，特别是对于长文本。在这项工作中，我们的目标是改善这一点，同时保持管道简单。提出了一种全卷积角点细化网络（FC2 RN）用于精确的多方向文本检测，该网络在一次通过中获得初始角点预测和细化角点预测。通过一种新的四边形RoI卷积操作，将初始四边形预测编码到特征图中，该特征图可进一步用于预测初始预测与地面实况之间的偏移，并输出精确的置信度得分。在MSRA-TD 500、ICDAR 2017-RCTW、ICDAR 2015和COCO-Text等四个公共数据集上的实验结果表明，FC2 RN的性能优于现有的方法。消融研究表明，角细化和评分的准确文本定位的有效性。
2020-07-10 cs.CV
Restricted Deformable Convolution based Road Scene Semantic Segmentation Using Surround View Cameras
Shanghai Jiao Tong University（上海交通大学）；SJTU-ParisTech Elite Institute of Technology（上海交通大学-巴黎高科卓越工程学院）
了解车辆周围环境仍然是自动驾驶面临的挑战之一。本文提出了360度道路场景语义分割使用环绕视图摄像头，这是广泛配备在现有的生产汽车。首先，为了解决鱼眼图像中的大失真问题，提出了一种用于语义分割的受限可变形卷积（RDC）方法，该方法通过学习输入特征图上卷积滤波器的形状，有效地对几何变换进行建模。其次，为了获得大规模的环绕视图图像的训练集，提出了一种称为变焦增强的新方法将常规图像转换为鱼眼图像。最后，建立了一个基于RDC的语义分割模型，通过将真实世界图像与变换后的图像相结合的多任务学习架构，对真实世界的环绕视图图像训练该模型。实验证明了RDC处理大失真图像的有效性，并且所提出的方法在变换后的图像的帮助下使用环绕视图相机显示出良好的性能。
2019-09-16 cs.CV
A Constrained Deformable Convolutional Network for Efficient Single Image Dynamic Scene Blind Deblurring with Spatially-Variant Motion Blur Kernels Estimation
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing University（重庆大学）
现有的基于深度学习的单幅图像动态场景盲去模糊（SIDSBD）方法通常设计深度网络直接从一幅输入的运动模糊图像中去除空间变化的运动模糊，而不进行模糊核估计。受投影运动路径模糊（PMPB）模型和可变形卷积的启发，提出了一种新的约束可变形卷积网络（CDCN），用于有效的单幅图像动态场景盲去模糊，同时实现了精确的空变运动模糊核估计和高质量的运动模糊图像复原。在我们提出的CDCN中，我们首先构建了一个新的多尺度多级多输入多输出（MSML-MIMO）编码器-解码器架构，以获得更强大的特征提取能力。其次，与DLVBD方法使用多帧连续图像不同，提出了一种新的约束可变形卷积再模糊（CDCR）策略，该策略首先对输入的单幅运动模糊图像的模糊特征进行可变形卷积，以学习每个像素的运动模糊核的采样点，其类似于PMPB模型中相机抖动的运动密度函数的估计，然后提出一种新的基于PMPB的再模糊损失函数来约束学习的采样点收敛，可以使学习的采样点与各像素的相对运动轨迹更好地匹配，提高空变运动模糊核估计的准确性。
2022-08-23 cs.CV
Joint Semantic and Motion Segmentation for dynamic scenes using Deep Convolutional Networks
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Max Planck Institute For Intelligent Systems（马克斯·普朗克智能系统研究所）
动态场景理解是一个具有挑战性的问题，而运动分割在解决这个问题中起着至关重要的作用，语义和运动的简化增强了动态场景的整体感知。对于户外机器人导航的应用，联合学习方法尚未被广泛用于提取时空特征或将不同的先验知识添加到公式中。如果没有立体声信息，这项任务将变得更具挑战性。本文提出了一种使用CNN融合语义特征和运动线索的方法，以解决单目语义运动分割问题。我们推导语义和运动标签集成光流作为一个约束的语义特征到扩张卷积网络。流水线包括三个主要阶段，即特征提取，特征放大和多尺度上下文聚合，以融合语义和流特征。我们的联合公式显示出显着的改进，单目运动分割的最先进的方法，具有挑战性的KITTI跟踪数据集。
2017-04-18 cs.CV
Convolution Neural Network Architecture Learning for Remote Sensing Scene Classification
Central South University（中南大学）；Hefei Institutes of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院）
遥感图像场景分类是遥感图像理解中的一项基础性而又具有挑战性的任务。最近，基于深度学习的方法，特别是基于卷积神经网络（CNN）的方法已经显示出理解遥感图像的巨大潜力。基于CNN的方法通过利用从数据中学习的特征而不是手动设计的特征来获得成功。CNN的特征学习过程在很大程度上取决于CNN的架构。然而，用于遥感场景分类的CNN的体系结构大多仍是手工设计的，需要大量的体系结构工程技术和领域知识，在特定的数据集上可能无法发挥CNN的最大潜力。本文提出了一种自动结构学习的遥感场景分类方法。我们设计了一个参数空间，其中每组参数代表CNN的某种架构（即，某些参数表示在体系结构中使用的运算符的类型，例如卷积、池化、无连接或身份，而其它参数表示这些运算符如何连接）。为了发现给定数据集的最佳参数集，我们引入了一种学习策略，该策略可以通过梯度下降在架构空间中进行有效搜索。一个架构生成器最终将参数集映射到我们实验中使用的CNN中。
2020-01-27 cs.CV
Reading Scene Text in Deep Convolutional Sequences
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；The Chinese University of Hong Kong（香港中文大学）
我们开发了一个深度文本递归网络（DTRN），将场景文本阅读视为序列标记问题。我们利用深度卷积神经网络的最新进展，从整个单词图像生成有序的高级序列，避免了困难的字符分割问题。然后，建立在长短期记忆（LSTM）基础上的深度递归模型被开发出来，以鲁棒地识别生成的CNN序列，这与大多数现有的独立识别每个字符的方法不同。与现有的场景文本识别方法相比，我们的模型具有许多吸引人的特性：（i）它可以通过利用有意义的上下文信息来识别高度模糊的单词，使其无需预处理或后处理即可可靠地工作;（ii）深度CNN特征对各种图像失真具有鲁棒性;（3）它保留了词意象中的显式顺序信息，这是区分词串所必需的;（iv）该模型不依赖于预定义的字典，并且可以处理未知词和任意字符串。将提供DTRN的代码。
2015-12-20 cs.CV
Reading Scene Text with Attention Convolutional Sequence Modeling
National Lab of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
在野外环境下阅读文本是计算机视觉领域中一项具有挑战性的任务。现有的方法主要采用基于关联时态分类（CTC）或基于递归神经网络（RNN）的注意力模型，计算量大，训练困难。在本文中，我们提出了一个端到端的注意力卷积网络的场景文本识别。首先，我们采用层叠卷积层代替RNN来有效地捕获输入序列的上下文依赖关系，具有较低的计算复杂性和更容易并行计算的特点。与递归网络的链式结构相比，卷积神经网络（CNN）提供了一种自然的方式来捕获元素之间的长期依赖关系，其速度是双向长短期记忆（BLSTM）的9倍。此外，为了增强前景文本的表示和抑制背景噪声，我们将剩余注意力模块合并到一个小的密集连接的网络中，以提高CNN特征的可区分性。我们验证了我们的方法在标准基准上的性能，包括街景文本，IIIT5K和ICDAR数据集。因此，国家的最先进的或高度竞争力的性能和效率表明所提出的方法的优越性。
2017-09-13 cs.CV
SCAN: Sliding Convolutional Attention Network for Scene Text Recognition
National Laboratory of Pattern Recognition (NLPR), Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
场景文本识别因其具有挑战性和广泛的应用前景而受到计算机视觉和人工智能领域的广泛关注。最先进的基于递归神经网络（RNN）的模型将输入序列映射到可变长度的输出序列，但通常以黑盒方式应用并且缺乏进一步改进的透明度，并且维持整个过去隐藏状态阻止了序列中的并行计算。本文研究了文本识别的内在特征，并借鉴人类阅读文本的认知机制，提出了一种基于滑动卷积注意力网络（SCAN）的场景文本识别方法。与阅读过程中的眼球运动类似，扫描的过程可以被视为扫视和视觉注视之间的交替。与以前的循环模型相比，SCAN的所有元素的计算在训练期间可以完全并行化。几个具有挑战性的基准测试，包括IIIT 5 k，SVT和ICDAR 2003/2013数据集的实验结果表明，SCAN在模型可解释性和性能方面优于最先进的方法。
2018-06-02 cs.CV
Relating Input Concepts to Convolutional Neural Network Decisions
Wright State University（莱特州立大学）
目前许多解释卷积神经网络（CNN）的方法使用可视化技术和文字来突出似乎与CNN的决策相关的输入概念。这些方法假设，这些概念的认识是有助于决定一个CNN达到，但这种关系的性质还没有得到很好的探讨。为了解决这一差距，本文研究了一个概念的识别质量由CNN和程度的识别与CNN的决定。该研究考虑了在ADE 20k数据集上训练用于场景识别的CNN。它使用一种新的方法来查找和评分输入概念（由场景图像中的对象定义）在后期特征图中的最小分布表示的强度。随后的分析发现了概念识别影响决策的证据。对在少数场景中频繁出现的概念的强烈识别表明正确的决策，但识别许多场景中常见的概念可能会误导网络。
2017-11-21 cs.AI cs.CV cs.LG
Physically-Based Rendering for Indoor Scene Understanding Using Convolutional Neural Networks
Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
室内场景理解对于诸如机器人导航和人类同伴辅助之类的应用是核心的。在过去的几年里，数据驱动的深度神经网络由于其表示学习能力而优于许多传统方法。训练以获得更好的表示的瓶颈之一是核心场景理解任务（如语义分割、法线预测和对象边缘检测）所需的可用每像素地面实况数据量。为了解决这一问题，提出了许多使用合成数据的工作。然而，缺乏对这种合成数据是如何产生的系统研究。在这项工作中，我们引入了一个大规模的合成数据集，其中包含来自45K逼真3D室内场景的400K基于物理的渲染图像。我们研究了渲染方法和场景照明对三个计算机视觉任务训练的影响：表面法线预测，语义分割和对象边界检测。这项研究提供了对使用合成数据进行训练的最佳实践的见解（更真实的渲染是值得的），并表明使用我们的新合成数据集进行预训练可以在所有三个任务上改进当前最先进的结果。
2017-07-02 cs.CV
Convolutional Hashing for Automated Scene Matching
Castle Global, Inc.
我们提出了一个强大的新的损失函数和训练计划学习二进制哈希函数。特别是，我们证明了我们的方法，首次创建一个神经网络，优于国家的最先进的Haar小波和颜色布局描述符在自动场景匹配的任务。通过准确地将网络输出流形上的距离与汉明空间中的距离相关联，我们实现了非平凡假阳性率降低100倍，真阳性率显着提高。我们希望我们的见解为应用于其他信息检索哈希任务的哈希模型提供巨大的胜利。
2018-02-09 cs.CV cs.IR stat.ML
A Novel Scene Text Detection Algorithm Based On Convolutional Neural Network
Shanghai Jiao Tong University（上海交通大学）
候选文本区域提取在基于卷积神经网络（CNN）的自然图像文本检测中起着至关重要的作用。本文提出了一种基于CNN的场景文本检测算法，并提出了一种新的文本区域提取器。候选文本区域提取器I-MSER是基于最大稳定极值区域（MSER）的，它可以提高候选文本区域提取的独立性和完整性。I-MSER的设计动机是观察到文本MSER具有高相似性并且彼此接近。该算法根据MSER的空间重叠关系生成MSER树，从该树中选择最具代表性的区域，从而保证了I-MSER算法得到的候选文本区域的独立性。训练多层CNN模型以对由I-MSER提取的用于文本检测的提取区域的置信度值进行评分。使用广泛使用的ICDAR 2011和2013数据集对基于I-MSER的新文本检测算法进行了评估，与现有算法相比，该算法具有更好的检测性能。
2016-04-07 cs.CV
Deep Convolutional Features for Image Based Retrieval and Scene Categorization
George Mason University（乔治梅森大学）
最近的几种方法展示了如何将卷积神经网络学习的表示重新用于新的任务。最常见的是，网络的最后一个全连接层（fc 7或fc 6）的激活特征，其次是线性分类器，在几个识别挑战数据集上的表现优于最先进的技术。而不是识别，本文侧重于图像检索问题，并提出了一个检查替代池策略派生的CNN功能。所提出的方案使用来自CNN架构的早期层5的特征图，其已被证明保留粗略的空间信息并且在语义上是有意义的。我们检查了几种池化策略，并在图像检索任务（INRIA Holidays）上以一小部分计算成本展示了卓越的性能，同时使用了相对较小的内存需求。除了检索之外，我们还在SUN397场景分类数据集上看到了类似的效率提升，证明了这种简单策略的广泛适用性。我们还介绍和评估了一种新的GeoPlaces5K数据集，它来自世界上不同的地理位置，用于图像检索，强调外观和视角的更显着变化。
2015-09-20 cs.CV
Combining Multi-level Contexts of Superpixel using Convolutional Neural Networks to perform Natural Scene Labeling
Princeton University（普林斯顿大学）
现代深度学习算法已经引发了各种图像分割方法。然而，他们中的大多数处理基于像素的分割。然而，超像素提供一定程度的上下文信息，同时降低计算成本。在我们的方法中，我们进行了超像素级语义分割考虑3个不同的水平作为邻居的语义上下文。此外，我们还采用了一些集成方法，如最大投票和加权平均。我们还使用了Dempster-Shafer不确定性理论来分析不同类别之间的混淆。我们的方法已被证明优于许多不同的现代方法在同一数据集上。
2018-03-14 cs.CV
