A New Lightweight Hybrid Graph Convolutional Neural Network -- CNN Scheme for Scene Classification using Object Detection Inference
Paris-Saclay University（巴黎-萨克雷大学）；Sorbonne Paris Nord University（索邦巴黎北大学）；NTNU University（挪威科技大学）
提出轻量级混合图卷积神经网络- CNN框架，利用目标检测输出生成图表示进行场景分类，在COCO派生数据集上效率超90%且参数更少。
2024-07-19 cs.AI cs.CV
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
University of York（约克大学）
我们提出了一种新的技术，将注意力纳入卷积神经网络使用由一个单独的卷积自动编码器生成的特征图。我们的注意力架构非常适合与深度卷积网络结合。我们在皮肤癌分割和肺部病变分割的基准分割数据集上评估了我们的模型。结果显示，与U-Net及其残差变体相比，具有很强的竞争力。
2019-02-08 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley（加州大学伯克利分校）
卷积网络是一种强大的视觉模型，可以产生层次结构的特征。我们证明了卷积网络本身，经过端到端，像素到像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是构建“全卷积”网络，该网络接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先验模型的连接。我们将当代分类网络（AlexNet，VGG网络和GoogLeNet）适应于完全卷积网络，并通过微调将其学习的表示转移到分割任务中。然后，我们定义了一种新的架构，结合语义信息从一个深，粗层与外观信息从一个浅，细层，以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC（2012年平均IU为62.2%，相对提高了20%），NYUDv2和SIFT Flow的最先进分割，而典型图像的推理时间为三分之一秒。
2015-03-08 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley（加州大学伯克利分校）
卷积网络是一种强大的视觉模型，可以产生层次结构的特征。我们证明了卷积网络本身，经过端到端，像素到像素的训练，在语义分割中改善了以前的最佳结果。我们的关键见解是构建“全卷积”网络，该网络接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先验模型的连接。我们将当代分类网络（AlexNet，VGG网络和GoogLeNet）适应于完全卷积网络，并通过微调将其学习的表示转移到分割任务中。然后，我们定义了一个跳过架构，结合语义信息从一个深，粗层与外观信息从一个浅，细层，以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC的改进分割（相对于2012年的67.2%平均IU提高了30%），NYUDv 2，SIFT Flow和PASCAL-Context，而对于典型图像，推理需要十分之一秒。
2016-05-20 cs.CV
Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding
University of Cambridge（剑桥大学）
我们提出了一个深度学习框架，用于概率像素语义分割，我们称之为贝叶斯SegNet。语义分割是视觉场景理解的重要工具，而一个有意义的不确定性度量对于决策是必不可少的。我们的贡献是一个实用的系统，它能够预测像素类标签与模型的不确定性的措施。我们实现这一点的Monte Carlo抽样与辍学在测试时产生的像素类标签的后验分布。此外，我们还表明，建模不确定性在许多最先进的架构（如SegNet，FCN和Dilation Network）中将分割性能提高了2-3%，而无需额外的参数化。我们还观察到较小数据集的性能有显着改善，其中建模不确定性更有效。我们在室内SUN场景理解和室外CamVid驾驶场景数据集上对贝叶斯SegNet进行了基准测试。
2016-10-10 cs.CV cs.NE
Fully Convolutional Instance-aware Semantic Segmentation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
我们为实例感知语义分割任务提出了第一个完全卷积的端到端解决方案。它继承了FCN在语义分割和实例掩码建议方面的所有优点。它联合执行实例掩码预测和分类。底层卷积表示在两个子任务之间以及所有感兴趣区域之间完全共享。所提出的网络是高度集成的，并实现了最先进的性能，在准确性和效率。在COCO 2016细分市场竞争中以较大优势胜出。代码将在\url{https://github.com/daijifeng001/TA-FCN}发布。
2017-04-10 cs.CV
BiSeg: Simultaneous Instance Segmentation and Semantic Segmentation with Fully Convolutional Networks
我们提出了一个简单而有效的框架，同时语义分割和实例分割与全卷积网络（FCN）。该方法称为BiSeg，预测实例分割作为贝叶斯推理的后验，其中语义分割用作先验。我们扩展了最近的方法中使用的位置敏感的得分地图的想法，在不同的尺度和分区模式的多个得分地图的融合，并采用它作为一个强大的可能性实例分割推理。由于贝叶斯推理和地图融合都是按像素执行的，因此BiSeg是一种完全卷积的端到端解决方案，继承了FCN的所有优点。我们展示了PASCAL VOC的最先进的实例分割精度。
2017-07-18 cs.CV
Scene Change Detection Using Multiscale Cascade Residual Convolutional Neural Networks
São Paulo State University（圣保罗州立大学）；Petroleo Brasileiro S.A. - Petrobras（巴西石油公司）
场景变化检测是与将数字图像的像素划分为前景和背景区域相关的图像处理问题。基于视觉知识的计算机智能系统，如交通监控、视频监控、异常检测等，大多需要使用变化检测技术。在最突出的检测方法中，有基于学习的方法，除了共享类似的训练和测试协议外，它们在架构设计策略方面彼此不同。这种架构设计直接影响检测结果的质量，也影响设备资源容量，如存储器。在这项工作中，我们提出了一种新的多尺度级联残差卷积神经网络，通过残差处理模块集成多尺度处理策略，与分割卷积神经网络。在两个不同的数据集上进行的实验支持所提出的方法的有效性，除了包括大约少八倍的参数之外，还分别在变化检测2014和PetrobrasROUTES数据集上实现了$\boldsymbol{0.9622}$和$\boldsymbol{0.9664}$的平均总体$\boldsymbol{F\text{-}measure}$结果。这样获得的结果将所提出的技术放置在最先进的场景变化检测方法的前四名中。
2022-12-20 cs.CV cs.LG
Industrial Scene Change Detection using Deep Convolutional Neural Networks
Veunex Company（Veunex公司）
在特殊护理应用中，根据在不同时间属于同一场景的两幅图像中的对象的存在或移除来发现和定位两个场景中的概念变化具有重要意义。这主要是因为在某些环境中添加或删除重要对象可能是有害的。因此，有必要设计一个程序，使用机器视觉定位这些差异。这个问题最重要的挑战是光照条件的变化和场景中阴影的存在。因此，所提出的方法必须能够抵抗这些挑战。本文介绍了一种基于深度卷积神经网络的迁移学习方法，该方法采用智能数据合成过程进行训练。该方法的结果在为此目的提供的数据集上进行了测试和呈现。结果表明，该方法是更有效的比其他方法，可以用于各种实际的工业环境。
2022-12-29 cs.AI cs.CV cs.LG
DATE: Dual Assignment for End-to-End Fully Convolutional Object Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baidu（百度）
全卷积检测器放弃了一对多的分配，采用一对一的分配策略来实现端到端的检测，但存在收敛速度慢的问题。在本文中，我们重新审视了这两种分配方法，并发现将一对多分配带回端到端全卷积检测器有助于模型收敛。基于这一观察，我们提出了{ \em \textbf{D} ual \textbf{A} sassignment}用于端到端完全卷积的去\textbf{TE}卷积（DATE）。我们的方法在训练过程中构造了一对多和一对一分配的两个分支，并通过提供更多的监督信号来加速一对一分配分支的收敛。DATE只使用具有一对一匹配策略的分支进行模型推理，不会带来推理开销。实验结果表明，双重分配提供了非平凡的改进，加快了OneNet和DeFCN模型的收敛。代码：https://github.com/YiqunChen1999/date.
2022-12-28 cs.CV
Recurrent Fully Convolutional Networks for Video Segmentation
University of Alberta（阿尔伯塔大学）
图像分割是大多数视觉任务中的重要步骤。虽然卷积神经网络已被证明在单个图像分割上表现良好，但据我们所知，尚未对利用递归门控架构进行视频分割进行研究。因此，我们提出了一种新的方法，结合时间数据的视频序列的在线分割。该网络是由完全卷积的元素和递归单元构建的，该单元在时间数据上的滑动窗口上工作。我们还介绍了一种新的卷积门控递归单元，它保留了空间信息并减少了学习的参数。我们的方法的优点是，它可以在线工作，而不是在整个输入批次的视频帧操作。该网络在变化检测数据集上进行了测试，并被证明在每帧分割方面比普通全卷积网络的F-测量提高了5.5%。与我们称之为FCN 12的基线网络相比，它的F测量值也提高了1.4%。
2016-10-31 cs.CV
Training of Convolutional Networks on Multiple Heterogeneous Datasets for Street Scene Semantic Segmentation
Eindhoven University of Technology（埃因霍温理工大学）
我们提出了一个卷积网络与分层分类器的每像素语义分割，这是能够在多个，异构的数据集进行训练，并利用其语义层次。我们的网络是第一个同时在智能车辆领域的三个不同数据集上进行训练的网络，即Cityscapes，GTSDB和Mapillary Vistas，并且能够处理不同的语义细节级别，类别不平衡和不同的注释类型，即密集的每像素和稀疏的边界框标签。我们评估我们的分层方法，通过与平面，非分层分类器进行比较，我们发现Cityscapes类的平均像素精度提高了13.0%，Vistas类提高了2.4%，GTSDB类提高了32.3%。我们的实现实现在GPU上运行的108个类的520x706的分辨率下实现了17 fps的推理速率。
2018-07-08 cs.CV cs.LG
Perspective-aware Convolution for Monocular 3D Object Detection
National Taiwan University（国立台湾大学）
针对单目3D目标检测中仅靠图像线索难预测深度的问题，提出感知视角卷积层，沿像素深度轴提取特征融入透视信息，在KITTI3D简单基准达23.9%平均精度，提升检测精度。
2023-08-24 cs.CV
Fully Convolutional Deep Network Architectures for Automatic Short Glass Fiber Semantic Segmentation from CT scans
Volume Graphics GmbH（Volume Graphics有限公司）；University Medical Center Mannheim, Heidelberg University（海德堡大学曼海姆大学医学中心）；Heidelberg University（海德堡大学）；University of Padova（帕多瓦大学）
我们首次尝试使用深度学习架构在中等（3.9 μm各向同性）和低（8.3 μm各向同性）分辨率下从X射线计算机断层扫描体积数据集执行短玻璃纤维语义分割。我们对合成和真实CT扫描进行了实验，并使用2D和3D内核评估了深度全卷积架构。我们的人工神经网络在中低分辨率扫描方面都优于现有方法。
2019-01-04 cs.CV
OriNet: A Fully Convolutional Network for 3D Human Pose Estimation
The Johns Hopkins University（约翰斯·霍普金斯大学）；Baidu Research (USA)（百度研究院（美国））
在本文中，我们提出了一个完全卷积网络的3D人体姿态估计从单目图像。我们使用肢体方向作为一种新的方式来表示3D姿势，并将方向与每个肢体区域的限界框绑定在一起，以更好地将图像和预测相关联。3D方向与2D关键点检测联合建模。在没有额外约束的情况下，这种简单的方法可以在几个大规模的基准测试中取得良好的结果。进一步的实验表明，我们的方法可以很好地推广到新的场景和不准确的包围盒是鲁棒的。
2018-11-12 cs.CV
Fully Convolutional Siamese Networks for Change Detection
ONERA（法国航空航天研究院）
本文提出了三个完全卷积神经网络架构，使用一对配准图像进行变化检测。最值得注意的是，我们提出了完全卷积网络的两个连体扩展，它们使用关于当前问题的算法，以在我们使用RGB和多光谱图像对两个开放变化检测数据集进行的测试中获得最佳结果。我们表明，我们的系统能够从头开始学习使用注释的变化检测图像。我们的架构比以前提出的方法实现了更好的性能，同时比相关系统快至少500倍。这项工作是朝着有效处理哥白尼或大地卫星等大规模地球观测系统的数据迈出的一步。
2018-10-19 cs.CV cs.LG
End-to-End Object Detection with Fully Convolutional Network
Megvii Technology（旷视科技）
基于全卷积网络的主流对象检测器已经取得了令人印象深刻的性能。虽然他们中的大多数仍然需要手工设计的非最大抑制（NMS）后处理，这阻碍了完全的端到端培训。在本文中，我们给出了丢弃NMS的分析，结果表明，一个适当的标签分配起着至关重要的作用。为此，对于全卷积检测器，我们引入了预测感知的一对一（POTO）标签分配进行分类，以实现端到端检测，其性能与NMS相当。此外，提出了一种简单的3D最大滤波（3DMF），利用多尺度特征，提高卷积在局部区域的可分辨性。通过这些技术，我们的端到端框架在COCO和CrowdHuman数据集上与许多采用NMS的最先进检测器相比，实现了具有竞争力的性能。该代码可在https://github.com/Megvii-BaseDetection/DeFCN上获得。
2021-03-26 cs.AI cs.CV
Training Bit Fully Convolutional Network for Fast Semantic Segmentation
Megvii Inc.（旷视科技有限公司）
全卷积神经网络为输入图像提供精确的逐像素预测，并具有语义分割等应用。然而，一个典型的FCN通常需要大量的浮点计算和大的运行时内存，这有效地限制了它的可用性。我们提出了一种训练比特全卷积网络（BFCN）的方法，BFCN是一种具有低位宽权重和激活的全卷积神经网络。由于BFCN的大部分计算密集型卷积都是在低位宽的数字之间完成的，因此可以通过有效的位卷积实现来加速BFCN。在CPU上，两个位向量之间的点积运算可以简化为按位运算和popcount，这可以提供比32位乘法和加法高得多的吞吐量。为了验证BFCN的有效性，我们在PASCAL VOC 2012语义分割任务和Cityscapes上进行了实验。我们的BFCN具有1位权重和2位激活，在CPU上运行速度快7.8倍，或在FPGA上需要不到1%的资源，可以实现与32位对应物相当的性能。
2016-12-01 cs.CV cs.LG
Beef Cattle Instance Segmentation Using Fully Convolutional Neural Network
Dublin Institute of Technology（都柏林理工学院）；TEAGASC（爱尔兰农业与食品发展局）
我们提出了一个实例分割算法的训练和应用于肉牛在冬季育肥期间的CCTV记录。一个完全卷积的网络被转换成一个实例分割网络，该网络学习分别标记动物的每个实例。我们引入了一个概念上简单的框架，网络使用该框架为每个动物输出一个预测。这些结果是对冬季肥育肉牛行为分析的贡献，早期发现动物福利相关的问题。
2018-09-20 cs.CV cs.LG stat.ML
Fully Convolutional Multi-Class Multiple Instance Learning
UC Berkeley（加州大学伯克利分校）
多实例学习（MIL）可以通过削弱所需的监督程度来减少语义分割等任务中昂贵的注释需求。我们提出了一种新的MIL制定的多类语义分割学习的全卷积网络。在这种情况下，我们试图从弱图像级标签中学习语义分割模型。该模型是端到端训练的，以联合优化表示，同时消除像素图像标签分配的歧义。完全卷积训练接受任何大小的输入，不需要对象建议预处理，并提供像素级损失图来选择潜在实例。我们的多类MIL损失利用了具有多个标签的图像所提供的进一步监督。我们通过对PASCAL VOC分割挑战的初步实验来评估这种方法。
2015-04-15 cs.CV cs.LG cs.NE
Fully Convolutional Neural Networks for Raw Eye Tracking Data Segmentation, Generation, and Reconstruction
Eberhard Karls University Tübingen（图宾根埃伯哈德·卡尔斯大学）
在本文中，我们使用完全卷积神经网络的眼动追踪数据的语义分割。我们还使用这些网络进行重建，并结合变分自动编码器来生成眼动数据。我们的方法的第一个改进是不需要输入窗口，因为使用了全卷积网络，因此可以直接处理任何输入大小。第二个改进是所使用和生成的数据是未经预处理的原始眼动追踪数据（位置X、Y和时间）。这是通过预先初始化第一层中的滤波器并沿着z轴构建输入张量来实现的。我们在三个公开的数据集上评估了我们的方法，并将结果与最先进的方法进行了比较。
2021-01-17 cs.CV cs.HC cs.LG
T-Net: Parametrizing Fully Convolutional Nets with a Single High-Order Tensor
Samsung AI Center, Cambridge（三星人工智能中心（剑桥））
最近的研究结果表明，过度参数化虽然对于成功训练深度神经网络至关重要，但也会引入大量冗余。张量方法有可能通过利用这种冗余来有效地参数化过完备表示。在本文中，我们提出完全参数化卷积神经网络（CNN）与一个单一的高阶，低秩张量。以前关于网络张量化的工作主要集中在参数化单个层（卷积或全连接），并逐层单独执行张量化。相比之下，我们建议通过使用单个高阶张量对其进行参数化来共同捕获神经网络的完整结构，其模式表示网络的每个架构设计参数（例如卷积块的数量，深度，堆栈的数量，输入特征等）。这种参数化允许正则化整个网络并大大减少参数的数量。我们的模型是端到端可训练的，施加在权重张量上的低秩结构充当隐式正则化。我们研究了具有丰富结构的网络的情况，即全卷积网络（FCN），我们建议用单个8阶张量参数化。我们表明，我们的方法可以实现卓越的性能与小的压缩率，并达到高压缩率，可以忽略不计的准确性下降的挑战性任务的人体姿态估计。
2019-04-04 cs.AI cs.CV cs.LG
Multi-Scale Fully Convolutional Network for Cardiac Left Ventricle Segmentation
Capital Normal University（首都师范大学）；Beijing Advanced Innovation Center for Imaging Technology（北京成像理论与技术高精尖创新中心）
从心脏磁共振图像中分割出的左心室形态结构可用于计算临床关键参数，对心血管疾病的准确、高效诊断具有重要意义。与传统方法相比，基于全卷积神经网络的分割算法大大提高了语义分割的准确率。针对左心室分割问题，提出了一种新的全卷积神经网络结构MS-FCN。MS-FCN网络采用多尺度池化模块来确保网络最大化特征提取能力，并使用密集连接解码器来细化对象的边界。基于MICCAI 2009挑战赛提供的Sunnybrook cine-MR数据集，数值实验表明，我们提出的模型获得了最先进的分割结果：我们的方法的Dice得分达到0.93的内膜，和0.96的心外膜。
2018-09-19 cs.CV cs.LG stat.ML
A Discriminative Representation of Convolutional Features for Indoor Scene Recognition
University of Western Australia（西澳大利亚大学）
室内场景识别是一个多方面的和具有挑战性的问题，由于不同的类内变化和混乱的类间相似性。本文提出了一种新的方法，利用丰富的中层卷积特征来分类室内场景。传统上使用的卷积特征保留了全局空间结构，这是一般对象识别的理想属性。然而，我们认为，当我们在场景布局中有很大的变化时，这种结构性并没有多大帮助，例如，在室内场景中。我们建议将结构化卷积激活转换到另一个高度区分的特征空间。变换空间中的表示不仅结合了目标数据集的判别方面，而且还根据室内场景中存在的一般对象类别对特征进行编码。为此，我们引入了一个新的大规模数据集的1300对象类别，通常存在于室内场景。我们提出的方法实现了显着的性能提升，比以前的最先进的方法在五个主要的场景分类数据集。
2015-06-17 cs.CV
A Novel Feature Extraction Method for Scene Recognition Based on Centered Convolutional Restricted Boltzmann Machines
Beijing University of Technology（北京工业大学）；University of Kansas（堪萨斯大学）
场景识别是计算机视觉领域的一个重要研究课题，而特征提取是目标识别的关键步骤。经典的受限玻尔兹曼机（RBM）虽然能够有效地表示复杂的数据，但由于其计算的复杂性，很难处理大型图像。提出了一种新的用于场景识别的特征提取方法--中心卷积限制玻尔兹曼机（CCRBM）。该模型是一种改进的卷积限制玻尔兹曼机（CRBM），通过在其学习策略中引入中心因子来减少不稳定性的来源。首先，使用中心因子重新定义网络的可见单元。然后，通过利用分布函数，用修改的能量函数来学习隐藏单元，并且使用学习的隐藏单元来重建可见单元。为了实现更好的生成能力，中心卷积深度信念网络（CCDBN）以贪婪的逐层方式进行训练。最后，结合softmax回归进行场景识别。使用自然场景，麻省理工学院室内场景和加州理工学院101数据集进行的广泛的实验评估表明，所提出的方法在稳定性，泛化和歧视方面优于其他同行。CCDBN模型由于具有卷积特性，更适合于自然场景图像识别。
2015-06-24 cs.CV
Residual Attention Graph Convolutional Network for Geometric 3D Scene Classification
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
几何3D场景分类是一个非常具有挑战性的任务。当前的方法仅使用RGB-D传感器提供的深度通道来提取几何信息。这些类型的方法由于在深度通道中丢失局部几何上下文而引入可能的误差。这项工作提出了一种新的剩余注意力图卷积网络，利用内在的几何上下文内的3D空间，而不使用任何类型的点特征，允许使用有组织或无组织的3D数据。在NYU Depth v1和SUN-RGBD数据集上进行了实验，研究了不同的配置，并验证了所提方法的有效性。实验结果表明，该方法优于当前国家的最先进的几何三维场景分类任务。
2019-09-30 cs.CV
Convolutional Patch Networks with Spatial Prior for Road Detection and Urban Scene Understanding
Friedrich Schiller University of Jena（耶拿弗里德里希·席勒大学）
对单个图像块进行分类在许多不同的应用中是重要的，例如道路检测或场景理解。在本文中，我们提出了卷积补丁网络，这是一种学习来区分不同图像补丁的卷积网络，可用于逐像素标记。我们还展示了如何将补丁的空间信息作为网络的输入，这允许学习空间先验的某些类别与外观模型。特别是，我们专注于道路检测和城市场景理解，这两个应用领域，我们能够在KITTI以及LabelMeFacade数据集上实现最先进的结果。此外，我们的论文为在该领域工作的人们提供了一个指导方针，并拼命地徘徊在所有令图像补丁训练CN变得非常困难的艰苦细节中。
2015-02-23 cs.CV
Scene Text Recognition with Temporal Convolutional Encoder
Shanghai Key Laboratory of Multidimensional Information Processing（上海市多维信息处理重点实验室）；East China Normal University（华东师范大学）；Videt Tech Ltd.（Videt科技有限公司）
来自场景图像的文本通常由多个字符组成，并表现出特征序列结构。现有的方法通过编码器捕获具有序列到序列模型的结构以具有视觉表示，然后解码器将特征翻译成标签序列。在本文中，我们研究的文本识别框架，考虑长期的时间依赖性在编码器阶段。我们证明了所提出的时间卷积编码器，增加了连续的程度，提高了文本识别的准确性。我们还研究了卷积块中不同注意力模块对学习准确文本表示的影响。我们在七个数据集上进行了比较，实验证明了我们提出的方法的有效性。
2020-02-16 cs.CV
Learning Scene Gist with Convolutional Neural Networks to Improve Object Recognition
Harvard University（哈佛大学）
卷积神经网络（CNN）的进步在实现多个对象识别任务的高性能水平方面取得了重大进展。虽然一些方法利用来自整个场景的信息来提出感兴趣的区域，但是解释特定区域或对象的任务仍然独立于图像中的其他对象和特征来执行。在这里，我们证明了一个场景的“要点”可以显着有助于人类如何识别物体。这些发现与人类在物体上形成中央凹并结合周边信息以帮助识别的概念一致。我们使用生物启发的两部分卷积神经网络（“GistNet”），该网络对中央凹和外围进行建模，以提供原理证明，即计算对象识别可以从场景的要点作为上下文信息中显著受益。我们的模型在某些对象类别中结合上下文要点时，准确性提高了50%，而原始模型大小仅增加了5%。这个模型反映了我们对人类视觉系统如何识别物体的直觉，提出了具体的生物学合理的约束，以改善机器视觉和建立初步步骤的挑战场景理解。
2018-06-09 cs.CV
Deep-Anomaly: Fully Convolutional Neural Network for Fast Anomaly Detection in Crowded Scenes
Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；Di Hub；Iran University of Science and Technology（伊朗科技大学）；Auckland University of Technology（奥克兰理工大学）
在拥挤的场景中检测异常行为必须应对许多挑战。提出了一种有效的视频异常检测和定位方法。使用完全卷积神经网络（FCN）和时间数据，将预训练的监督FCN转换为非监督FCN，以确保检测场景中的（全局）异常。高性能的速度和准确性方面实现了通过调查级联检测作为一个结果，降低计算复杂度。这种基于FCN的架构解决了两个主要任务，特征表示和级联离群值检测。两个基准测试的实验结果表明，该方法的检测和定位的准确性优于现有的方法。
2017-04-30 cs.CV
Memory Matters: Convolutional Recurrent Neural Network for Scene Text Recognition
National University of Defense Technology（国防科技大学）
自然场景中的文本识别是一个具有挑战性的问题，因为影响文本外观的因素很多。在本文中，我们提出了一种方法，直接转录场景文本图像的文本，而不需要复杂的字符分割。我们利用深度神经网络的最新进展来模拟具有时间动态的场景文本图像的外观。具体来说，我们集成了卷积神经网络（CNN）和循环神经网络（RNN），这是通过观察两个模型的互补建模能力来实现的。这项工作的主要贡献是调查时间记忆如何帮助在这个特定的问题的分割自由的方式。通过使用长短期记忆（LSTM）块作为隐藏单元，我们的模型可以保留长期记忆，而HSTOM只保持短期状态依赖。我们进行实验街景门牌号码数据集包含高度可变的数字图像。实验结果表明，该方法优于传统的基于HMM的方法。
2016-01-06 cs.CV
Automatic Building Extraction in Aerial Scenes Using Convolutional Networks
Oak Ridge National Laboratory（橡树岭国家实验室）
由于建筑物外观变化非常大，从航空和卫星图像中自动提取建筑物具有很大的挑战性。为了解决这个问题，我们设计了一个卷积网络，它的最后一级集成了来自多个前级的激活，用于像素级预测，并引入了建筑边界的符号距离函数作为输出表示，它具有增强的表示能力。我们充分利用地理信息系统（GIS）提供的丰富的建筑物足迹数据来编译训练数据。经过训练的网络在比先前工作中使用的数据集更大、更复杂的数据集上实现了卓越的性能，表明所提出的方法为自动化这项劳动密集型任务提供了一种有前途的可扩展解决方案。
2016-02-21 cs.CV
Attentional Graph Convolutional Network for Structure-aware Audio-Visual Scene Classification
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；McGill University（麦吉尔大学）
视听场景理解是一个具有挑战性的问题，由于非结构化的时空关系，存在于音频信号和空间布局的不同对象和各种纹理模式的视觉图像。近年来，许多研究都集中在从卷积神经网络中提取特征，而对声音信号和视觉图像的显式语义相关帧的学习却被忽视了。为此，我们提出了一个端到端的框架，即注意力图卷积网络（AGCN），结构感知的视听场景表示。首先，声音和输入图像的频谱图通过骨干网络进行特征提取。然后，为了建立输入特征的多尺度层次信息，我们利用注意力融合机制来聚合来自骨干网络的多个层的特征。值得注意的是，为了更好地表示视听输入的显著区域和上下文信息，为视听场景表示构建了显著声学图（SAG）和上下文声学图（CAG）、显著视觉图（SVG）和上下文视觉图（CVG）。最后，构造的图通过图卷积网络进行结构感知的视听场景识别。在音频、视频和视听场景识别数据集上的大量实验结果表明，AGCN方法取得了令人满意的结果。在频谱图和图像上的可视化图形已经被呈现以显示所提出的CAG/SAG和CVG/SVG的有效性，其可以集中于显著和语义相关的区域。
2022-12-31 cs.CV
Improving Text Proposals for Scene Images with Fully Convolutional Networks
Universitat Autònoma de Barcelona (UAB)（巴塞罗那自治大学）；Computer Vision Centre (CVC)（计算机视觉中心）；Eurecat - Catalunya Technology Center（Eurecat - 加泰罗尼亚技术中心）；University of Florence（佛罗伦萨大学）
文本建议已经作为对象建议的类依赖版本出现-有效的方法来减少图像中可能的文本对象位置的搜索空间。结合强词分类器，文本提案目前在端到端场景文本识别中产生最先进的结果。在本文中，我们对Gomez和Karatzas（2016）的原始文本提案算法进行了改进，将其与全卷积网络相结合，以提高提案的排名。ICDAR RRC和COCO文本数据集的结果显示出优于当前最先进技术的性能。
2017-02-16 cs.CV
SA-CNN: Dynamic Scene Classification using Convolutional Neural Networks
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳加尔分校）
近年来，将自然动态场景的视频分类到适当的类中的任务得到了很多关注。当用于捕获视频的相机是动态的时，该问题尤其变得具有挑战性。在本文中，我们分析了统计聚合（SA）技术在各种预训练卷积神经网络（CNN）模型上的性能，以解决这个问题。所提出的方法通过提取视频中的多个帧的CNN激活特征来工作，然后使用聚合方案以获得视频的鲁棒特征描述符。我们通过结果表明，所提出的方法比马里兰州和YUPenn数据集的最先进的性能更好。得到的最终描述符是强大的，足以区分动态场景，甚至能够解决的情况下，相机运动是占主导地位的场景动态是复杂的。此外，本文还对各种聚集方法及其组合的性能进行了广泛的研究。我们比较了所提出的方法与其他动态场景分类算法在两个公开的数据集-马里兰州和YUPenn证明所提出的方法的优越性能。
2015-08-29 cs.CV
SceneMixer: Exploring Convolutional Mixing Networks for Remote Sensing Scene Classification
College of Engineering（工程学院）；University of Dubai（迪拜大学）；Department of Geography（地理系）；Simon Fraser University（西蒙弗雷泽大学）；Department of Computer Science（计算机科学系）；Tezpur University（泰朱普大学）
SceneMixer通过卷积混合网络提升遥感场景分类的准确性和效率。
2025-12-07 cs.CV
Locally-Supervised Deep Hybrid Model for Scene Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong（香港中文大学）
卷积神经网络（CNN）最近在各种图像分类和理解任务中取得了显著的成功。在CNN的顶部全连接层处获得的深度特征（FC特征）表现出丰富的全局语义信息，并且在图像分类中非常有效。另一方面，CNN的中间层中的卷积特征也包含有意义的局部信息，但没有完全用于图像表示。在本文中，我们提出了一种新的局部监督深度混合模型（LS-DHM），它有效地增强和探索了用于场景识别的卷积特征。首先，我们注意到卷积特征捕获了场景图像的局部对象和精细结构，这为区分模糊场景提供了重要线索，而这些特征在高度压缩的FC表示中被显著消除。其次，我们提出了一个新的局部卷积监督（LCS）层，通过直接将标签信息传播到卷积层来增强图像的局部结构。第三，我们提出了一个有效的Fisher卷积向量（FCV），成功地拯救了无序的中层语义信息（如对象和纹理）的场景图像。FCV将大型卷积映射编码为固定长度的中级表示，并被证明是对高级FC特征的有力补充。最后，FCV和FC-功能的LSDHM表示，这在我们的实验中取得了优异的性能。在MIT Indoor 67和SUN 397数据集上分别获得了83.75%和67.56%的准确率，大大提高了最先进的水平。
2016-12-15 cs.CV
Scene Flow to Action Map: A New Representation for RGB-D based Action Recognition with Convolutional Neural Networks
University of Wollongong（卧龙岗大学）；China University of Geosciences（中国地质大学）
场景流描述了真实世界中三维物体的运动，可能是三维动作识别的基础。然而，它用于动作识别，特别是在卷积神经网络（ConvNets）的背景下，以前没有研究过。在本文中，我们提出了从RGB-D数据中提取和使用场景流进行动作识别。以前的工作已经考虑了深度和RGB模态作为单独的通道，并提取特征用于以后的融合。我们采取不同的方法，并考虑作为一个实体的模态，从而允许特征提取的动作识别在开始。提出了利用场景流进行动作识别的两个关键问题：如何组织场景流矢量和如何基于场景流表示视频的长期动态特性。为了在可用数据集上正确计算场景流，我们提出了一种有效的自校准方法，在不知道相机参数的情况下在空间上对齐RGB和深度数据。基于场景流矢量，我们提出了一种新的表示，即场景流动作图（SFAM），描述了几个长期的时空动态动作识别。我们采用一个通道变换核，将场景流向量转换到一个类似RGB的最佳颜色空间。这种转换比ImageNet更好地利用了经过训练的ConvNets模型。实验结果表明，这种新的表示方法在两个大型公共数据集上的性能可以超过最先进的方法。
2017-03-27 cs.CV
CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Beijing University of Posts and Telecommunications（北京邮电大学）
我们提出了一个名为CSRNet的拥挤场景识别网络，以提供一种数据驱动和深度学习方法，可以理解高度拥挤的场景，并执行准确的计数估计，以及呈现高质量的密度图。拟议的CSRNet由两个主要组成部分组成：卷积神经网络（CNN）作为2D特征提取的前端，以及用于后端的扩张的CNN，其使用扩张的内核来提供更大的接收字段并取代池化操作。CSRNet是一个易于训练的模型，因为它具有纯卷积结构。我们在四个数据集（上海科技数据集，UCF_CC_50数据集，WorldEXPO'10数据集和UCSD数据集）上演示了CSRNet，并提供了最先进的性能。在ShanghaiTech Part_B数据集中，CSRNet的平均绝对误差（MAE）比之前的最先进方法低47.3%。我们扩展的目标应用程序计数其他对象，如在TRANCOS数据集的车辆。结果表明，CSRNet显着提高了输出质量，MAE比以前的最先进的方法低15.4%。
2018-04-11 cs.CV
Recurrent Convolutional Neural Networks for Scene Parsing
场景解析是一种技术，它根据图像中的所有像素所属的类别对其进行标记。为了保证良好的视觉一致性和高的类准确性，场景解析器必须捕获图像的长程依赖性。在前馈架构中，这可以简单地通过考虑在要标记的每个像素周围的足够大的输入上下文补丁来实现。我们提出了一种方法，包括一个经常性的卷积神经网络，它允许我们考虑一个大的输入上下文，同时限制了模型的容量。与大多数标准方法相反，我们的方法不依赖于任何分割方法，也不依赖于任何特定于任务的特征。该系统以端到端的方式在原始像素上进行训练，并以低推理成本对复杂的空间依赖性进行建模。当上下文大小随着内置的递归而增加时，系统会识别并纠正自己的错误。我们的方法在斯坦福背景数据集和SIFT流数据集上都具有最先进的性能，同时在测试时保持非常快的速度。
2013-06-12 cs.CV
Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring
Seoul National University（首尔国立大学）
一般动态场景的非均匀盲去模糊是一个具有挑战性的计算机视觉问题，因为模糊不仅来自多个目标的运动，而且来自相机抖动、场景深度变化。为了去除这些复杂的运动模糊，传统的基于能量优化的方法依赖于简单的假设，使得模糊核是部分均匀的或局部线性的。此外，最近的基于机器学习的方法也依赖于在这些假设下生成的合成模糊数据集。这使得传统的去模糊方法无法去除模糊核难以近似或参数化的模糊（例如，对象运动边界）。在这项工作中，我们提出了一种多尺度卷积神经网络，它以端到端的方式恢复清晰的图像，其中模糊是由各种来源引起的。同时，我们提出了多尺度损失函数，模仿传统的粗到细的方法。此外，我们提出了一个新的大规模的数据集，提供对现实的模糊图像和相应的地面真实锐利的图像，由高速相机获得。通过在该数据集上训练所提出的模型，我们实证地证明了我们的方法不仅在定性上而且在定量上实现了动态场景去模糊的最新性能。
2018-05-07 cs.CV
Fast and Flexible Indoor Scene Synthesis via Deep Convolutional Generative Models
Brown University（布朗大学）
我们提出了一种新的，快速和灵活的室内场景合成管道，该管道基于深度卷积生成模型。我们的方法操作在一个自上而下的基于图像的表示，并插入对象迭代到场景中预测其类别，位置，方向和大小与单独的神经网络模块。我们的流水线自然支持部分场景的自动完成，以及完整场景的合成。我们的方法比以前的基于图像的方法快得多，并且在对训练数据的忠诚度和感知的视觉质量方面，生成的结果优于它和其他最先进的深度生成场景模型。
2018-11-29 cs.CV cs.GR
Joint Spatial and Layer Attention for Convolutional Networks
University of Ontario Institute of Technology（安大略理工大学）；Ryerson University（瑞尔森大学）
在本文中，我们提出了一种新的方法，该方法学习顺序地关注不同的卷积神经网络（CNN）层（即，“什么”特征抽象要注意）和所选特征图的不同空间位置（即，“在什么地方”，完成手头的任务。具体地，在每个递归神经网络（RNN）步骤中，选择CNN层和其内的局部空间区域用于进一步处理。我们证明了这种方法在两个计算机视觉任务上的有效性：（i）基于图像的六自由度相机姿态回归和（ii）室内场景分类。从经验上讲，我们表明，结合“什么”和“在哪里”方面的注意力提高网络性能的两个任务。我们评估我们的方法对标准基准相机定位（剑桥，7场景，和TUM-LSI）和场景分类（MIT-67室内场景）。对于摄像机定位，我们的方法减少了18.8\%的位置和8.2\%的方向（平均在所有场景）的中位误差，和场景分类，它提高了3.4\%的平均精度比以前的方法。
2019-05-31 cs.CV
A Binary Convolutional Encoder-decoder Network for Real-time Natural Scene Text Processing
Nanyang Technological University（南洋理工大学）；Arizona State University（亚利桑那州立大学）
在本文中，我们开发了一个二进制卷积编码器-解码器网络（B-CEDNet）的自然场景文本处理（NSTP）。它将文本图像转换为一个类别区分的显著图，揭示了字符的类别，空间和形态信息。现有的解决方案或者是存储器消耗的或者是运行时间消耗的，其不能应用于诸如高级驾驶员辅助系统之类的资源受限设备上的实时的【形】应用。所开发的网络可以通过一次性的前向操作处理包含字符的多个区域，并被训练为具有二进制权重和二进制特征图，这导致了显着的推理运行时间加速和内存使用减少。通过对超过200，000幅合成场景文本图像（大小为$32\times128$）的训练，该算法在ICDAR-03和ICDAR-13数据集上可以达到$90\%$和$91\%$像素级精度。它只消耗在GPU上实现的$4.59\ ms$推理运行时间，网络大小为2.14 MB，比全精度版本快$8\times$，小$96\%$。
2016-12-12 cs.CV
Sample Dropout for Audio Scene Classification Using Multi-Scale Dense Connected Convolutional Neural Network
National University of Defense Technology（国防科技大学）
声场景分类是一个复杂的机器问题。深度卷积神经网络（CNN）作为一个新兴的研究领域，取得了令人信服的结果。在本文中，我们探索使用多尺度密集连接卷积神经网络（DenseNet）的分类任务，其目标是提高分类性能的多尺度特征可以从音频信号的时频表示中提取。另一方面，大多数先前的基于CNN的音频场景分类方法旨在通过采用不同的正则化技术（例如隐藏单元的丢弃和数据增强）来减少过拟合，从而提高分类精度。众所周知，训练集中的离群值对训练后的模型有很大的负面影响，剔除离群值可以提高分类性能，但在以往的研究中往往没有得到充分的探索。本文受语音信号处理中静音去除的启发，提出了一种新的样本丢弃方法，旨在去除训练数据集中的离群点。使用DCASE 2017音频场景分类数据集，实验结果表明，提出的多尺度DenseNet比传统的单尺度DenseNet具有更好的性能，而样本丢弃方法可以进一步提高多尺度DenseNet的分类鲁棒性。
2018-06-12 cs.CV
Object-Scene Convolutional Neural Networks for Event Recognition in Images
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
从静止图像中识别事件对于图像理解具有重要意义。然而，与视频中的事件识别相比，图像中的事件识别的研究工作要少得多。针对图像事件识别问题，提出了一种基于深度神经网络的有效方法。具体来说，我们设计了一个新的架构，称为对象场景卷积神经网络（OS-CNN）。该体系结构被分解为对象网和场景网，分别从对象和场景上下文的角度提取对事件理解有用的信息。同时，我们研究了OS-CNN设计的不同网络架构，并使深度（AlexNet）和非常深度（GoogLeNet）网络适应事件识别任务。此外，我们还发现深度网络和超深度网络是互补的。最后，基于所提出的OS-CNN和不同网络架构的比较研究，我们提出了一个五流CNN的解决方案，用于ChaLearn Looking at People（ChaLearn Looking at People）2015挑战赛中的文化事件识别。我们的方法获得了85.5%的性能和排名的$1^{st}$在这个挑战的地方。
2015-05-02 cs.CV
MoE-SPNet: A Mixture-of-Experts Scene Parsing Network
The University of Sydney（悉尼大学）；University of Pittsburgh（匹兹堡大学）
场景分析是理解场景语义的一个不可或缺的组成部分。传统的方法依赖于手工制作的局部特征和概率图形模型，以结合局部和全局线索。近年来，基于全卷积神经网络的方法在场景分析方面取得了新的进展。这些方法共同的一个重要策略是由深度卷积神经网络产生的分层特征的聚合。然而，典型的算法通常通过级联或线性组合来聚合分层卷积特征，这不能充分利用多尺度特征中上下文信息的分散性和场景的空间不均匀性。在本文中，我们提出了一个混合专家模型场景解析网络（MoE-SPNet），它包含一个卷积的混合专家模型层，以评估来自不同层次和不同空间位置的特征的重要性。此外，我们提出了一个变种的混合专家模型称为自适应分层特征聚合（AHFA）机制，可以纳入现有的场景解析网络，使用跳过连接融合功能层明智的。在所提出的网络中，在每个空间位置的不同级别的功能自适应地重新加权，根据本地结构和周围的上下文信息之前聚合。我们基于FCN-8 s和DeepLab-ASPP两种基线模型，在PASCAL VOC 2012和SceneParse 150两个场景解析数据集上验证了所提方法的有效性。
2018-06-19 cs.CV
Reading Scene Text with Attention Convolutional Sequence Modeling
National Lab of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
在野外环境下阅读文本是计算机视觉领域中一项具有挑战性的任务。现有的方法主要采用基于关联时态分类（CTC）或基于递归神经网络（RNN）的注意力模型，计算量大，训练困难。在本文中，我们提出了一个端到端的注意力卷积网络的场景文本识别。首先，我们采用层叠卷积层代替RNN来有效地捕获输入序列的上下文依赖关系，具有较低的计算复杂性和更容易并行计算的特点。与递归网络的链式结构相比，卷积神经网络（CNN）提供了一种自然的方式来捕获元素之间的长期依赖关系，其速度是双向长短期记忆（BLSTM）的9倍。此外，为了增强前景文本的表示和抑制背景噪声，我们将剩余注意力模块合并到一个小的密集连接的网络中，以提高CNN特征的可区分性。我们验证了我们的方法在标准基准上的性能，包括街景文本，IIIT5K和ICDAR数据集。因此，国家的最先进的或高度竞争力的性能和效率表明所提出的方法的优越性。
2017-09-13 cs.CV
Reading Scene Text in Deep Convolutional Sequences
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；The Chinese University of Hong Kong（香港中文大学）
我们开发了一个深度文本递归网络（DTRN），将场景文本阅读视为序列标记问题。我们利用深度卷积神经网络的最新进展，从整个单词图像生成有序的高级序列，避免了困难的字符分割问题。然后，建立在长短期记忆（LSTM）基础上的深度递归模型被开发出来，以鲁棒地识别生成的CNN序列，这与大多数现有的独立识别每个字符的方法不同。与现有的场景文本识别方法相比，我们的模型具有许多吸引人的特性：（i）它可以通过利用有意义的上下文信息来识别高度模糊的单词，使其无需预处理或后处理即可可靠地工作;（ii）深度CNN特征对各种图像失真具有鲁棒性;（3）它保留了词意象中的显式顺序信息，这是区分词串所必需的;（iv）该模型不依赖于预定义的字典，并且可以处理未知词和任意字符串。将提供DTRN的代码。
2015-12-20 cs.CV
Fully Convolutional Crowd Counting On Highly Congested Scenes
Dublin City University（都柏林城市大学）
在本文中，我们通过进一步探索由（Zhang et al.，2016）。近年来，利用计算机视觉技术产生准确且鲁棒的人群计数估计器吸引了显著的研究兴趣。人群计数系统的应用存在于许多不同的领域，包括城市规划，零售，当然还有一般的公共安全。开发一个高度通用的计数模型，可以部署在任何监控场景与任何摄像头的角度是在这一领域的研究的关键目标。过去开发的技术通常在帧中有数千人的高度拥挤的场景中表现不佳（Rodriguez等人，2011年）。我们的方法受到Zhang等人的工作的影响，2016年），包括以下贡献：（1）训练集增强方案，最大限度地减少训练样本之间的冗余，以提高模型泛化和整体计数性能;（2）深，单列，全卷积网络（FCN）架构;（3）在推理过程中的多尺度平均步骤。开发的技术可以分析任何分辨率或宽高比的图像，并在Shanghaitech Part B和UCF CC 50数据集上实现最先进的计数性能，以及在Shanghaitech Part A上的竞争性能。
2017-01-17 cs.CV
SCAN: Sliding Convolutional Attention Network for Scene Text Recognition
National Laboratory of Pattern Recognition (NLPR), Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
场景文本识别因其具有挑战性和广泛的应用前景而受到计算机视觉和人工智能领域的广泛关注。最先进的基于递归神经网络（RNN）的模型将输入序列映射到可变长度的输出序列，但通常以黑盒方式应用并且缺乏进一步改进的透明度，并且维持整个过去隐藏状态阻止了序列中的并行计算。本文研究了文本识别的内在特征，并借鉴人类阅读文本的认知机制，提出了一种基于滑动卷积注意力网络（SCAN）的场景文本识别方法。与阅读过程中的眼球运动类似，扫描的过程可以被视为扫视和视觉注视之间的交替。与以前的循环模型相比，SCAN的所有元素的计算在训练期间可以完全并行化。几个具有挑战性的基准测试，包括IIIT 5 k，SVT和ICDAR 2003/2013数据集的实验结果表明，SCAN在模型可解释性和性能方面优于最先进的方法。
2018-06-02 cs.CV
Cursive Scene Text Analysis by Deep Convolutional Linear Pyramids
King Saud bin Abdulaziz University for Health Sciences（沙特国王阿卜杜勒阿齐兹健康科学大学）；Universiti Teknologi Malaysia（马来西亚理工大学）；Govt. Post graduate College No. 01, Higher Education Department（高等教育部第一政府研究生学院）；University of Technology, Sydney（悉尼科技大学）
相机捕获的图像有多个方面需要研究。一般来说，研究的重点取决于感兴趣的地区。有时重点可能是颜色分割、目标检测或场景文本分析。图像分析，可见性和布局分析是人类行为特征所建议的人类更容易完成的任务，但相比之下，当这些相同的任务应该由机器执行时，它似乎具有挑战性。学习机总是从与所提供的样本相关联的属性中学习。近年来，许多方法被设计用于场景文本提取和识别，并且正在努力提高准确性。卷积方法为自然图像中出现的非草书文本分析提供了合理的结果。本手稿中的工作通过将每个金字塔视为所提供样本的一个特征来利用线性金字塔的优势。每个金字塔图像处理通过各种经验选择的内核。通过考虑EASTR-42k数据集的每个图像金字塔上的阿拉伯语文本来研究性能。阿拉伯语场景文本识别的出错率为0.17%。
2018-09-27 cs.CV
A Novel Scene Text Detection Algorithm Based On Convolutional Neural Network
Shanghai Jiao Tong University（上海交通大学）
候选文本区域提取在基于卷积神经网络（CNN）的自然图像文本检测中起着至关重要的作用。本文提出了一种基于CNN的场景文本检测算法，并提出了一种新的文本区域提取器。候选文本区域提取器I-MSER是基于最大稳定极值区域（MSER）的，它可以提高候选文本区域提取的独立性和完整性。I-MSER的设计动机是观察到文本MSER具有高相似性并且彼此接近。该算法根据MSER的空间重叠关系生成MSER树，从该树中选择最具代表性的区域，从而保证了I-MSER算法得到的候选文本区域的独立性。训练多层CNN模型以对由I-MSER提取的用于文本检测的提取区域的置信度值进行评分。使用广泛使用的ICDAR 2011和2013数据集对基于I-MSER的新文本检测算法进行了评估，与现有算法相比，该算法具有更好的检测性能。
2016-04-07 cs.CV
Deep Convolutional Features for Image Based Retrieval and Scene Categorization
George Mason University（乔治梅森大学）
最近的几种方法展示了如何将卷积神经网络学习的表示重新用于新的任务。最常见的是，网络的最后一个全连接层（fc 7或fc 6）的激活特征，其次是线性分类器，在几个识别挑战数据集上的表现优于最先进的技术。而不是识别，本文侧重于图像检索问题，并提出了一个检查替代池策略派生的CNN功能。所提出的方案使用来自CNN架构的早期层5的特征图，其已被证明保留粗略的空间信息并且在语义上是有意义的。我们检查了几种池化策略，并在图像检索任务（INRIA Holidays）上以一小部分计算成本展示了卓越的性能，同时使用了相对较小的内存需求。除了检索之外，我们还在SUN397场景分类数据集上看到了类似的效率提升，证明了这种简单策略的广泛适用性。我们还介绍和评估了一种新的GeoPlaces5K数据集，它来自世界上不同的地理位置，用于图像检索，强调外观和视角的更显着变化。
2015-09-20 cs.CV
