Winograd Convolution for Deep Neural Networks: Efficient Point Selection
School of Computer Science and Statistics（计算机科学与统计学学院）；Lero, Trinity College Dublin（都柏林圣三一学院Lero（爱尔兰国家软件与计算机科学研究所））
卷积神经网络（CNN）极大地提高了目标识别、图像分割和交互式语音系统等任务的准确性。CNN需要大量的计算资源，因为计算密集的卷积层。Winograd卷积等快速卷积算法可以大大降低这些层的计算成本，但代价是数值属性较差，因此计算中的更大节省会以指数方式增加浮点错误。每个Winograd卷积算法的定义特征是一组实值点，其中多项式被采样。点的选择会影响算法的数值精度，但小卷积的最佳点集仍然未知。现有的工作只考虑小整数和简单分数作为候选点。在这项工作中，我们提出了一种新的方法来选择点的形式{-1/c，-c，c，1/c }使用的实值数c的全范围。我们表明，这种形式的团体导致取消的Winograd变换矩阵，减少数值误差。我们发现，经验上的c的不同值的误差形成了一个粗略的曲线，在整个范围内的实数值，有助于本地化的c值，减少错误，可以实现较低的错误与非明显的实值评估点，而不是整数或简单的分数。我们研究了一系列小卷积的大小，并实现了1D和2D卷积的误差减少2%到59%左右。此外，当我们选择我们提出的点的子集时，我们识别模式，这将总是导致较低的误差。最后，我们实现了一个完整的Winograd卷积层，并使用它在真实数据集上运行深度卷积神经网络，并表明我们提出的点减少了22%到63%的误差。
2022-01-25 cs.CV
Towards Design Space Exploration and Optimization of Fast Algorithms for Convolutional Neural Networks (CNNs) on FPGAs
Syed Babar Ali School of Science and Engineering (SBASSE), Lahore University of Management Sciences (LUMS)（拉合尔管理科学大学赛义德·巴巴尔·阿里理工学院（SBASSE））；Department of Electrical Engineering, Syed Babar Ali School of Science and Engineering (SBASSE), Lahore University of Management Sciences (LUMS)（拉合尔管理科学大学赛义德·巴巴尔·阿里理工学院电气工程系（SBASSE））；Lahore University of Management Sciences (LUMS)（拉合尔管理科学大学（LUMS））；Department of Electrical Engineering（电气工程系）
卷积神经网络（CNN）在计算机视觉和图像处理领域中得到了广泛的应用。由于CNN的巨大计算需求，正在探索专用的基于硬件的实现以提高其性能。诸如现场可编程门阵列（FPGA）的硬件平台被广泛用于为此目的设计并行架构。在本文中，我们分析了Winograd最小滤波或快速卷积算法，以降低CNN卷积层的算法复杂度。我们探索一个复杂的设计空间，以找到一组参数，从而提高吞吐量和功率效率。我们还设计了一个流水线和并行Winograd卷积引擎，提高了吞吐量和功率效率，同时降低了整个系统的计算复杂度。我们提出的设计显示高达4.75 $\times$和1.44 $\times$的吞吐量和功率效率的改善，分别相比，国家的最先进的设计，同时使用约2.67 $\times$更多的乘法器。此外，我们获得的节省高达53.6%的逻辑资源相比，国家的最先进的实现。
2019-03-05 cs.CV eess.IV eess.SP
cltorch: a Hardware-Agnostic Backend for the Torch Deep Neural Network Library, Based on OpenCL
ASAPP（ASAPP公司）
本文介绍了cltorch，火炬神经网络框架的硬件无关的后端。cltorch支持在来自不同硬件供应商（包括AMD、NVIDIA和Intel）的GPU上训练深度神经网络。cltorch包含足够的实现来运行AlexNet、VGG、Overfeat和GoogleNet等模型。它是使用OpenCL语言编写的，OpenCL是一种便携式计算语言，由Khronos Group管理。cltorch是Chintala的convnet-benchmarks页面上排名第一的硬件无关机器学习框架。本文介绍了在为Torch创建cltorch后端时遇到的技术挑战，并详细介绍了与快速实现硬件无关的挑战。卷积层被认为是加速硬件不可知框架的关键领域。确定了加速卷积实现的可能方法，包括：使用implicitgemm或winograd算法实现卷积，使用适用于与卷积算法相关联的几何形状的GEMM实现，或使用可插拔的硬件特定卷积实现。
2016-06-15 cs.CV cs.NE
Deep Tensor Convolution on Multicores
三维内核的深度卷积神经网络（ConvNets）允许时空特征的联合建模。这些网络提高了视频和体积图像分析的性能，但由于GPU硬件的内存上限较低，因此在大小上受到限制。现有的CPU实现克服了这一限制，但速度慢得不切实际。在这里，我们扩展和优化更快的Winograd类卷积算法的$N$维的情况下，特别是CPU硬件。首先，我们消除了手工手工制作算法的需要，利用宽松的约束和廉价的稀疏访问CPU内存。其次，我们通过将数据矩阵转换为缓存感知的AVX向量宽度的整数倍，最大限度地提高CPU利用率和多核可扩展性。将二维ConvNets视为我们方法的特殊（和最不利）情况，我们证明了与以前的最先进技术相比，吞吐量提高了5到25倍。
2017-06-11 cs.CV cs.DC cs.NE
Caffeinated FPGAs: FPGA Framework For Convolutional Neural Networks
University of Toronto（多伦多大学）；University of Guelph（圭尔夫大学）
卷积神经网络（CNN）在机器学习领域获得了巨大的吸引力，特别是由于其在视觉识别中的高准确性。最近的工作推动了CNN的GPU实现的性能，以显着改善其分类和训练时间。通过这些改进，许多框架已经可以在CPU和GPU上实现CNN，而不支持FPGA实现。在这项工作中，我们提出了一个修改版本的流行的CNN框架咖啡馆，FPGA的支持。这允许使用CNN模型和专用FPGA实现进行分类，并具有必要时重新编程器件的灵活性、主机和器件之间的无缝内存事务、易于使用的测试台以及创建流水线层实现的能力。为了验证该框架，我们使用Xilinx SDAccel环境来实现基于FPGA的Winograd卷积引擎，并表明FPGA层可以与主机处理器上运行的其他层一起使用，以运行几种流行的CNN（AlexNet，GoogleNet，VGG A，Overfeat）。结果表明，我们的框架在基准测试中的3x3卷积上实现了50 GFLOPS。这是在一个实用的框架内实现的，这将有助于基于FPGA的CNN的未来发展。
2016-09-30 cs.CV cs.DC
Convolutional Neural Networks for joint object detection and pose estimation: A comparative study
Université Paris-Est（巴黎东大）
在本文中，我们研究了应用卷积神经网络联合检测对象描绘在静态图像和估计其三维姿态。我们确定了定向对象的不同特征表示，以及导致网络学习这种表示的能量。表示的选择是至关重要的，因为对象的姿势具有自然的连续结构，而其类别是离散变量。我们使用平均视点精度评估Pascal 3D+基准的联合目标检测和姿态估计任务的不同方法。我们表明，离散化的观点的分类方法实现联合目标检测和姿态估计的最先进的性能，并显着优于现有的基准。
2015-02-28 cs.CV cs.LG cs.NE
Discriminatively Boosted Image Clustering with Fully Convolutional Auto-Encoders
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Centre for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
传统的图像聚类方法采用两步方法，依次进行特征学习和聚类。然而，最近的研究结果表明，将分离的阶段结合在一个统一的框架中并联合训练它们可以实现更好的性能。在本文中，我们首先介绍了用于图像特征学习的全卷积自动编码器，然后提出了一个统一的聚类框架，以基于全卷积自动编码器和软$k$均值得分来联合学习图像表示和聚类中心。在学习过程的初始阶段，从自动编码器提取的表示对于后面的聚类可能不是非常有区别的。我们解决这个问题，采用了一个提升的歧视性分布，其中高分作业突出显示，低分的不强调。随着区分度的逐步提高，聚类分配分数得到区分，聚类纯度得到提高。在多个视觉基准数据集上的实验表明，我们的方法可以达到最先进的性能。
2017-03-23 cs.CV cs.LG
How intelligent are convolutional neural networks?
Siemens Medical Solutions USA, Inc.（西门子医疗解决方案美国公司）
受完形模式理论和Winograd语言理解挑战赛的启发，我们设计了合成实验来研究深度学习算法从示例中推断简单（至少对人类来说）视觉概念（如对称性）的能力。视觉概念由随机生成的正面和负面示例图像表示。然后，我们测试算法（和人类）从这些图像中学习概念的能力和速度。训练和测试是在多轮中逐步进行的，随后的每一轮都故意设计得比前一轮更复杂和混乱，特别是如果学习者没有掌握概念。然而，如果这个概念被理解，所有故意的测试都会变得简单。我们的实验表明，人类通常可以在只看很少数量的例子后快速推断出语义概念（这通常被称为“啊哈时刻”：突然意识到的时刻），并且在所有测试回合中都表现完美（除了粗心的错误）。相反，深度卷积神经网络（DCNN）可以在统计上近似一些概念，但只有在看到更多（x10^4）的例子之后。它仍然会犯明显的错误，特别是在故意的测试回合或训练分布之外的样本上。这表明缺乏真正的“理解”，或者未能达到正确的语义“公式”。我们确实发现有些概念对于DCNN来说比其他概念更容易。例如，简单的“计数”比“对称性”更容易学习，而“一致性”或“一致性”对于DCNN来说更难学习。最后，我们提出了一个“啊哈挑战”的视觉感知，呼吁集中和定量研究完形风格的机器智能使用有限的训练样本。
2017-10-31 cs.CV
Fully Convolutional Measurement Network for Compressive Sensing Image Reconstruction
Xidian University（西安电子科技大学）
最近，深度学习方法在压缩感知图像重建任务中取得了显著的进步。在现有的方法中，由于高的计算复杂性，场景是逐块测量的。这导致恢复的图像的块效应。在本文中，我们提出了一个完全卷积的测量网络，其中场景作为一个整体进行测量。该方法保留了场景图像的结构信息，有效地消除了块效应。为了使测量更灵活，测量和恢复部分联合训练。实验结果表明，该方法在PSNR、SSIM和视觉效果等方面均优于现有方法。
2018-05-29 cs.CV cs.LG
UberNet: Training a `Universal' Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory
CentraleSupélec - INRIA（中央高等电力学院 - 法国国家信息与自动化研究所）
在这项工作中，我们介绍了一个卷积神经网络（CNN），它在一个统一的架构中联合处理低，中，高层次的视觉任务，该架构是端到端训练的。这样一个通用的网络可以像一个“瑞士刀”的视觉任务，我们称之为UberNet的架构，以表明其总体性质。我们解决了在扩大单个CNN处理的任务范围时出现的两个主要技术挑战：（i）在依赖于不同训练集的同时训练深度架构，以及（ii）用有限的内存预算训练许多（可能是无限的）任务。正确地解决这两个问题使我们能够训练准确的预测器，而不影响准确性。通过这些进步，我们以端到端的方式训练CNN，其同时解决（a）边界检测（b）正常估计（c）显著性估计（d）语义分割（e）人体部位分割（f）语义边界检测，（g）区域提议生成和目标检测。我们获得了具有竞争力的性能，同时在单个GPU上以每帧0.7秒的速度联合处理所有这些任务。这个系统的演示可以在http://cvn.ecp.fr/ubernet/上找到。
2016-09-07 cs.AI cs.CV cs.LG
Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion Forecasting with a Single Convolutional Net
Uber ATG（优步先进技术集团）；University of Toronto（多伦多大学）
在本文中，我们提出了一种新的深度神经网络，它能够联合推理3D传感器捕获的给定数据的3D检测，跟踪和运动预测。通过对这些任务进行联合推理，我们的整体方法对范围内的遮挡和稀疏数据更具鲁棒性。我们的方法在3D世界的鸟瞰图表示上跨空间和时间执行3D卷积，这在内存和计算方面都非常有效。我们在北美几个城市捕获的一个新的超大规模数据集上的实验表明，我们可以在很大程度上超越最先进的技术。重要的是，通过共享计算，我们可以在短短30 ms内执行所有任务。
2020-12-22 cs.CV
A Deep Four-Stream Siamese Convolutional Neural Network with Joint Verification and Identification Loss for Person Re-detection
Queensland University of Technology (QUT)（昆士兰科技大学）
采用基于三元组的深度网络的现有技术的人员重新识别系统遭受较差的泛化能力。在本文中，我们提出了一个四流连体深度卷积神经网络的人重新检测，共同优化验证和识别损失超过四个图像输入组。具体而言，所提出的方法克服了典型的三重配方的弱点，通过使用具有两个匹配（即相同的身份）和两个不匹配的图像的四个图像的组。这使我们能够在学习的特征空间中共同增加类间变化并减少类内变化。所提出的方法还优化了识别和验证损失，进一步最小化类内变化和最大化类间变化，提高整体性能。在VIPeR、CUHK01、CUHK03和PRID2011四个具有挑战性的数据集上进行的大量实验表明，该方法具有最佳的性能。
2018-12-21 cs.CV
Image Super-Resolution Using Deep Convolutional Networks
The Chinese University of Hong Kong（香港中文大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种用于单幅图像超分辨率（SR）的深度学习方法。我们的方法直接学习低/高分辨率图像之间的端到端映射。映射被表示为深度卷积神经网络（CNN），其将低分辨率图像作为输入并输出高分辨率图像。我们进一步表明，传统的基于稀疏编码的SR方法也可以被视为深度卷积网络。但与单独处理每个组件的传统方法不同，我们的方法联合优化了所有层。我们的深度CNN具有轻量级结构，但展示了最先进的恢复质量，并实现了实际在线使用的快速速度。我们探索不同的网络结构和参数设置，以实现性能和速度之间的权衡。此外，我们扩展了我们的网络，以同时处理三个颜色通道，并显示出更好的整体重建质量。
2015-07-31 cs.CV cs.NE
Video Inpainting by Jointly Learning Temporal Structure and Spatial Details
Megvii (Face++)（旷视（Face++））；Shenzhen Research Inst. of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong（香港中文大学）
我们提出了一种新的数据驱动的视频修复方法，用于恢复视频帧的丢失区域。提出了一种新的深度学习体系结构，该体系结构包含两个子网络：时间结构推理网络和空间细节恢复网络。时间结构推理网络建立在3D全卷积架构上：它只学习完成低分辨率视频卷，因为3D卷积的计算成本很高。低分辨率结果为空间细节恢复网络提供了时间指导，空间细节恢复网络使用2D全卷积网络执行基于图像的修补，以产生原始分辨率的恢复视频帧。这种两步网络设计确保了每个帧的空间质量和跨帧的时间相干性。我们的方法以端到端的方式联合训练两个子网络。我们在三个数据集上提供了定性和定量的评估，证明了我们的方法优于以前基于学习的视频修复方法。
2018-12-03 cs.CV
DenseCap: Fully Convolutional Localization Networks for Dense Captioning
Stanford University（斯坦福大学）
我们介绍了密集字幕任务，这需要一个计算机视觉系统来定位和描述显着的区域在图像中的自然语言。当描述由单个单词组成时，密集字幕任务概括目标检测，并且当一个预测区域覆盖整个图像时，概括图像描述。为了共同解决定位和描述任务，我们提出了一种全卷积定位网络（FCLN）架构，该架构通过单个高效的前向传递处理图像，不需要外部区域建议，并且可以通过单轮优化进行端到端训练。该体系结构由卷积网络、一个新的密集定位层和生成标签序列的递归神经网络语言模型组成。我们在Visual Genome数据集上评估了我们的网络，该数据集包括94，000张图像和4，100，000个区域接地标题。我们观察到的速度和准确性的改进基线的基础上，目前的最先进的方法在生成和检索设置。
2015-11-24 cs.CV cs.LG
FingerNet: Pushing The Limits of Fingerprint Recognition Using Convolutional Neural Network
New York University（纽约大学）；University of California, Riverside（加州大学河滨分校）
指纹识别已被用于手机认证、机场安全等。已经提出了许多不同的特征和算法来改进指纹识别。在本文中，我们提出了一个端到端的深度学习框架，用于使用卷积神经网络（CNN）进行指纹识别，它可以联合学习特征表示并执行识别。我们在大规模指纹识别数据集上训练我们的模型，并在准确性方面改进了以前的方法。我们提出的模型是能够实现一个非常高的识别精度上一个著名的指纹数据集。我们相信这个框架可以广泛用于生物识别任务，使更可扩展和准确的系统成为可能。我们还使用了可视化技术来突出显示输入指纹图像中的重要区域，这些区域主要影响识别结果。
2019-07-28 cs.CV cs.LG
Deep Recurrent Convolutional Networks for Video-based Person Re-identification: An End-to-End Approach
The University of Adelaide（阿德莱德大学）
在本文中，我们提出了一个端到端的方法，同时学习时空特征和相应的相似性度量，基于视频的人重新识别。给定一个人的视频序列，从深度卷积网络的所有级别提取的每帧特征可以保持更高的空间分辨率，我们可以从中建模更精细的运动模式。这些低层次的视觉感知被利用到一个变体的递归模型来表征时间步长之间的时间变化。然后，使用时间池来总结来自所有时间步骤的特征，以产生完整序列的总体特征表示。深度卷积网络、递归层和时间池被联合训练，以从时间序列的输入对中提取可比较的隐藏单元表示，以计算它们相应的相似度值。该框架将时间序列建模和度量学习相结合，共同学习相关特征和人的时间序列之间的相似性度量。实验表明，我们的方法实现了最先进的性能，基于视频的人重新识别的iLIDS-VID和PRID 2011，两个主要的公共数据集，用于此目的。
2016-06-12 cs.CV
A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation
University of Freiburg（弗赖堡大学）；Technical University of Munich（慕尼黑工业大学）
最近的工作表明，光流估计可以用公式表示为监督学习任务，并且可以用卷积网络成功地解决。所谓的FlowNet的训练是由一个大型的合成生成的数据集实现的。本文将基于卷积网络的光流估计的概念扩展到视差和场景流估计。为此，我们提出了三个合成立体视频数据集，具有足够的现实主义，变化和大小，成功地训练大型网络。我们的数据集是第一个能够训练和评估场景流方法的大规模数据集。除了数据集之外，我们还提出了一个用于实时视差估计的卷积网络，该网络提供了最先进的结果。通过结合流量和视差估计网络并对其进行联合训练，我们展示了使用卷积网络的第一个场景流量估计。
2015-12-07 cs.CV cs.LG stat.ML
Accurate and Compact Convolutional Neural Networks with Trained Binarization
City University of Hong Kong（香港城市大学）
虽然卷积神经网络（CNN）现在广泛应用于各种计算机视觉应用中，但其对参数存储和计算的巨大资源需求使得在移动和嵌入式设备上的部署变得困难。最近，二进制卷积神经网络被探索以通过仅用1个单个比特量化权重和激活来帮助缓解这个问题。然而，与全精度模型相比，可能存在明显的精度下降。在本文中，我们提出了一种改进的训练方法，以提高精度。引入了权重和激活的可训练缩放因子以增加值范围。这些缩放因子将通过反向传播与其他参数联合训练。此外，还提出了一种特殊的训练算法，包括对不连续二值化函数导数的紧逼近和对权值比例因子的$L_2$正则化。通过这些改进，二进制CNN在CIFAR-10上使用VGG-Small网络实现了92.3%的准确率。在ImageNet上，我们的方法在AlexNet上获得了46.1%的top-1准确率，在Resnet-18上获得了54.2%的准确率，超过了以前的作品。
2019-09-25 cs.CV cs.LG
Feature Fusion for Robust Patch Matching With Compact Binary Descriptors
Università degli Studi di Brescia（布雷西亚大学）；Politecnico di Torino（都灵理工大学）；Telecom Italia S.P.A.（意大利电信股份公司）
这项工作解决了在深度学习框架内学习紧凑但有区别的补丁描述符的问题。我们观察到，在像素域中由卷积层提取的特征在很大程度上与在变换域中提取的特征互补。我们提出了一个卷积网络框架，用于学习二进制补丁描述符，其中像素域特征与从变换域中提取的特征融合。在我们的框架中，虽然卷积特征和变换特征被不同地提取，但它们被融合并提供给单个分类器，从而联合操作卷积特征和变换特征。我们对来自三个不同数据集的补丁进行了匹配实验，结果表明我们的特征融合方法在准确性、速率和复杂性方面优于多种最先进的方法。
2019-01-11 cs.CV cs.LG
Adversarially Robust Medical Classification via Attentive Convolutional Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
基于卷积神经网络的医学图像分类器已被证明特别容易受到对抗性示例的影响。这种不稳定性在未来的自动诊断中可能是不可接受的。虽然统计对抗性示例检测方法已被证明是有效的防御机制，但还需要进行更多的研究，以调查基于深度学习的系统的基本漏洞，以及如何最好地构建模型，以最大限度地提高传统和鲁棒的准确性。本文提出了在基于CNN的医学图像分类器中包含注意力机制，作为一种可靠有效的策略，用于在不牺牲的情况下提高鲁棒性准确性。这种方法能够在典型的对抗场景中将鲁棒准确率提高16%，在极端情况下提高2700%。
2022-10-26 cs.CR cs.CV cs.LG
Budget-aware Few-shot Learning via Graph Convolutional Network
ShanghaiTech University（上海科技大学）
本文解决了少样本学习的问题，其目的是从几个例子中学习新的视觉概念。在Few-Shot分类中，通常采用随机抽样的方法来获取数据标签，这在实际应用中是低效的。在这项工作中，我们引入了一个新的感知少样本学习问题，不仅旨在学习新的对象类别，而且还需要选择信息丰富的例子进行注释，以实现数据效率。我们开发了一个元学习策略，我们的感知少样本学习任务，共同学习一种新的数据选择策略的基础上图卷积网络（GCN）和基于示例的Few-Shot分类器。我们的选择策略通过图消息传递为每个未标记的数据计算上下文敏感的表示，然后用于预测顺序选择的信息性得分。我们通过在mini-ImageNet、tiered-ImageNet和Omniglot数据集上进行的大量实验来验证我们的方法。结果表明，我们的少样本学习策略比基线有相当大的优势，这证明了我们方法的有效性。
2022-01-07 cs.CV cs.LG
SPFCN: Select and Prune the Fully Convolutional Networks for Real-time Parking Slot Detection
Tongji University（同济大学）；State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body（汽车车身先进设计制造国家重点实验室）
对于配备了自动泊车系统的车辆，车位检测的准确性和速度至关重要。但是，高精度是以低速或昂贵的计算设备为代价的，这对许多汽车制造商来说是敏感的。在本文中，我们提出了一种检测器使用CNN（卷积神经网络）的速度更快，更小的模型大小，同时保持准确性。为了达到最佳的平衡，我们开发了一种策略来选择最佳的感受野，并在每个训练期后自动修剪冗余通道。该模型能够联合检测停车位的角点和线特征，并能在普通处理器上实时的高效运行。该模型在2.3 GHz CPU内核上具有约30 FPS的帧速率，产生1.51 $\pm$ 2.14 cm（标准）的停车槽角定位误差。错误）时隙检测精度达到98%，基本满足车载移动终端对速度和精度的要求。
2020-05-19 cs.CV cs.LG
Modeling 4D fMRI Data via Spatio-Temporal Convolutional Neural Networks (ST-CNN)
University of Georgia（佐治亚大学）；Northwestern Polytechnical University（西北工业大学）；Peking University（北京大学）；Massachusetts General Hospital（麻省总医院）；Beijing Institute of Big Data Research（北京大数据研究院）
从4D fMRI数据同时建模脑功能网络的时空变化模式一直是认知神经科学和医学图像分析领域的一个重要而具有挑战性的问题。受最近将深度学习应用于功能性大脑解码和编码的成功启发，在这项工作中，我们提出了一种时空卷积神经网络（ST-CNN），用于从训练数据中联合学习目标网络的空间和时间模式，并执行自动的精确功能性网络识别。建议的ST-CNN的评估任务，确定默认模式网络（DMN）从fMRI数据。结果表明，虽然该框架只在一个fMRI数据集上进行训练，但它具有足够的泛化能力，可以从不同的数据人群以及不同的认知任务中识别DMN。进一步的研究结果表明，ST-CNN的优越性能是由联合学习方案驱动的，它捕捉了DMN的时空特性之间的内在关系，并确保了准确的识别。
2018-08-06 cs.CV
SymmNet: A Symmetric Convolutional Neural Network for Occlusion Detection
从立体图像或视频帧中检测遮挡对于许多计算机视觉应用是重要的。以前的努力集中在捆绑它与视差或光流的计算，导致一个鸡和蛋的问题。在本文中，我们利用卷积神经网络从交错的传统计算框架中解放出遮挡检测任务。我们提出了一个对称网络（SymmNet）直接利用图像对的信息，而不需要预先估计视差或运动。所提出的网络在结构上是左右对称的，以同时学习双目遮挡，旨在共同改善这两个结果。综合实验表明，我们的模型在检测立体和运动遮挡方面达到了最先进的结果。
2018-09-23 cs.CV
Representation Learning via Cauchy Convolutional Sparse Coding
University of Bristol（布里斯托大学）；NHS Trust Foundation（NHS信托基金会）
在表示学习中，卷积稀疏编码（CSC）通过联合优化\(\ell_2\)范数保真度项和稀疏性强制惩罚来实现特征的无监督学习。这项工作调查使用正则化项来自假设的柯西先验的系数的CSC生成模型的特征图。由该先验产生的稀疏惩罚项通过其邻近算子来求解，该邻近算子然后迭代地、逐元素地应用于特征图的系数以优化CSC代价函数。所提出的迭代柯西插值（ICT）算法在重建自然图像的性能进行比较，对常见的选择\(\ell_1\) -范数优化通过软，硬阈值。在各种数据集的大多数重建实验中，ICT的表现优于IHT和IST，平均PSNR分别比ISTA和IHT高出11.30和7.04。
2020-08-08 cs.CV cs.LG eess.IV
Adaptative Inference Cost With Convolutional Neural Mixture Models
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
尽管卷积神经网络（CNN）对于许多视觉任务具有出色的性能，但当资源有限时，推理期间所需的计算成本是有问题的。在这种情况下，我们提出了卷积神经混合模型（CNNES），这是一种嵌入大量CNN的概率模型，可以以有效的方式联合训练和评估。在所提出的框架内，我们提出了不同的机制来从混合物中修剪CNN的子集，从而可以轻松地调整推理所需的计算成本。图像分类和语义分割实验表明，该方法取得了良好的精度-计算折衷。此外，与大多数先前的方法不同，单个CNMM沿着该权衡提供大范围的操作点，而无需任何重新训练。
2019-08-19 cs.CV
OriNet: A Fully Convolutional Network for 3D Human Pose Estimation
The Johns Hopkins University（约翰斯·霍普金斯大学）；Baidu Research (USA)（百度研究院（美国））
在本文中，我们提出了一个完全卷积网络的3D人体姿态估计从单目图像。我们使用肢体方向作为一种新的方式来表示3D姿势，并将方向与每个肢体区域的限界框绑定在一起，以更好地将图像和预测相关联。3D方向与2D关键点检测联合建模。在没有额外约束的情况下，这种简单的方法可以在几个大规模的基准测试中取得良好的结果。进一步的实验表明，我们的方法可以很好地推广到新的场景和不准确的包围盒是鲁棒的。
2018-11-12 cs.CV
Non-local Graph Convolutional Network for joint Activity Recognition and Motion Prediction
Bosch Center for Artificial Intelligence（博世人工智能中心）
基于三维人脸的运动预测和行为识别是人类行为分析中的两个相互交织的任务。在这项工作中，我们提出了一种运动上下文建模方法，提供了一种新的方式来结合图形卷积神经网络和递归神经网络的优点，联合人体运动预测和活动识别。我们的方法基于使用LSTM编码器-解码器和非局部特征提取注意力机制来建模人体骨骼数据的空间相关性和运动帧之间的时间相关性。所提出的网络可以很容易地包括两个输出分支，一个用于活动识别，一个用于未来运动预测，它们可以联合训练以增强性能。在Human 3.6M，CMU Mocap和NTU RGB-D数据集上的实验结果表明，我们提出的方法在基于LSTM的基线方法中提供了最佳的预测能力，同时实现了与其他最先进方法相当的性能。
2021-08-03 cs.CV cs.LG cs.RO
Unified Depth Prediction and Intrinsic Image Decomposition from a Single Image via Joint Convolutional Neural Fields
Yonsei University（延世大学）；Microsoft Research（微软研究院）
我们提出了一种从单个图像输入联合预测深度图和内在图像的方法。这两个任务通过联合条件随机场（CRF）以协同方式进行制定，该联合条件随机场（CRF）使用称为联合卷积神经场（JCNF）模型的新型卷积神经网络（CNN）架构进行求解。针对我们的联合估计问题，JCNF与以前的CNN不同之处在于，它在每个任务的网络之间共享卷积激活和层，它在梯度域中的推理，其中深度和内在图像之间存在更大的相关性，以及引入梯度尺度网络，学习估计梯度的置信度，以便在解决方案中有效地平衡它们。这种方法被证明是超越国家的最先进的方法，无论是对单图像的深度估计和内在的图像分解。
2016-03-21 cs.CV
Focal Sparse Convolutional Networks for 3D Object Detection
The Chinese University of Hong Kong（香港中文大学）；MEGVII Technology（旷视科技）；SmartMore（思谋科技）
非均匀3D稀疏数据，例如，不同空间位置的点云或体素以不同的方式对3D目标检测的任务做出贡献。稀疏卷积网络（Sparse CNN）中的现有基本组件处理所有稀疏数据，无论是常规卷积还是子流形稀疏卷积。在本文中，我们引入了两个新模块来增强稀疏CNN的能力，这两个模块都是基于通过位置重要性预测使特征稀疏性可学习。它们是焦点稀疏卷积（Focals Conv）及其融合焦点稀疏卷积的多模态变体，或简称为Focals Conv-F。新模块可以很容易地替换现有稀疏CNN中的普通对应模块，并以端到端的方式进行联合训练。这是第一次，我们表明，在稀疏卷积空间可学习的稀疏性是必不可少的复杂的三维目标检测。在KITTI，nuScenes和Waymo基准上进行的大量实验验证了我们方法的有效性。在没有花里胡哨的情况下，我们的结果在论文提交时优于nuScenes测试基准上所有现有的单一模型条目。代码和模型在https://github.com/dvlab-research/FocalsConv上。
2022-04-26 cs.CV cs.LG
SkinningNet: Two-Stream Graph Convolutional Neural Network for Skinning Prediction of Synthetic Characters
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
这项工作提出了SkinningNet，一个端到端的双流图神经网络架构，从输入网格及其相关的骨架计算蒙皮权重，而不对所提供的网格的形状类和结构进行任何假设。而以前的方法预先计算手工制作的功能，涉及的网格和骨架或假设一个固定的拓扑结构的骨架，所提出的方法提取此信息在一个端到端的可学习的方式，通过共同学习网格顶点和骨架关节之间的最佳关系。所提出的方法利用了新颖的多聚合器图卷积的优点，该卷积在消息传递方案的总结步骤期间结合了不同聚合器的结果，有助于操作推广到看不见的拓扑。实验结果表明，我们的新架构的贡献的有效性，与SkinningNet优于当前国家的最先进的替代品。
2022-04-06 cs.AI cs.CV cs.LG
Multi-task convolutional neural network for image aesthetic assessment
University of Leuven (KU Leuven)（鲁汶大学）
本文提出一种多任务卷积神经网络，通过联合学习美学属性与整体评分提升图像美学评估性能，在多个基准上达到接近人类水平且参数更少、计算更高效。
2024-01-15 cs.CV cs.LG
Dynamic Scenario Representation Learning for Motion Forecasting with Heterogeneous Graph Convolutional Recurrent Networks
Shanghai AI Lab（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
由于动态场景中交互的复杂性和变化性，运动预测是自动驾驶中的一个具有挑战性的问题。大多数现有的作品利用静态道路图来描述场景，并在动态场景中建模不断变化的时空依赖关系方面受到限制。在本文中，我们诉诸动态异构图建模的情况下。各种场景组件，包括车辆（代理）和车道，多种类型的交互，以及它们随时间的变化联合编码。此外，我们设计了一种新的异构图卷积递归网络，聚合不同的交互信息并捕获它们的演化，以学习利用动态图中的内在时空依赖性并获得动态场景的有效表示。最后，与运动预测解码器，我们的模型预测现实和多模态的未来轨迹的代理，并优于国家的最先进的已发表的作品在几个运动预测基准。
2023-03-08 cs.AI cs.CV cs.LG
End-to-End Image Super-Resolution via Deep and Shallow Convolutional Networks
Dalian University of Technology（大连理工大学）
卷积神经网络（CNN）的一个令人印象深刻的优点是它们能够从原始像素中自动学习特征表示，从而消除了手工设计过程的需要。然而，最近的单图像超分辨率（SR）的方法未能保持这一优势。他们在两个解耦步骤中利用CNN，即，首先用手工设计的技术将低分辨率（LR）图像上采样到高分辨率（HR）尺寸（例如，双三次插值），然后在上采样的LR图像上应用CNN以重建HR结果。在本文中，我们寻求一种替代方案，并提出了一种新的图像SR方法，该方法联合学习特征提取，上采样和HR重建模块，产生一个完全端到端可训练的深度CNN。与现有方法相反，所提出的方法在潜在特征空间中使用针对图像SR的任务进行优化的滤波器进行上采样。此外，以多尺度方式执行HR重建，以同时合并短距离和长距离上下文信息，确保HR图像的更准确恢复。为了便于网络训练，设计了一种新的训练方法，该方法将拟议的深度网络与相对较浅的网络联合训练，从而实现更快的收敛和更优越的性能。所提出的方法被广泛采用的数据集进行了广泛的评估，并提高了性能的国家的最先进的方法有相当大的利润。此外，进行深入的消融研究，以验证不同的网络设计对图像SR的贡献，为未来的研究提供额外的见解。
2016-07-26 cs.CV
Universal Pooling -- A New Pooling Method for Convolutional Neural Networks
Yonsei University（延世大学）
池化是卷积神经网络中的主要元素之一。池化减少了特征图的大小，从而能够以有限的计算量进行训练和测试。本文提出了一种新的池化方法-泛池化。与现有的池化方法（如平均池化，最大池化和具有固定池化函数的步幅池化）不同，通用池化根据给定的问题和数据集生成任何池化函数。通用池的灵感来自注意力方法，可以被认为是局部空间注意力的通道形式。通用池与主网络联合训练，并表明它包括现有的池化方法。最后，当应用到两个基准问题，所提出的方法优于现有的池化方法，并与预期的多样性，适应给定的问题。
2019-07-26 cs.CV
Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks
The University of Adelaide（阿德莱德大学）
在这项工作中，我们共同解决基于卷积循环神经网络的自然场景图像中的文本检测和识别问题。我们提出了一个统一的网络，它可以通过一次向前传递同时定位和识别文本，避免了图像裁剪和特征重新计算、单词分离或字符分组等中间过程。与现有的将文本检测和识别视为两个不同任务并逐个解决的方法相比，所提出的框架同时解决了这两个任务。整个框架可以进行端到端的训练，只需要图像，地面实况边界框和文本标签。通过端到端的训练，学习到的特征可以提供更多信息，从而提高整体性能。卷积特征仅计算一次，并由检测和识别共享，这节省了处理时间。我们提出的方法在几个基准数据集上取得了有竞争力的性能。
2017-07-13 cs.CV
Convolutional Patch Networks with Spatial Prior for Road Detection and Urban Scene Understanding
Friedrich Schiller University of Jena（耶拿弗里德里希·席勒大学）
对单个图像块进行分类在许多不同的应用中是重要的，例如道路检测或场景理解。在本文中，我们提出了卷积补丁网络，这是一种学习来区分不同图像补丁的卷积网络，可用于逐像素标记。我们还展示了如何将补丁的空间信息作为网络的输入，这允许学习空间先验的某些类别与外观模型。特别是，我们专注于道路检测和城市场景理解，这两个应用领域，我们能够在KITTI以及LabelMeFacade数据集上实现最先进的结果。此外，我们的论文为在该领域工作的人们提供了一个指导方针，并拼命地徘徊在所有令图像补丁训练CN变得非常困难的艰苦细节中。
2015-02-23 cs.CV
Efficient Object Localization Using Convolutional Networks
New York University（纽约大学）
最近人体姿态估计的最新性能已经通过深度卷积网络（ConvNets）实现。传统的ConvNet架构包括池化和子采样层，可以降低计算需求，引入不变性并防止过度训练。池化的这些好处是以降低定位精度为代价的。我们引入了一种新的架构，其中包括一个有效的“位置细化”模型，该模型被训练来估计图像的一个小区域内的联合偏移位置。该细化模型与最先进的ConvNet模型级联联合训练，以提高人体关节位置估计的准确性。我们表明，我们的检测器的方差接近FLIC数据集上的人类注释的方差，并且优于MPII-人类姿势数据集上的所有现有方法。
2015-06-09 cs.CV
T-Net: Parametrizing Fully Convolutional Nets with a Single High-Order Tensor
Samsung AI Center, Cambridge（三星人工智能中心（剑桥））
最近的研究结果表明，过度参数化虽然对于成功训练深度神经网络至关重要，但也会引入大量冗余。张量方法有可能通过利用这种冗余来有效地参数化过完备表示。在本文中，我们提出完全参数化卷积神经网络（CNN）与一个单一的高阶，低秩张量。以前关于网络张量化的工作主要集中在参数化单个层（卷积或全连接），并逐层单独执行张量化。相比之下，我们建议通过使用单个高阶张量对其进行参数化来共同捕获神经网络的完整结构，其模式表示网络的每个架构设计参数（例如卷积块的数量，深度，堆栈的数量，输入特征等）。这种参数化允许正则化整个网络并大大减少参数的数量。我们的模型是端到端可训练的，施加在权重张量上的低秩结构充当隐式正则化。我们研究了具有丰富结构的网络的情况，即全卷积网络（FCN），我们建议用单个8阶张量参数化。我们表明，我们的方法可以实现卓越的性能与小的压缩率，并达到高压缩率，可以忽略不计的准确性下降的挑战性任务的人体姿态估计。
2019-04-04 cs.AI cs.CV cs.LG
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；Microsoft Research（微软研究院）
我们提出了一个描述符，称为全卷积自相似性（FCSS），密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点，我们在全卷积网络中使用局部自相似性（LSS）来制定FCSS。与现有的基于CNN的描述符相比，由于其基于LSS的结构，FCSS本质上对类内外观变化不敏感，同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限，我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明，FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Training-Adaptive Convolutional Sparse Coding via Information Bottleneck for Robust Visual Representation
Shenzhen University of Advanced Technology（深圳理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Shandong University（山东大学）
提出自适应卷积稀疏编码框架，通过信息瓶颈动态调整稀疏系数，结合FISTA展开与后训练策略，在CIFAR和ImageNet上显著提升鲁棒性。
2026-09-29 cs.CV cs.LG stat.ML
Multi-Task Temporal Convolutional Networks for Joint Recognition of Surgical Phases and Steps in Gastric Bypass Procedures
University Hospital of Strasbourg（斯特拉斯堡大学医院）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学综合医院基金会IRCCS）；IRCAD（斯特拉斯堡消化癌症研究所）；University of Verona（维罗纳大学）；ICube（斯特拉斯堡大学工程、计算机科学、成像与数学实验室）；University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
目的：手术活动的自动分割和分类对于在计算机辅助干预和机器人辅助手术中的自主功能中提供高级支持至关重要。先前的工作集中在识别粗糙的活动，如阶段，或细粒度的活动，如手势。这项工作旨在直接从视频中联合识别两个互补的粒度级别，即阶段和步骤。方法：我们介绍腹腔镜胃旁路手术的两个相关的手术活动，阶段和步骤。我们提出了一个多任务多阶段时间卷积网络（MTMS-TCN）以及一个多任务卷积神经网络（CNN）训练设置，以共同预测阶段和步骤，并从它们的互补性中受益，以更好地评估程序的执行。我们评估所提出的方法在一个大型的视频数据集，包括40个外科手术（手术40）。结果：我们提出了几个基线模型的实验结果，相位和步骤的识别上的Cassass 40数据集。与单任务方法相比，所提出的MTMS-TCN方法在相位和步骤识别中的准确率、精确率和召回率均优于1-2%。此外，对于步骤识别，与基于LSTM的模型相比，MTMS-TCN在准确性，精确度和召回率方面的性能优越3-6%。结论：在这项工作中，我们提出了一个用于手术活动识别的多任务多阶段时间卷积网络，与具有多级注释的Pastorass 40胃旁路数据集上的单任务模型相比，该网络显示了改进的结果。该方法表明，阶段和步骤的联合建模有利于提高对每类活动的整体识别。
2021-02-24 cs.CV
ConvCSNet: A Convolutional Compressive Sensing Framework Based on Deep Learning
Xidian University（西安电子科技大学）
压缩感知（CS），旨在从一个小的随机测量集重建图像/信号，近年来引起了相当大的关注。由于图像的高维性，以前的压缩感知方法主要在图像块上工作，以避免对存储器和计算的巨大需求，即，利用高斯随机矩阵对图像块进行度量，并从重构图像块中恢复出完整的图像。虽然有效，但这种方法遭受严重的阻塞伪像。在本文中，我们提出了一个卷积CS框架，使用一组卷积滤波器来感知整个图像。不是重建单个块，而是从线性卷积测量重建整个图像。具体地，基于卷积神经网络（CNN）来实现卷积CS，该卷积神经网络执行卷积CS和非线性重构两者。通过端到端的训练，可以联合优化传感滤波器和重建网络。为了便于CS重建网络的设计，开发了一种新的两分支CNN，其灵感来自于基于稀疏性的CS重建模型。实验结果表明，该方法在PSNR和视觉质量方面都明显优于以前的国家的最先进的CS方法。
2018-01-31 cs.CV
Adaptive Graph Convolutional Network with Attention Graph Clustering for Co-saliency Detection
Nanjing University of Information Science and Technology（南京信息工程大学）；JD Digits（京东数科）
共显著性检测的目的是从一组相关的图像中发现共同的和显著的前景。为此，我们提出了一种新的自适应图卷积网络与注意图聚类（GCAGC）。三个主要的贡献已经作出，并通过实验证明有很大的实际价值。首先，我们提出了一个图卷积网络的设计，以提取信息线索来表征帧内和帧间的对应关系。其次，我们开发了一个注意力图聚类算法，以区分共同的对象从所有突出的前景对象在一个无监督的方式。第三，我们提出了一个统一的框架与编码器-解码器结构，以联合训练和优化的图卷积网络，注意力图聚类，和共显着性检测解码器在端到端的方式。我们在三个共显性检测基准数据集（iCoseg，Cosal 2015和COCO-SEG）上评估了我们提出的GCAGC方法。我们的GCAGC方法获得了显着的改进，在大多数国家的最先进的。
2020-03-13 cs.CV
Pulmonary Nodule Malignancy Classification Using its Temporal Evolution with Two-Stream 3D Convolutional Neural Networks
Eurecat, Centre Tecnòlogic de Catalunya（加泰罗尼亚技术中心Eurecat）；Universitat Pompeu Fabra（庞培法布拉大学）；Vall d’Hebron University Hospital（瓦尔德希伯伦大学医院）；ICREA（加泰罗尼亚研究与高级研究院）
医院恶性肿瘤评估是一项复杂、耗时且易出错的任务。目前的临床实践需要测量不同时间点结节大小和密度的变化。最先进的解决方案依赖于建立在从每个患者的单次CT扫描获得的肺结节上的3D卷积神经网络。在这项工作中，我们提出了一个双流3D卷积神经网络，通过联合分析同一患者在不同时间点拍摄的两个肺结节体积来预测恶性肿瘤。最好的结果是在测试中达到77%的F1分数，相对于使用来自单个时间点的图像训练的相同网络，F1分数增加了9%和12%。
2020-05-22 cs.CV eess.IV
V-EfficientNets: Vector-Valued Efficiently Scaled Convolutional Neural Network Models
Universidade Estadual de Campinas (UNICAMP)（圣保罗州立大学（UNICAMP））
本文提出向量值EfficientNets（V-EfficientNets），将EfficientNet扩展用于处理任意向量值数据，在ALL-IDB2白血病检测数据集上以99.46%的平均准确率超越现有最优模型，同时显著减少参数量。
2025-05-08 cs.CV cs.LG eess.IV
R-C3D: Region Convolutional 3D Network for Temporal Activity Detection
Boston University（波士顿大学）
我们解决的问题，在连续的，未修剪的视频流的活动检测。这是一项艰巨的任务，需要提取有意义的时空特征来捕获活动，准确定位每个活动的开始和结束时间。我们引入了一种新的模型，区域卷积3D网络（R-C3 D），它使用三维全卷积网络编码视频流，然后生成包含活动的候选时间区域，最后将选定的区域分类为特定的活动。由于在建议和分类管道之间共享卷积特征，因此节省了计算。整个模型是端到端训练的，具有联合优化的定位和分类损失。R-C3 D比现有方法更快（在单个Titan X Maxwell GPU上每秒569帧），并在THUMOS'14上实现了最先进的结果。我们进一步证明了我们的模型是一个通用的活动检测框架，它不依赖于对特定数据集属性的假设，通过评估我们在ActivityNet和Charades上的方法。我们的代码可在http://ai.bu.edu/r-c3d/上获得。
2017-08-04 cs.CV
One-Shot Multi-Rate Pruning of Graph Convolutional Networks
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（LIP6实验室）
提出多速率幅度剪枝（MRMP）方法，联合训练图卷积网络拓扑与权重，实现任意剪枝率的一次性剪枝，在骨架识别任务上高剪枝率下性能显著提升。
2023-12-29 cs.CV
Non-Rigid Image Registration Using Self-Supervised Fully Convolutional Networks without Training Data
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
一种新的非刚性图像配准算法是建立在全卷积网络（FCN）优化和学习空间变换之间的图像对注册在自监督学习框架。与大多数现有的基于深度学习的图像配准方法不同，这些方法从具有已知对应空间变换的训练数据学习空间变换，我们的方法通过最大化固定和变形运动图像之间的图像相似性度量来直接估计图像对之间的空间变换，类似于传统的图像配准算法。图像配准在多分辨率图像配准框架中实现，以通过典型的前馈和反向传播计算，通过深度自我监督，联合优化和学习不同空间分辨率的空间变换和FCN。所提出的方法已被评估为注册三维结构脑磁共振（MR）图像，并获得了更好的性能比国家的最先进的图像配准算法。
2018-01-11 cs.CV
Joint Background Reconstruction and Foreground Segmentation via A Two-stage Convolutional Neural Network
University of Chinese Academy of Sciences（中国科学院大学）
视频序列中的前景分割是计算机视觉的一个经典课题。由于缺乏语义和先验知识，现有的方法很难很好地处理复杂场景。因此，在本文中，我们提出了一个端到端的两阶段深度卷积神经网络（CNN）框架，用于视频序列中的前景分割。在第一阶段，卷积编码器-解码器子网络被用来重建背景图像和编码丰富的背景场景的先验知识。在第二阶段，重建的背景和当前帧输入到一个多通道全卷积子网络（MCFCN）进行准确的前景分割。在两级CNN中，重建损失和分割损失被联合优化。背景图像和前景对象以端到端的方式同时输出。此外，通过在预训练过程中结合前景和背景的先验语义知识，该方法可以在抑制背景噪声的同时保持前景对象的完整性。在CDNet 2014上的实验表明，我们的方法比最先进的方法高出4.9%。
2017-07-24 cs.CV
LCNN: Lookup-based Convolutional Neural Network
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
将最先进的深度学习算法移植到资源受限的计算平台（例如VR、AR、可穿戴设备）是极具挑战性的。我们提出了一个快速，紧凑，准确的卷积神经网络，使有效的学习和推理模型。我们介绍了LCNN，这是一种基于查找的卷积神经网络，它通过对字典的少量查找来对卷积进行编码，该字典经过训练以覆盖CNN中的权重空间。训练LCNN涉及联合学习字典和一小组线性组合。字典的大小自然会在效率和准确性之间进行权衡。我们在ImageNet Challenge上的实验结果表明，LCNN可以提供3.2倍的加速，同时使用AlexNet架构实现55.1%的top-1准确率。我们最快的LCNN比AlexNet提供37.6倍的速度，同时保持44.3%的前1准确率。LCNN不仅在推理方面提供了显着的速度，而且还实现了有效的训练。在本文中，我们展示了LCNN在少样本学习和少迭代学习方面的优势，这是深度学习模型的设备上训练的两个关键方面。
2017-06-13 cs.CV
Continuity-Discrimination Convolutional Neural Network for Visual Object Tracking
University of Chinese Academy of Sciences（中国科学院大学）
提出了一种新的视觉目标跟踪模型--连续判别卷积神经网络（CD-CNN）。现有的最先进的跟踪方法不处理视频序列中的时间关系，这导致不完善的特征表示。为了解决这个问题，CD-CNN基于时间缓慢的想法对时间外观连续性进行建模。在数学上，我们证明了，通过引入时间外观连续跟踪，目标外观表示误差的上限可以足够小的概率。此外，为了减轻不准确的目标定位和漂移，我们提出了一个新的概念，对象质心，不仅表征对象，而且在一个给定的补丁内的目标的相对位置。时间外观连续性和物体质心在离线训练期间联合学习，然后转移到在线跟踪。我们评估我们的跟踪器通过广泛的实验两个具有挑战性的基准，并显示其竞争力的跟踪性能相比，最先进的跟踪器。
2021-04-18 cs.CV
Classification of Time-Series Images Using Deep Convolutional Neural Networks
Ecole Nationale Superieure des Mines de Saint-Etienne（圣艾蒂安国立高等矿业学校）
卷积神经网络（CNN）通过从原始数据中自动学习分层特征表示，在图像识别任务中取得了巨大的成功。虽然大多数时间序列分类（TSC）文献都集中在1D信号上，但本文使用递归图（RP）将时间序列转换为2D纹理图像，然后利用深度CNN分类器。时间序列的图像表示引入了一维信号所不具备的不同特征类型，因此TSC可以被视为纹理图像识别任务。CNN模型还允许与分类器一起联合和自动地学习不同级别的表示。因此，在统一的框架中使用RP和CNN有望提高TSC的识别率。UCR时间序列分类存档的实验结果表明，所提出的方法不仅与现有的深度架构相比，而且与最先进的TSC算法相比，具有竞争力的准确性。
2017-10-07 cs.CV
