Bayesian Image Classification with Deep Convolutional Gaussian Processes
在决策系统中，重要的是要有分类器，校准的不确定性，优化目标，可用于自动模型选择和培训。高斯过程（GP）提供了不确定性估计和边际似然目标，但它们的弱归纳偏差导致精度较差。这限制了它们在某些任务（例如图像分类）中的适用性。我们提出了一个对平移不敏感的卷积核，它放松了以前卷积GP施加的平移不变性约束。我们展示了如何使用边际似然来学习不敏感的程度。我们还将GP图像到图像的卷积映射重新表述为多输出GP，从而产生深度卷积GP。我们的实验表明，我们的新内核提高了单层和深层模型的性能。我们还证明了我们的完全贝叶斯方法在不确定性和边际似然估计方面优于基于丢弃的贝叶斯深度学习方法。
2020-03-04 cs.LG stat.ML
Deep Convolutional Transform Learning -- Extended version
Indraprastha Institute of Information Technology Delhi（德里英迪拉普拉斯信息技术学院）；Inria Saclay（法国国家信息与自动化研究所萨克雷分院）；Univ. Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；LIGM（巴黎东部克雷泰伊大学计算机科学实验室）；ESIEE Paris（巴黎高等电子与电工技术工程师学院）；Univ. Gustave Eiffel（古斯塔夫·埃菲尔大学）
这项工作介绍了一种新的无监督表示学习技术，称为深度卷积变换学习（DCTL）。通过堆叠卷积变换，我们的方法能够在不同层学习一组独立的内核。然后，以无监督方式提取的特征可以用于执行机器学习任务，例如分类和聚类。学习技术依赖于一个健全的交替近端最小化计划与既定的收敛保证。我们的实验结果表明，建议的DCTL技术优于其浅版本的CTL，在几个基准数据集。
2020-10-02 cs.LG stat.ML
Simple and Deep Graph Convolutional Networks
Renmin University of China（中国人民大学）；Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）
图卷积网络（GCN）是用于图结构数据的强大深度学习方法。最近，GCN及其后续变体在现实世界数据集的各种应用领域中表现出卓越的性能。尽管它们取得了成功，但由于{ \em过度平滑}问题，目前的大多数GCN模型都是肤浅的。本文研究了深度图卷积网络的设计和分析问题。我们提出了GCNII，香草GCN模型的扩展与两个简单而有效的技术：{ \em初始残差}和{ \em身份映射}。我们提供的理论和经验证据表明，这两种技术有效地缓解了过度平滑的问题。我们的实验表明，深度GCNII模型在各种半监督和全监督任务上的性能优于最先进的方法。代码可在https://github.com/chennnM/GCNII上获得。
2020-07-04 cs.LG stat.ML
Deformable Deep Convolutional Generative Adversarial Network in Microwave Based Hand Gesture Recognition System
传统的基于视觉的手势识别系统在黑暗环境下具有局限性。本文构建了一个基于微波收发器和深度学习算法的手势识别系统。采用5.8GHz双接收通道多普勒雷达传感器采集大量手势信号。然后对接收到的手势信号进行时频分析。基于这些大的手势数据库，我们提出了一种新的机器学习架构，称为可变形深度卷积生成对抗网络。实验结果表明，新的结构可以提高识别率10%，变形核可以减少测试时间成本30%。
2017-11-22 cs.LG stat.ML
Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
及时准确的交通预测是城市交通控制和诱导的关键。由于交通流的高度非线性和复杂性，传统的预测方法往往不能满足中长期预测任务的要求，且往往忽略了时空相关性。在本文中，我们提出了一种新的深度学习框架，时空图卷积网络（STGCN），以解决交通领域的时间序列预测问题。我们没有应用常规的卷积和递归单元，而是将问题公式化在图上，并使用完整的卷积结构构建模型，这可以用更少的参数实现更快的训练速度。实验表明，我们的模型STGCN有效地捕捉全面的时空相关性，通过建模多尺度的交通网络，并始终优于各种现实世界的交通数据集的最先进的基线。
2018-07-12 cs.LG stat.ML
Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
深度卷积架构的成功通常部分归功于它们学习自然信号的多尺度和不变表示的能力。然而，对这些属性以及它们如何影响学习保证的精确研究仍然缺失。在本文中，我们考虑信号的深度卷积表示;我们研究它们对平移和更一般的变换群的不变性，它们对反同态作用的稳定性，以及它们保存信号信息的能力。通过引入基于卷积核网络的多层核并通过研究核映射引起的几何形状来进行这种分析。然后，我们描述了相应的再生核希尔伯特空间（RKHS），表明它包含一个大类的卷积神经网络具有齐次激活函数。这种分析使我们能够将数据表示与学习分开，并提供模型复杂性的规范度量，即RKHS范数，它控制任何学习模型的稳定性和泛化。除了在构建的RKHS模型，我们的稳定性分析也适用于卷积网络与一般的激活，如整流线性单元，我们讨论了它与最近的泛化界的基础上谱范数的关系。
2018-10-10 cs.LG stat.ML
Deep Convolutional Networks as shallow Gaussian Processes
University of Cambridge（剑桥大学）
我们证明了在无限多个卷积滤波器的限制下，具有适当先验的（残差）卷积神经网络（CNN）的输出是一个高斯过程（GP），扩展了密集网络的类似结果。对于一个CNN，等价的核可以被精确地计算出来，并且与"深度核"不同，它的参数非常少：只有原始CNN的超参数。此外，我们表明，这个内核有两个属性，使它能够有效地计算;评估一对图像的内核的成本类似于通过原始CNN的单次前向传递，每层只有一个过滤器。相当于32层ResNet的内核在MNIST上获得了0.84%的分类错误，这是具有可比数量参数的GP的新记录。
2019-05-05 cs.LG stat.ML
A Generative Model for Deep Convolutional Learning
Duke University（杜克大学）
为深度（多层）卷积字典学习开发了一个生成模型。一种新的概率池化操作被集成到深度模型中，产生了高效的自底向上（预训练）和自顶向下（细化）的概率学习。实验结果表明，该模型具有强大的能力，从图像中学习多层特征，并在MNIST和Caltech 101数据集上获得了良好的分类结果。
2015-04-15 cs.LG cs.NE stat.ML
Understanding Deep Convolutional Networks
École Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL（巴黎文理研究大学）
深度卷积网络为许多高维问题提供了最先进的分类和回归结果。我们回顾他们的架构，分散的数据与级联的线性滤波器的权重和非线性。引入一个数学框架来分析它们的性质。不变量的计算涉及多尺度收缩、层次对称的线性化和稀疏分离。应用进行了讨论。
2016-01-19 cs.CV cs.LG stat.ML
End-to-end Learning of a Convolutional Neural Network via Deep Tensor Decomposition
University of California, Riverside（加州大学河滨分校）；University of Southern California（南加利福尼亚大学）
本文研究了深度卷积神经网络的权值学习问题。我们考虑一个网络，其中卷积是在每层都有一个内核的非重叠补丁上进行的。我们开发了一个算法，同时学习所有的内核从训练数据。我们的方法被称为深度张量分解（DeepTD）是基于秩1张量分解。我们在理论上研究DeepTD下的训练数据的可实现模型，其中输入是独立同分布选择的。从高斯分布，并且根据种植的卷积核生成标签。我们证明了DeepTD是数据高效的，并且只要样本大小超过网络中卷积权重的总数，就可以证明它是有效的。我们进行了各种数值实验，以研究DeepTD的有效性，并验证我们的理论研究结果。
2018-05-16 cs.LG math.OC stat.ML
An Investigation of Quantum Deep Clustering Framework with Quantum Deep SVM & Convolutional Neural Network Feature Extractor
Amity Institute of Information Technology（阿米提信息技术学院）；Amity University（阿米提大学）；Coventry University（考文垂大学）
在本文中，我们提出了一种深度量子SVM公式，并进一步展示了基于量子深度SVM公式、深度卷积神经网络和量子K-Means聚类的量子聚类框架。我们研究了所提出的量子深度聚类框架的运行时间计算复杂性，并与可能的经典实现进行了比较。我们的调查表明，所提出的量子版本的深度聚类公式显示出显着的性能增益（在许多部分指数加速增益）对可能的经典实现。所提出的理论量子深度聚类框架也是有趣的，是对量子经典机器学习公式的新颖研究，以表达最大的性能。
2019-09-21 cs.AI cs.LG stat.ML
Deep convolutional autoencoder for cryptocurrency market analysis
Curtin University（科廷大学）
这项研究试图使用一种特殊类型的深度神经网络，即卷积自动编码器来分析加密货币市场的模式。该方法提取了市场行为的主要特征，并将40种研究的加密货币分为几类，从2013年5月15日开始为期12个月。随着时间的推移，从一个类到另一个类的过渡与加密货币的成熟有关。在投机性加密货币市场中，这些发现对投资和交易策略具有潜在影响。
2019-10-27 cs.LG q-fin.ST stat.ML
A guide to convolution arithmetic for deep learning
MILA, Université de Montréal（蒙特利尔大学 MILA）；AIRLab, Politecnico di Milano（米兰理工大学 AIRLab）
我们介绍了一个指南，以帮助深度学习从业者理解和操作卷积神经网络架构。该指南阐明了卷积层、池化卷积层和转置卷积层的各种属性（输入形状、内核形状、零填充、步幅和输出形状）之间的关系，以及卷积层和转置卷积层之间的关系。各种情况下的关系，并说明，以使他们直观。
2018-01-11 cs.LG cs.NE stat.ML
Theory of Deep Convolutional Neural Networks II: Spherical Analysis
City University of Hong Kong（香港城市大学）
基于各种结构和架构的深度神经网络的深度学习在许多实际应用中已经很强大，但缺乏足够的理论验证。在本文中，我们考虑一族深度卷积神经网络，其应用于$\mathbb{R}^d$的单位球面$\mathbb{S}^{d-1}$上的近似函数。我们的分析提出了一致逼近的速度时，近似函数位于Sobolev空间$W^r_\infty (\mathbb{S}^{d-1})$与$r>0$或采取加性脊形式。我们的工作从理论上验证了深度卷积神经网络的建模和逼近能力，然后进行下采样和一个或两个完全连接的层。我们的球面分析的关键思想是使用球面谐波空间的再生核的内积形式，然后应用滤波器的卷积因子分解来实现生成的线性特征。
2020-07-28 cs.LG math.FA stat.ML
DeepPainter: Painter Classification Using Deep Convolutional Autoencoders
Bar-Ilan University（巴伊兰大学）；University of Maryland（马里兰大学）
在本文中，我们描述了画家分类的问题，并提出了一种新的方法，基于深度卷积自动编码器神经网络。虽然以前的方法依赖于图像处理和手动特征提取的绘画，我们的方法操作的原始像素水平，没有任何预处理或手动特征提取。我们首先在绘画数据集上训练深度卷积自动编码器，然后使用它来初始化分类阶段的监督卷积神经网络。所提出的方法大大优于以前的方法，将3-画家分类问题的以前的最新技术水平从90.44%的准确度（以前的最新技术水平）提高到96.52%的准确度，即，出错率降低了63%。
2017-11-23 cs.CV cs.LG cs.NE
Deep Recurrent Convolutional Neural Network: Improving Performance For Speech Recognition
China University of Political Science and Law（中国政法大学）；Institute of High Performance Computing（高性能计算研究所）
深度学习方法已广泛应用于序列建模问题。在自动语音识别（ASR）方面，通过增加大规模语音语料库和更深层次的神经网络，其性能得到了显著提升。特别是递归神经网络和深度卷积神经网络已经成功地应用于ASR。针对训练速度问题，本文提出了一种新的深度递归卷积网络用于声学建模，并将深度残差学习应用于其中，实验结果表明，与传统的深度递归卷积网络相比，它不仅具有更快的收敛速度，而且具有更高的识别精度。在实验中，我们比较了我们的新型深度递归卷积网络和传统深度卷积递归网络的收敛速度。凭借更快的收敛速度，我们的新型深度递归卷积网络可以达到相当的性能。我们进一步证明，应用深度残差学习可以提高我们新型深度递归卷积网络的收敛速度。最后，我们用我们提出的双向统计n-gram语言模型通过音素出错率（PER）来评估我们所有的实验网络。我们的评估结果表明，我们新提出的应用深度残余学习的深度递归卷积网络在TIMIT数据库上可以达到17.33%的最佳PER，并且收敛速度最快。具有深度残差学习的新型深度递归卷积神经网络的出色性能表明，它可以潜在地应用于其他序列问题。
2016-12-27 cs.CL cs.LG
Bayesian Convolutional Deep Sets with Task-Dependent Stationary Prior
KAIST（韩国科学技术院）
卷积深度集是深度神经网络（DNN）的架构，可以对静态随机过程进行建模。该架构使用核平滑器和DNN来构造平移等变函数表示，从而将平稳性的归纳偏差反映到DNN中。然而，由于该架构采用称为非参数模型的内核平滑器，因此当数据点的数量没有充分给出时，它可能会产生模糊的表示。为了解决这个问题，我们引入了贝叶斯卷积深度集，它构建了具有静态先验的随机平移等变函数表示。此外，我们提出了如何对每个数据集施加任务相关的先验，因为错误施加的先验形成了比内核平滑器更差的表示。我们使用时间序列和图像数据集验证了所提出的架构及其在各种实验中的训练。
2022-10-22 cs.LG stat.ME stat.ML
Sensitivity of Deep Convolutional Networks to Gabor Noise
Imperial College London（帝国理工学院）
深度卷积网络（DCN）已被证明对通用对抗性扰动（UAP）敏感：输入不可知的扰动在大部分数据集上欺骗模型。这些UAP表现出有趣的视觉模式，但这种现象是，迄今为止，知之甚少。我们的工作表明，视觉上类似的程序噪声模式也作为UAP。特别是，我们证明了不同的DCN架构是敏感的Gabor噪声模式。这种行为、其原因和影响值得进一步深入研究。
2019-06-11 cs.CR cs.LG stat.ML
Convergence of Deep Convolutional Neural Networks
Old Dominion University（欧道明大学）；Sun Yat-sen University（中山大学）
深度神经网络的收敛是建立深度学习数学基础的基础，因为网络的深度趋于无穷大。在之前的研究中，我们研究了具有固定宽度的深度ReLU网络的这个问题。这并不包括重要的卷积神经网络，其中的宽度从一层到另一层不断增加。出于这个原因，我们首先研究一般ReLU网络随着宽度增加的收敛性，然后将所得结果应用于深度卷积神经网络。事实证明，这种收敛性归结为矩阵大小不断增加的无限乘积的收敛性，而文献中尚未考虑过这一点。我们建立了这样的矩阵无穷乘积收敛的充分条件。基于这些条件，我们提出了一般深度ReLU网络随着宽度增加而分段收敛的充分条件，以及深度ReLU卷积神经网络的逐点收敛的充分条件。
2022-01-23 cs.LG
Stock2Vec: A Hybrid Deep Learning Framework for Stock Market Prediction with Representation Learning and Temporal Convolutional Network
Auburn University（奥本大学）；Verizon Media Group (Yahoo!)（威瑞森媒体集团（雅虎））；Amazon.com Inc.（亚马逊公司）
我们提出了开发一个全球混合深度学习框架来预测股票市场的每日价格。通过表示学习，我们得到了一个名为Stock2Vec的嵌入，它让我们了解不同股票之间的关系，而时间卷积层用于自动捕获序列内和序列间的有效时间模式。在标准普尔500指数上进行评估，我们的混合框架集成了这两个优点，并在股票价格预测任务上取得了比几个流行的基准模型更好的性能。
2020-09-29 cs.LG q-fin.ST stat.ML
CrescendoNet: A Simple Deep Convolutional Neural Network with Ensemble Behavior
Clemson University（克莱姆森大学）
我们引入了一种新的深度卷积神经网络CrescendoNet，通过堆叠没有剩余连接的简单构建块。每个Crescendo块包含具有增加的深度的独立卷积路径。卷积层和参数的数量仅在Crescendo块中线性增加。在实验中，只有15层的CrescendoNet在基准数据集CIFAR 10、CIFAR 100和SVHN上的性能优于几乎所有没有剩余连接的网络。如果像SVHN数据集一样有足够的数据量，具有15层和4.1M参数的CrescendoNet可以与具有250层和15.3M参数的DenseNet-BC的性能相匹配。CrescendoNet提供了一种新的方法来构建无剩余连接的高性能深度卷积神经网络。此外，通过研究CrescendoNet中子网络的行为和性能，我们注意到CrescendoNet的高性能可能来自其隐式集成行为，这与FractalNet不同，FractalNet也是一个没有剩余连接的深度卷积神经网络。此外，CrescendoNet中路径之间的独立性允许我们引入一个新的路径训练过程，这可以减少训练所需的内存。
2018-01-04 cs.CV cs.LG stat.ML
Estimation of Body Mass Index from Photographs using Deep Convolutional Neural Networks
University of the Witwatersrand（威特沃特斯兰德大学）
肥胖是公共卫生中的一个重要问题，体重指数是有用的（和增殖）措施之一。我们使用卷积神经网络从161名参与者的研究中的照片中确定体重指数。低数据量是医学中的一个常见问题，通过生成轮廓图像来减少照片中的信息来解决。当对看不见的数据进行测试时，结果具有高度相关性。
2019-08-29 cs.CV cs.LG stat.ML
Stochastic Pooling for Regularization of Deep Convolutional Neural Networks
New York University（纽约大学）
介绍了一种简单有效的正则化大型卷积神经网络的方法。我们用随机过程取代了传统的确定性池操作，根据池区域内的活动给出的多项分布，随机挑选每个池区域内的激活。该方法是无超参数的，并且可以与其他正则化方法（例如dropout和数据增强）相结合。相对于不利用数据增强的其他方法，我们在四个图像数据集上实现了最先进的性能。
2013-01-16 cs.LG cs.NE stat.ML
Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level
RJ Research Consulting（RJ研究咨询公司）；Rutgers University（罗格斯大学）
本文报告了我们早期的工作（2015年），浅字级卷积神经网络（CNN）在Conneau等人（2016年）中用于测试非常深的字符级CNN的具有相对较大训练数据的八个数据集上的性能。我们的调查结果如下。浅字级CNN实现了比Conneau等人报道的出错率更好的出错率，尽管由于Conneau等人的独特预处理，结果应该在某种程度上进行解释。浅单词级CNN使用更多的参数，因此比深字符级CNN需要更多的存储;然而，浅单词级CNN计算得快得多。
2016-08-31 cs.CL cs.LG stat.ML
DeepFall -- Non-invasive Fall Detection with Deep Spatio-Temporal Convolutional Autoencoders
University of Toronto（多伦多大学）；Toronto Rehabilitation Institute（多伦多康复研究所）；University Health Network（大学健康网络）
人类跌倒很少发生;然而，从健康和安全的角度来看，检测跌倒非常重要。由于跌倒的罕见性，很难采用监督分类技术来检测它们。此外，在这些高度偏斜的情况下，也难以提取领域特定特征来识别跌倒。在本文中，我们提出了一种新的框架，\textit{DeepFall}，它制定了作为一个异常检测问题的跌倒检测问题。\textit{DeepFall}框架提出了深度时空卷积自动编码器的新用途，以使用非侵入式感测模态从正常活动中学习空间和时间特征。我们还提出了一种新的异常评分方法，结合重建分数的帧在一个时间窗口来检测看不见的下降。我们在三个公开的数据集上测试了\textit{DeepFall}框架，这些数据集是通过非侵入式传感模式、热成像相机和深度相机收集的，与传统的自动编码器方法相比，该框架显示出更好的结果来识别看不见的跌倒。
2020-04-27 cs.CV cs.LG stat.ML
Facial Key Points Detection using Deep Convolutional Neural Network - NaimishNet
University of Paderborn（帕德博恩大学）；IIIT-Allahabad（印度信息技术学院阿拉哈巴德分校）
人脸关键点检测是计算机视觉和机器学习领域的一个重要而又具有挑战性的问题。它涉及预测给定面部的FKP的坐标，例如鼻尖、眼睛中心等。在本文中，我们提出了一个适应LeNet的深度CNN模型- NaimishNet，用于对面部关键点数据进行操作，并将我们的模型的性能与现有的最先进的方法进行比较。
2017-10-03 cs.CV cs.LG stat.ML
Diagnosing Cardiac Abnormalities from 12-Lead Electrocardiograms Using Enhanced Deep Convolutional Neural Networks
Rice University（莱斯大学）；Prudence Medical Technologies Ltd（审慎医疗技术有限公司）
我们训练一个增强的深度卷积神经网络，以便使用14000个ECG的数据集从标准12导联心电图（ECG）中识别8种心脏异常。与直接应用端到端的深度学习方法不同，我们发现用复杂的手工特征增强的深度卷积神经网络在减少泛化错误方面具有优势。此外，数据预处理和增强是必不可少的，因为八个心脏异常的分布在给定的数据集中是高度偏倚的。我们的方法取得了良好的推广性能，在第一届中国心电智能竞赛的竞争心电数据集上的实证评估，以验证我们的设计的有效性。
2019-08-15 cs.LG eess.IV eess.SP
Churn analysis using deep convolutional neural networks and autoencoders
True Corporation Public Company Limited（True Corporation 大众有限公司）；King Mongkut's University of Technology Thonburi（吞武里蒙固国王理工大学）；International Business Machines Corporation（国际商业机器公司）
客户时间行为数据表示为图像，以便通过利用图像分类中突出的深度学习架构来执行流失预测。使用深度卷积神经网络对超过600万客户的标记数据进行了监督学习，在测试数据集上使用每个客户不超过12个时间特征实现了0.743的AUC。使用自动编码器进行无监督学习，以更好地了解客户流失的原因。最大限度地激活自动编码器的隐藏单元的图像与流失的客户一起训练，揭示了采取行动的充分机会，以防止强数据，无语音用户之间的流失。
2016-04-18 cs.LG cs.NE stat.ML
AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery
Atomwise, Inc.（Atomwise公司）
深度卷积神经网络包括具有约束架构的深度神经网络（DNN）的子类，该约束架构利用它们建模的域的空间和时间结构。卷积网络通过将简单的局部特征分层组成复杂的模型，在语音和图像识别等领域实现了最佳的预测性能。尽管DNN已被用于药物发现的QSAR和基于配体的生物活性预测，但这些模型都没有从这种强大的卷积架构中受益。本文介绍了AtomNet，这是第一个基于结构的深度卷积神经网络，旨在预测药物发现应用中小分子的生物活性。我们演示了如何将特征局部性和层次组成的卷积概念应用于生物活性和化学相互作用的建模。与现有的DNN技术相比，我们表明AtomNet将局部卷积滤波器应用于结构目标信息，成功地预测了没有先前已知调制器的目标的新活性分子。最后，我们证明了AtomNet在一组不同的基准测试中的表现优于以前的对接方法，在DUDE基准测试中，57.8%的目标的AUC大于0.9。
2015-10-10 cs.LG cs.NE q-bio.BM
Deep Gaussian Processes with Convolutional Kernels
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）；Amazon Research（亚马逊研究院）
深度高斯过程（DGP）为标准参数深度学习模型提供了贝叶斯非参数替代方案。DGP是通过堆叠多个GP而形成的，从而导致函数的良好正则化组合。贝叶斯框架为模型提供了有吸引力的属性，例如隐式容量控制和预测不确定性，同时也使其与卷积结构相结合具有挑战性。这阻碍了DGP在计算机视觉任务中的应用，这是深度参数模型（即CNN）取得突破的领域。DGP中使用的标准内核（如径向基函数（RBF））不足以处理原始图像中的像素变化。在本文中，我们在最近的卷积GP的基础上开发了卷积DGP（CDGP）模型，该模型通过使用卷积核有效地捕获图像级特征，从而开辟了将DGP应用于计算机视觉任务的途径。我们的模型学习局部空间影响，并在多类图像分类上优于基于强GP的基线。我们还考虑了卷积核在图像块上的各种构造，分析了计算权衡，并为卷积DGP模型提供了一个有效的框架。在MNIST、矩形图像、CIFAR10和Caltech101等图像数据上的实验结果表明了所提方法的有效性。
2018-06-05 cs.AI cs.LG stat.ML
DeepCough: A Deep Convolutional Neural Network in A Wearable Cough Detection System
Thayer School of Engineering（塞耶工程学院）；Dartmouth College（达特茅斯学院）
在本文中，我们提出了一个系统，采用可穿戴的声学传感器和深度卷积神经网络检测咳嗽。我们评估了我们的系统对14名健康志愿者的性能，并将其与文献中报道的其他咳嗽检测系统进行比较。实验结果表明，我们的系统实现了95.1%的分类灵敏度和99.5%的特异性。
2015-09-08 cs.LG cs.NE
RotDCF: Decomposition of Convolutional Filters for Rotation-Equivariant Deep Networks
Duke University（杜克大学）
在深度特征中显式编码组动作使得卷积神经网络（CNN）能够处理图像的全局变形，这对于许多视觉任务的成功至关重要。本文提出了同时在空间和组几何结构上的联合可操纵基上分解卷积滤波器，即具有分解卷积滤波器的旋转等变CNN（RotDCF）。这种分解便于计算联合卷积，这被证明是必要的组等方差。它显着降低了模型的大小和计算复杂性，同时保持性能，和截断的基础扩展隐式正则化的过滤器。在涉及面内和面外对象旋转的数据集上，RotDCF深度特征比常规CNN表现出更强的鲁棒性和可解释性。的稳定性的等变表示输入变化的理论上也证明了一般假设下的过滤器的分解形式。RotDCF框架可以扩展到旋转以外的组，提供了一种通用的方法，可以在减小的模型大小下实现组等方差和表示稳定性。
2018-05-17 cs.CV cs.LG stat.ML
DeConFuse : A Deep Convolutional Transform based Unsupervised Fusion Framework
Indraprastha Institute of Information Technology, Delhi（德里英德拉普拉斯塔信息技术学院）；TCS Research（塔塔咨询服务研究院）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（高等电力学院）；Inria（法国国家信息与自动化研究所）；LIGM（LIGM实验室）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；ESIEE Paris（巴黎高等电子工程师学院）
这项工作提出了一种基于深度卷积变换学习的无监督融合框架。卷积滤波器用于数据分析的强大学习能力是众所周知的。卷积特征的成功归功于卷积神经网络（CNN）。然而，CNN不能以无监督的方式执行学习任务。在最近的一项工作中，我们证明了这种缺点可以通过采用卷积变换学习（CTL）方法来解决，其中卷积滤波器以无监督的方式学习。本论文的目的是（i）提出一个深度版本的CTL;（ii）提出一个无监督的融合公式，利用所提出的深度CTL表示;（iii）开发一个数学上健全的优化策略来执行学习任务。我们应用所提出的技术，名为DeConclusion，股票预测和交易的问题。与最先进的方法（基于CNN和长短期记忆网络）的比较表明，我们的方法进行可靠的特征提取的优越性。
2020-11-09 cs.LG
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
A Deep Graph Wavelet Convolutional Neural Network for Semi-supervised Node Classification
Institute for Artificial Intelligence at Tsinghua University（清华大学人工智能研究院）；State Key Laboratory of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Center for Intelligent Connected Vehicles and Transportation（智能网联汽车与运输中心）；Department of Computer Science, Tsinghua University（清华大学计算机系）
图卷积神经网络为非欧数据的节点分类和其他任务提供了很好的解决方案。有几种图卷积模型试图开发深度网络，但同时不会导致严重的过度平滑。考虑到小波变换通常比傅立叶变换具有更强的提取有用信息的能力，我们提出了一种新的用于半监督节点分类任务的深度图小波卷积网络（DeepGWC）。在优化香草图小波神经网络静态滤波矩阵参数的基础上，结合傅立叶基和小波基，构造了DeepGWC，并在网络结构中重用了残差连接和单位映射。在Cora、Citeseer和Pubmed三个基准数据集上进行了广泛的实验。实验结果表明，我们的DeepGWC在额外小波基的帮助下优于现有的图深度模型，并最终实现了新的最先进的性能。
2021-02-19 cs.LG
Optimal Approximation and Learning Rates for Deep Convolutional Neural Networks
Xi’an Jiaotong University（西安交通大学）
本文研究了带零填充和最大池化的深度卷积神经网络的逼近与学习性能，证明了逼近 $r$ 阶光滑函数时的最优速率，并推导出经验风险最小化的几乎最优学习速率。
2023-08-07 cs.LG math.ST stat.TH
On the Universal Approximation Property of Deep Fully Convolutional Neural Networks
本文从动力系统视角研究深度全卷积网络对平移不变或等变函数的逼近，证明了残差网络及满足通道与卷积核大小条件的非残差变体可实现万能逼近，并验证了这些条件的必要性。
2023-05-18 cs.CV cs.LG
Geometry of Deep Convolutional Networks
KTH（瑞典皇家理工学院）；School of EECS（电气与计算机科学学院）
我们给出了一个计算卷积网络输出原像的正式过程，该过程使用从与网络层相关联的超平面集合定义的对偶基。我们指出了特殊的对称性与安排的超平面的卷积网络，采取的形式，定期多维多面体锥。我们讨论了大量的嵌套锥层，从增量小尺寸卷积的结果，以提供一个很好的折衷之间的有效收缩的数据到低维和成形的原像流形的效率。我们演示了一个特定的网络如何将非线性输入流形转换为仿射输出流形，并讨论了它与理解深度网络分类特性的相关性。
2019-05-21 cs.LG
Instant Learning: Parallel Deep Neural Networks and Convolutional Bootstrapping
University of Surrey（萨里大学）
虽然深度神经网络（DNN）能够随着计算能力的直接进步而扩展（例如，存储器和处理速度），它们不太适合利用并行体系结构的最近趋势。特别是，梯度下降是一个顺序过程，由此产生的串行依赖性意味着DNN训练无法有效并行化。在这里，我们证明了DNN可以在大规模并行架构上复制，并用于提供局部解空间的累积采样，从而实现快速和鲁棒的学习。我们引入了一个免费的卷积自举方法，进一步提高并行架构的性能。我们的并行卷积自举DNN仅在一次训练迭代后就优于完全训练的传统DNN。
2016-05-21 cs.LG
Generalization bounds for deep convolutional neural networks
Google Brain（谷歌大脑）
我们证明了卷积网络的泛化误差的界。边界是根据训练损失，参数的数量，损失的Lipschitz常数和从权重到初始权重的距离。它们独立于输入中的像素数量以及隐藏特征图的高度和宽度。我们使用CIFAR-10与深度卷积网络的不同超参数进行了实验，将我们的边界与实际的泛化差距进行了比较。
2020-04-08 cs.AI cs.LG cs.NE
Universal Consistency of Deep Convolutional Neural Networks
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
与深度卷积神经网络（DCNN）在实际应用中的研究相比，其理论行为的研究相对滞后。特别是，DCNN的普遍一致性仍然是开放的。在本文中，我们证明了在DCNN上使用扩展卷积（带零填充）实现经验风险最小化是强普遍一致的。受普遍一致性的启发，我们进行了一系列实验，以证明在没有任何全连接层的情况下，具有扩展卷积的DCNN的性能并不比广泛使用的深度神经网络差，该深度神经网络具有包含收缩（无零填充）卷积层和几个全连接层的混合结构。
2021-06-23 cs.IT cs.LG math.IT
Hierarchically Compositional Tasks and Deep Convolutional Networks
Center for Brains, Minds and Machines（脑、心智与机器中心）；Massachusetts Institute of Technology（麻省理工学院）
从ImageNet开始，深度学习的主要成功案例依赖于深度卷积网络，在某些任务上，它的表现明显优于传统的浅层分类器，如支持向量机，也优于深度全连接网络;但是深度卷积网络有什么特别之处呢？近似理论的最新结果证明了具有或不具有共享权重的深度卷积网络在逼近其组成结构中具有层次局部性的函数时的指数优势。最近，分层结构被证明很难从数据中学习，这表明它是嵌入网络架构中的强大先验。然而，这些数学结果并没有说明哪些现实任务对应于具有层次局部性的输入输出函数。为了评估这一点，我们考虑了一组视觉任务，在这些任务中，我们通过“确定性置乱”破坏图像的局部组织，以便稍后对这些图像执行视觉任务，这些图像以相同的方式进行训练和测试。对于对象识别，我们发现，正如预期的那样，加扰不会影响浅或深全连接网络的性能，这与卷积网络的性能相反。然而，并非所有涉及图像的任务都会受到影响。纹理感知和全局颜色估计对确定性加扰的敏感性要低得多，这表明与这些任务对应的底层函数不是分层局部的;并且还反直觉地表明，这些任务更好地近似于非深度（纹理）或卷积（颜色）的网络。总之，这些结果揭示了匹配网络架构与其嵌入的任务之前要学习的重要性。
2021-03-25 cs.LG eess.IV q-bio.NC
Real-time regression analysis with deep convolutional neural networks
NCSA（美国国家超级计算应用中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们讨论了新型深度学习算法的开发，以实现对时间序列数据的实时的【形】回归分析。我们展示了这种新方法的应用与及时的案例研究，然后讨论这种方法的适用性，以解决跨科学领域的类似挑战。
2018-05-07 astro-ph.IM cs.AI cs.LG
Creation of a Deep Convolutional Auto-Encoder in Caffe
本文介绍了在Caffe深度学习框架中开发深度（堆叠）卷积自动编码器。我们描述了我们用来在Caffe中创建这个模型的简单原则。所提出的卷积自动编码器模型还没有池化/解池化层。我们的实验研究的结果表明，与经典的自动编码器相比，MNIST数据集的例子的降维精度相当。
2016-04-22 cs.CV cs.LG cs.NE
Deeply-Recursive Convolutional Network for Image Super-Resolution
Seoul National University（首尔大学）
提出了一种基于深度递归卷积网络的图像超分辨率方法。我们的网络有一个非常深的递归层（多达16个递归）。增加递归深度可以提高性能，而无需为额外的卷积引入新的参数。尽管有优点，但由于梯度爆炸/消失，使用标准梯度下降方法学习DRCN非常困难。为了减轻训练的难度，我们提出了两个扩展：递归监督和跳过连接。我们的方法比以前的方法有很大的优势。
2016-11-11 cs.CV cs.LG
Deep Transfer Convolutional Neural Network and Extreme Learning Machine for Lung Nodule Diagnosis on CT images
文章的某些内容需要保密
2020-04-28 cs.CV cs.LG eess.IV
Deep Convolutional Framelet Denosing for Low-Dose CT via Wavelet Residual Network
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Seoul National University Bundang Hospital（首尔国立大学盆唐医院）
用于低剂量X射线CT的基于模型的迭代重建（MBIR）算法在计算上是昂贵的。为了解决这个问题，我们最近提出了一种用于低剂量X射线CT的深度卷积神经网络（CNN），并获得了2016年AAPM低剂量CT大挑战赛的第二名。然而，一些纹理没有完全恢复。为了解决这个问题，我们提出了一种新的基于小框架的去噪算法，该算法使用小波残差网络，协同结合了深度学习的表达能力和基于小框架的去噪算法的性能保证。新算法的灵感来自于最近将深度卷积神经网络（CNN）解释为级联卷积小框架信号表示。大量的实验结果证实，所提出的网络有显着提高的性能，并保留了原始图像的细节纹理。
2018-03-28 cs.AI cs.CV cs.LG
Optimal Convergence Rates of Deep Convolutional Neural Networks: Additive Ridge Functions
Shenzhen Polytechnic（深圳职业技术学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
卷积神经网络在许多应用中表现出令人印象深刻的能力，特别是与分类任务相关的应用。然而，对于回归问题，卷积结构的能力还没有被完全理解，需要进一步的研究。在本文中，我们考虑深度卷积神经网络的均方误差分析。我们表明，对于加性脊函数，卷积神经网络后跟一个具有ReLU激活函数的全连接层可以达到最佳的最小-最大速率（高达对数因子）。输入维数只出现在收敛速度常数中。这项工作显示了卷积神经网络的统计最优性，并可能揭示为什么卷积神经网络能够对高维输入表现良好。
2023-01-20 cs.LG math.ST stat.TH
GaborNet: Gabor filters with learnable parameters in deep convolutional neural networks
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文描述了一种使用深度卷积神经网络进行图像识别的系统。提出了改进的网络结构，重点是提高收敛性和降低训练复杂度。网络第一层中的滤波器被约束以拟合Gabor函数。Gabor函数的参数是可学习的，并通过标准的反向传播技术进行更新。该系统在Python上实现，在几个数据集上进行了测试，性能优于常见的卷积网络。
2019-04-30 cs.CV cs.LG eess.IV
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
indico Research（indico研究公司）；Facebook AI Research（脸书人工智能研究院）
近年来，使用卷积网络（CNN）的监督学习在计算机视觉应用中得到了广泛采用。相比之下，使用CNN的无监督学习受到的关注较少。在这项工作中，我们希望帮助弥合CNN在监督学习和无监督学习中的成功之间的差距。我们介绍了一类称为深度卷积生成对抗网络（DCGAN）的CNN，它们具有一定的架构约束，并证明它们是无监督学习的强有力候选者。在各种图像数据集上进行训练，我们展示了令人信服的证据，证明我们的深度卷积对抗对在生成器和生成器中学习了从对象部分到场景的表示层次。此外，我们将学习到的功能用于新的任务-证明它们作为一般图像表示的适用性。
2016-01-07 cs.CV cs.LG
Very Deep Convolutional Networks for Text Classification
Facebook AI Research（Facebook人工智能研究院）；University of Le Mans（勒芒大学）
许多NLP任务的主要方法是递归神经网络，特别是LSTM和卷积神经网络。然而，与推动计算机视觉发展的深度卷积网络相比，这些架构相当肤浅。我们提出了一个新的架构（VDCNN）的文本处理，直接在字符级，只使用小卷积和池操作。我们能够证明该模型的性能随着深度的增加而增加：使用多达29个卷积层，我们报告了几个公共文本分类任务的最新改进。据我们所知，这是第一次将非常深的卷积网络应用于文本处理。
2017-01-27 cs.CL cs.LG cs.NE
Deep Convolutional Networks in System Identification
Uppsala University（乌普萨拉大学）；Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
深度学习的最新发展与非线性系统辨识问题有关。在本文中，我们建立了深度学习和系统辨识社区之间的联系。最近已经表明，在序列建模任务方面，卷积架构至少与递归架构一样有能力。受这些结果的启发，我们探讨了最近提出的时间卷积网络（TCN）和两个经典的系统辨识模型结构; Volterra级数和面向块的模型之间的显式关系。最后，我们的实验研究，我们提供了两个现实世界的问题，著名的Silverbox数据集和一个较新的数据集来自地面振动实验的F-16战斗机的结果。
2019-11-19 cs.LG cs.NE cs.SY
FPGA deep learning acceleration based on convolutional neural network
Chongqing University（重庆大学）
针对卷积神经网络（CNN）计算量大、计算时间长的问题，提出了一种基于现场可编程逻辑门阵列（FPGA）的卷积神经网络硬件加速器。首先，通过深入分析卷积层的前向运算原理，探索卷积层运算的并行性，设计了一种输入通道并行、输出通道并行、卷积窗口深度流水的硬件架构。然后在上述架构中，设计了一个完全并行的乘加树模块来加速卷积运算，设计了一个高效的窗口缓冲模块来实现卷积窗口的流水线运算。最终实验结果表明，本文提出的加速器能效比达到32.73 GOPS/W，比现有方案提高了34%，性能达到317.86 GOPS。
2020-11-17 cs.AR cs.LG
Overcoming Challenges in Fixed Point Training of Deep Convolutional Networks
Qualcomm Research（高通研究院）
众所周知，训练深度神经网络，特别是深度卷积网络，具有急剧降低的数值精度是具有挑战性的。随机梯度下降算法在存在由具有有限数值精度的算术产生的噪声梯度更新的情况下变得不稳定。随机舍入是一种被广泛接受的促进低精度定点网络训练的解决方案。然而，据我们所知，噪声梯度更新训练神经网络的不稳定性的来源还没有得到很好的研究。这项工作是试图在低数值精度和训练算法稳定性之间建立理论联系。在此过程中，我们还将提出并通过实验验证能够提高定点深度卷积网络训练性能的方法。
2016-07-08 cs.CV cs.LG
