Predicting Aircraft Trajectories: A Deep Generative Convolutional Recurrent Neural Networks Approach
University of California, Berkeley（加州大学伯克利分校）
可靠的4D飞行器轨迹预测，无论是在实时环境中还是用于反事实分析，对航空系统的效率都很重要。为此，我们首先提出了一个高度概括的高效的基于树的匹配算法，从高保真气象数据集-风，温度和对流天气构造图像般的特征地图。然后，我们将轨迹上的轨迹点建模为条件高斯混合，其中参数将从我们提出的深度生成模型中学习，该模型是一个端到端卷积递归神经网络，由长短期记忆（LSTM）编码器网络和混合密度LSTM解码器网络组成。编码器网络将最后一个字段的飞行计划信息嵌入到固定大小的隐藏状态变量中，并馈送给解码器网络，解码器网络进一步从历史飞行轨迹中学习时空相关性，并输出高斯混合的参数。卷积层被集成到管道中，以从高维天气特征中学习表示。在推理过程中，束搜索，自适应卡尔曼滤波器，和Rauch-Tung-Striebel平滑算法被用来修剪生成的轨迹的方差。
2018-12-31 cs.LG stat.ML
Generative and Discriminative Voxel Modeling with Convolutional Neural Networks
Heriot-Watt University（赫瑞-瓦特大学）；Renishaw plc（雷尼绍公司）
在处理三维数据时，表示的选择是关键。我们探索基于体素的模型，并提出证据的可行性体素表示的应用程序，包括形状建模和对象分类。我们的主要贡献是用于训练基于体素的变分自编码器的方法，用于探索自动编码器学习的潜在空间的用户界面，以及用于对象分类的深度卷积神经网络架构。我们解决了基于体素的表示所特有的挑战，并在ModelNet基准上对我们的模型进行了经验评估，在该基准上，我们展示了对象分类的最新技术水平的51.5%的相对改进。
2016-08-16 cs.CV cs.HC cs.LG
A Simple Convolutional Generative Network for Next Item Recommendation
Tencent（腾讯）；Telefonica Research（西班牙电信研究院）；University of Glasgow（格拉斯哥大学）；National University of Singapore（新加坡国立大学）
卷积神经网络（CNN）最近被引入到基于会话的下一个项目推荐领域。用户在会话（或序列）中与之交互的过去项目的有序集合被嵌入到二维潜在矩阵中，并被视为图像。然后将卷积和池化操作应用于映射的项嵌入。在本文中，我们首先研究了典型的基于会话的CNN推荐，并表明生成模型和网络架构是次优的建模项目序列中的长程依赖关系时。为了解决这些问题，我们引入了一个简单但非常有效的生成模型，该模型能够从短期和长期项目依赖关系中学习高级表示。所提出的模型的网络架构由\emph{holed}卷积层的堆栈形成，其可以有效地增加感受野而不依赖于池化操作。另一个贡献是在推荐系统中有效地使用剩余块结构，这可以简化更深层次网络的优化。所提出的生成式模型在下一个项目推荐任务中以更少的训练时间达到最先进的准确性。因此，它可以作为一个强大的推荐基线，在未来击败，特别是当有很长的用户反馈序列。
2018-11-29 cs.IR cs.LG stat.ML
Convolutional Graph Auto-encoder: A Deep Generative Neural Architecture for Probabilistic Spatio-temporal Solar Irradiance Forecasting
图结构数据上的机器学习对于包括异常检测和动态网络分析在内的各种应用来说是一项重要且无所不在的任务。本文引入了一种深度生成模型来捕获任意图的节点对应的连续概率密度。与判别模式识别领域的所有学习公式相比，我们提出了一种可扩展的生成优化/算法，理论上证明可以捕获图的节点处的分布。我们的模型能够从每个节点上学习的概率密度中生成样本。这种概率数据生成模型，即卷积图自动编码器（CGAE），是基于谱图卷积的局部一阶近似、深度学习和变分贝叶斯推理而设计的。我们应用我们的CGAE一个新的问题，时空概率太阳辐照度预测。在美国北部各州的广阔区域内的多个太阳辐射测量站点被建模为无向图。使用我们提出的模型，未来的辐照度的分布给定的历史辐射观测估计每个站点/节点。国家太阳辐射数据库的数值结果显示国家的最先进的性能概率辐射预测的可靠性，清晰度和连续排名的概率得分方面的地理分布的辐照度数据。
2018-09-10 cs.LG stat.ML
Convolutional dictionary learning based auto-encoders for natural exponential-family distributions
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）
我们介绍了一类自编码器神经网络，它是为来自自然指数族的数据定制的（例如，计数数据）。这些架构的灵感来自于在具有稀疏约束的卷积生成模型中学习滤波器的问题，通常被称为卷积字典学习（CDL）。我们的工作是第一个结合卷积生成模型和深度学习的想法，用于自然建模的非高斯分布数据（例如，二项式和泊松）。这种观点为我们提供了一个可扩展的和灵活的框架，可以重新用于生成模型上的各种任务和假设。具体而言，用于求解CDL（无监督任务）的迭代优化过程被映射到展开和约束的神经网络，对输入进行迭代调整以考虑生成分布。我们还表明，该框架可以很容易地扩展到判别训练，适合监督任务。我们证明了1）以无监督的方式拟合生成模型来学习神经尖峰数据背后的潜在刺激，与其他基线相比，可以获得更好的拟合优度，2）与最先进的监督泊松图像去噪算法相比，具有竞争力的性能，参数明显较少，以及3）浅二项式自动编码器的梯度动态。
2020-06-28 cs.LG stat.AP stat.ML
Learning Representations of Emotional Speech with Deep Convolutional Generative Adversarial Networks
Harvey Mudd College（哈维穆德学院）；University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
对于机器学习算法来说，自动评估人类语音中的情感效价历来是一项艰巨的任务。说话者的声音中指示积极或消极情绪状态的微妙变化通常被与情绪强度或情绪激活有关的声音特征“掩盖”。在这项工作中，我们探索了一个表示学习的方法，自动推导出的情感语音的歧视性表示。特别是，我们研究了两种机器学习策略来提高分类器性能：（1）使用深度卷积生成对抗网络（DCGAN）利用未标记数据，以及（2）多任务学习。在我们广泛的实验中，我们利用多任务注释的情感语料库以及大型未标记的会议语料库（约100小时）。我们的独立于说话人的分类实验表明，特别是在我们的调查中使用未标记的数据提高了分类器的性能，两种完全监督的基线方法都大大优于。我们改进了情绪效价的分类，在离散的5点量表上为43.88%，在3点量表上为49.80%，这与最先进的表现具有竞争力。
2017-04-22 cs.CL cs.LG stat.ML
A Bayesian Perspective of Convolutional Neural Networks through a Deconvolutional Generative Model
Rice University（莱斯大学）；University of California at Berkeley（加州大学伯克利分校）；Baylor College of Medicine（贝勒医学院）；California Institute of Technology（加州理工学院）；NVIDIA（英伟达）
受卷积神经网络（CNN）在图像监督预测方面的成功启发，我们设计了解卷积生成模型（DGM），这是一种新的概率生成模型，其推理计算对应于给定CNN架构中的推理计算。DGM使用CNN来设计概率模型中的先验分布。此外，DGM生成从粗到细尺度的图像。它在每个尺度上引入了一小组潜变量，并通过共轭先验分布来加强所有潜变量之间的依赖关系。这种共轭先验产生了一个新的正则化器，该正则化器基于生成模型中渲染的路径来训练CNN-渲染路径归一化（RPN）。我们证明，这个正则化提高泛化，在理论和实践中。此外，DGM中的似然估计会产生CNN的训练损失，受此启发，我们设计了一种称为Max-Min交叉熵的新损失，它优于传统的交叉熵损失。Max-Min交叉熵提出了一种新的深度网络架构，即Max-Min网络，它可以从较少的标记数据中学习，同时保持良好的预测性能。我们的实验表明，DGM与RPN和Max-Min架构超过或匹配的最先进的基准，包括SVHN，CIFAR 10，和CIFAR 100的半监督和监督学习任务。
2019-12-09 cs.AI cs.CV cs.LG
A guide to convolution arithmetic for deep learning
MILA, Université de Montréal（蒙特利尔大学 MILA）；AIRLab, Politecnico di Milano（米兰理工大学 AIRLab）
我们介绍了一个指南，以帮助深度学习从业者理解和操作卷积神经网络架构。该指南阐明了卷积层、池化卷积层和转置卷积层的各种属性（输入形状、内核形状、零填充、步幅和输出形状）之间的关系，以及卷积层和转置卷积层之间的关系。各种情况下的关系，并说明，以使他们直观。
2018-01-11 cs.LG cs.NE stat.ML
Generative Deep Deconvolutional Learning
Duke University（杜克大学）
生成贝叶斯模型被开发用于深度（多层）卷积字典学习。一种新的概率池化操作被集成到深度模型中，从而产生高效的自下而上和自上而下的概率学习。在学习深度卷积字典之后，通过解卷积推理来实现测试。为了加快这种推理，提出了一种新的统计方法，将顶层字典元素投影到数据级。在此之后，在测试期间仅需要一层去卷积。实验结果表明，该模型具有强大的能力，从图像中学习多层特征。在MNIST和Caltech 101数据集上都获得了很好的分类结果。
2015-02-22 cs.LG stat.ML
Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Faculty of IT, Monash University（莫纳什大学信息技术学院）
基于图的半监督学习（SSL）旨在通过图将少量标记数据的标记转移到剩余的大量未标记数据。图卷积网络（Graph Convolutional Networks，GCN）是一种基于图的SSL方法，它将神经网络的良好表达能力与图结构相结合，取得了显著的进展。然而，现有的基于图的方法没有直接解决SSL的核心问题，即，监管力度不够，绩效还很有限。为了解决这个问题，本文提出了一种新的基于GCN的SSL算法，通过利用数据相似性和图结构来丰富监督信号。首先，通过设计半监督对比损失，可以通过最大化相同数据或来自同一类的数据的不同视图之间的一致性来生成改进的节点表示。因此，丰富的未标记数据和稀缺但有价值的标记数据可以共同为学习区分性节点表示提供丰富的监督信息，这有助于改善后续的分类结果。其次，通过使用与输入特征相关的图生成损失，提取数据特征与输入图拓扑之间的潜在决定性关系作为SSL的补充监督信号。在多种真实数据集上的实验结果表明，该算法与其他最先进的方法相比是有效的。
2020-09-19 cs.LG stat.ML
Spatial Frequency Bias in Convolutional Generative Adversarial Networks
Rutgers University（罗格斯大学）
随着生成对抗网络（GANs）在自然图像上的成功，将它们迅速推进到不同领域的各种现实应用中，清楚地了解它们的局限性变得越来越重要。具体而言，了解GANs在整个空间频率频谱上的能力，即超越自然图像的低频主导频谱，对于评估GAN生成的数据在任何细节敏感应用中的可靠性至关重要（例如医学和卫星图像中的去噪，填充和超分辨率）。在本文中，我们证明了卷积GANs学习分布的能力受到底层载波信号的空间频率的显著影响，也就是说，GANs对学习高空间频率有偏见。至关重要的是，我们表明这种偏见不仅仅是自然图像中高频稀缺的结果，而是一种系统性偏见，阻碍了高频的学习，无论它们在数据集中的突出性如何。此外，我们解释了为什么大规模GANs在自然图像上生成精细细节的能力并不能排除这种偏见的不利影响。最后，我们提出了一种方法来操纵这种偏见与最小的计算开销。这种方法可以用于显式地将计算资源定向到数据集中感兴趣的任何特定空间频率，从而扩展了GANs的灵活性。
2020-12-18 cs.LG eess.IV stat.ML
Do Deep Convolutional Nets Really Need to be Deep and Convolutional?
UC Irvine（加州大学欧文分校）；University of Edinburgh（爱丁堡大学）；Ecole Polytechnique de Montreal（蒙特利尔理工学院）；University of Alberta（阿尔伯塔大学）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
是的，他们有。本文提供了第一个经验证明，深度卷积模型确实需要既深度又卷积，即使使用蒸馏等方法进行训练，也可以训练高精度的小型或浅层模型。虽然以前的研究表明，浅层前馈网络有时可以学习以前由深层网络学习的复杂函数，同时使用与它们模仿的深层模型相同数量的参数，但在本文中，我们证明了相同的方法不能用于在CIFAR-10上训练精确的模型，除非学生模型包含多层卷积。虽然学生模型不必像他们模仿的教师模型那样深度，但学生需要多个卷积层来学习与深度卷积教师相当的准确度。
2017-03-04 cs.LG stat.ML
Bayesian Optimization on Large Graphs via a Graph Convolutional Generative Model: Application in Cardiac Model Personalization
Rochester Institute of Technology（罗切斯特理工学院）；Dalhousie University（达尔豪斯大学）
心脏模型的个性化涉及在心脏的非欧几里德几何模型上空间变化的器官组织特性的优化。为了表示高维（HD）未知的组织属性，大多数现有的作品依赖于低维（LD）的几何模型的分区。虽然这利用了心脏的几何形状，但它的表现力有限，无法允许足够小的分区进行有效的优化。最近，变分自动编码器（VAE）被用作一个更具表现力的生成模型，以嵌入到LD潜在空间的HD优化。然而，它的欧几里得性质忽略了心脏中丰富的几何信息。在本文中，我们提出了一种新的图卷积VAE，允许非欧数据的生成建模，并利用它将大型图的贝叶斯优化嵌入到一个小的潜在空间中。这种方法通过引入一种表达性生成模型来弥合以前作品的差距，该模型能够将底层几何结构的空间邻近性和层次组合性的知识结合起来。它还允许在不同的几何形状之间传输学习到的特征，这在常规VAE中是不可能的。我们证明了这些好处，所提出的方法在心脏电生理模型中估计组织兴奋性的合成和真实数据实验。
2020-05-18 cs.CV cs.LG eess.IV
FCC-GAN: A Fully Connected and Convolutional Net Architecture for GANs
The University of Melbourne（墨尔本大学）
生成对抗网络（GANs）是一类强大的生成模型。尽管取得了成功，但GAN网络架构的最佳选择仍然没有得到很好的理解。用于图像合成的GAN模型采用了深度卷积网络架构，该架构消除或最小化了全连接和池化层的使用，以支持GANs的生成器和卷积层。在本文中，我们证明了利用深度全连接层和池化层的卷积网络架构可以比传统的仅卷积架构更有效，并且我们提出了FCC-GAN，一种全连接和卷积GAN架构。基于我们的FCC-GAN架构的模型学习速度比传统架构更快，并且生成更高质量的样本。我们证明了我们的方法在四个流行的图像数据集的有效性和稳定性。
2019-05-27 cs.LG stat.ML
DeepPainter: Painter Classification Using Deep Convolutional Autoencoders
Bar-Ilan University（巴伊兰大学）；University of Maryland（马里兰大学）
在本文中，我们描述了画家分类的问题，并提出了一种新的方法，基于深度卷积自动编码器神经网络。虽然以前的方法依赖于图像处理和手动特征提取的绘画，我们的方法操作的原始像素水平，没有任何预处理或手动特征提取。我们首先在绘画数据集上训练深度卷积自动编码器，然后使用它来初始化分类阶段的监督卷积神经网络。所提出的方法大大优于以前的方法，将3-画家分类问题的以前的最新技术水平从90.44%的准确度（以前的最新技术水平）提高到96.52%的准确度，即，出错率降低了63%。
2017-11-23 cs.CV cs.LG cs.NE
Convolutional Deep Exponential Families
University of California, Riverside（加州大学河滨分校）
我们在本文中描述了卷积深度指数族（CDEF）。CDEF是基于深度指数族构建的，深度概率模型捕捉了潜在变量之间的层次依赖关系。CDEF通过绑定DEF的权重大大减少了自由参数的数量。我们的实验表明，CDEF能够用少量数据揭示时间相关性。
2021-10-27 cs.LG stat.ML
Deep convolutional Gaussian processes
Aalto university（阿尔托大学）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））
我们提出了深度卷积高斯过程，这是一种具有卷积结构的深度高斯过程架构。该模型是一个原则性的贝叶斯框架，用于检测图像分类的局部特征的分层组合。我们证明了极大地提高了图像分类性能相比，目前的高斯过程的MNIST和CIFAR-10数据集的方法。特别是，我们将CIFAR-10的准确性提高了10个百分点以上。
2018-10-06 cs.LG stat.ML
Learning Deep Analysis Dictionaries -- Part II: Convolutional Dictionaries
在本文中，我们通过学习卷积字典而不是非结构化字典来引入深度卷积分析字典模型（DeepCAM），就像在同伴论文中介绍的深度分析字典模型一样。卷积字典更适合处理高维信号，例如图像，并且只有少量的自由参数。通过利用卷积字典的特性，我们提出了一种有效的卷积分析字典学习方法。L层DeepCAM由L层卷积分析字典和逐元素软阈值对以及单层卷积合成字典组成。与DeepAM类似，每个卷积分析字典由卷积信息保持分析字典（iPad）和卷积聚类分析字典（CAD）组成。iPad和CAD的学习使用所提出的学习算法的变化。我们证明了DeepCAM是一种有效的多层卷积模型，并且在单图像超分辨率上，实现了与其他方法相当的性能，同时还显示出良好的泛化能力。
2020-01-31 cs.CV cs.LG stat.ML
Convolutional Generative Adversarial Networks with Binary Neurons for Polyphonic Music Generation
Research Center for IT innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
最近已经证明，深度卷积生成对抗网络（GANs）可以学习以钢琴卷的形式生成音乐，钢琴卷通过二进制值的时间音高矩阵表示音乐。然而，现有的模型只能产生实值的钢琴卷，并需要进一步的后处理，如硬阈值（HT）或伯努利采样（BS），以获得最终的二进制值的结果。在本文中，我们研究是否可以有一个卷积GAN模型，通过使用二进制神经元直接创建二进制值的钢琴卷。具体来说，我们建议在生成器上附加一个额外的细化器网络，该网络在输出层使用二进制神经元。整个网络的训练分为两个阶段。首先，对生成器和训练器进行预训练。然后，精炼器网络与预训练器一起训练，以学习对预训练生成器创建的实值钢琴卷进行二值化。实验结果表明，使用二进制神经元代替HT或BS确实导致更好的结果，在一些客观的措施。此外，确定性二元神经元在客观测量和主观测试中的表现优于随机神经元。生成结果的源代码、训练数据和音频示例可以在https://salu133445.github.io/bmusegan/找到。
2018-10-06 cs.AI cs.LG cs.SD
Universality of Deep Convolutional Neural Networks
City University of Hong Kong（香港城市大学）
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是，对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力，缺乏理论基础。在这里，我们证明了深度卷积神经网络（CNN）是通用的，这意味着当神经网络的深度足够大时，它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计，严格按照要计算的自由参数的数量给出，验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Traffic map prediction using UNet based deep convolutional neural network
本文描述了我们基于UNet的深度卷积神经网络方法在2019年的Jumic4cast挑战赛上的应用。挑战性的任务是在高分辨率的城市地图上预测未来的交通流量、航向和速度。我们使用基于UNet的深度卷积神经网络训练预测模型进行短期交通预测。在每个卷积块上，层与后续层紧密连接，就像DenseNet一样。通过对从世界上三个不同城市收集的真实世界数据集进行训练和评估，我们的方法在这一挑战中取得了最佳表现。
2019-11-25 cs.LG stat.ML
AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery
Atomwise, Inc.（Atomwise公司）
深度卷积神经网络包括具有约束架构的深度神经网络（DNN）的子类，该约束架构利用它们建模的域的空间和时间结构。卷积网络通过将简单的局部特征分层组成复杂的模型，在语音和图像识别等领域实现了最佳的预测性能。尽管DNN已被用于药物发现的QSAR和基于配体的生物活性预测，但这些模型都没有从这种强大的卷积架构中受益。本文介绍了AtomNet，这是第一个基于结构的深度卷积神经网络，旨在预测药物发现应用中小分子的生物活性。我们演示了如何将特征局部性和层次组成的卷积概念应用于生物活性和化学相互作用的建模。与现有的DNN技术相比，我们表明AtomNet将局部卷积滤波器应用于结构目标信息，成功地预测了没有先前已知调制器的目标的新活性分子。最后，我们证明了AtomNet在一组不同的基准测试中的表现优于以前的对接方法，在DUDE基准测试中，57.8%的目标的AUC大于0.9。
2015-10-10 cs.LG cs.NE q-bio.BM
Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM（国际商业机器公司）
潜在表征是深层生成模型的本质，决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用，它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模，包括潜变量模型，潜表示和潜空间，特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
Are generative deep models for novelty detection truly better?
UTIA CAS（捷克科学院信息理论与自动化研究所）；FEL CTU Prague（布拉格捷克理工大学电气工程学院）
最近已经提出了许多用于异常检测的深度模型。本文在大量非图像基准数据集上比较了选定的生成深度模型和经典异常检测方法。我们提供所选模型的统计比较，在许多配置，架构和hyperparamaters。我们得出的结论是，生成模型的性能是由其超参数的选择过程。具体而言，深度生成模型的性能随着超参数选择中使用的异常样本量的减少而恶化。在异常检测的实际场景中，没有一个深度生成模型系统地优于kNN。
2018-07-13 cs.LG stat.ML
Generative Adversarial Networks for Labeled Acceleration Data Augmentation for Structural Damage Detection
University of Central Florida（中佛罗里达大学）；West Virginia University（西弗吉尼亚大学）
在过去的几十年里，数据科学领域取得了重大进展，这些进展已被用于不同的工程学科和应用。人工智能（AI）、机器学习（ML）和深度学习（DL）算法已被用于土木结构健康监测（SHM），特别是用于使用传感器数据的损伤检测应用。虽然ML和DL方法显示出对复杂数据结构的卓越学习技能，但它们需要大量的数据进行训练。然而，在SHM中，从土木结构收集数据汇集可能是昂贵的和耗时的;特别是获得有用的数据（损伤相关数据）可能是具有挑战性的。本研究的目的是解决数据稀缺的问题，损伤检测应用。本文采用使用梯度惩罚的1-D Wasserstein深度卷积生成对抗网络（1-D WDCGAN-GP）来生成合成标记加速度数据。然后，生成的数据与不同的比率增加的1-D深度卷积神经网络（1-D DCNN）的损伤检测应用的训练数据集。损伤检测结果表明，一维WDCGAN-GP可以成功地用于解决土木结构基于振动的损伤检测应用中的数据不足问题。保留字：结构健康监测（SHM）、结构损伤检测、1-D深度卷积神经网络（1-D DCNN）、1-D生成对抗网络（1-D GAN）、Wasserstein生成对抗网络与梯度惩罚（WGAN-GP）
2022-07-22 cs.AI cs.LG stat.ML
Bayesian Image Classification with Deep Convolutional Gaussian Processes
在决策系统中，重要的是要有分类器，校准的不确定性，优化目标，可用于自动模型选择和培训。高斯过程（GP）提供了不确定性估计和边际似然目标，但它们的弱归纳偏差导致精度较差。这限制了它们在某些任务（例如图像分类）中的适用性。我们提出了一个对平移不敏感的卷积核，它放松了以前卷积GP施加的平移不变性约束。我们展示了如何使用边际似然来学习不敏感的程度。我们还将GP图像到图像的卷积映射重新表述为多输出GP，从而产生深度卷积GP。我们的实验表明，我们的新内核提高了单层和深层模型的性能。我们还证明了我们的完全贝叶斯方法在不确定性和边际似然估计方面优于基于丢弃的贝叶斯深度学习方法。
2020-03-04 cs.LG stat.ML
A survey of multimodal deep generative models
The University of Tokyo（东京大学）
多模态学习是一个用于构建模型的框架，该模型基于不同类型的模态进行预测。多模态学习中的重要挑战是从任意模态中推断共享表示并通过这些表示生成跨模态;然而，实现这一目标需要考虑多模态数据的异构性。近年来，深度生成模型，即，其中分布由深度神经网络参数化的生成模型已经吸引了很多关注，特别是变分自编码器，其适合于完成上述挑战，因为它们可以考虑异质性并推断数据的良好表示。因此，近年来已经提出了各种基于变分自编码器的多模态生成模型，称为多模态深度生成模型。在本文中，我们对多模态深度生成模型的研究进行了分类调查。
2022-07-05 cs.LG stat.ML
Informing Artificial Intelligence Generative Techniques using Cognitive Theories of Human Creativity
Simon Fraser University（西蒙弗雷泽大学）；University of British Columbia（不列颠哥伦比亚大学）
我们的创造力是使我们成为独特人类的共同观点表明，将对人类创造力的研究纳入生成深度学习技术可能是一条富有成效的途径，可以使其输出更引人注目，更像人类。使用基于Deep Dream的卷积神经网络和基于认知的计算艺术渲染系统的原始合成，我们展示了如何通过计算实现磨练理论，内在动机和“种子事件”的概念，并展示了它们对生成艺术的影响。我们讨论了深度学习卷积神经网络生成系统的探索如何帮助我们理解人类的创造力。最后，我们总结了基于人工智能的计算创造力和创造力心理学之间进一步交叉的想法。
2019-07-05 cs.AI cs.LG q-bio.NC
Concept-Oriented Deep Learning: Generative Concept Representations
IBM（IBM（国际商业机器公司））
与判别式概念表示相比，生成式概念表示具有三大优势：能够表示不确定性，支持学习和推理的集成，有利于无监督和半监督学习。我们讨论了生成概念表示所基于的概率和生成深度学习，以及使用变分自编码器和生成对抗网络来学习生成概念表示，特别是对于数据是序列，结构化数据或图形的概念。
2018-11-15 cs.AI cs.LG stat.ML
Understanding Deep Convolutional Networks
École Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL（巴黎文理研究大学）
深度卷积网络为许多高维问题提供了最先进的分类和回归结果。我们回顾他们的架构，分散的数据与级联的线性滤波器的权重和非线性。引入一个数学框架来分析它们的性质。不变量的计算涉及多尺度收缩、层次对称的线性化和稀疏分离。应用进行了讨论。
2016-01-19 cs.CV cs.LG stat.ML
Generalization bounds for deep convolutional neural networks
Google Brain（谷歌大脑）
我们证明了卷积网络的泛化误差的界。边界是根据训练损失，参数的数量，损失的Lipschitz常数和从权重到初始权重的距离。它们独立于输入中的像素数量以及隐藏特征图的高度和宽度。我们使用CIFAR-10与深度卷积网络的不同超参数进行了实验，将我们的边界与实际的泛化差距进行了比较。
2020-04-08 cs.AI cs.LG cs.NE
End-to-end Learning of a Convolutional Neural Network via Deep Tensor Decomposition
University of California, Riverside（加州大学河滨分校）；University of Southern California（南加利福尼亚大学）
本文研究了深度卷积神经网络的权值学习问题。我们考虑一个网络，其中卷积是在每层都有一个内核的非重叠补丁上进行的。我们开发了一个算法，同时学习所有的内核从训练数据。我们的方法被称为深度张量分解（DeepTD）是基于秩1张量分解。我们在理论上研究DeepTD下的训练数据的可实现模型，其中输入是独立同分布选择的。从高斯分布，并且根据种植的卷积核生成标签。我们证明了DeepTD是数据高效的，并且只要样本大小超过网络中卷积权重的总数，就可以证明它是有效的。我们进行了各种数值实验，以研究DeepTD的有效性，并验证我们的理论研究结果。
2018-05-16 cs.LG math.OC stat.ML
An Investigation of Quantum Deep Clustering Framework with Quantum Deep SVM & Convolutional Neural Network Feature Extractor
Amity Institute of Information Technology（阿米提信息技术学院）；Amity University（阿米提大学）；Coventry University（考文垂大学）
在本文中，我们提出了一种深度量子SVM公式，并进一步展示了基于量子深度SVM公式、深度卷积神经网络和量子K-Means聚类的量子聚类框架。我们研究了所提出的量子深度聚类框架的运行时间计算复杂性，并与可能的经典实现进行了比较。我们的调查表明，所提出的量子版本的深度聚类公式显示出显着的性能增益（在许多部分指数加速增益）对可能的经典实现。所提出的理论量子深度聚类框架也是有趣的，是对量子经典机器学习公式的新颖研究，以表达最大的性能。
2019-09-21 cs.AI cs.LG stat.ML
Deep convolutional autoencoder for cryptocurrency market analysis
Curtin University（科廷大学）
这项研究试图使用一种特殊类型的深度神经网络，即卷积自动编码器来分析加密货币市场的模式。该方法提取了市场行为的主要特征，并将40种研究的加密货币分为几类，从2013年5月15日开始为期12个月。随着时间的推移，从一个类到另一个类的过渡与加密货币的成熟有关。在投机性加密货币市场中，这些发现对投资和交易策略具有潜在影响。
2019-10-27 cs.LG q-fin.ST stat.ML
Theory of Deep Convolutional Neural Networks II: Spherical Analysis
City University of Hong Kong（香港城市大学）
基于各种结构和架构的深度神经网络的深度学习在许多实际应用中已经很强大，但缺乏足够的理论验证。在本文中，我们考虑一族深度卷积神经网络，其应用于$\mathbb{R}^d$的单位球面$\mathbb{S}^{d-1}$上的近似函数。我们的分析提出了一致逼近的速度时，近似函数位于Sobolev空间$W^r_\infty (\mathbb{S}^{d-1})$与$r>0$或采取加性脊形式。我们的工作从理论上验证了深度卷积神经网络的建模和逼近能力，然后进行下采样和一个或两个完全连接的层。我们的球面分析的关键思想是使用球面谐波空间的再生核的内积形式，然后应用滤波器的卷积因子分解来实现生成的线性特征。
2020-07-28 cs.LG math.FA stat.ML
A Deep Generative Deconvolutional Image Model
Duke University（杜克大学）；Bell Labs（贝尔实验室）
基于分层卷积字典学习框架，开发了一种用于图像表示和分析的深度生成模型。随机{ \em unpooling}用于链接模型中的连续层，从而产生自上而下的图像生成。一个贝叶斯支持向量机被链接到顶层功能，产生最大的边缘歧视。在测试时采用深度去卷积推理，以推断潜在特征，并且将顶层特征与最大间隔分类器连接以用于区分任务。该模型使用蒙特卡洛期望最大化（MCEM）算法进行有效训练，并在图形处理器单元（GPU）上实现，以实现有效的大规模学习和快速测试。在包括ImageNet在内的几个基准数据集上获得了出色的结果，表明所提出的模型与类似大小的卷积神经网络相比具有很强的竞争力。
2015-12-23 cs.CV cs.LG stat.ML
GANosaic: Mosaic Creation with Generative Texture Manifolds
Zalando Research（Zalando 研究院）
提出了一种新的基于卷积神经网络的纹理拼接框架。我们的方法被称为GANoetching和执行生成纹理模型，它允许将内容图像转换成马赛克表现出底层纹理流形的视觉特性的潜在噪声空间中的优化。为了表示该流形，我们使用最先进的生成对抗方法进行纹理合成，该方法可以从数据中学习富有表现力的纹理表示，并生成具有非常高分辨率的马赛克图像。这种完全卷积模型生成平滑（没有任何可见边界）的马赛克图像，这些图像局部变形和混合不同的纹理。此外，我们开发了一种新的类型的可微统计正则化适合优化的PSGAN模型的先验噪声空间。
2017-12-01 cs.CV stat.ML
Diagnosing Cardiac Abnormalities from 12-Lead Electrocardiograms Using Enhanced Deep Convolutional Neural Networks
Rice University（莱斯大学）；Prudence Medical Technologies Ltd（审慎医疗技术有限公司）
我们训练一个增强的深度卷积神经网络，以便使用14000个ECG的数据集从标准12导联心电图（ECG）中识别8种心脏异常。与直接应用端到端的深度学习方法不同，我们发现用复杂的手工特征增强的深度卷积神经网络在减少泛化错误方面具有优势。此外，数据预处理和增强是必不可少的，因为八个心脏异常的分布在给定的数据集中是高度偏倚的。我们的方法取得了良好的推广性能，在第一届中国心电智能竞赛的竞争心电数据集上的实证评估，以验证我们的设计的有效性。
2019-08-15 cs.LG eess.IV eess.SP
Note on the equivalence of hierarchical variational models and auxiliary deep generative models
本文比较了两个最近发表的机器学习方法，用于构建灵活，但易于处理的变分隐变量后验族。第一种方法，称为“分层变分模型”，丰富的推理模型与额外的变量，而另一种，称为“辅助深度生成模型”，丰富的生成模型。我们的结论是，这两种方法在数学上是等价的。
2016-03-09 stat.ML
