Fast Convolutional Dictionary Learning off the Grid
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Massachusetts General Hospital (MGH)（麻省总医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）
给定一个连续时间信号，它可以被建模为来自多个源的局部时移事件的叠加，卷积字典学习（CDL）的目标是通过卷积稀疏编码（CSC）识别事件的位置，并通过卷积字典更新（CDU）学习每个源的模板。在实践中，因为我们在离散时间的均匀采样网格上观察连续时间信号的样本，所以经典的CSC方法只能产生事件发生在该网格上的时间的估计，这降低了CDU的性能。我们引入了一个CDL框架，显着减少了在离散时间进行估计所产生的错误。具体而言，我们构建了一个扩展的字典，不仅包括离散时间的模板移位，但也插值的变体，通过带限插值，占连续时间的移位。对于CSC，我们开发了一种新的计算效率的CSC算法，称为卷积正交匹配追踪与插值字典（COMP-INTERP）。我们将COMP-INTERP与连续基追踪（CBP）进行了基准测试，CBP是最先进的CSC算法，用于估计离网事件，并在模拟数据上证明：1）COMP-INTERP达到了类似的准确度水平，2）快了两个数量级。对于CDU，我们推导出一个新的程序来更新给定的稀疏代码，可以发生在离散时间网格上和关闭的模板。我们还表明，3）字典更新与过完备字典产生更准确的模板。最后，我们将这些算法应用于电生理记录中的锋电位排序问题，并展示了它们的竞争性能。
2019-07-22 cs.LG eess.SP
Learning local discrete features in explainable-by-design convolutional neural networks
International Hellenic University（国际希腊大学）
本研究提出基于侧抑制机制的ExplaiNet可解释CNN框架，结合局部离散特征与贝叶斯网络实现因果解释，在同等参数下性能匹配基线，MNIST任务上75万参数达单模型SOTA水平。
2024-10-31 cs.LG
MASA-TCN: Multi-anchor Space-aware Temporal Convolutional Neural Networks for Continuous and Discrete EEG Emotion Recognition
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院）
针对EEG情绪识别中TCN空间建模不足的问题，提出统一模型MASA-TCN，通过空间感知时间层和注意力融合多锚点模块同时提升连续回归与离散分类性能。
2024-03-13 cs.LG
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab（韩国首尔计算机机器学习实验室）
提出一种离散旋转反射群等变的视觉Transformer，通过卷积注意力机制保持特征图的旋转、翻转和位置对称性，在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Learnable Discrete Wavelet Pooling (LDW-Pooling) For Convolutional Networks
National Yang Ming Chiao Tung University（阳明交通大学）；University at Albany - SUNY（奥尔巴尼大学 - 纽约州立大学）；University at Buffalo（布法罗大学）
池化是现代深度CNN架构中用于特征聚合和提取的简单但必不可少的层。典型的CNN设计集中在卷积层和激活函数上，而池化层的选项较少。我们介绍了学习离散小波池（LDW-Pooling），它可以普遍应用于取代标准池操作，以更好地提取特征，提高准确性和效率。受小波理论的启发，我们在二维特征图上采用水平和垂直的低通（L）和高通（H）滤波器进行池化。特征信号被分解为四个（LL，LH，HL，HH）子带，以更好地保留特征，避免信息丢失。小波变换确保池化后的特征可以完全保留和恢复。接下来，我们采用基于能量的注意力学习来精挑细选关键和代表性的特征。LDW-Pooling与其他最先进的池化技术（如WaveletPooling和LiftPooling）相比是有效和高效的。广泛的实验验证表明，LDW-Pooling可以应用于广泛的标准CNN架构，并始终优于标准（最大值，平均值，混合和随机）池化操作。
2021-10-20 cs.CV cs.LG eess.IV
Convolutional Neural Network (CNN) to reduce construction loss in JPEG compression caused by Discrete Fourier Transform (DFT)
Faculty of Computer Science（计算机科学学院）；Selinus University of Sciences and Literature（塞利努斯科学与文学大学）
针对JPEG压缩中DFT周期性导致的图像伪影问题，提出一种基于CNN自编码器的有效图像压缩方法，实验表明该方法能实现更好的图像重建与良好的压缩效果。
2023-07-02 cs.CV cs.LG eess.IV
Convergence and Stability of Graph Convolutional Networks on Large Random Graphs
CNRS（法国国家科学研究中心）；GIPSA-lab（格勒诺布尔交互物理与声学实验室）；NYU Center for Data Science（纽约大学数据科学中心）；IMB（勃艮第数学研究所）；Inria Paris（法国国家信息与自动化研究所巴黎分院）
我们通过分析它们在随机图的标准模型上的行为来研究图卷积网络（GCN）的性质，其中节点由随机潜变量表示，边缘根据相似性核绘制。这使我们能够克服困难，处理离散的概念，如同构非常大的图，而不是考虑更自然的几何方面。我们首先研究了随着节点数的增加，GCN向其连续对应物的收敛。我们的结果是完全非渐近的，是有效的，相对稀疏的平均度的增长与节点数的图。然后，我们分析的稳定性GCN的随机图模型的小变形。与之前对离散设置中稳定性的研究相比，我们的连续设置使我们能够提供更直观的基于变形的度量来理解稳定性，这已被证明有助于解释欧几里得域上卷积表示的成功。
2020-10-23 cs.LG stat.ML
Continuity-Preserving Convolutional Autoencoders for Learning Continuous Latent Dynamical Models from Images
National University of Singapore（新加坡国立大学）
本文提出保连续性卷积自编码器（CpAEs），通过促进卷积滤波器连续性来保持潜在状态连续，从而从离散图像帧中学习更准确的连续潜在动力学模型。
2025-02-02 cs.CV cs.LG
Continuous Convolutional Neural Networks for Disruption Prediction in Nuclear Fusion Plasmas
Kim Jaechul School of AI（金宰澈人工智能学院）；KAIST（韩国科学技术院）；Plasma Science and Fusion Center（等离子体科学与聚变中心）；Massachussets Institute of Technology（麻省理工学院）
本文提出将连续卷积神经网络应用于托卡马克等离子体破裂预测，并与离散最先进模型比较，证明连续模型以更少参数取得显著更优性能（AUC=0.974对比0.799）。
2023-12-03 cs.LG physics.plasm-ph
Geometric Evolution Graph Convolutional Networks: Enhancing Graph Representation Learning via Ricci Flow
School of Mathematics, Renmin University of China（中国人民大学数学学院）
本文提出GEGCN框架，通过建模图上的几何演化提升图表示学习，利用LSTM处理离散里奇流生成的结构序列，并将学习的动态表示注入图卷积网络，实验显示其在多种基准数据集上的分类性能优异，尤其在异质图上表现突出。
2026-03-27 cs.LG
Learning Convolutional Neural Networks for Graphs
NEC Labs Europe（NEC欧洲实验室）
许多重要的问题可以被定义为从图形数据中学习。我们提出了一个学习任意图的卷积神经网络的框架。这些图可以是无向的、有向的，并且具有离散和连续的节点和边属性。类似于对输入的局部连接区域进行操作的基于图像的卷积网络，我们提出了一种从图中提取局部连接区域的通用方法。使用已建立的基准数据集，我们证明了学习的特征表示与最先进的图形内核具有竞争力，并且它们的计算效率很高。
2016-06-08 cs.AI cs.LG stat.ML
Convolutional Surrogate for 3D Discrete Fracture-Matrix Tensor Upscaling
Institute of New Technologies and Applied Informatics, Faculty of Mechatronics, Informatics and Interdisciplinary Studies, Technical University of Liberec（新技术与应用信息学研究所，机电、信息与跨学科研究学院，利贝雷茨技术大学）
本文提出一种卷积代理模型，用于高效上标3D离散裂隙-基质张量，通过减少计算成本并保持精度，应用于地下水流动模拟。
2026-01-19 cs.LG cs.NA math.NA
Group Equivariant Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；University of California Irvine（加州大学欧文分校）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们介绍了群等变卷积神经网络（G-CNN），它是卷积神经网络的自然推广，通过利用对称性降低了样本复杂度。G-CNN使用G-convolutions，这是一种新型的层，比常规卷积层享有更高的权重共享程度。G-卷积在不增加参数数量的情况下增加了网络的表达能力。组卷积层易于使用，并且对于由平移、反射和旋转生成的离散组，其计算开销可以忽略不计。G-CNN在CIFAR 10和旋转MNIST上实现了最先进的结果。
2016-06-03 cs.LG stat.ML
Discrete Deep Feature Extraction: A Theory and New Architectures
ETH Zurich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）
针对连续时间的情况，在2012年的Mallat和2015年的Wiatowski和Bölcskei中，为特征提取的深度卷积神经网络的数学理论迈出了第一步。本文考虑离散的情况下，介绍了新的卷积神经网络架构，并提出了一个数学框架，他们的分析。具体来说，我们建立变形和平移的局部和全局性质的敏感性结果，我们研究如何在相应的特征向量中反映输入信号的某些结构属性。我们的理论适用于一般过滤器和一般Lipschitz连续非线性和池运营商。手写体数字分类和面部标志点检测实验-包括特征重要性评估-补充了理论研究结果。
2016-05-26 cs.CV cs.IT cs.LG
Convolutional Neural Networks on Manifolds: From Graphs and Back
University of Pennsylvania（宾夕法尼亚大学）；Simons-Berkeley Institute（西蒙斯-伯克利研究所）
近年来，由于从非欧几里得域获取更多可用数据，几何深度学习受到了广泛关注。一些示例包括用于3D模型的点云和通信中的无线传感器网络。图是连接这些离散数据点并捕获底层几何结构的常见模型。随着这些几何数据的大量存在，任意大尺寸的图往往会收敛到一个极限模型--流形。深度神经网络架构已被证明是一种强大的技术，可以解决基于流形上这些数据的问题。在本文中，我们提出了一个流形神经网络（MNN）组成的一个银行的流形卷积滤波器和逐点非线性。我们定义了一个流形卷积操作，它是一致的离散图卷积离散在空间和时间域。综上所述，我们将流形模型作为大型图的极限，构造了MNN，而通过对MNN的离散化，我们仍然可以恢复图神经网络。我们进行了基于点云数据集的实验，以展示我们提出的MNN的性能。
2022-10-01 cs.LG eess.SP
Guitar Effects Recognition and Parameter Estimation with Convolutional Neural Networks
Centre for Digital Music（数字音乐中心）；Queen Mary University of London（伦敦玛丽女王大学）
尽管吉他效果很受欢迎，但关于吉他录音中特定插件或效果单元的分类和参数估计的现有研究很少。本文采用卷积神经网络对13种失真、失真和模糊吉他效果进行分类和参数估计。组装了经处理的电吉他样本的新数据集，其中四个子数据集由单声道或复音样本以及离散或连续设置值组成，总共约250小时的经处理的样本。比较了在相同或不同子数据集上训练和测试的网络的结果。我们发现，离散数据集可以带来与连续数据集同样高的性能，同时更容易设计、分析和修改。分类准确率在80%以上，混淆矩阵反映了效果音色和电路设计的相似性。当参数值在0.0和1.0之间时，平均绝对误差在大多数情况下低于0.05，而均方根误差在除一种情况外的所有情况下均低于0.1。
2020-12-06 cs.LG cs.SD eess.AS
Rotation Equivariance and Invariance in Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
神经网络的性能可以通过对特定任务的已知不变性进行编码来显著提高。许多图像分类任务，例如与细胞成像相关的任务，表现出旋转不变性。我们提出了一种新的方案，使用2D离散傅立叶变换（2D-DFT）的幅度响应来编码神经网络中的旋转不变性，以及一个新的，有效的卷积方案，用于编码整个卷积层的旋转等方差。我们实现了这个计划的几个图像分类任务，并证明了改进的性能，在分类精度，训练模型所需的时间，和超参数选择的鲁棒性，超过标准的CNN和另一个国家的最先进的方法。
2018-05-31 cs.CV cs.LG stat.ML
Analysis of convolutional neural network image classifiers in a rotationally symmetric model
Technische Universität Darmstadt（达姆施塔特工业大学）
定义了卷积神经网络图像分类器，并分析了估计的误分类风险向最优误分类风险的收敛速度。在这里，我们认为图像作为随机变量的值在一些功能空间，我们只观察离散样本作为函数值在一些有限的网格。根据适当的结构和平滑假设的功能后验概率，其中包括某种对称性对旋转的输入图像的子部分，它表明，最小二乘插件分类基于卷积神经网络是能够规避灾难的维数在二进制图像分类，如果我们忽略了分辨率相关的误差项。有限的样本量的分类器的行为进行了分析，通过将其应用到模拟和真实的数据。
2022-05-11 cs.LG stat.ML
Convolutional Neural Networks for joint object detection and pose estimation: A comparative study
Université Paris-Est（巴黎东大）
在本文中，我们研究了应用卷积神经网络联合检测对象描绘在静态图像和估计其三维姿态。我们确定了定向对象的不同特征表示，以及导致网络学习这种表示的能量。表示的选择是至关重要的，因为对象的姿势具有自然的连续结构，而其类别是离散变量。我们使用平均视点精度评估Pascal 3D+基准的联合目标检测和姿态估计任务的不同方法。我们表明，离散化的观点的分类方法实现联合目标检测和姿态估计的最先进的性能，并显着优于现有的基准。
2015-02-28 cs.CV cs.LG cs.NE
Extension of Convolutional Neural Network with General Image Processing Kernels
Stony Brook University（石溪大学）；The State University of New York Korea（纽约州立大学韩国分校）
我们将为图像处理开发的预定义内核（也称为过滤器或掩码）应用于卷积神经网络。我们没有让神经网络找到自己的内核，而是在卷积神经网络的第一层使用了41种不同的通用内核，包括模糊、边缘检测、锐化、离散余弦变换等。这种结构被称为通用滤波卷积神经网络（GFNN），与常规卷积神经网络（CNN）相比，可以减少30%的训练时间，并具有更好的准确性。GFNN也可以通过500个样本训练达到90%的准确率。此外，即使这些内核不是专门针对MNIST数据集的，我们也在没有集成或任何其他特殊算法的情况下实现了99.56%的准确率。
2019-01-16 cs.CV cs.LG eess.IV
Deep Parametric Continuous Convolutional Neural Networks
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；Uber Advanced Technologies Group（优步先进技术集团）
标准的卷积神经网络假设网格结构的输入是可用的，并利用离散卷积作为其基本构建块。这限制了它们对许多现实世界应用的适用性。在本文中，我们提出了参数连续卷积，一个新的可学习的运营商，在非网格结构的数据。其关键思想是利用参数化的核函数，跨越整个连续向量空间。这种泛化允许我们学习任意的数据结构，只要它们的支持关系是可计算的。我们的实验表明，显着改善了国家的最先进的点云分割的室内和室外场景，激光雷达运动估计的驾驶场景。
2021-01-17 cs.AI cs.CV cs.LG
Manifold limit for the training of shallow graph convolutional neural networks
University of Twente（特文特大学）
本文研究了基于流形假设的浅层图卷积神经网络训练的离散到连续一致性，通过谱定义图卷积和泛函分析方法，证明了训练数据的一致性和收敛性。
2026-09-29 cs.LG math.FA math.OC
Variational Inference for Graph Convolutional Networks in the Absence of Graph Data and Adversarial Settings
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61）；The University of Sydney（悉尼大学）
我们提出了一个框架，提升了图卷积网络（GCN）的能力，在没有输入图的情况下，并增加了它们对对抗攻击的鲁棒性。我们制定了一个联合概率模型，考虑了先验分布的图形以及基于GCN的可能性，并开发了一个随机变分推理算法来估计图形后验和GCN参数联合。为了解决从离散分布中提取的潜变量传播梯度的问题，我们使用它们的连续松弛，称为混凝土分布。我们表明，在真实的数据集上，我们的方法可以在没有图形数据的情况下以及网络结构受到对抗性扰动时，在半监督分类任务上优于最先进的贝叶斯和非贝叶斯图神经网络算法。
2020-10-21 cs.LG stat.ML
Efficient Encrypted Computation in Convolutional Spiking Neural Networks with TFHE
School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院）；School of Mathematics and Statistics, Huazhong University of Science and Technology（华中科技大学数学与统计学院）；Center for Mathematical Science, Huazhong University of Science and Technology（华中科技大学数学中心）；Steklov-Wuhan Institute for Mathematical Exploration, Huazhong University of Science and Technology（华中科技大学斯捷克洛夫-武汉数学探索研究所）；Department of Mathematics and Department of Physics, Great Bay University（大湾区大学数学与物理学院）；Guangdong Provincial Key Laboratory of Mathematical and Neural Dynamical Systems（广东省数学与神经动力系统重点实验室）
本文提出FHE-DiCSNN框架，利用脉冲神经网络的离散特性实现安全高效的加密计算，结合卷积方法提升准确率并减少模拟时间，实验验证其在MNIST和FashionMNIST上的有效性。
2026-03-25 cs.CR cs.LG
Recurrent Convolutional Neural Networks Learn Succinct Learning Algorithms
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）；Microsoft Research（微软研究院）
神经网络（NN）很难有效地解决某些问题，例如学习奇偶校验，即使有简单的学习算法来解决这些问题。NN能自己发现学习算法吗？我们展示了一个NN架构，在多项式时间内，学习以及任何有效的学习算法描述一个恒定大小的程序。例如，在奇偶校验问题上，NN学习以及高斯消除，这是一种可以简洁描述的有效算法。我们的架构结合了层之间的递归权重共享和卷积权重共享，以将参数的数量减少到一个常数，即使网络本身可能有数万亿个节点。虽然在实践中，我们分析中的常数太大而没有直接意义，但我们的工作表明，递归神经网络和卷积神经网络（RCNN）的协同作用可能比单独使用更自然和强大，特别是对于简洁的参数化离散算法。
2023-01-15 cs.LG stat.ML
A Hybrid Complex-valued Neural Network Framework with Applications to Electroencephalogram (EEG)
York University（约克大学）
在这篇文章中，我们提出了一个新的EEG信号分类框架，通过集成复值和实值卷积神经网络（CNN）与离散傅立叶变换（DFT）。所提出的神经网络架构由一个复值卷积层、两个实值卷积层和三个全连接层组成。我们的方法可以有效地利用DFT中包含的相位信息。我们使用两个模拟EEG信号和基准数据集验证我们的方法，并将其与两个广泛使用的框架进行比较。我们的方法大大减少了所使用的参数的数量，并提高了准确性，与现有的方法相比，在分类基准数据集，并显着提高性能，在分类模拟脑电信号。
2022-07-28 cs.LG
Constant Curvature Graph Convolutional Networks
ETH Zürich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）
最近，人们对表示非欧几里德空间（例如双曲或球面）中的数据的方法越来越感兴趣，这些方法提供了对某些真实世界数据属性（例如无标度，分层或循环）有用的特定归纳偏差。然而，目前流行的图神经网络仅限于通过欧几里德几何和相关的向量空间运算来建模数据。在这里，我们通过提出数学上接地的推广图卷积网络（GCN）（的产品）常曲率空间来弥合这一差距。我们这样做是通过i）引入一个统一的形式主义，可以在所有常曲率的几何之间平滑地插值，ii）利用陀螺重心坐标，概括了经典的欧几里得质心概念。我们的模型类顺利恢复他们的欧几里德对应时，曲率从任何一方为零。从经验上讲，我们优于欧几里得GCN的节点分类和失真最小化的任务，表现出非欧几里得行为的符号数据，根据其离散曲率。
2020-05-19 cs.AI cs.LG
MGC: A Complex-Valued Graph Convolutional Network for Directed Graphs
National Central University（国立中央大学）；Auburn University（奥本大学）
图神经网络的最新进展使图表示学习具有最先进的性能。然而，大多数现有的作品处理有向图的对称化，这会导致方向信息的损失。为了解决这个问题，我们引入了磁拉普拉斯算子，这是一种具有磁场的离散薛定谔算子，它通过将其编码为具有电荷参数的复相位来保持边缘方向性。通过采用PageRank的截断变体Linear-Rank，我们设计并构建了一个同质图的低通滤波器和一个异质图的高通滤波器。在这项工作中，我们提出了一个复值图卷积网络称为磁图卷积网络（MGC）。通过相应的复值技术，我们保证了当电荷参数取特定值时，我们的模型将退化为实值。我们在几个图数据集上测试了我们的模型，包括有向同构图和异构图。实验结果表明，MGC是快速，功能强大，广泛适用。
2022-02-03 cs.LG eess.SP
Spectral Representations for Convolutional Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
离散傅立叶变换在深度学习中的卷积计算中提供了显着的加速。在这项工作中，我们证明，除了其高效计算的优势，谱域还提供了一个强大的表示，其中建模和训练卷积神经网络（CNN）。我们采用频谱表示来引入一些创新的CNN设计。首先，我们提出了频谱池，它通过在频域中截断表示来进行降维。这种方法比其他池化策略保留了每个参数更多的信息，并且在池化输出维度的选择中具有灵活性。这种表示也使一种新形式的随机正则化的随机修改的分辨率。我们证明了这些方法在分类和近似任务上取得了有竞争力的结果，而不使用任何dropout或max-pooling。最后，我们证明了卷积滤波器的复系数谱参数化的有效性。虽然这使底层模型保持不变，但它产生了一种极大地促进优化的表示。我们在各种流行的CNN配置上观察到，这导致训练过程中的收敛速度明显加快。
2015-06-11 cs.LG stat.ML
Defects of Convolutional Decoder Networks in Frequency Representation
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
本文通过频域分析揭示了卷积解码器网络的三个表示缺陷：削弱高频成分、上采样导致频谱重复、以及输入与目标频率微小偏移导致学习失败，为理解解码器频率表示能力提供了理论依据。
2023-12-01 cs.AI cs.CV cs.LG
Puppet-CNN: Continuous Parameter Dynamics for Input-Adaptive Convolutional Networks
Puppet-CNN通过连续参数动态实现输入自适应卷积网络，减少存储参数并提升预测性能。
2026-03-07 cs.AI cs.LG
Compressing Convolutional Neural Networks
Washington University in St. Louis（圣路易斯华盛顿大学）；NVIDIA（英伟达）
卷积神经网络（CNN）越来越多地用于计算机视觉的许多领域。它们特别有吸引力，因为它们能够通过数百万个参数“吸收”大量标记数据。然而，随着模型大小的增加，分类器的存储和内存需求也会增加。我们提出了一种新的网络架构，频率敏感散列网（FreshNets），它利用了深度学习模型的卷积层和全连接层的固有冗余，从而大大节省了内存和存储消耗。基于学习卷积滤波器的权重通常是平滑和低频的关键观察结果，我们首先使用离散余弦变换（DCT）将滤波器权重转换到频域，并使用低成本哈希函数将频率参数随机分组到哈希桶中。所有分配给同一个哈希桶的参数共享一个通过标准反向传播学习的值。为了进一步减小模型大小，我们将更少的哈希桶分配给高频分量，这些分量通常不太重要。我们在八个数据集上评估了FreshNets，并表明它比几个相关的基线具有更好的压缩性能。
2015-06-14 cs.CV cs.LG cs.NE
Constrained Structured Regression with Convolutional Neural Networks
UC Berkeley（加州大学伯克利分校）
卷积神经网络（CNN）最近已经成为计算机视觉中的主导模型。如果提供足够的训练数据，它们几乎可以预测任何视觉量。在离散设置中，例如分类，CNN不仅能够预测标签，而且通常以输出空间上的概率分布的形式预测置信度。在连续回归任务中，通常缺乏这样的概率估计。我们提出了一个回归框架，它模拟神经网络的输出分布。这种输出分布允许我们根据一组物理或建模约束来推断最可能的标签。这些约束捕捉了不同输入和输出变量之间复杂的相互作用，并补充了CNN的输出。然而，它们可能并不适用于所有地方。我们的设置还允许学习约束保持的信心，以约束满意度分布的形式。我们评估我们的方法上的问题的内在图像分解，并表明，约束结构化回归显着增加了国家的最先进的。
2015-11-23 cs.CV cs.LG
Convolutional-neural-operator-based transfer learning for solving PDEs
School of Mathematics（数学系）；Key Laboratory of Maritime Intelligent Cyberspace Technology (Hohai University), Ministry of Education（航海智能信息空间技术重点实验室（河海大学））
本文提出基于卷积神经运算符的迁移学习方法，通过预训练和参数调整提升求解偏微分方程的代理精度，神经元线性变换策略表现最优。
2025-12-19 cs.AI cs.LG math-ph
Topology and Prediction Focused Research on Graph Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
使用卷积神经网络（CNN）方法来解决依赖于网格结构化数据的领域中的复杂问题（诸如图像处理和对象分类）已经取得了重要进展。最近，对图卷积神经网络（GCNN）的研究急剧增加，因为研究人员试图复制CNN在图结构数据中的成功。不幸的是，传统的CNN方法不容易转移到GCNN，考虑到图形的不规则性和几何复杂性。GCNN的新兴领域由于研究论文在范围、细节和读者所需的学术复杂程度方面存在很大差异而变得更加复杂。本文综述了GCNN的一些基本性质。作为感兴趣的读者的指南，GCNN研究的最新示例然后根据试图揭示图模型的底层拓扑结构的技术和那些试图在图数据上推广传统的CNN方法以改进类成员关系预测的技术进行分组。图上离散信号处理（DSPg）被用作理论框架，以更好地理解这些最新GCNN方法的一些性能增益和局限性。简要讨论了拓扑自适应图卷积网络（TAGCN）作为DSPg的一种方法，并简要讨论了使用这种方法的未来研究方向。
2018-08-23 cs.LG eess.SP stat.ML
Parallel Transport Convolution: A New Tool for Convolutional Neural Networks on Manifolds
Rensselaer Polytechnic Institute（伦斯拉尔理工学院）
本文提出平行运输卷积（PTC），一种在流形及其离散对应物上扩展卷积操作的新方法，能够保持卷积的紧凑支持、方向性和跨流形的可转移性，从而在曲面域上构建小波样操作和深度卷积神经网络。
2018-12-08 cs.CV cs.LG cs.NA
Learning Convolutional Neural Networks in the Frequency Domain
National University of Defense Technology（国防科技大学）
卷积神经网络（CNN）在过去的几十年里在计算机视觉领域取得了令人瞩目的成功。图像卷积运算有助于CNN在图像相关任务上获得良好的性能。然而，图像卷积运算复杂度高，难以实现。本文提出了CEMNet，它可以在频域中训练。本研究的最重要的动机是，我们可以使用简单的元素乘运算来代替图像卷积在频域的基础上互相关定理，这明显降低了计算复杂度。我们进一步引入了权重固定机制来缓解过度拟合的问题，并在频域中分析了批量归一化，Leaky ReLU和Dropout的工作行为，以设计CEMNet的对应物。同时，为了处理离散傅立叶变换带来的复杂输入，我们为CEMNet设计了一种双分支网络结构。实验结果表明，CEMNet取得了良好的性能MNIST和CIFAR-10数据库。
2022-07-20 cs.AI cs.CV cs.LG
A Low-Complexity MIMO Channel Estimator with Implicit Structure of a Convolutional Neural Network
Technische Universität München（慕尼黑工业大学）
最近提出了一种低复杂度的卷积神经网络估计器，它可以学习单天线用户的最小均方误差信道估计器。我们推广的架构与多天线用户的MIMO信道的估计，并将复杂度降低的假设的基础上的信道模型。在这种情况下，学习是用来对抗假设和假设可能不成立的真实场景之间的不匹配。我们推导出一个高层次的描述的估计任意选择的导频序列。事实证明，所提出的估计器具有两层卷积神经网络的隐式结构，其中导出的量可以被放松为可学习的参数。我们表明，通过使用基于离散傅立叶变换的导频的可学习的网络参数的数量显着减少和在线运行时间的估计大大减少，在那里我们可以实现线性的复杂性的天线数量的顺序。数值结果表明，与来自压缩感知或相同或甚至更高计算复杂性的协方差估计领域的最新算法相比，性能增益。模拟代码可在线获得。
2021-04-26 cs.IT cs.LG math.IT
The Relative Performance of Ensemble Methods with Deep Convolutional Neural Networks for Image Classification
人工神经网络已经成功地应用于各种机器学习任务，包括图像识别、语义分割和机器翻译。然而，很少有研究充分调查的人工神经网络的合奏。在这项工作中，我们研究了多种广泛使用的集成方法，包括未加权平均，多数投票，贝叶斯最优分类器和（离散）超级学习器，用于图像识别任务，深度神经网络作为候选算法。我们设计了几个实验，候选算法是相同的网络结构，不同的模型检查点在一个单一的训练过程中，网络结构相同，但训练多次随机，和网络结构不同。此外，我们进一步研究了神经网络的过度自信现象，以及它对集成方法的影响。在我们所有的实验中，超级学习者在这项研究中的所有集成方法中取得了最好的性能。
2017-04-05 cs.CV cs.LG stat.ME
Discrete Residual Flow for Probabilistic Pedestrian Behavior Prediction
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）；UC Berkeley（加州大学伯克利分校）
自动驾驶车辆围绕静态和动态对象进行规划，应用行为预测模型来估计对象在环境中的未来位置。然而，未来的行为本质上是不确定的，产生确定性输出的运动模型仅限于短时间尺度。特别困难的是对人类行为的预测。在这项工作中，我们提出了离散残差流网络（DRF-Net），一个用于人体运动预测的卷积神经网络，它捕获了长距离运动预测中固有的不确定性。特别是，我们的学习网络通过预测和更新空间位置上的离散化分布，有效地捕获了未来人体运动的多模态后验。我们将我们的模型与几个强大的竞争对手进行比较，并表明我们的模型优于所有基线。
2019-10-17 cs.CV cs.LG cs.RO
Harmonic Networks: Integrating Spectral Information into CNNs
ADAPT Centre（ADAPT中心）；Trinity College Dublin（都柏林圣三一学院）
卷积神经网络（CNN）学习滤波器，以捕获特征空间中的局部相关模式。相比之下，在本文中，我们提出了谐波块，通过学习离散余弦变换定义的光谱滤波器的最佳组合来产生功能。谐波块用于取代传统的卷积层，以构建部分或完全谐波CNN。我们广泛地验证了我们的方法，并表明将谐波块引入最先进的CNN基线架构中，可以在小型NORB，CIFAR10和CIFAR100数据集的分类任务中获得相当或更好的性能。
2018-12-07 cs.CV cs.LG
Learning Representations of Emotional Speech with Deep Convolutional Generative Adversarial Networks
Harvey Mudd College（哈维穆德学院）；University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
对于机器学习算法来说，自动评估人类语音中的情感效价历来是一项艰巨的任务。说话者的声音中指示积极或消极情绪状态的微妙变化通常被与情绪强度或情绪激活有关的声音特征“掩盖”。在这项工作中，我们探索了一个表示学习的方法，自动推导出的情感语音的歧视性表示。特别是，我们研究了两种机器学习策略来提高分类器性能：（1）使用深度卷积生成对抗网络（DCGAN）利用未标记数据，以及（2）多任务学习。在我们广泛的实验中，我们利用多任务注释的情感语料库以及大型未标记的会议语料库（约100小时）。我们的独立于说话人的分类实验表明，特别是在我们的调查中使用未标记的数据提高了分类器的性能，两种完全监督的基线方法都大大优于。我们改进了情绪效价的分类，在离散的5点量表上为43.88%，在3点量表上为49.80%，这与最先进的表现具有竞争力。
2017-04-22 cs.CL cs.LG stat.ML
Crime Hotspot Prediction Using Deep Graph Convolutional Networks
Pattern Recognition Lab, DCIS, PIEAS（模式识别实验室，DCIS，PIEAS）；Center for Mathematical Sciences, PIEAS（数学科学中心，PIEAS）
本文提出基于图卷积网络的犯罪热点预测框架，通过建模空间依赖关系提升预测精度，实现78%的分类准确率并生成可解释的犯罪热点热图。
2026-04-29 cs.CL cs.LG
Tangent Bundle Convolutional Learning: from Manifolds to Cellular Sheaves and Back
Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）；Sapienza University of Rome（罗马大学）
本文提出基于连接拉普拉斯算子指数的切丛卷积，定义切丛滤波器与切丛神经网络，其离散化对应层丛神经网络并收敛于连续模型，在合成和真实数据上验证了有效性。
2024-03-15 cs.LG eess.SP
Learning Discrete Structures for Graph Neural Networks
Istituto Italiano di Tecnologia（意大利技术研究院）；University College London（伦敦大学学院）；NEC Labs Europe（NEC欧洲实验室）
图神经网络（GNN）是一类流行的机器学习模型，其主要优点是它们能够在数据点之间合并稀疏和离散的依赖结构。不幸的是，GNN只能在这样的图结构可用时使用。然而，在实践中，现实世界的图形通常是嘈杂且不完整的，或者可能根本不可用。有了这项工作，我们提出了共同学习的图形结构和参数的图卷积网络（GCN），通过近似求解一个双层程序，学习一个离散的概率分布的边缘图。这使得人们不仅可以在给定图不完整或损坏的情况下应用GCN，而且还可以在图不可用的情况下应用GCN。我们进行了一系列的实验，分析所提出的方法的行为，并证明它优于相关方法的显着保证金。
2020-06-19 cs.LG stat.ML
Combining Neural Networks and Log-linear Models to Improve Relation Extraction
New York University（纽约大学）
在过去的十年中，传统的基于特征的方法在利用诸如词或词汇模式的离散结构从文本中提取关系方面取得了成功。最近，卷积和递归神经网络提供了非常有效的机制，通过连续表示捕获句子中的隐藏结构，从而显着提高了关系抽取的性能。卷积神经网络的优点是它们能够概括句子中的连续k元语法，而递归神经网络则能有效地对长范围的句子上下文进行编码。本文提出将传统的基于特征的方法与卷积和递归神经网络相结合，以同时发挥它们的优势。我们对不同网络架构和组合方法的系统评估证明了这种方法的有效性，并在ACE 2005和SemEval数据集上获得了最先进的性能。
2015-11-18 cs.CL cs.LG
Reward Shaping Using Convolutional Neural Network
Concordia University（康考迪亚大学）；Khalifa University（哈利法大学）；Lebanese American University（黎巴嫩美国大学）；New York University（纽约大学）
在本文中，我们提出了价值迭代网络奖励塑造（VIN-RS），一个潜在的基于卷积神经网络（CNN）的奖励塑造机制。建议的VIN-RS嵌入一个CNN训练计算标签使用隐马尔可夫模型的消息传递机制。CNN处理环境的图像或图形以预测成形值。最近关于奖励塑造的工作仍然局限于训练马尔可夫决策过程（MDP）的表示和建立转移矩阵的估计。VIN-RS的优点是从估计的MDP构造有效的势函数，同时自动推断环境转移矩阵。所提出的VIN-RS通过自学习的卷积滤波器估计转移矩阵，同时从输入帧或采样图中提取环境细节。由于（1）之前使用消息传递进行奖励塑造的成功;以及（2）CNN规划行为，我们使用这些消息来训练VIN-RS的CNN。实验进行表格游戏，Atari 2600和MuJoCo，离散和连续的动作空间。我们的研究结果表明，与最先进的方法相比，在学习速度和最大累积奖励方面有很大的改进。
2022-10-30 cs.AI cs.LG
Wavelet-Inspired Multiscale Graph Convolutional Recurrent Network for Traffic Forecasting
University of Arizona（亚利桑那大学）；Argonne National Laboratory（阿贡国家实验室）
针对交通数据的多尺度时空特性，本文提出 WavGCRN，利用 DWT 分解、多流 GCRN 编码及可学习逆变换解码，并融合先验与数据驱动图结构，实现可解释且性能先进的交通预测。
2024-03-04 cs.LG
CONet: Channel Optimization for Convolutional Neural Networks
University of New Brunswick（新不伦瑞克大学）；University of Toronto（多伦多大学）
神经架构搜索（NAS）已经将网络设计从使用人类直觉转变为利用由评估指标指导的搜索算法。我们研究了卷积神经网络（CNN）中的通道大小优化，并确定了它在模型准确性和复杂性中所起的作用。现有的通道尺寸选择方法通常受离散样本空间的限制，同时遭受人工迭代和简单的算法。为了解决这个问题，我们引入了一种有效的动态缩放算法-- CONet --它可以自动优化给定CNN的跨网络层的通道大小。引入了两个度量--“\textit{Rank}“和“\textit{Rank Average Slope}“--来识别训练中积累的信息。该算法在固定的搜索阶段动态地增大或减小信道大小。我们在CIFAR 10/100和ImageNet数据集上进行了实验，结果表明，CONet可以找到在ResNet、DARTS和DARTS+空间中搜索到的高效准确的架构，这些架构的性能优于其基线模型。本文件取代先前在ICCV 2021-NeurArch研讨会上发表的论文。另外一节是关于人工缩放CNN中的信道大小，以数字验证在CNN中搜索最佳信道配置时使用的度量。
2022-04-07 cs.CV cs.LG cs.NE
Physical Modeling using Recurrent Neural Networks with Fast Convolutional Layers
Native Instruments GmbH（Native Instruments有限责任公司）；Aalto University（阿尔托大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校）
声学、机械和电子系统的离散时间建模是音乐信号处理文献中的一个突出主题。这种模型大多是通过离散化的数学模型，给出了在普通或偏微分方程，使用既定的技术。最近的工作已经应用了机器学习的技术来自动地从具有由标量值描述的集总状态的系统（例如电路）的情况下的数据构建这样的模型。在这项工作中，我们研究如何类似的技术是能够构建模型的系统具有空间分布，而不是集总状态。我们描述了几种新颖的递归神经网络结构，并展示了它们如何被认为是模态技术的扩展。作为概念证明，我们为三个物理系统生成了合成数据，并表明可以用这些数据训练所提出的网络结构，以再现这些系统的行为。
2022-06-01 cs.LG cs.SD eess.AS
A Novel Hybrid Framework for Hourly PM2.5 Concentration Forecasting Using CEEMDAN and Deep Temporal Convolutional Neural Network
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Economics and Management, University of Chinese Academy of Sciences（中国科学院大学经济与管理学院）；School of Economics and Management, Beihang University（北京航空航天大学经济与管理学院）；School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；School of Statistics, Lanzhou University of Finance and Economics（兰州财经大学统计学院）
对于小时PM2. 5浓度预测，准确捕捉影响PM2. 5浓度变化的外部因素的数据模式，构建预测模型是提高预测精度的有效手段之一。在这项研究中，一种新的混合预测模型的基础上，完全集成经验模式分解与自适应噪声（CEEMDAN）和深度时间卷积神经网络（DeepTCN）的预测PM2.5浓度，通过建模的数据模式的历史污染物浓度数据，气象数据，离散时间变量的数据。以北京市PM2. 5浓度为样本，实验结果表明，与时间序列模型、人工神经网络和流行的深度学习模型相比，CEEMDAN-DeepTCN模型的预测精度最高。新模型提高了对PM2.5相关因子数据模式的建模能力，可以作为预测PM2.5浓度的一种有前途的工具。
2020-12-07 cs.AI cs.LG eess.SP
A Mathematical Theory of Deep Convolutional Neural Networks for Feature Extraction
ETH Zurich（苏黎世联邦理工学院）
深度卷积神经网络已经在许多实际的机器学习任务中取得了突破性的成果，例如ImageNet数据集中的图像分类，玩Atari游戏或棋盘游戏Go的控制策略学习，以及图像描述。这些应用中的许多应用首先执行特征提取，然后将其结果馈送到可训练分类器中。用于特征提取的深度卷积神经网络的数学分析由Mallat于2012年发起。具体来说，Mallat考虑了基于小波变换的散射网络，然后在每个网络层中引入模非线性，并证明了相应特征提取器的平移不变性（在小波尺度参数中渐近）和变形稳定性。本文通过开发一种理论来补充Mallat的结果，该理论包含一般卷积变换，或者用更专业的术语来说，一般半离散框架（包括Weyl-Heisenberg滤波器，曲波，剪切波，脊波，小波和学习滤波器），一般Lipschitz连续非线性（例如，整流线性单元、移位逻辑S形、双曲正切和模函数），以及模拟的一般Lipschitz连续池化算子，例如，子采样和平均。此外，所有这些元素在不同的网络层中可以不同。对于所得到的特征提取器，我们证明了垂直性质的平移不变性结果，即特征随着网络深度的增加而逐渐变得更加不变性，并且我们建立了适用于信号类别的变形敏感性界限，例如，带限函数、卡通函数和Lipschitz函数。
2017-10-24 cs.AI cs.IT cs.LG
Group-Equivariant Poincaré Convolutional Networks
School of Computing Sciences, University of East Anglia（东安格利亚大学计算机科学学院）；Department of Physics and Technology, UiT The Arctic University of Norway（北极大学挪威分校物理与技术系）
针对庞加莱ResNet优化困难及标准双曲网络无法处理空间变换等变性的问题，提出结合双曲几何与离散对称群的等变庞加莱ResNet，通过几何安全的张量重塑、左正则置换和联合定向批归一化，实现边界约束下的快速收敛和空间群等变性。
2026-08-25 cs.AI cs.LG
Zero Stability Well Predicts Performance of Convolutional Neural Networks
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Lanzhou University（兰州大学）
什么样的卷积神经网络（CNN）结构表现良好的问题很吸引人。在这项工作中，我们通过将零稳定性和模型性能联系起来，朝着答案迈进了一步。具体来说，我们发现，如果一个常微分方程的离散求解器是零稳定的，那么与该求解器对应的CNN表现良好。我们首先在深度学习的背景下给出零稳定性的解释，然后研究现有的一阶和二阶CNN在不同零稳定情况下的性能。基于初步观察，我们提供了一种高阶离散化来构建CNN，然后提出了一个零稳定网络（ZeroSNet）。为了保证ZeroSNet的零稳定性，我们首先推导出一个满足一致性条件的结构，然后给出一个无训练参数的零稳定区域。通过分析特征方程的根，从理论上得到了特征映射的最优系数。从经验上讲，我们从三个方面展示了我们的结果：我们在不同的数据集上提供了不同深度的大量经验证据，表明特征方程根的模是需要历史特征的CNN性能的关键;我们的实验表明，ZeroSNet优于现有的基于高阶离散化的CNN; ZeroSNets对输入上的噪声表现出更好的鲁棒性。源代码可从\url{https://github.com/LongJin-lab/ZeroSNet}获得。
2022-06-27 cs.LG
