Principled Simplicial Neural Networks for Trajectory Prediction
Rice University（莱斯大学）
我们考虑单纯复形数据的神经网络架构的建设。在研究单纯复形的链复形上的映射时，我们定义了单纯神经网络体系结构的三个理想性质：即排列等变性，方向等变性和单纯意识。前两个性质分别说明了单纯复形中的节点索引和单形方向是任意的。最后一个属性编码了期望的特征，即神经网络的输出取决于整个单纯复形而不是其维度的子集。基于这些属性，我们提出了一个简单的卷积架构，植根于工具从代数拓扑，轨迹预测的问题，并表明，它服从所有这三个属性时，一个奇数，非线性激活函数使用。然后，我们证明了这种架构在合成和真实数据集上外推轨迹的有效性，特别强调了不可见轨迹的可推广性。
2021-06-07 cs.LG cs.SI
BScNets: Block Simplicial Complex Neural Networks
Princeton University（普林斯顿大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
单纯神经网络（SNN）最近已经成为图学习的最新方向，其将卷积架构的思想从节点空间扩展到图上的单纯复合体。而不是主要评估节点之间的成对关系，在目前的实践中，单纯复形允许我们描述高阶的相互作用和多节点图结构。通过建立在卷积运算和新的块Hodge-Laplacian之间的连接，我们提出了用于链接预测的第一个SNN。我们的新块简单复杂神经网络（BScNets）模型通过系统地结合不同维度的多个高阶图结构之间的显著交互来概括现有的图卷积网络（GCN）框架。我们讨论了BScNets背后的理论基础，并说明了它在八个真实世界和合成数据集上的链接预测的实用性。我们的实验表明，BScNets在保持低计算成本的同时，显著优于最先进的模型。最后，我们展示了BScNets作为跟踪COVID-19等传染病传播和衡量医疗风险缓解策略有效性的新的有前途的替代方案的实用性。
2021-12-13 cs.LG stat.ML
Continuous Simplicial Neural Networks
LTCI, Télécom Paris Institut Polytechnique de Paris（巴黎理工信息计算学院）；EPFL, Lausanne, Switzerland（瑞士洛桑联邦理工学院）；CentraleSupélec, Inria Université Paris-Saclay（中央超导学院、法国国家信息与自动化技术研究所、巴黎萨克雷大学）
本文提出连续单纯复形神经网络（COSIMO），基于单纯复形上的偏微分方程，在扰动下保持稳定性并有效控制过平滑，在复杂噪声环境中性能优于现有离散SNN。
2025-10-24 cs.LG
Simplicial Neural Networks
EPFL（洛桑联邦理工学院）；Telenor Research（挪威电信研究中心）
我们提出了单纯神经网络（SNN），图神经网络的推广，生活在一类拓扑空间称为单纯复合体的数据。这些是图的自然多维扩展，不仅编码成对关系，还编码顶点之间的高阶交互-使我们能够考虑更丰富的数据，包括向量场和$n$ -fold协作网络。我们定义了一个适当的卷积概念，我们利用它来构建所需的卷积神经网络。我们测试的SNN的任务，填补缺失的数据合作复杂。
2020-12-28 cs.LG math.AT stat.ML
Modern Structure-Aware Simplicial Spatiotemporal Neural Network
Télécom SudParis（Telecom SudParis）；Institut Polytechnique de Paris；CNRS – LIP6；Sorbonne Université
本文提出ModernSASST，通过高维简复形上的时空随机游走和并行化时间卷积网络，有效捕捉高阶拓扑结构，提升大规模时空建模效率。
2026-04-17 cs.LG
Dist2Cycle: A Simplicial Neural Network for Homology Localization
The University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）
单纯形复形可以被看作是图的高维推广，它以不同的分辨率同时对顶点之间的多路有序关系进行显式编码。这个概念是中央对检测数据的高维拓扑特征，特征的图形，只编码成对的关系，保持遗忘。虽然已经尝试将图神经网络（GNN）扩展到单纯的复杂设置，但是这些方法并不固有地利用或推理网络的底层拓扑结构。我们提出了一个图卷积模型的学习函数参数化的$k$ -同调功能的单纯复形。通过光谱操纵他们的组合$k$维Hodge Laplacian，所提出的模型，使学习拓扑特征的基础单纯形复合体，具体地说，距离最近的“最佳”$k$ -th同源生成器的每个$k$ -单纯形，有效地提供了一种替代同源本地化。
2022-07-03 cs.LG math.AT
T-SNN: Temporal Simplicial Neural Network for EEG Decoding
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出T-SNN，将EEG表示为演变单纯复形序列，联合学习高阶交互与时间演变，在SEED-VII情绪识别任务上优于多种基线，并支持多模态解码。
2026-09-29 cs.LG q-bio.NC
SIMAP: A simplicial-map layer for neural networks
Universidad Loyola Andalucía（洛约拉安达卢西亚大学）；University of Sevilla（塞维利亚大学）
本文提出SIMAP层，作为深度学习模型中替代经典稠密最终层的可解释模块，通过基于固定最大单纯形和矩阵乘法算法高效计算重心细分，增强了SMNNs的可解释性与结构连通性保持能力。
2024-03-22 cs.LG math.AT
Higher-Order Topological Directionality and Directed Simplicial Neural Networks
Istituto Italiano di Tecnologia（意大利技术研究院）；Delft University of Technology（代尔夫特理工大学）；Harvard University（哈佛大学）
针对高阶拓扑模型强制对称化关系的问题，提出高阶方向性概念并构建 Dir-SNN，以建模有向非单纯形交互，理论与实验证明其表达力和任务性能优势。
2025-01-16 cs.LG
Higher-order Graph Convolutional Network with Flower-Petals Laplacians on Simplicial Complexes
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）
针对图神经网络难以建模和量化高阶交互的问题，本文提出基于 FP Laplacian 的 HiGCN，利用可学习滤波器跨拓扑尺度提取特征并度量交互强度，在多项图任务上达到最先进性能。
2024-01-18 cond-mat.stat-mech cs.AI cs.LG
Learning From Simplicial Data Based on Random Walks and 1D Convolutions
RWTH Aachen University（亚琛工业大学）
针对高阶拓扑计算模型计算成本高的问题，提出基于随机游走与一维卷积的单纯复形神经网络架构SCRaWl，可灵活控本且表达能力独特，实证性能优于同类模型。
2024-04-04 cs.LG
Simplicial Attention Neural Networks
这项工作的目的是介绍单纯注意网络（SAN），即，新的神经架构，其对利用掩蔽的自我注意层的单纯复合体上定义的数据进行操作。基于拓扑信号处理的形式参数，我们引入了一种适当的自注意机制，能够处理不同层的数据组件（例如，节点、边、三角形等），同时学习如何以完全面向任务的方式对给定拓扑域的上下邻域进行加权。拟议的SAN概括了当前大多数架构可用于处理定义在单纯复形上的数据。所提出的方法相比，优于其他方法时，适用于不同的（归纳和转导）的任务，如轨迹预测和缺失的数据插补引文复合体。
2022-03-26 cs.LG cs.NE
Hypergraph Neural Sheaf Diffusion: A Symmetric Simplicial Set Framework for Higher-Order Learning
POSTECH；Center for Geometry and Physics, Institute for Basic Science (IBS)（几何与物理中心，基础科学研究所）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对超图缺乏固有邻接和定向系统、难以构建任意阶层拉普拉斯的问题，提出对称单纯提升框架，推出首个超图神经层扩散模型HNSD，解决了超图学习的定向模糊与邻接稀疏问题，在基准测试中表现优异。
2025-07-30 cs.LG math.AT
Generalized Simplicial Attention Neural Networks
Harvard University（哈佛大学）；Sapienza University of Rome（罗马大学）；Universitas Mercatorum（Mercatorum大学）
针对图方法无法捕捉复杂系统多向交互的问题，提出广义单纯形注意力神经网络（GSANs），利用单纯形Dirac算子设计掩码自注意力机制处理高阶单纯形数据，并证明其具备置换等变性与单纯形感知性，在多项任务中表现优于现有图与单纯形模型。
2024-10-15 cs.AI cs.LG math.AT
Simplicial Attention Networks
University of Cambridge（剑桥大学）
图表示学习方法大多局限于节点交互的建模。最近，人们越来越关注如何利用高阶结构来进一步增强组合空间中图神经网络（GNN）的学习能力。单纯神经网络（SNN）通过在单纯复合体（图的高维概括）上执行消息传递来自然地对这些交互进行建模。尽管如此，大多数现有SNN执行的计算都严格依赖于复合体的组合结构。利用注意力机制在结构化领域的成功，我们提出了单纯注意力网络（SAT），一种新型的单纯网络，动态权衡相邻单纯形之间的相互作用，可以很容易地适应新的结构。此外，我们提出了一个签署的注意力机制，使SAT方向等变，（共）链复合物上运行的模型的理想属性。我们证明了SAT在两个图像和轨迹分类任务中优于现有的卷积SNN和GNN。
2022-04-20 cs.LG math.AT
Trainable and Explainable Simplicial Map Neural Networks
Universidad Loyola Andalucía（安大路西亚洛约拉大学）；University of Seville（塞维利亚大学）
针对单纯映射神经网络（SMNNs）固定权重缺乏泛化能力及需构建凸多胞体的高维应用瓶颈，提出基于数据集支撑子集的训练过程与超球面投影替代方法，并引入可解释性与有效实现。
2024-03-12 cs.AI cs.LG math.AT
Simplicial Representation Learning with Neural $k$-Forms
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Helmholtz Munich（慕尼黑亥姆霍兹中心）；Technical University of Munich (TUM)（慕尼黑工业大学）
本文提出利用神经 $k$-形式对单纯复形进行表示学习，无需消息传递，具备可解释性与几何一致性，并在几何图任务上优于现有方法。
2024-03-15 cs.LG math.AT
Convolutional Persistence Transforms
Duke University（杜克大学）；Geometric Data Analytics（几何数据分析公司）
本文提出卷积持续性框架，将滤波卷积与持续同调结合以表征单纯复形数据，并证明其单射性、稳定性与计算优势，实验显示其显著提升分类性能。
2024-01-25 cs.LG math.AT
Measuring the Privacy Leakage via Graph Reconstruction Attacks on Simplicial Neural Networks (Student Abstract)
Texas Tech University（德克萨斯理工大学）；Xavier University of Louisiana（泽维尔大学路易斯安那分校）；The Ohio State University（俄亥俄州立大学）
在本文中，我们通过研究图表示是否可以被反转来恢复用于生成它们的图，通过图重构攻击（GRA）来测量隐私泄漏。我们提出了一个GRA，通过一个图形解码器，最大限度地减少部分图和重建图之间的重建损失的表示恢复图的邻接矩阵。我们研究了在图上训练的三种类型的表示，即，表示输出从图卷积网络（GCN），图注意力网络（GAT），和我们提出的单纯神经网络（SNN）通过高阶组合拉普拉斯算子。与仅编码成对关系的前两种类型的表示不同，第三种类型的表示，即，SNN输出、编码高阶交互（例如，同调特征）之间的节点。我们发现，SNN的输出揭示了最低的隐私保护能力，以保护GRA，其次是GAT和GCN，这表明了建立更多的私人表示与高阶节点信息，可以防御潜在的威胁，如GRA的重要性。
2023-02-08 cs.CR cs.LG
Sequential Convolutional Recurrent Neural Networks for Fast Automatic Modulation Classification
Science and Technology on Electronic Information Control Laboratory（电子信息控制科技实验室）
针对无线频谱监测应用，提出了一种新型高效的自动调制分类端到端学习模型，该模型能够从时域同相和正交数据中自动学习，无需手工设计专家特征。利用卷积层的直觉，池化作为前端特征提取和降维的作用，开发了顺序卷积递归神经网络，以利用卷积神经网络的并行计算能力和递归神经网络的时间敏感性。实验结果表明，该结构在信噪比大于-10 dB的范围内具有较好的分类性能，在高信噪比范围内，分类准确率从80%提高到92.1%，同时平均训练时间和预测时间分别减少了约74%和67%.通过所提出的架构学习的响应模式被可视化，以更好地理解模型的物理特性。此外，进行了比较研究，以调查各种顺序卷积递归神经网络结构设置对分类性能的影响。一个具有代表性的顺序卷积递归神经网络架构的两层卷积神经网络和随后的两层长短期记忆神经网络的开发建议的选择快速自动调制分类。
2021-01-20 cs.LG eess.SP
Facilitating Graph Neural Networks with Random Walk on Simplicial Complexes
Tsinghua University（清华大学）；Peking University（北京大学）
本文系统研究单纯复形上不同阶随机游走对图神经网络表达力的促进作用，提出边级位置编码 EdgeRWSE 和 Hodge1Lap，并将其推广到高阶单纯形，通过实验验证了方法的有效性。
2023-10-30 cs.CG cs.LG
Invariant Representations of Embedded Simplicial Complexes
Seoul National University（首尔国立大学）
三角形网格和图形等嵌入单纯复形的分析是许多领域的重要问题。我们提出了一种新的方法来分析嵌入式单纯复形的细分不变和等距不变的方式，只使用拓扑和几何信息。我们的方法是基于创建和分析足够的统计数据，并使用图神经网络。我们证明了我们的方法使用合成网格数据集的有效性。
2023-02-27 cs.AI cs.CG cs.LG
Signal processing on simplicial complexes
RWTH Aachen University（亚琛工业大学）；Université Paris-Sud（巴黎第十一大学）；Rice University（莱斯大学）
到目前为止，高阶网络主要是在研究复杂系统结构的背景下考虑的，即，连接组成实体的高阶或多路关系。最近，许多研究已经考虑了明确说明这种高阶依赖性的动态过程，例如，在流行病传播过程或舆论形成的背景下。在本章中，我们将关注一个密切相关但又截然不同的第三个视角：我们如何使用高阶关系来处理高阶网络结构所支持的信号和数据。特别是，我们调查如何从信号处理的想法支持定期域，如时间序列或图像，可以扩展到图形和单纯形复合体。我们讨论傅立叶分析，信号去噪，信号插值，并通过基于单纯复形神经网络的非线性处理。我们的发展的关键是霍奇拉普拉斯矩阵，一个多关系运算符，利用单纯复形的特殊结构，并概括了理想的性质的拉普拉斯矩阵在图形信号处理。
2022-02-02 cs.DM cs.LG eess.SP
Deep Neural Networks and Finite Elements of Any Order on Arbitrary Dimensions
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文证明 ReLU 和 ReLU² 深度神经网络可表示任意维度单纯形网格上任意阶 Lagrange 有限元函数，提出基于几何分解的基函数全局表达公式，首次实现深度神经网络系统生成一般连续分片多项式函数。
2024-01-11 cs.LG cs.NA math.NA
SGAT: Simplicial Graph Attention Network
Nanyang Technological University（南洋理工大学）
异构图具有多个节点和边类型，并且比同构图在语义上更丰富。为了学习这种复杂的语义，许多用于异构图的图神经网络方法使用元路径来捕获节点之间的多跳交互。通常，来自非目标节点的特征不被并入学习过程中。然而，可能存在涉及多个节点或边的非线性高阶相互作用。在本文中，我们提出了单纯形图注意力网络（SGAT），单纯复杂的方法来表示这种高阶的相互作用，将功能从非目标节点上的简单。然后，我们使用注意力机制和上邻接生成表示。我们经验证明了我们的方法与异构图数据集上的节点分类任务的有效性，并进一步显示SGAT的能力，通过采用随机节点特征提取结构信息。数值实验表明，SGAT性能优于其他当前最先进的异构图学习方法。
2022-07-24 cs.LG
Problems of representation of electrocardiograms in convolutional neural networks
Nizhny Novgorod State University（下诺夫哥罗德州立大学）
使用心电图作为一个例子，我们演示了通过标准卷积网络建模包含不准确的重复模式的一维信号时出现的特征问题。我们表明，这些问题是系统性的。它们是由于卷积网络如何与复合对象一起工作，其中的一部分不是刚性固定的，而是具有显著的移动性。我们还展示了一些与深度网络中的泛化相关的违反直觉的影响。
2020-12-01 cs.LG eess.SP stat.ML
Mesh-based graph convolutional neural networks for modeling materials with microstructure
Sandia National Laboratories（桑迪亚国家实验室）
预测具有微观结构的材料的代表性样品的演变是均匀化中的基本问题。在这项工作中，我们提出了一个图形卷积神经网络，直接利用初始微观结构的离散化表示，没有分割或聚类。与基于特征和基于像素的卷积神经网络模型相比，所提出的方法具有许多优点：（a）它的深度在于它不需要特征化，但可以从中受益，（b）它具有标准卷积滤波器和层的简单实现，（c）它在无插值的情况下原生地工作在非结构化和结构化网格数据上（与基于像素的卷积神经网络不同），以及（d）它像其他基于图形的卷积神经网络一样保持旋转不变性。我们证明了该网络的性能，并将其与传统的基于像素的卷积神经网络模型和基于特征的图卷积神经网络在多个大型数据集上进行比较。
2021-11-29 cs.LG
A Topological Deep Learning Framework for Neural Spike Decoding
University of Tennessee Knoxville（田纳西大学诺克斯维尔分校）；Army Research Lab（陆军研究实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一个结合无监督单纯复形发现与单纯卷积循环神经网络的拓扑深度学习框架，用于解码头部方向与网格细胞尖峰数据，实现头部方向和轨迹预测。
2023-09-06 cs.LG cs.NE stat.ML
Convexified Convolutional Neural Networks
Stanford University（斯坦福大学）
我们描述了一类凸化的卷积神经网络（CCNNs），它以凸的方式捕获卷积神经网络的参数共享。通过将非线性卷积滤波器表示为再生核希尔伯特空间中的向量，CNN参数可以表示为低秩矩阵，其可以被放松以获得凸优化问题。对于学习两层卷积神经网络，我们证明了由凸化的CNN获得的泛化误差收敛到最佳可能的CNN。为了学习更深层次的网络，我们以逐层的方式训练CCNN。从经验上讲，CCNN的性能与通过反向传播、SVM、全连接神经网络、堆叠去噪自动编码器和其他基线方法训练的CNN相比具有竞争力。
2016-09-04 cs.LG
Graph Convolutional Neural Networks via Scattering
我们将散射变换推广到图上，从而在图上构造了一个卷积神经网络。我们表明，在一定的条件下，这样的网络产生的任何功能是近似不变的排列和稳定的图形操作。数值结果表明，相关数据集上的竞争力的表现。
2018-11-18 cs.IT cs.LG eess.SP
SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization
École Centrale de Nantes（南特中央理工学院）
卷积神经网络（CNN）是一类代表性的深度学习算法，包括基于其分层架构对输入数据执行卷积不变分类的卷积计算。然而，经典的卷积神经网络学习方法使用最速下降算法进行训练，学习性能受卷积层和全连接层初始权重设置的影响很大，需要重新调整以在不同的模型结构和数据下获得更好的性能。结合模拟退火算法在全局搜索方面的优势，提出将其应用于超参数搜索过程，以提高卷积神经网络（CNN）的有效性。本文在Text-CNN神经网络的基础上引入SA-CNN神经网络用于文本分类任务，并实现了用于超参数搜索的模拟退火算法。实验表明，我们可以实现更高的分类精度比早期的模型与手动调整，并在时间和空间上的改进，探索相对于人类调整是实质性的。
2023-03-13 cs.LG
Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel
University of Minnesota（明尼苏达大学）
图卷积网络是一类流行的深度神经网络算法，其在许多关系学习任务中显示出成功。尽管取得了成功，但图卷积网络表现出许多独特的特征，包括偏向于学习过平滑和同质函数，由于这些算法的复杂性，这些函数不容易诊断。我们建议通过研究层卷积网络的神经切线核来弥合这一理解上的差距--层卷积网络是图卷积网络的拓扑推广。为此，我们推导出层卷积网络的神经切线核的参数化，该参数化将函数分为两部分：一部分由图确定的前向扩散过程驱动，另一部分由节点激活对输出层的复合效应确定。这种几何聚焦的推导产生了许多我们详细讨论的直接见解。
2022-08-19 cs.LG
Privacy-Preserving Representation Learning for Text-Attributed Networks with Simplicial Complexes
Texas Tech University（德克萨斯理工大学）
尽管最近的网络表示学习（NRL）在文本属性网络中的工作表现出了各种图形推理任务的优越性能，但当节点代表人或与人相关的变量时，学习网络表示总是会引起隐私问题。此外，利用来自图的结构信息的标准NRL首先将成对关系编码到学习的表示中，然后分析其属性。这种方法从根本上与关系涉及多个点的问题不一致，并且拓扑结构必须在成对相互作用之外进行编码。幸运的是，拓扑数据分析（TDA）的机制，特别是单纯神经网络（SNN）提供了一个数学上严格的框架来学习节点之间的高阶交互。通过成对交互，研究SNN的表示输出是否比图神经网络（GNN）的常规表示输出更脆弱是至关重要的。在我的论文中，我将首先研究通过SNN学习单纯复形的文本属性表示（RT 4SC）。然后，我将对SNN表示输出的两种潜在攻击进行研究：（1）成员推断攻击，它推断图的某个节点是否在GNN模型的训练数据内;（2）图重构攻击，它推断文本属性网络的机密边缘。最后，我将研究一种保护隐私的确定性差分私有交替方向乘法器方法，以从SNN中学习安全的表示输出，这些SNN捕获多尺度关系，并促进文本属性网络上从局部结构到全局不变特征的传递。
2023-02-09 cs.CR cs.LG
Review of blockchain application with Graph Neural Networks, Graph Convolutional Networks and Convolutional Neural Networks
本文综述了GNN、GCN和CNN在区块链中的应用，分析其如何提升效率、安全性与可扩展性，并展望未来研究方向。
2024-10-01 cs.LG
Autoregressive Convolutional Neural Networks for Asynchronous Time Series
Imperial College London（帝国理工学院）；Hellebore Capital Limited（Hellebore Capital有限公司）；Ecole Polytechnique（巴黎综合理工学院）
我们提出了显著性偏移卷积神经网络，这是一种用于多元异步时间序列回归的深度卷积网络架构。该模型受到标准自回归（AR）模型和递归神经网络中使用的门控机制的启发。它涉及一个类似AR的加权系统，其中最终预测值是作为调整后回归量的加权和获得的，而权重是通过卷积网络学习的数据相关函数。该架构专为异步时间序列的应用程序而设计，并在以下数据集上进行评估：对冲基金专有的信用衍生品指数超过200万次报价的数据集，人工生成的噪声自回归序列和UCI家庭用电量数据集。与卷积和递归神经网络相比，所提出的架构取得了令人鼓舞的结果。
2018-06-12 cs.LG
One weird trick for parallelizing convolutional neural networks
Google Inc.（谷歌公司）
我提出了一种新的方法来并行化多个GPU上的卷积神经网络的训练。当应用于现代卷积神经网络时，该方法的扩展性明显优于所有替代方案。
2014-04-26 cs.DC cs.LG cs.NE
Toward Understanding Convolutional Neural Networks from Volterra Convolution Perspective
Guangdong University of Technology（广东工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
该研究通过探索卷积神经网络与Volterra卷积的关系，提出将CNN结构转换为Volterra卷积形式的方法，实现对多数CNN的近似并保留其特征，还提出零阶和一阶代理核近似方法，为理解CNN提供新视角。
2022-10-22 cs.LG
Directed Semi-Simplicial Learning with Applications to Brain Activity Decoding
Istituto Italiano di Tecnologia（意大利理工学院）；Delft University of Technology（代尔夫特理工大学）；Harvard University（哈佛大学）；University of Aberdeen（阿伯丁大学）
本文提出半单纯神经网络（SSNs）以解决高阶定向模式学习问题，通过在脑活动解码中实现更优性能，展示了基于拓扑模型的结构化数据学习潜力。
2026-03-02 cs.LG
SC-MAD: Mixtures of Higher-order Networks for Data Augmentation
Rice University（莱斯大学）
针对高阶单纯复形学习数据稀缺问题，提出线性和非线性 mixup 数据增强方法及凸聚类 mixup，理论证明合成数据在同态密度上插值，并在合成与真实数据集上验证了单纯复形分类的有效性。
2023-09-14 cs.LG stat.ML
VC dimensions of group convolutional neural networks
University of Vienna（维也纳大学）
研究了群卷积神经网络的泛化能力。我们确定精确的估计组卷积神经网络的简单集的VC尺寸。特别是，我们发现，对于无限群和适当选择的卷积核，卷积神经网络的双参数族已经具有无限的VC维数，尽管对无限群的作用是不变的。
2022-12-19 cs.LG math.FA stat.ML
Combinatorial Convolutional Neural Networks for Words
Institute of Biomedical Sciences, Academia Sinica（中央研究院生物医学科学研究所）
本文讨论了深度学习模型在识别和利用数据录入上的双射变换下保持不变的特征方面的局限性，我们将其称为组合模式。我们认为，这种模式的识别可能是重要的某些应用程序，并建议提供神经网络的信息，充分描述了输入条目的组合模式，并允许网络来确定什么是相关的预测。为了证明这种方法的可行性，我们提出了一个组合卷积神经网络的词分类。
2023-03-28 cs.LG
A Fully Convolutional Neural Network for Speech Enhancement
Qualcomm Research（高通研究院）
在助听器中，多路重合噪声的存在大大降低了人类语音的听力可懂度。然而，在低SNR环境中，去除混串音而不在人类语音中产生伪像是一项具有挑战性的任务。在这里，我们试图通过监督学习找到一个“映射”之间的嘈杂的语音频谱和干净的语音频谱来解决这个问题。具体来说，我们建议使用全卷积神经网络，它由比全连接网络更少的参数组成。提出的网络，冗余卷积编码器解码器（R-CED），表明卷积网络可以比递归网络小12倍，但性能更好，这表明其适用于嵌入式系统：助听器。
2016-09-22 cs.LG
Continuous Convolutional Neural Networks: Coupled Neural PDE and ODE
Maynooth University（梅努斯大学）
最近的深度学习工作集中在求解常微分方程或偏微分方程中的物理系统。当前的工作提出了一种卷积神经网络（CNN）的变体，其可以使用常微分方程（ODE）系统（ODE）和偏微分方程系统（PDE）来学习物理系统的隐藏动力学。这种新的技术可以用微分方程的形式对系统进行建模，而不是将图像、时间序列等物理系统看作是一个多层系统。通过求解非规则区域上的稳态偏微分方程，包括热方程、Navier-Stokes方程，对所提出的方法进行了评估。
2021-10-30 cs.LG
Regularization for convolutional kernel tensors to avoid unstable gradient problem in convolutional neural networks
China University of Geosciences（中国地质大学）
卷积神经网络是目前非常流行的一种神经网络。训练神经网络并不是一件容易的事。每个卷积对应于一个结构化的变换矩阵。为了帮助避免梯度爆炸/消失问题，期望每个变换矩阵的奇异值在训练过程中不大/不小。我们为卷积核张量提出了三个新的正则化项来约束每个变换矩阵的奇异值。我们展示了如何执行梯度类型的方法，这提供了新的见解的训练卷积神经网络。
2021-02-05 cs.LG cs.NA math.NA
Initialization Strategies of Spatio-Temporal Convolutional Neural Networks
University of Toronto（多伦多大学）
我们提出了一种新的方法，将视频中的时间信息合并到在图像上训练的空间卷积神经网络（ConvNets）中，避免从头开始训练时空ConvNets。我们使用从ImageNet学习的2D卷积权重描述了时空ConvNet的3D卷积层中的几个权重初始化。我们表明，为了学习视频的时间表示，明智地初始化3D卷积权重是很重要的。我们在UCF-101数据集上评估了我们的方法，并证明了对Spatial ConvNets的改进。
2015-03-25 cs.CV cs.LG
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2；EPFL（洛桑联邦理工学院）；IDCOM；University of Edinburgh（爱丁堡大学）
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
该研究针对带全局平均池化层的过参数化卷积神经网络图像分类场景，分析梯度下降训练下的收敛特性，推导了其误分类风险与最优值差值的收敛速率界。
2024-05-13 cs.LG stat.ML
Two-hidden-layer Feedforward Neural Networks are Universal Approximators: A Constructive Approach
University of Seville（塞维利亚大学）
众所周知，人工神经网络是一种通用的逼近器。经典的结果证明，给定n维空间上紧集上的连续函数，则存在一个逼近该函数的单隐层前馈网络。这一结果证明了该性质的存在性，但没有给出求该性质的方法.本文对两隐层前馈网络给出了证明该性质的构造性方法.这种方法是基于一个近似的连续函数的单纯映射。一旦给出了空间的三角剖分，就可以获得具体的体系结构和权重集。近似的质量取决于单纯复形对空间覆盖的细化。
2020-07-16 cs.LG math.AT stat.ML
IEA: Inner Ensemble Average within a convolutional neural network
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
包围学习是一种结合多个训练模型以提高模型准确性的方法。我们提出在卷积神经网络（CNN）架构中使用这种方法，特别是集成平均，通过将单个卷积层替换为多个卷积层的内部平均集成（IEA）。不同基准数据集上的实证结果表明，使用IEA的CNN模型优于使用常规卷积层的模型。IEA生成的特征的视觉和相似性得分分析解释了为什么它提高了模型性能。
2019-08-06 cs.LG stat.ML
Optimal Convergence Rates of Deep Convolutional Neural Networks: Additive Ridge Functions
Shenzhen Polytechnic（深圳职业技术学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
卷积神经网络在许多应用中表现出令人印象深刻的能力，特别是与分类任务相关的应用。然而，对于回归问题，卷积结构的能力还没有被完全理解，需要进一步的研究。在本文中，我们考虑深度卷积神经网络的均方误差分析。我们表明，对于加性脊函数，卷积神经网络后跟一个具有ReLU激活函数的全连接层可以达到最佳的最小-最大速率（高达对数因子）。输入维数只出现在收敛速度常数中。这项工作显示了卷积神经网络的统计最优性，并可能揭示为什么卷积神经网络能够对高维输入表现良好。
2023-01-20 cs.LG math.ST stat.TH
Fast Algorithms for Convolutional Neural Networks
Nervana Systems（Nervana系统公司）
深度卷积神经网络需要GPU数天的计算时间来对大型数据集进行训练。自动驾驶汽车的行人检测需要非常低的延迟。移动电话的图像识别受到有限处理资源的限制。卷积神经网络在这些情况下的成功受到我们计算它们的速度的限制。传统的基于FFT的卷积对于大型滤波器来说是快速的，但是现有技术的卷积神经网络使用小型的3 × 3滤波器。本文利用Winograd的最小滤波算法，提出了一类新的卷积神经网络快速算法。这些算法在小块上计算最小复杂度的卷积，这使得它们在小过滤器和小批量的情况下速度更快。我们用VGG网络对我们算法的GPU实现进行基准测试，并在1到64的批量大小下显示最先进的吞吐量。
2015-11-10 cs.LG cs.NE
On the rate of convergence of image classifiers based on convolutional neural networks
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
定义了基于卷积神经网络的图像分类器，并分析了估计的误分类风险向最优误分类风险的收敛速度。在适当的假设下的光滑性和结构的后验概率的收敛速度是独立的图像的尺寸。这证明了在图像分类中，卷积神经网络可以规避维数灾难。
2020-10-14 cs.LG stat.ML
A Gaussian Process perspective on Convolutional Neural Networks
Dipartimento di Matematica, Università di Bologna（博洛尼亚大学数学系）
在本文中，我们将众所周知的卷积神经网络投射到高斯过程的角度。通过这种方式，我们希望对卷积网络的性能有更多的了解，特别是了解在什么情况下它们往往表现良好，以及在网络中隐含了什么假设。虽然对于全连接网络，收敛到高斯过程的特性已经被广泛研究，但对于卷积网络的输出接近多元正态分布的情况知之甚少。
2019-01-09 cs.LG stat.ML
Research Progress of Convolutional Neural Network and its Application in Object Detection
East China University of Science and Technology（华东理工大学）
随着计算机性能的提高和数据量的增加，基于卷积神经网络（CNN）的目标检测已成为目标检测的主要算法。综述了卷积神经网络及其在目标检测中的应用研究进展，重点分析和讨论了将卷积神经网络应用于目标检测的具体思路和方法，指出了目前存在的不足和未来的发展方向。
2020-07-27 cs.CV cs.LG eess.IV
