Uncovering a Universal Abstract Algorithm for Modular Addition in Neural Networks
McGill University（麦吉尔大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）；Leiden University（莱顿大学）
我们提出并验证了一个普适性假说：多层感知机和变压器在模加法任务中统一实现近似中国剩余定理，通过引入近似陪集解释神经元激活，并预测深度网络仅需O(log n)个特征，为多层网络求解模加法提供了首个理论支撑的解释。
2025-05-23 cs.AI cs.LG
Universal Approximation of Continuous Functionals on Compact Subsets via Linear Measurements and Scalar Nonlinearities
Lomonosov Moscow State University（洛蒙诺索夫莫斯科国立大学）
本文提出通过线性测量和标量非线性来逼近紧集上连续函数的通用性，为算子学习和成像提供了理论支持。
2026-02-03 cs.LG math.FA
Extending the Universal Approximation Theorem for a Broad Class of Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas（坎皮纳斯州立大学）
本文通过引入非退化超复代数概念，将万能逼近定理扩展至一大类超复数值神经网络，涵盖复数、四元数和tessarines等代数，为该类网络的存在性提供了理论支撑。
2022-09-06 cs.LG
Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学）；Instituto de Pesquisa Eldorado（埃尔多拉多研究所）
本文引入非退化代数概念，将通用逼近定理从实值及部分超复数值神经网络推广到广泛的向量值神经网络。
2024-08-09 cs.LG cs.NE
Universal Functional Regression with Neural Operator Flows
California Institute of Technology（加州理工学院）；NVIDIA Corporation（英伟达公司）
针对函数空间回归受限于高斯过程先验的问题，提出通用函数回归概念，开发神经算子流（OpFlow）实现非高斯函数空间先验学习，提升回归准确性与不确定性量化能力。
2024-11-26 cs.LG stat.ML
A global universality of two-layer neural networks with ReLU activations
Keio University（庆应义塾大学）；RIKEN（理化学研究所）；Chuo University（中央大学）；Ehime University（爱媛大学）
在本研究中，我们研究了神经网络的一个普遍性，它涉及一个函数空间中的双层神经网络的集合的密度。有许多工作，处理收敛紧集。本文通过引入适当的范数，考虑了一个全局收敛性，使得我们的结果在任何紧集上都是一致的。
2020-11-20 cs.LG math.FA
Shape-Informed Clustering of Multi-Dimensional Functional Data via Deep Functional Autoencoders
School of Computer Science and Statistics（计算机科学与统计学学院）；Trinity College Dublin（都柏林信任学院）；School of Electronic Engineering（电子工程学院）；Dublin City University（都柏林城市大学）
本文提出FAEclust深度函数自编码器框架，用于多维函数数据聚类，通过形状感知聚类目标抵抗相位变化，并经实验验证其有效性。
2025-10-09 cs.LG
A Simple Proof of the Universality of Invariant/Equivariant Graph Neural Networks
RIKEN AIP（理化学研究所先进智能项目中心）；Tokyo Institute of Technology（东京工业大学）
本文给出了不变和等变张量化图神经网络普适性的一个简单证明。我们的方法考虑了一个受限制的中间假设模型，称为图同态模型，以达到普遍性的结论，包括高阶输出的开放情况。我们发现，我们提出的技术不仅导致简单的证明的普遍性属性，但也给出了一个自然的解释张量化以前研究的模型。最后，我们给出了我们的模型和图的连续表示之间的联系的一些评论。
2019-10-09 cs.LG stat.ML
Non-linear Functional Modeling using Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）
本文提出两类基于神经网络的非线性函数型数据模型（FDNN与FBNN），并推导函数型梯度优化算法，通过模拟与真实数据验证其有效性。
2023-05-04 cs.AI cs.LG stat.ME
Neural Universal Discrete Denoiser
DGIST（大邱庆北科学技术院）；Seoul National University（首尔大学）
我们提出了一个新的框架，应用深度神经网络（DNN）设计一个通用的离散去噪。与其他利用监督学习进行去噪的方法不同，我们不需要任何额外的训练数据。在这种情况下，虽然地面真理标签，即，干净的数据是不可用的，我们设计了“伪标签”和一个新的目标函数，使得DNN可以以与监督学习相同的方式被训练成离散的去噪器。我们的实验表明，我们得到的算法，被称为神经DUDE，显着优于以前的国家的最先进的几个应用程序与选择超参数，这是一个有吸引力的功能在实践中的系统规则。
2016-08-24 cs.LG
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；École Normale Supérieure Paris-Saclay（巴黎萨克雷高等师范学院）
在本文中，我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地，对于一个给定的$G$ -不变/等变函数，我们通过深度神经网络构造了它的通用逼近器，该深度神经网络的层装备了$G$ -作用，并且每个仿射变换都是$G$ -等变/不变的。由于表示理论，我们可以证明，这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
On the universality of neural encodings in CNNs
New York University（纽约大学）；Flatiron Institute（弗拉蒂隆研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出通过分解空间与通道维度并比较权重协方差相似性的方法，发现VGG网络在自然图像上学习到的特征向量具有跨数据集的普适性，为迁移学习提供了更基础的解释，并倡导以最大化编码普适性来构建基础模型。
2024-09-28 cs.CV cs.LG
Achieve the Minimum Width of Neural Networks for Universal Approximation
Beijing Normal University（北京师范大学）
神经网络的通用逼近属性（UAP）是深度学习的基础，众所周知，宽神经网络是$L^p$范数和连续/一致范数内连续函数的通用逼近器。然而，UAP的确切最小宽度$w_{\min}$尚未得到彻底研究。最近，使用解码器-存储器-编码器方案，\citet{Park2021Minimum}发现ReLU网络的$L^p$-UAP和ReLU+STEP网络的$C$都有$w_{\min} = \max(d_x+1,d_y)$，其中$d_x,d_y$分别是输入和输出维度。在本文中，我们考虑具有任意一组激活函数的神经网络。我们证明了紧域上函数的$C$ -UAP和$L^p$ -UAP共享一个最小宽度的泛下界，即$w^*_{\min} = \max(d_x,d_y)$ .特别地，如果输入或输出维度大于1，则$L^p$ -UAP的临界宽度$w^*_{\min}$可以通过泄漏ReLU网络来实现。我们的构造是基于神经常微分方程的近似能力和神经网络近似流图的能力。对非单调或不连续的激活函数情形和一维情形也进行了讨论。
2023-02-04 cs.LG
Neural Flow Operators can Approximate any Operator: Abstract Frameworks and Universal Approximations
Qiuzhen College, Tsinghua University（清华大学齐遵学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学尤 mathematical sciences center）；Norwegian Research Center（挪威研究中心）
提出神经流抽象框架，涵盖组合与分离结构的连续深度模型，证明其在有限维和无限维空间中的通用逼近性质，并通过时间离散化统一残差与普通架构。
2026-05-26 cs.LG cs.NA math.NA
Neural Oscillators are Universal
California Institute of Technology（加州理工学院）；ETH Zurich（苏黎世联邦理工学院）
本研究提出神经振荡器抽象类别并证明其通用性，能逼近任意连续因果算子，为基于振荡器的机器学习系统提供理论依据。
2023-05-15 cs.LG cs.NE
Categorical Equivariant Deep Learning: Category-Equivariant Neural Networks and Universal Approximation Theorems
School of Informatics, Nagoya University, Japan（名古屋大学信息学系）；School of Computing, Australian National University, Australia（澳大利亚国立大学计算机学系）
本文提出范畴等变神经网络理论，证明其在不同结构下的通用逼近能力，扩展了等变深度学习的应用范围。
2025-12-23 cs.AI cs.CV cs.LG
Universality of reservoir systems with recurrent neural networks
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本文探讨了基于循环神经网络的储备池系统的逼近能力，证明了其对于某类动力系统具有一致强通用性，即仅需调整线性读出即可逼近目标系统，并通过并行级联构造证明了误差上界独立于目标。
2025-04-07 cs.LG cs.NE
Neural Networks With Dense Computational Graphs Are Not Universal Approximators
Princeton University, Dept of CS（普林斯顿大学计算机科学系）；MIT, Dept of EECS and CSAIL（麻省理工学院电子工程与计算机科学系及计算机科学与人工智能实验室）；TUM, School of CIT, MCML, MDSI（技术大学（TUM）信息科技学院，MCML，MDSI）；Technion – IIT, Faculty of Mathematics（技术学院–以色列理工学院数学学院）
研究探讨了密集神经网络的逼近能力，指出在有限的权重约束下，密集连接的神经网络无法逼近任意连续函数，从而揭示了密集层神经网络的固有局限性，推动了稀疏连接在实现真正通用性中的必要性。
2026-11-11 cs.LG stat.ML
Universality of Gradient Descent Neural Network Training
University of Central Florida（中佛罗里达大学）
人们已经观察到，神经网络的设计选择往往是其成功优化的关键。因此，在这篇文章中，我们讨论了这样一个问题，即是否总是可以重新设计一个神经网络，使其能够很好地使用梯度下降进行训练。这产生了以下普适性结果：对于给定的网络，如果存在任何算法可以为分类任务找到好的网络权重，则存在该网络的扩展，该扩展仅通过梯度下降训练来再现这些权重和相应的前向输出。该构造并不用于实际计算，但它提供了一些关于元学习和相关方法的可能性的方向。
2020-07-27 cs.LG stat.ML
Universal approximation theorem for neural networks with inputs from a topological vector space
Institute of Mathematics and Mechanics（数学与力学研究所）；Center for Mathematics and its Applications, Khazar University（哈扎尔大学数学及其应用中心）
本文针对拓扑向量空间输入的前馈神经网络，证明其能逼近该扩展输入空间上的任意连续函数，从而扩展了神经网络的适用范围。
2024-09-19 cs.LG cs.NE stat.ML
Universal Consistency of Deep Convolutional Neural Networks
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
与深度卷积神经网络（DCNN）在实际应用中的研究相比，其理论行为的研究相对滞后。特别是，DCNN的普遍一致性仍然是开放的。在本文中，我们证明了在DCNN上使用扩展卷积（带零填充）实现经验风险最小化是强普遍一致的。受普遍一致性的启发，我们进行了一系列实验，以证明在没有任何全连接层的情况下，具有扩展卷积的DCNN的性能并不比广泛使用的深度神经网络差，该深度神经网络具有包含收缩（无零填充）卷积层和几个全连接层的混合结构。
2021-06-23 cs.IT cs.LG math.IT
Towards universal neural nets: Gibbs machines and ACE
GammaDynamics, LLC（GammaDynamics有限责任公司）
我们从物理学的角度研究一类生成神经网络，吉布斯机，设计用于逐步学习。虽然包括变分自动编码器，但它们提供了一个更广泛的通用平台，用于增量添加新学习的功能，包括物理对称性。建立了它们与统计物理和信息几何的直接联系。变分毕达哥拉斯定理证明调用指数/吉布斯概率类来创建全新的对象是合理的。将这些网络与分类器相结合，产生了一种通用生成神经网络-随机自动分类器编码器（ACE）。ACE在MNIST数据集的分类和密度估计方面都具有同类产品中最先进的性能。
2016-06-30 cs.CV cs.LG cs.NE
Universal Approximation and the Topological Neural Network
Department of Mathematical and Statistical Sciences, University of Alberta（阿尔伯塔大学数学与统计科学系）；Statistics Canada（加拿大统计局）
本文提出拓扑神经网络和分布神经网络，将输入从有限维空间推广到吉洪诺夫空间和博雷尔测度空间，并通过强通用逼近定理证明其能任意逼近一致连续函数，从而扩展深度集合等深度学习概念。
2023-05-26 cs.LG
Global universal approximation with Brownian signatures
University of Mannheim（曼海姆大学）
研究在合适粗糙路径空间上一般路径依赖和非预期泛函的\(L^p\)通用逼近定理，通过推导加权粗糙路径空间的全局通用逼近定理，证明其适用于高斯过程，可逼近布朗滤波适应的\(p\)可积随机过程。
2026-09-10 cs.LG math.PR q-fin.MF
Global universal approximation of functional input maps on weighted spaces
Vienna University（维也纳大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出了一种在加权空间上实现函数输入映射的神经网络结构，并利用加权Stone-Weierstrass定理证明了其在连续函数和路径空间函数逼近中的全局通用逼近能力，同时探讨了其在不确定性量化中的应用。
2025-12-02 cs.LG math.FA math.PR
Universal approximation and model compression for radial neural networks
Radboud University（拉德堡德大学）；Northeastern University（东北大学）
我们介绍了一类完全连接的神经网络，其激活函数，而不是逐点的，重新缩放的功能，只依赖于他们的范数的特征向量。我们称这种网络为径向神经网络，扩展了以前的工作旋转等变网络，考虑重新调整激活的一般性。我们证明了径向神经网络的普遍逼近定理，包括在更困难的情况下，有界宽度和无界域。我们的证明技术是新颖的，不同于那些在逐点的情况下。此外，径向神经网络在可训练参数的向量空间上表现出丰富的正交基变换对称性。分解出这些对称性导致一个实用的无损模型压缩算法。通过梯度下降对压缩模型的优化等效于对完整模型的投影梯度下降。
2023-02-16 cs.LG math.RT
Universal characteristics of deep neural network loss surfaces from random matrix theory
School of Mathematics, University of Bristol（布里斯托大学数学学院）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；Huawei AI Research（华为人工智能研究院）
本文基于随机矩阵理论，结合海森矩阵真实模型推导深度神经网络谱离群值的普适特征，揭示随机矩阵局部定律在预条件梯度下降中的作用，并通过统计物理工具分析损失曲面，为理解深度神经网络提供理论见解。
2022-06-20 cond-mat.dis-nn cs.LG math-ph
Sig-Splines: universal approximation and convex calibration of time series generative models
University of Kaiserlautern（凯泽斯劳滕大学）；Imperial College London（伦敦帝国理工学院）
本研究提出名为Sig-Splines的多变量离散时间序列生成模型，以线性变换和签名变换替代传统神经网络，兼具通用逼近能力与参数凸性优势。
2023-07-19 cs.AI cs.LG q-fin.CP
Universal Approximation of Operators with Transformers and Neural Integral Operators
Department of Mathematics and Statistics（数学与统计学系）；Idaho State University Physical Science Complex（爱达荷州立大学物理科学中心）；S. 8th Ave., Stop 8085（921 S. 8th Ave., Stop 8085）；Pocatello, ID 83209, USA
本文研究变换器和神经积分算子在Banach空间中算子的通用逼近性质，证明变换器可逼近Hölder空间间的积分算子，神经积分算子的推广形式可逼近任意Banach空间间的算子，改进的变换器可逼近任意Banach空间间的算子。
2026-04-24 cs.LG cs.NA math.NA
Supervised Neural Discrete Universal Denoiser for Adaptive Denoising
Seoul National University（首尔大学）
我们改进了最近开发的神经DUDE，一个基于神经网络的自适应离散去噪器，将其与监督学习框架相结合。也就是说，我们使神经DUDE的监督预训练与基于给定的噪声数据进行去噪的参数自适应微调兼容。因此，与香草神经DUDE相比，我们实现了显着的去噪性能提升，后者仅使用随机初始化的参数执行自适应微调步骤。此外，我们表明自适应微调使算法的鲁棒性，使噪声失配或盲目训练的监督模型仍然可以实现匹配模型的性能。此外，我们做了一些算法改进，使神经DUDE更具可扩展性，并处理多维数据或具有更大字母表大小的数据。我们系统地展示了我们对两个非常不同的数据集，二进制图像和DNA序列的改进。
2021-11-24 cs.LG
The Influence of the Memory Capacity of Neural DDEs on the Universal Approximation Property
Technical University of Munich（慕尼黑工业大学）
本文研究 Neural DDEs 的记忆容量 $Kτ$ 对通用逼近的影响，证明小容量时非增广模型无法通用逼近，超过阈值后可逼近连续函数，增广还能扩大可行参数区域。
2025-06-06 cs.LG cs.NE math.DS
Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes
本文证明了宽深ReLU神经网络分类器的普适一致性，给出其达到极小极大最优收敛速率的概率测度充分条件，框架涵盖更一般场景，且logistic损失下的分类器呈现良性过拟合行为。
2024-01-30 cs.LG stat.ML
Universal Deep Neural Network Compression
SoC R&D, Samsung Semiconductor Inc.（三星半导体公司系统芯片研发部）
在本文中，我们研究了通过权重量化和无损信源编码对深度神经网络（DNN）进行有损压缩以实现内存高效部署。鉴于先前的工作解决了DNN权重的非通用标量量化和熵编码，我们首次通过通用矢量量化和通用信源编码引入通用DNN压缩。特别是，我们研究了DNN的通用随机格量化，它在格量化之前通过均匀随机抖动来随机化DNN权重，并且可以在任何源上执行接近最佳的操作，而无需依赖于其概率分布的知识。此外，我们提出了一种微调矢量量化DNN的方法，以恢复量化后的性能损失。我们的实验结果表明，所提出的通用DNN压缩方案分别以$47.1$和$42.5$的压缩比压缩32层ResNet（在CIFAR-10上训练）和AlexNet（在ImageNet上训练）。
2019-02-21 cs.CV cs.LG cs.NE
Universality of Deep Convolutional Neural Networks
City University of Hong Kong（香港城市大学）
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是，对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力，缺乏理论基础。在这里，我们证明了深度卷积神经网络（CNN）是通用的，这意味着当神经网络的深度足够大时，它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计，严格按照要计算的自由参数的数量给出，验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Cross-functional transferability in universal machine learning interatomic potentials
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文在CHGNet框架内研究了通用机器学习原子间势的跨泛函迁移学习问题，通过在MP-r$^2$SCAN数据集上的基准测试，证明了元素能量参考的重要性以及迁移学习在亚百万级目标数据集上仍能显著提升数据效率。
2025-04-07 cond-mat.mtrl-sci cs.LG
Universal approximation property of neural stochastic differential equations
University of Mannheim（曼海姆大学）；ETH Zurich（苏黎世联邦理工学院）
该研究确定了满足全局线性增长约束、可局部一致逼近连续函数的多类神经网络，证明其对应的神经随机微分方程能任意精度逼近一般Itô扩散型等随机微分方程，并推导了系数正则的随机微分方程的量化误差估计。
2025-03-20 cs.LG math.FA math.PR
On the Universal Approximation Property of Deep Fully Convolutional Neural Networks
本文从动力系统视角研究深度全卷积网络对平移不变或等变函数的逼近，证明了残差网络及满足通道与卷积核大小条件的非残差变体可实现万能逼近，并验证了这些条件的必要性。
2023-05-18 cs.CV cs.LG
Universal Lipschitz Approximation in Bounded Depth Neural Networks
Perspecta Labs（Perspecta实验室）
对机器学习模型的对抗攻击是我们越来越依赖这些模型的一个相当大的障碍。因此，可证明的鲁棒（认证）机器学习模型是一个主要的兴趣话题。Lipschitz连续模型为解决这一问题提供了一种很有前途的方法。通过利用保持低Lipschitz常数的神经网络的变体的表达能力，我们证明了使用FullSort激活函数的三层神经网络是通用Lipschitz函数逼近器（ULA）。这既解释了实验结果，也为未来创建更好的认证模型铺平了道路。最后，我们提出的实验结果表明，ULAs不仅是一个新颖的，但有竞争力的方法来提供认证的分类器，使用这些结果来激励几个潜在的主题进一步研究。
2019-04-09 cs.LG stat.ML
Functional Neural Networks: Shift invariant models for functional data with applications to EEG classification
SNAP GmbH（SNAP有限公司）
本文提出函数神经网络（FNNs），将多层感知机和卷积神经网络扩展到函数型数据，实现平移不变并保持平滑性，在准确率上优于FDA基准模型并成功用于脑电图分类。
2023-08-10 cs.LG stat.ME stat.ML
On the universal approximation property of radial basis function neural networks
University of Edinburgh（爱丁堡大学）；French-Azerbaijani University（法阿大学）
本文提出将平滑因子替换为平移的新型RBF神经网络，并在特定条件下证明了其能够任意精度逼近d维欧几里得空间紧子集上的连续多元函数。
2023-04-08 cs.LG stat.ML
Deep, Skinny Neural Networks are not Universal Approximators
Sanofi（赛诺菲）
为了选择一个对特定建模问题有效的神经网络架构，必须了解每个潜在选项所施加的限制。这些限制通常是描述在信息理论的界限，或通过比较所需的相对复杂性，以近似不同的架构之间的示例功能。在本文中，我们研究的拓扑约束的神经网络的架构施加在所有的功能，它是能够近似的水平集。这种方法是新颖的限制的性质和事实，他们是独立的网络深度的一个广泛的家庭激活函数。
2018-09-30 cs.LG stat.ML
On the Universal Approximation Property and Equivalence of Stochastic Computing-based Neural Networks and Binary Neural Networks
Syracuse University（雪城大学）；City College of the City University of New York（纽约市立大学城市学院）；Lehman College of CUNY（纽约市立大学雷曼学院）；Florida International University（佛罗里达国际大学）；Northeastern University（东北大学）
大规模深度神经网络是内存密集型和计算密集型的，从而对计算平台提出了严格的要求。深度神经网络的硬件加速在工业界和学术界都得到了广泛的研究。二进制神经网络（BNN）和基于随机计算的神经网络（SCNN）的特定形式对硬件实现特别有吸引力，因为它们几乎可以完全用二进制运算来实现。尽管这些近似计算技术在硬件实现上具有明显的优势，但在准确性和普遍适用性方面受到研究人员的质疑。此外，了解SCNN和BNN在理论上和实际硬件实现中的相对优缺点也很重要。为了解决这些问题，在本文中，我们证明了“理想”SCNN和BNN满足概率为1的通用逼近性质（由于随机行为）。首先从强大数定律出发证明SCNN的性质，然后利用SCNN作为证明BNN的“桥梁”。基于泛逼近性质，我们进一步证明了SCNN和BNN具有相同的能量复杂度。也就是说，随着网络规模的增大，它们具有相同的渐近能量消耗。我们还提供了一个详细的分析的优点和缺点的SCNN和BNN的硬件实现，并得出结论，SCNN更适合于硬件。
2018-06-09 cs.LG stat.ML
A Path to Universal Neural Cellular Automata
Imperial College London（帝国理工学院伦敦分校）
本研究探索神经元胞自动机经梯度下降训练实现连续通用计算的潜力，提出对应模型、目标函数与训练策略，成功训练出基础计算基元并仿真MNIST分类网络，为模拟通用计算机奠定基础。
2025-05-20 cs.ET cs.LG cs.NE
Universality and Approximation Rates of Graph Neural Networks with Random Features
该研究针对带随机节点特征的排列等变神经网络（PENNs），证明其可概率逼近固定大小有向图上的任意可测排列不变/等变函数，并推导了k≥2时的近似率上界，明确了前馈组件复杂度与近似精度的关系。
2026-07-30 cs.LG stat.ML
Deep Neural Network Classifier for Multi-dimensional Functional Data
Auburn University（奥本大学）；New Jersey Institute of Technology（新泽西理工学院）
我们提出了一种新的方法，称为功能性深度神经网络（FDNN），用于分类多维功能数据。具体地，基于训练数据的主成分来训练深度神经网络，其将用于预测未来数据函数的类别标签。与目前流行的基于高斯假设的函数判别分析方法不同，FDNN方法适用于一般的非高斯多维函数数据。此外，当对数密度比具有局部连通的功能模块结构时，我们证明了FDNN实现了极大极小最优性。通过模拟和真实世界的数据集证明了我们的方法的优越性。
2022-05-17 cs.LG stat.ME stat.ML
A Unified and Constructive Framework for the Universality of Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一个统一且构造性的框架，证明任何nAI激活函数在紧集连续函数空间上具有普适性，并带来构造性证明、新激活函数发现及精确网络架构等优势。
2023-05-07 cs.LG cs.NA math.NA
Universal Approximation Property of Neural Ordinary Differential Equations
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Ehime University（爱媛大学）
神经元常微分方程（NODE）是一种可逆的神经网络结构，具有自由形式的雅可比矩阵和易于处理的雅可比行列式估计器。最近，NODE的表示能力已经部分地被发现：它们在一定条件下形成连续映射的$L^p$ -泛逼近器。然而，$L^p$ -普适性可能无法保证对整个输入域的近似，因为即使近似器在输入空间的小区域上与目标函数有很大不同，它也可能仍然成立。为了进一步揭示NODE的潜力，我们展示了它们更强的逼近性质，即逼近一大类非同态的$\sup$ -普适性。它是通过利用结构定理的同构群，和现有的文献的结果补充建立一个相当大的映射，节点可以近似一个更强的保证。
2020-12-04 cs.LG math.DG stat.ML
The universal approximation theorem for complex-valued neural networks
Technical University of Munich（慕尼黑工业大学）；University of Vienna（维也纳大学）；Catholic University of Eichstätt-Ingolstadt（艾希施泰特-因戈尔施塔特天主教大学）
我们推广了经典的神经网络的通用逼近定理的情况下，复值神经网络。准确地说，我们认为前馈网络与复杂的激活功能$σ: \mathbb{C} \to \mathbb{C}$，其中每个神经元执行操作$\mathbb{C}^N \to \mathbb{C}, z \mapsto σ(b + w^T z)$与权重$w \in \mathbb{C}^N$和偏置$b \in \mathbb{C}$，并与$σ$应用组件。我们完全刻画了这些激活函数$σ$的相关的复杂网络具有普遍的逼近属性，这意味着他们可以一致地逼近任何连续函数的任意紧子集的$\mathbb{C}^d$任意好。与真实网络的经典情况不同，产生具有普适逼近性质的网络的“好激活函数”集合取决于人们是否考虑深层网络或浅层网络而显著不同：对于至少有两个隐藏层的深层网络，只要$σ$既不是多项式，也不是全纯函数或反全纯函数，普适逼近性质就成立。另一方面，浅网络是通用的当且仅当$σ$的实部或虚部不是多调和函数。
2022-12-11 cs.LG math.FA stat.ML
Approximation Capabilities of Neural Networks using Morphological Perceptrons and Generalizations
University of Southern California（南加州大学）
标准人工神经网络（ANN）使用具有无记忆非线性激活的和-积或乘-累加节点操作。已知这些神经网络具有通用函数逼近能力。以前提出的形态感知器使用最大和，而不是和产品，节点处理和电路实现有前途的属性。在本文中，我们表明，这些最大和人工神经网络不具有普遍的逼近能力。此外，我们考虑提出的符号最大和最大星和概括的形态人工神经网络，并表明这些变种也没有普遍的近似能力。我们对比这些变化的对数系统（LNS）的实现，也避免乘法，但表现出普遍的近似能力。
2022-07-16 cs.LG cs.NE
NeuralFLoC: Neural Flow-Based Joint Registration and Clustering of Functional Data
Institute of Mathematical Sciences, ShanghaiTech University（上海科技大学数学科学研究所）
本文提出NeuralFLoC，一种基于神经ODE驱动的 diffeomorphic 流和谱聚类的端到端深度学习框架，解决函数数据相位变化下的联合注册与聚类问题，实现相位和幅度变化的有效分离。
2026-04-29 cs.LG stat.ML
The minimal width of universal $p$-adic ReLU neural networks
Mathematical Institute, E\"otv\"os Lor\'；University 1117 Budapest, P\'azm\'any P\'eter s\'et\'any 1/C, Hungary；Department of Algebra；Geometry, Institute of Mathemetics, Budapest University of Technology；4mm HUN-REN Alfr\'ed R\'enyi Institute of Mathematics, Re\'altanoda utca 13--15., H-1053 Budapest, Hungary
研究确定了用于逼近 $p$-adic 空间上连续函数的 ReLU 类似激活函数神经网络的最小宽度。
2026-11-05 cs.LG math.NT
On Universal Approximation by Neural Networks with Uniform Guarantees on Approximation of Infinite Dimensional Maps
Carnegie Mellon University（卡内基梅隆大学）
神经网络对任意函数$f: \mathcal{X} \to \mathcal{Y}$的通用逼近的研究有着丰富而深入的历史，可以追溯到Kolmogorov（1957）。在学习有限维映射的情况下，许多作者已经证明了固定深度和固定宽度神经网络的各种形式的普遍性。然而，在许多情况下，这些经典的结果未能扩展到最近使用的近似神经网络与无穷多个单位的功能数据分析，动态系统识别，以及其他应用程序中的$\mathcal{X}$或$\mathcal{Y}$成为无限维。自然会产生两个问题：神经网络的哪些无限维模拟足以近似任何映射$f: \mathcal{X} \to \mathcal{Y}$，以及在实践中使用的这些模拟的有限近似何时在其无限维域$\mathcal{X}$上一致地近似$f$？本文回答了当$\mathcal{X}$和$\mathcal{Y}$都是无穷维时非线性算子的普适逼近问题.我们证明了对于一大类不同的神经网络的无限模拟，任何连续映射都可以在$\mathcal{X}$上用一些温和的拓扑条件任意逼近。此外，我们提供了第一个下界的最小数量的输入和输出单元所需的有限近似的无限神经网络，以保证它可以一致地近似任何非线性算子使用样本从其输入和输出。
2019-10-03 cs.LG math.FA stat.ML
$O(N^2)$ Universal Antisymmetry in Fermionic Neural Networks
Sea AI Lab（Sea人工智能实验室）
Fermionic神经网络（FermiNet）是近年来提出的一种波函数模拟器，用于求解多电子薛定谔方程的变分蒙特卡罗（VMC）方法。费米网提出了置换等变结构，在其上应用斯莱特行列式来诱导反对称。FermiNet被证明具有一个行列式的通用逼近能力，即它足以表示任何给定足够参数的反对称函数。然而，渐近计算瓶颈来自斯莱特行列式，其与$N$电子的$O(N^3)$成比例。本文将Slater行列式替换为一种两两反对称的结构，这种结构易于实现，并能将计算量降低到$O(N^2)$。我们正式证明了建立在置换等变结构上的成对构造可以普遍表示任何反对称函数。此外，当我们的目标是表示基态波函数时，这种普适性可以通过连续近似来实现。
2022-06-16 cs.LG physics.chem-ph physics.comp-ph
Approximation of Functionals by Neural Network without Curse of Dimensionality
Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）
本文建立了一个神经网络来逼近泛函，泛函是从无限维空间到有限维空间的映射。神经网络的逼近误差是$O(1/\sqrt{m})$，其中$m$是网络的大小，它克服了维数灾难。逼近的核心思想是定义一个Barron泛函谱空间。
2022-10-18 cs.LG cs.NA math.NA
