Universality Theorems for Generative Models
尽管生成模型在实践中非常成功，但这种现象背后的理论才刚刚开始赶上实践。在这项工作中，我们解决的问题的普遍性生成模型：这是真的，神经网络可以近似任何数据流形任意？我们提供了一个积极的回答这个问题，并表明，在温和的假设下的激活函数，人们总是可以找到一个前馈神经网络的潜在空间映射到一组位于指定的Hausdorff距离所需的数据流形。我们还证明了类似的定理的情况下，多类生成模型和循环生成模型，训练映射样本从一个流形到另一个，反之亦然。
2020-12-13 cs.AI cs.LG stat.ML
A Survey on Universal Approximation Theorems
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文系统综述了神经网络的通用逼近定理，涵盖从经典函数逼近理论到任意宽度和深度下的理论与数值结果。
2024-07-17 cs.LG cs.SY eess.SY
Minimum Width for Universal Approximation
KAIST（韩国科学技术院）；MIT（麻省理工学院）
研究了宽度有界网络的泛逼近性质，作为经典的深度有界网络泛逼近结果的对偶。然而，使通用近似的临界宽度还没有被精确地表征在输入尺寸$d_x$和输出尺寸$d_y$方面。在这项工作中，我们为使用ReLU激活函数的网络提供了这个方向的第一个明确结果：$L^p$函数的通用近似所需的最小宽度正好是$\max\{d_x+1,d_y\}$。我们还证明了相同的结论不适用于ReLU的一致近似，但适用于额外的阈值激活函数。我们的证明技术也可以用来推导出一个更严格的上限的最小宽度所需的通用近似使用网络一般激活函数。
2020-06-16 cs.LG stat.ML
Universal Approximation Theorem for Equivariant Maps by Group CNNs
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
群对称性在各种各样的数据分布中是固有的。保持对称性的数据处理被描述为等变映射，并且通常在实现高性能方面有效。卷积神经网络（CNN）被认为是具有等变的模型，并被证明可以近似于某些特定群体的等变映射。然而，CNN的通用近似定理已经根据每个组和设置使用单独的技术分别推导出来。本文提供了一个统一的方法，以获得通用的逼近定理等变映射的CNN在各种设置。作为其显著的优点，我们可以处理非紧群的无限维空间之间的非线性等变映射。
2020-12-27 cs.LG stat.ML
Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学）；Instituto de Pesquisa Eldorado（埃尔多拉多研究所）
本文引入非退化代数概念，将通用逼近定理从实值及部分超复数值神经网络推广到广泛的向量值神经网络。
2024-08-09 cs.LG cs.NE
Universal approximation theorem for neural networks with inputs from a topological vector space
Institute of Mathematics and Mechanics（数学与力学研究所）；Center for Mathematics and its Applications, Khazar University（哈扎尔大学数学及其应用中心）
本文针对拓扑向量空间输入的前馈神经网络，证明其能逼近该扩展输入空间上的任意连续函数，从而扩展了神经网络的适用范围。
2024-09-19 cs.LG cs.NE stat.ML
Projection Methods for Operator Learning and Universal Approximation
本文基于Leray-Schauder映射提出新的算子逼近定理，并引入基于多项式基的投影方法进行Banach空间中的算子学习，推导了线性投影和有限维映射的逼近结果。
2026-07-13 cs.AI cs.LG cs.NA
Sig-Splines: universal approximation and convex calibration of time series generative models
University of Kaiserlautern（凯泽斯劳滕大学）；Imperial College London（伦敦帝国理工学院）
本研究提出名为Sig-Splines的多变量离散时间序列生成模型，以线性变换和签名变换替代传统神经网络，兼具通用逼近能力与参数凸性优势。
2023-07-19 cs.AI cs.LG q-fin.CP
Universal Approximation of Residual Flows in Maximum Mean Discrepancy
University of California San Diego（加州大学圣地亚哥分校）
规范化流是一类灵活的深度生成模型，提供简单的似然计算。尽管它们在经验上取得了成功，但对它们的表现力几乎没有理论上的理解。在这项工作中，我们研究了剩余流，一类由Lipschitz剩余块组成的归一化流。我们证明了剩余流在最大平均偏差下是普适逼近器。我们提供了上界的残差块的数量，以实现在不同的假设下近似。
2021-06-25 cs.LG stat.ML
The Conditional Regret-Capacity Theorem for Batch Universal Prediction
School of Computer and Communication Sciences（计算机与通信科学学校）
本文推导了经典遗憾-容量定理的条件版本，用于在批量训练数据下求解最小批量遗憾的下界，并将其推广至Rényi信息测度，揭示了条件Rényi散度与条件Sibson互信息间的深刻联系。
2025-08-14 cs.IT cs.LG math.IT
On the Universal Approximation Property of Deep Fully Convolutional Neural Networks
本文从动力系统视角研究深度全卷积网络对平移不变或等变函数的逼近，证明了残差网络及满足通道与卷积核大小条件的非残差变体可实现万能逼近，并验证了这些条件的必要性。
2023-05-18 cs.CV cs.LG
Quantitative Universal Approximation Bounds for Deep Belief Networks
Imperial College London（帝国理工学院）
我们证明了具有二进制隐藏单元的深度信念网络可以在对可见节点的父密度非常温和的可积性要求下近似任何多元概率密度。该近似在$q\in[1,\infty]$的$L^q$ -范数（$q=\infty$对应于上确界范数）和库尔贝克-莱布勒散度中测量。此外，我们建立了清晰的定量界的近似误差的隐单元的数量。
2022-08-18 cs.LG stat.ML
Universal Approximation of Continuous Functionals on Compact Subsets via Linear Measurements and Scalar Nonlinearities
Lomonosov Moscow State University（洛蒙诺索夫莫斯科国立大学）
本文提出通过线性测量和标量非线性来逼近紧集上连续函数的通用性，为算子学习和成像提供了理论支持。
2026-02-03 cs.LG math.FA
Deep Ridgelet Transform and Unified Universality Theorem for Deep and Shallow Joint-Group-Equivariant Machines
RIKEN AIP（日本理化学研究所创新智能综合研究中心）；CyberAgent, Inc.（CyberAgent公司）；NTT Corporation（日本电信电话公司）；Kyoto University（京都大学）；The University of Osaka（大阪大学）
本文基于群表示理论提出联合群等变机器的构造性通用逼近定理，用 ridgelet 变换给出参数分布，并统一浅层与深层网络，还验证了四类网络的普适性。
2025-06-09 cs.LG math.RT stat.ML
Global universal approximation with Brownian signatures
University of Mannheim（曼海姆大学）
研究在合适粗糙路径空间上一般路径依赖和非预期泛函的\(L^p\)通用逼近定理，通过推导加权粗糙路径空间的全局通用逼近定理，证明其适用于高斯过程，可逼近布朗滤波适应的\(p\)可积随机过程。
2026-09-10 cs.LG math.PR q-fin.MF
The universal approximation power of finite-width deep ReLU networks
ETH Zürich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）
我们表明，有限宽度的深度ReLU神经网络产生率失真最佳近似（Bölcskei等人，2018年）的多项式，加窗正弦函数，一维振荡纹理，和维尔斯特拉斯函数，分形函数是连续的，但无处可微。连同他们最近建立的仿射函数系统的普遍逼近性质（Bölcskei等人，2018），这表明深度神经网络近似由仿射群、Weyl-Heisenberg群或通过扭曲甚至某些分形生成的截然不同的信号结构，所有这些都具有近似误差，神经元数量呈指数衰减。我们还证明了在足够光滑的函数的近似中，有限宽度深度网络需要比有限深度宽网络严格更小的连通性。
2018-06-05 cs.LG stat.ML
Universal Approximation Under Constraints is Possible with Transformers
Universität Basel（巴塞尔大学）；Universität Zürich（苏黎世大学）
许多实际问题需要机器学习模型的输出来满足一组约束$K$。然而，没有已知的保证，经典的神经网络架构可以准确地编码约束，同时实现通用性。本文给出了一个定量约束泛逼近定理，保证了对任意非凸紧集$K$和任意连续函数$f:\mathbb{R}^n\rightarrow K$，存在概率Transformer $\hat{F}$，其随机输出都位于$K$中，且其期望输出一致逼近$f$ .我们的第二个主要结果是Berge极大值定理（1963）的“深层神经版本”。该结果保证了给定目标函数$L$、约束集$K$和软约束集族，存在概率Transformer $\hat{F}$近似最小化$L$且其输出属于$K$ ;而且，$\hat{F}$近似满足软约束.我们的结果隐含了经典Transformers在精确凸约束满足下的第一普适逼近定理。在适当的测地线凸约束下，给出了黎曼流形值函数的一个无图泛逼近定理。
2022-02-08 cs.AI cs.LG cs.NE
Universal Approximation Theorem for Input-Connected Multilayer Perceptrons
本文提出输入连接多层感知机，证明其在单变量和向量输入情况下均能逼近任意连续函数，关键在于激活函数的非线性性。
2026-03-24 cs.LG cs.NE math.FA
Neural Flow Operators can Approximate any Operator: Abstract Frameworks and Universal Approximations
Qiuzhen College, Tsinghua University（清华大学齐遵学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学尤 mathematical sciences center）；Norwegian Research Center（挪威研究中心）
提出神经流抽象框架，涵盖组合与分离结构的连续深度模型，证明其在有限维和无限维空间中的通用逼近性质，并通过时间离散化统一残差与普通架构。
2026-05-26 cs.LG cs.NA math.NA
Universal Function Approximation on Graphs
在这项工作中，我们提出了一个框架，用于构建通用函数逼近图同构类。我们证明了这个框架是如何收集理论上理想的属性，并使新的分析。我们展示了这如何使我们能够在图分类中的四个不同的知名数据集上实现最先进的性能，以及其他图学习方法无法实现的单独的图类。我们的方法受到持久同源性，NLP的依存句法分析和多值函数的启发。底层算法的复杂度是O（#edges x #nodes），代码是公开的（https：//github.com/bruel-gabrielsson/universal-function-approximation-on-graphs）。
2020-10-26 cs.DS cs.LG stat.ML
Universal Approximation of Markov Kernels by Shallow Stochastic Feedforward Networks
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
我们建立了隐单元的最小数量的上界，其中一个二进制随机前馈网络与sigmoid激活概率和一个单一的隐藏层是一个普遍的近似马尔可夫核。我们表明，每个可能的概率分配的$n$输出单元的状态，给定的$k\geq1$输入设备的状态，可以近似任意以及由网络与$2^{k-1}(2^{n-1}-1)$隐藏的单位。
2015-03-24 cs.LG stat.ML
Geometric separation and constructive universal approximation with two hidden layers
Dept. of Mathematics Education（数学教育系）
本文提出利用双隐藏层神经网络，通过几何构造实现对任意紧致集上连续函数的构造性逼近，适用于S型和ReLU激活函数。
2026-02-12 cs.LG math.CA
ATLAS: Universal Function Approximator for Memory Retention
University of Pretoria（比勒陀利亚大学）
尽管人工神经网络（ANN）具有通用函数逼近能力和实际成功，但它容易发生灾难性遗忘。灾难性遗忘是指在学习新任务时突然忘记先前的任务。它是一种阻碍持续学习的突发现象。现有的泛函数逼近定理保证了神经网络的函数逼近能力，但不能预测灾难性遗忘。本文给出了一个新的仅用单变量函数和指数函数的多元函数的通用逼近定理。此外，我们提出ATLAS：一种新的人工神经网络架构的基础上的新定理。结果表明，ATLAS是一个通用的函数逼近器，能够保持一定的记忆，和持续学习。ATLAS的记忆是不完美的，在持续学习过程中会有一些脱靶效应，但它表现良好，具有可预测性。ATLAS的一个有效的实现。实验进行评估的功能近似和记忆保持能力的ATLAS。
2022-08-10 cs.LG cs.NE
The universal approximation theorem for complex-valued neural networks
Technical University of Munich（慕尼黑工业大学）；University of Vienna（维也纳大学）；Catholic University of Eichstätt-Ingolstadt（艾希施泰特-因戈尔施塔特天主教大学）
我们推广了经典的神经网络的通用逼近定理的情况下，复值神经网络。准确地说，我们认为前馈网络与复杂的激活功能$σ: \mathbb{C} \to \mathbb{C}$，其中每个神经元执行操作$\mathbb{C}^N \to \mathbb{C}, z \mapsto σ(b + w^T z)$与权重$w \in \mathbb{C}^N$和偏置$b \in \mathbb{C}$，并与$σ$应用组件。我们完全刻画了这些激活函数$σ$的相关的复杂网络具有普遍的逼近属性，这意味着他们可以一致地逼近任何连续函数的任意紧子集的$\mathbb{C}^d$任意好。与真实网络的经典情况不同，产生具有普适逼近性质的网络的“好激活函数”集合取决于人们是否考虑深层网络或浅层网络而显著不同：对于至少有两个隐藏层的深层网络，只要$σ$既不是多项式，也不是全纯函数或反全纯函数，普适逼近性质就成立。另一方面，浅网络是通用的当且仅当$σ$的实部或虚部不是多调和函数。
2022-12-11 cs.LG math.FA stat.ML
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；École Normale Supérieure Paris-Saclay（巴黎萨克雷高等师范学院）
在本文中，我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地，对于一个给定的$G$ -不变/等变函数，我们通过深度神经网络构造了它的通用逼近器，该深度神经网络的层装备了$G$ -作用，并且每个仿射变换都是$G$ -等变/不变的。由于表示理论，我们可以证明，这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
On Universal Approximation by Neural Networks with Uniform Guarantees on Approximation of Infinite Dimensional Maps
Carnegie Mellon University（卡内基梅隆大学）
神经网络对任意函数$f: \mathcal{X} \to \mathcal{Y}$的通用逼近的研究有着丰富而深入的历史，可以追溯到Kolmogorov（1957）。在学习有限维映射的情况下，许多作者已经证明了固定深度和固定宽度神经网络的各种形式的普遍性。然而，在许多情况下，这些经典的结果未能扩展到最近使用的近似神经网络与无穷多个单位的功能数据分析，动态系统识别，以及其他应用程序中的$\mathcal{X}$或$\mathcal{Y}$成为无限维。自然会产生两个问题：神经网络的哪些无限维模拟足以近似任何映射$f: \mathcal{X} \to \mathcal{Y}$，以及在实践中使用的这些模拟的有限近似何时在其无限维域$\mathcal{X}$上一致地近似$f$？本文回答了当$\mathcal{X}$和$\mathcal{Y}$都是无穷维时非线性算子的普适逼近问题.我们证明了对于一大类不同的神经网络的无限模拟，任何连续映射都可以在$\mathcal{X}$上用一些温和的拓扑条件任意逼近。此外，我们提供了第一个下界的最小数量的输入和输出单元所需的有限近似的无限神经网络，以保证它可以一致地近似任何非线性算子使用样本从其输入和输出。
2019-10-03 cs.LG math.FA stat.ML
Universal Approximation of Operators with Transformers and Neural Integral Operators
Department of Mathematics and Statistics（数学与统计学系）；Idaho State University Physical Science Complex（爱达荷州立大学物理科学中心）；S. 8th Ave., Stop 8085（921 S. 8th Ave., Stop 8085）；Pocatello, ID 83209, USA
本文研究变换器和神经积分算子在Banach空间中算子的通用逼近性质，证明变换器可逼近Hölder空间间的积分算子，神经积分算子的推广形式可逼近任意Banach空间间的算子，改进的变换器可逼近任意Banach空间间的算子。
2026-04-24 cs.LG cs.NA math.NA
Arbitrary-Depth Universal Approximation Theorems for Operator Neural Networks
Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
算子神经网络（NN）的标准通用逼近定理对任意宽度和有界深度都成立。在这里，我们证明了有界宽度和任意深度的算子NN是连续非线性算子的通用逼近器。在我们的主要结果中，我们证明了，对于非多项式激活函数是连续可微的一个点与非零导数，可以构建一个运营商NN的宽度为5，其输入是实数与有限小数表示，这是任意接近任何给定的连续非线性算子。对于非仿射多项式激活函数，我们得到了类似的结果。我们还通过构造深度为$2k^3+8$和恒定宽度的算子ReLU NN来证明深度具有理论优势，这些深度和恒定宽度不能被深度为$k$的任何算子ReLU NN很好地近似，除非其宽度在$k$中是指数的。
2021-09-23 cs.LG cs.NA math.CA
Weighted universal approximation of differentiable maps on infinite-dimensional manifolds
Department of Mathematics, ETH Zurich, Switzerland（苏黎世联邦理工学院数学系）
通过加权Nachbin定理，将函数输入神经网络的通用逼近定理推广到可微映射，包括导数逼近，并应用于非预期泛函和路径空间泛函的逼近。
2026-06-27 cs.LG math.FA math.PR
Sumformer: Universal Approximation for Efficient Transformers
Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）；Stanford University（斯坦福大学）；Technical University of Munich（慕尼黑工业大学）
本文提出Sumformer这一新颖简单架构，首次为Linformer和Performer建立通用逼近理论，并证明单层注意力Transformer即可实现通用逼近。
2023-07-05 cs.CL cs.LG stat.ML
Universal approximation results for neural networks with non-polynomial activation function over non-compact domains
Nanyang Technological University, Division of Mathematical Sciences（南洋理工大学数学科学学院）
本文将单隐层前馈神经网络的通用逼近性质从紧域扩展到非紧域，在非多项式激活函数条件下证明了其在 $L^p$-空间、加权 $C^k$-空间和加权 Sobolev 空间中的逼近能力，并给出了与维数无关的收敛速率。
2025-07-07 cs.LG cs.NE math.CA
