The universal approximation property is fundamental to the success of neural networks, and has traditionally been achieved by training networks without any constraints on their parameters. However, recent experimental research proposed a novel permutation-based training method, which exhibited a desired classification performance without modifying the exact weight values. In this paper, we provide a theoretical guarantee of this permutation training method by proving its ability to guide a ReLU network to approximate one-dimensional continuous functions. Our numerical results further validate this method's efficiency in regression tasks with various initializations. The notable observations during weight permutation suggest that permutation training can provide an innovative tool for describing network learning behavior.
ResNet with one-neuron hidden layers is a Universal Approximator
MIT（麻省理工学院）
我们证明了一个非常深的ResNet，每个隐藏层有一个神经元和ReLU激活函数的堆叠模块可以均匀地近似$d$维度上的任何Lebesgue可积函数，即$\ell_1(\mathbb{R}^d)$。由于ResNets固有的身份映射，我们的网络具有一维和$d$的交替层。这与全连通网络形成鲜明对比，如果其宽度是输入维度$d$，则全连通网络不是通用逼近器[Lu et al，2017; Hanin and Sellke，2017]。因此，我们的结果意味着ResNet架构对窄深度网络的代表性能力有所增加。
Training Deep Morphological Neural Networks as Universal Approximators
Robotics Institute, Athena Research Center（阿提卡研究中心机器人研究所）；School of ECE, National Technical University of Athens（雅典技术大学电子工程学院）；HERON: Center of Excellence in Robotics（机器人卓越中心）
Neural Networks With Dense Weights Are Not Universal Approximators
Princeton University, Dept of CS（普林斯顿大学计算机科学系）；MIT, Dept of EECS and CSAIL（麻省理工学院电子工程与计算机科学系及计算机科学与人工智能实验室）；TUM, School of CIT, MCML, MDSI（技术大学（TUM）信息科技学院，MCML，MDSI）；Technion – IIT, Faculty of Mathematics（技术学院–以色列理工学院数学学院）
Universal Approximation of Operators with Transformers and Neural Integral Operators
Department of Mathematics and Statistics（数学与统计学系）；Idaho State University Physical Science Complex（爱达荷州立大学物理科学中心）；S. 8th Ave., Stop 8085（921 S. 8th Ave., Stop 8085）；Pocatello, ID 83209, USA
Re-uploading quantum data: a universal function approximator for quantum inputs
NextQuantum；Department of Electrical and Computer Engineering, Seoul National University, Seoul 08826, Republic of Korea（电气与计算机工程系，首尔国立大学，首尔）；Department of Statistics and Data Science, Yonsei University, Seoul 03722, Republic of Korea（统计与数据科学系，延世大学，首尔）；Department of Applied Statistics, Yonsei University, Seoul 03722, Republic of Korea（应用统计学系，延世大学，首尔）；Department of Quantum Information, Yonsei University, Incheon 21983, Republic of Korea（量子信息系，延世大学，仁川）
Center for Foundation Models and Generative AI, Northwestern University（基础模型与生成式人工智能中心，西北大学）；Department of Computer Science, Northwestern University（计算机科学系，西北大学）；Department of Statistics and Data Science, Northwestern University（统计与数据科学系，西北大学）
Shape-Informed Clustering of Multi-Dimensional Functional Data via Deep Functional Autoencoders
School of Computer Science and Statistics（计算机科学与统计学学院）；Trinity College Dublin（都柏林信任学院）；School of Electronic Engineering（电子工程学院）；Dublin City University（都柏林城市大学）
在这项工作中，我们提出了一个框架，用于构建通用函数逼近图同构类。我们证明了这个框架是如何收集理论上理想的属性，并使新的分析。我们展示了这如何使我们能够在图分类中的四个不同的知名数据集上实现最先进的性能，以及其他图学习方法无法实现的单独的图类。我们的方法受到持久同源性，NLP的依存句法分析和多值函数的启发。底层算法的复杂度是O（#edges x #nodes），代码是公开的（https：//github.com/bruel-gabrielsson/universal-function-approximation-on-graphs）。
Weizmann Institute of Science（魏茨曼科学研究所）；Department of Computer Science and Applied Mathematics（计算机科学与应用数学系）
使用对排列不变或等变的深度神经网络来学习无序集合上的函数已经变得普遍。最流行的基本模型是DeepSets [Zaheer et al. 2017]和PointNet [Qi et al. 2017]。虽然已知DeepSets和PointNet对于近似不变函数是通用的，但在近似\emph{equivariant}集合函数时并不通用。另一方面，最近的几个等变集架构已被证明是等变泛的[Sannai et al. 2019]，[Keriven et al. 2019]，然而这些模型要么使用不是置换等变的层（在标准意义上）和/或使用较不实用的高阶张量变量。因此，在理解流行的同变集模型与理论模型的普遍性方面存在差距。在本文中，我们通过证明：（i）PointNet不是等变通用的;（ii）添加单个线性传输层使PointNet通用。我们称这种架构PointNetST，并认为它是迄今为止已知的最简单的置换等变通用模型。另一个结果是DeepSets是通用的，PointNetSeg，一种流行的点云分割网络（例如，在[Qi et al. 2017]中使用）也是通用的。用于证明上述结果的关键理论工具是所有置换等变多项式层的显式表征。最后，我们提供了数值实验验证理论结果和比较不同的置换等变模型。
Transformers Meet In-Context Learning: A Universal Approximation Theory
Department of Statistics and Data Science, Chinese University of Hong Kong（统计与数据科学系，香港中文大学）；the Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）；University of Pennsylvania（宾夕法尼亚大学）
Deep Invertible Approximation of Topologically Rich Maps between Manifolds
South Dakota State University（南达科他州立大学）；University of Helsinki（赫尔辛基大学）；University of Basel（巴塞尔大学）；Rice University（莱斯大学）
我们怎样才能设计出神经网络，使其能够对拓扑上有趣的流形之间的映射进行稳定的通用逼近？答案是坐标投影。基于拓扑数据分析（TDA）的神经网络使用诸如持久同源性之类的工具来学习数据的拓扑签名并稳定训练，但可能不是通用近似器或具有稳定逆。其他架构普遍近似子流形上的数据分布，但仅当后者由单个图表给出时，使它们无法学习改变拓扑的地图。通过利用局部bilipschitz映射，覆盖空间和局部同胚之间的拓扑相似性，并通过使用机器学习中的通用近似参数，我们发现一种形式为$\mathcal{T} \circ p \circ \mathcal{E}$的新型网络，其中$\mathcal{E}$是内射网络，$p$是固定坐标投影，$\mathcal{T}$是双射网络，是嵌入在$\mathbb{R}^n$中的紧致光滑子流形之间的局部自同态的泛逼近器。我们强调的情况下，目标地图改变拓扑结构。此外，我们发现，通过约束投影$p$，我们的网络的多值反演可以计算而不牺牲普遍性。作为一个应用程序，我们表明，学习一个群不变函数与未知的组行动自然减少到学习局部有限群的同构的问题。我们的理论使我们能够恢复轨道的群体行动。我们还概述了我们的架构，以解决分子成像的对称性的可能的扩展。最后，我们的分析通知生成问题的拓扑表达的起始空间的选择。
Adversarial Permutation Invariant Training for Universal Sound Separation
Dolby Laboratories（杜比实验室）；Sapienza University of Rome（罗马第一大学）
通用声音分离包括分离与不同类型的任意声音的混合，并且使用排列不变训练（PIT）来训练这样做的源不可知模型。在这项工作中，我们补充PIT与对抗性损失，但发现它具有挑战性的语音声源分离中使用的标准配方。我们通过一种新的基于I替换上下文的对抗性损失，并通过使用多个鉴别器进行训练来克服这一挑战。我们的实验表明，通过简单地改善损失（保持相同的模型和数据集），我们在混响FUSS数据集中获得了不可忽略的1.4 dB SI-SNRi的改善。我们还发现对抗性PIT可以有效地减少光谱空洞，这在基于掩模的分离模型中无处不在，这突出了对抗性损失对声源分离的潜在相关性。
