The Role of Depth, Width, and Tree Size in Expressiveness of Deep Forest
Hohai University（河海大学）；Nanjing University（南京大学）
本文首次给出了深度森林关于深度、宽度和树规模三个超参数的近似复杂度上下界，理论上证明了深度能指数级增强模型表达能力，并通过实验验证了该结论。
2024-07-06 cs.LG stat.ML
Equivariant Subgraph Aggregation Networks
Purdue University（普渡大学）；Imperial College London（伦敦帝国理工学院）；Twitter（推特）；MIT（麻省理工学院）；UCSD（加州大学圣地亚哥分校）；University of Tuebingen（图宾根大学）；NVIDIA Research（英伟达研究院）
消息传递神经网络（MPNN）是用于图结构数据的深度学习的领先架构，这在很大程度上是由于其简单性和可扩展性。不幸的是，它表明，这些架构是有限的，在他们的表达能力。本文提出了一种新的框架称为等变子图聚合网络（ESAN）来解决这个问题。我们的主要观察是，虽然两个图可能无法区分的MPNN，他们往往包含可区分的子图。因此，我们建议将每个图表示为由一些预定义的策略导出的一组子图，并使用合适的等变架构来处理它。我们开发了新的变种的1维Weisfeiler-Leman（1-WL）测试图同构，并证明下界ESAN的表现力在这些新的WL变种。我们进一步证明，我们的方法增加了MPNN和更具表现力的架构的表达能力。此外，我们提供的理论结果，描述如何设计的选择，如子图的选择政策和等变神经架构影响我们的架构的表达能力。为了处理增加的计算成本，我们提出了一个子图采样方案，它可以被看作是我们的框架的随机版本。在真实数据集和合成数据集上进行的一系列实验表明，我们的框架提高了流行GNN架构的表达能力和整体性能。
2022-03-16 cs.LG stat.ML
More Expressive Feedforward Layers: Part I. Token-Adaptive Mixing of Activations
Peking University（北京大学）
提出令牌自适应激活混合（MoA）和可学习激活（LA）方法，通过轻量级输入相关门混合多个激活函数，在理论和实验上证明其比固定激活FFN具有更强的表达能力和更优的缩放行为。
2026-11-05 cs.AI cs.LG stat.ML
On the Expressive Power and Limitations of Multi-Layer SSMs
Robotics and Perception Group（机器人与感知组）；University of Zurich（苏黎世大学）；Shenzhen International Center For Industrial And Applied Mathematics（深圳国际工业与应用数学中心）；Shenzhen Research Institute of Big Data（深圳大数据研究 institute）；Tengen Intelligence Institute（腾格智能研究所）；CRRC Zhuzhou Institute（CRRC 长沙研究所）
研究多层状态空间模型的表达能力与限制，揭示其在组合任务中的不足，探讨链式推理对模型表达能力的影响，并分析宽度与精度之间的权衡。
2026-10-22 cs.AI cs.CC cs.LG
Expressive power of recurrent neural networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Institute of Numerical Mathematics RAS（俄罗斯科学院数值数学研究所）
深度神经网络在解决实际任务方面的效率令人惊讶，但这一现象背后的理论才刚刚开始赶上实践。大量的工作表明，深度是这种效率的关键。某一类深度卷积网络--即对应于分层塔克（HT）张量分解的网络--已被证明具有比浅层网络更高的表达能力。即，需要指数宽度的浅网络来实现与深度架构计算的相同的得分函数。在本文中，我们证明了表达能力定理（指数下界的宽度等效浅网络）的一类循环神经网络-对应于张量训练（TT）分解。这意味着，即使用RNN逐块处理图像，也可以比具有一个隐藏层的（浅）卷积网络以指数方式更有效。使用张量分解之间的关系的理论结果，我们比较HT和TT网络的表达能力。我们还实现了经常性的TT网络，并提供了它们的表现力的数值证据。
2018-02-07 cs.LG
Leveraging the Graph Structure of Neural Network Training Dynamics
University of Michigan（密歇根大学）
了解深度神经网络（DNN）的训练动态非常重要，因为它可以提高训练效率和任务性能。最近的工作表明，表示静态图的布线无法捕捉DNN在训练过程中的变化。因此，在这项工作中，我们提出了一个紧凑的，富有表现力的时间图框架，有效地捕捉动态的许多主力架构在计算机视觉。具体而言，它提取图形属性的信息摘要（例如，特征向量中心性）。我们证明，我们的框架通过准确预测训练，任务性能，在四个不同的架构和两个图像数据集上使用早期训练时期（<5）的总结来捕获有用的动态。此外，通过使用一种新颖的、高度可扩展的DNN图表示，我们还表明，所提出的框架捕获了可推广的动态，因为从较小宽度的网络中提取的摘要在较大宽度的网络中进行评估时是有效的。
2023-02-20 cs.AI cs.LG
Topological properties of basins of attraction and expressiveness of width bounded neural networks
Trier University of Applied Sciences（特里尔应用科学大学）；IEE S.A.（IEE公司）
本文研究宽度不超过输入维度的神经网络，证明其吸引盆有界且补集无有界连通分量，并在更严格条件下证明吸引盆路径连通，同时解释了此类标量值网络在连续函数空间中不稠密的根本原因。
2023-12-01 cs.AI cs.LG stat.ML
Activation degree thresholds and expressiveness of polynomial neural networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究引入激活度阈值概念刻画多项式神经网络的表达能力，证明无单宽度瓶颈网络的阈值存在性及二次上界，验证相关猜想，并证实等宽架构网络因阈值为1而具备最大表达能力。
2025-08-25 cs.LG cs.NE math.AG
Activation function dependence of the storage capacity of treelike neural networks
Harvard University（哈佛大学）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）
人工神经网络的表达能力主要取决于其激活函数的非线性。尽管已经提出了各种各样的非线性激活函数用于人工神经网络，但对它们在确定网络表达能力方面的作用的详细理解还没有出现。在这里，我们研究如何激活函数影响存储容量的树状两层网络。我们涉及的有界性或发散的能力在无限宽的限制，激活函数的光滑性，阐明以前研究的特殊情况之间的关系。我们的研究结果表明，非线性既可以增加容量，降低分类的鲁棒性，并提供了简单的估计与几个常用的激活函数的网络的容量。此外，他们还提出了一个假设，即树突棘波在分支神经元中的功能益处。
2021-02-04 cond-mat.dis-nn cs.LG stat.ML
On the Number of Regions of Piecewise Linear Neural Networks
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本研究将分段线性神经网络的线性区域数量界限推广至任意CPWL激活函数，证明深度可指数增加区域数，并引入随机框架估计平均区域数，揭示深度、宽度与激活复杂度同等重要。
2023-12-20 cs.LG math.CO math.ST
FedMSGL: A Self-Expressive Hypergraph Based Federated Multi-View Learning
Guangdong University of Technology（广东工业大学）
针对联邦学习中特征维度差异及多视图数据特性被忽视的问题，提出FedMSGL，通过本地自表达子空间学习、中心自适应融合与跨视图超图建模提升性能。
2025-03-12 cs.DC cs.LG
What graph neural networks cannot learn: depth vs width
École Polytechnique Fédérale Lausanne（洛桑联邦理工学院）
本文研究了消息传递框架（GNNmp）下的图神经网络的表达能力。两个结果。首先，GNNmp被证明是图灵普遍的深度，宽度，节点属性和层的表现力的充分条件下。第二，发现GNNmp在其深度和宽度受到限制时可能会失去相当大一部分功率。提出的不可能性陈述源于一种新技术，该技术能够重新利用分布式计算的开创性结果，并导致涉及图形的一系列决策，优化和估计问题的下限。引人注目的是，这些问题中有几个被认为是不可能的，除非GNNmp的深度和宽度的乘积超过图大小的多项式;这种依赖性即使对于看起来简单的任务或考虑近似时仍然很重要。
2020-01-28 cs.LG stat.ML
On Explicit Super-Expressive Approximation for Neural Networks
City University of Hong Kong（香港城市大学）；Chinese University of Hong Kong（香港中文大学）；Guangxi Minzu University（广西民族大学）
研究具有显式参数边界和基本激活函数的固定架构神经网络逼近问题，引入中国剩余定理，构建特定宽度和深度的网络，实现对不同类型函数的逼近，给出参数大小与逼近误差关系，是参数有界且架构无界范式对偶结果。
2026-07-09 cs.LG
On the Expressive Power of Deep Polynomial Neural Networks
Princeton University（普林斯顿大学）；New York University（纽约大学）
我们研究了具有多项式激活的深度神经网络，特别是它们的表达能力。对于固定的结构和激活度，多项式神经网络定义了从权重到多项式的代数映射。这个映射的图像是与网络相关联的函数空间，并且在取闭包时它是一个不可约代数簇。本文提出了这种多样性的维数作为多项式神经网络表达能力的精确度量。我们得到了几个理论结果，关于这个维度作为一个功能的架构，包括一个精确的公式，高激活度，以及上界和下界的层宽度，以深多项式网络，以填补周围的功能空间。我们还提出了计算证据，它是有利可图的表现力层宽度单调增加，然后单调减少。最后，我们将我们的研究与训练权重时的有利优化特性联系起来，并与张量和多项式分解建立了有趣的联系。
2019-05-29 cs.LG cs.NE math.AG
Polynomial Width is Sufficient for Set Representation with High-dimensional Features
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Waterloo（滑铁卢大学）；Purdue University（普渡大学）；Georgia Tech（佐治亚理工学院）
本研究针对DeepSets架构表达能力的维度需求问题，提出两种集合元素嵌入层，证明多项式量级的嵌入维度即可满足高维特征集合表示的表达要求，并给出下界与拓展结果。
2024-03-07 cs.LG
VFlow: More Expressive Generative Flows with Variational Data Augmentation
Tsinghua University（清华大学）；RealAI（瑞莱智慧）
生成流是有前途的易处理的模型，密度建模，定义概率分布与可逆变换。然而，易处理性对生成流施加了架构约束，使得它们比其他类型的生成模型表现力更差。在这项工作中，我们研究了一个以前被忽视的约束，即由于可逆性，所有中间表示必须与原始数据具有相同的维数，从而限制了网络的宽度。我们通过用一些额外的维度来增强数据，并在变分推断框架下联合学习增强数据的生成流以及增强维度的分布来解决这个约束。我们的方法VFlow是生成流的推广，因此总是表现得更好。结合现有的生成流，VFlow在CIFAR-10数据集上实现了新的最先进的每维2.98位，比以前的模型更紧凑，可达到类似的建模质量。
2020-07-22 cs.LG stat.ML
Improving the Expressive Power of Deep Neural Networks through Integral Activation Transform
Oak Ridge National Laboratory（橡树岭国家实验室）；Florida State University（佛罗里达州立大学）
本研究提出积分激活变换（IAT）作为传统DNN的激活层，通过连续宽度推广网络，其中IAT-ReLU变体因平滑性和连续激活模式提升了可训练性，实验证明其优于常规ReLU。
2023-12-19 cs.LG
Expressiveness and Approximation Properties of Graph Neural Networks
University of Antwerp（安特卫普大学）；Pontificia Universidad Católica de Chile（智利天主教大学）；IMFD（智利数学与计算机科学研究所）
表征图神经网络（GNN）的分离能力，可以理解它们在图学习任务中的局限性。然而，关于分离能力的结果通常针对特定的GNN架构，并且通常缺乏理解任意GNN架构的工具。我们提供了一种优雅的方法来轻松地获得GNN分离能力的界限，Weisfeiler-Leman（WL）测试已经成为衡量GNN分离能力的标尺。关键是将GNN视为描述GNN层中计算的过程张量语言的表达式。然后，通过简单的分析所获得的表达式，在索引的数量和嵌套深度的总和方面，在WL测试方面的分离能力的界限容易遵循。我们使用张量语言来定义高阶消息传递神经网络（或k-MPNN），这是MPNN的自然扩展。此外，张量语言的观点允许以自然的方式导出GNN类的普适性结果。我们的方法提供了一个工具箱，GNN架构设计人员可以使用它来分析他们的GNN的分离能力，而不需要知道WL测试的复杂性。我们还提供了提高GNN分离能力所需的见解。
2022-04-10 cs.LG
Homophily-aware Heterogeneous Graph Contrastive Learning
Southeast University（东南大学）；East China Normal University（华东师范大学）；Zhejiang University of Finance and Economics（浙江财经大学）
针对现有异质图预训练忽视真实图异质性问题，提出基于连接强度与多视图自表达的HGMS框架，通过异质边丢弃增强、自表达矩阵求解优化对比学习，在多下游任务上性能更优。
2025-01-15 cs.LG cs.SI
On the Optimal Expressive Power of ReLU DNNs and Its Application in Approximation with Kolmogorov Superposition Theorem
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文证明ReLU深度神经网络可用L层N神经元表示O(N^2L)段连续分段线性函数，并通过打散能力证明该构造参数最优，同时借助Kolmogorov叠加定理提升了高维连续函数的逼近速率。
2023-08-10 cs.LG cs.NA math.NA
On the Relative Expressiveness of Bayesian and Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；Zhejiang University（浙江大学）
神经网络计算函数。神经网络的一个核心特性是它们是“通用逼近器“：对于给定的连续函数，存在一个神经网络，它可以任意地逼近它，只要有足够的神经元（和一些额外的假设）。相比之下，贝叶斯网络是一个模型，但它的每个查询都可以被视为计算一个函数。在本文中，我们确定了由神经网络计算的函数和由边缘贝叶斯网络查询计算的函数之间的一些关键区别，表明前者比后者更具表达力。此外，我们提出了一个简单的增强贝叶斯网络（一个测试运营商），这使得他们的边缘查询成为“通用近似。"
2018-12-21 cs.AI cs.LG
Multi-View Graph Neural Networks for Molecular Property Prediction
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
分子性质预测的关键是生成有意义的分子表征。一个有前途的途径是通过图神经网络（GNNs）利用分子图结构。众所周知，原子和键都显著影响分子的化学性质，因此表达模型应能够同时利用节点（原子）和边缘（键）信息。在此基础上，我们提出了多视图图神经网络（MV-GNN），这是一种多视图消息传递架构，可以更准确地预测分子特性。在MV-GNN中，我们引入了一个共享的自我注意读出组件和不一致损失来稳定训练过程。该读出组件还使得整个架构可解释。我们通过提出一个交叉依赖的消息传递方案来进一步增强MV-GNN的表达能力，该方案增强了两个视图的信息通信，从而产生了MV-GNN^交叉变体。最后，我们从理论上证明了所提出的两个模型的表现力方面区分非同构图。大量的实验表明，MV-GNN模型在各种具有挑战性的基准测试中取得了比最先进的模型更优异的性能。同时，节点重要性的可视化结果与先验知识一致，这证实了MV-GNN模型的可解释性。
2020-06-12 cs.LG q-bio.QM stat.ML
Analysis and Design of Convolutional Networks via Hierarchical Tensor Decompositions
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
卷积网络是迄今为止最成功的深度学习架构，其背后的驱动力是它们的表达能力。尽管它被广泛接受和大量的经验证据，支持这一信念的正式分析是稀缺的。关于表达性的形式化推理的主要概念是效率和归纳偏差。表达效率是指网络架构实现需要替代架构大得多的功能的能力。归纳偏见是指在事先了解手头任务的情况下，将某些功能优先于其他功能。在本文中，我们概述了作者撰写的一系列作品，通过对分层张量分解的等价性，分析了各种卷积网络架构特征（深度，宽度，步幅等）的表达效率和归纳偏差。这些结果揭示了卷积网络的有效性，并为网络设计提供了新的工具。
2018-06-11 cs.LG cs.NE
Stronger Convergence Results for Deep Residual Networks: Network Width Scales Linearly with Training Data Size
ASELSAN Inc.（ASELSAN公司）
深度神经网络是具有高度表达力的机器学习模型，能够对任意数据集进行插值。深度网络通常通过一阶方法进行优化，优化过程主要取决于网络和数据集的特征。这项工作揭示了网络大小与数据集属性之间的关系，重点是深度残差网络（ResNets）。我们的贡献是，如果网络雅可比矩阵是满秩的，则二次损失和平滑激活的梯度下降收敛到全局最小值，即使ResNet的网络宽度$m$与样本量$n$成线性比例，并且与网络深度无关。据我们所知，这是第一个工作，它提供了一个理论保证神经网络的收敛在$m=Ω(n)$制度。
2019-11-11 cs.LG stat.ML
Breaking the Expressive Bottlenecks of Graph Neural Networks
Dalian University of Technology（大连理工大学）
最近，Weisfeiler-Lehman（WL）图同构测试被用来衡量图神经网络（GNNs）的表达能力，表明邻域聚合GNNs在区分图结构方面最多与1-WL测试一样强大。还提出了类似于$k$测试（$k>1$）的改进。然而，这些GNN中的聚合器远不是WL测试所要求的内射，并且具有较弱的区分能力，使其成为表达瓶颈。在本文中，我们通过探索强大的聚合器来提高表达能力。我们用相应的聚合系数矩阵重新定义了聚合，然后系统地分析了构建更强大的聚合器甚至内射聚合器对聚合系数矩阵的要求。它也可以被看作是保持隐藏特征的秩的策略，并意味着基本聚合器对应于低秩变换的特殊情况。我们还展示了在聚合之前应用非线性单元的必要性，这与大多数基于聚合的GNN不同。基于我们的理论分析，我们开发了两个GNN层，ExpandingConv和CombConv。实验结果表明，我们的模型显着提高性能，特别是对于大型和密集连接的图形。
2020-12-14 cs.AI cs.LG
Pre-training Graph Neural Networks on 2D and 3D Molecular Structures by using Multi-View Conditional Information Bottleneck
本文提出MVCIB框架，通过多视图条件信息瓶颈方法提升分子结构预训练的表示能力和跨视图一致性。
2025-11-23 cs.AI cs.LG
The Expressive Power of Low-Rank Adaptation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文首次从理论上分析低秩适配（LoRA）的表达能力，证明在全连接网络中满足特定秩条件时可准确适配任意较小目标模型，并量化低秩时的近似误差，同时展示Transformer网络可用嵌入大小一半的秩实现同尺寸适配。
2024-03-18 cs.AI cs.CL cs.LG
Width is Less Important than Depth in ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们解决了Lu et al.（2017）的一个公开问题，通过证明任何具有$\mathbb{R}^d$输入的目标网络都可以近似为宽度$O(d)$网络（与目标网络的架构无关），其参数数量基本上只比它大一个线性因子。根据先前的深度分离定理，这意味着当宽度和深度的角色互换时，类似的结果不能成立，因此深度在神经网络的表达能力中起着比宽度更重要的作用。我们扩展我们的结果，以构建网络有界的权重，并构建网络的宽度最多$d+2$，这是接近最小可能的宽度，由于以前的下限。这两种构造都会导致目标网络上的参数数量增加额外的多项式因子。我们还展示了使用深网络和窄网络的宽网络和浅网络的精确表示，在某些情况下，不会增加目标网络的参数数量。
2022-06-01 cs.LG cs.NE stat.ML
Multi-view Subspace Clustering Networks with Local and Global Graph Information
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
本研究探讨多视角子空间聚类问题，其目的是探索从不同领域或测量收集的数据的潜在分组结构。在实际应用中，数据并不总是符合线性子空间模型，现有的基于浅层线性子空间模型的多视点子空间聚类方法在实际应用中往往会失败。此外，现有的多视图子空间聚类方法往往忽略了多视图数据的底层图信息。为了解决上述限制，我们提出了新的多视图子空间聚类网络的局部和全局图信息，称为MSCNLG，在本文中。具体而言，自动编码器网络采用多个视图，以实现潜在的平滑表示，适合于线性假设。同时，通过将融合后的多视点图信息整合到自表达层中，得到共享的多视点子空间表示，并利用标准谱聚类算法得到聚类结果.作为一个端到端的可训练框架，所提出的方法充分调查的多个视图的有价值的信息。在6个基准数据集上的综合实验验证了所提出的MSCNLG的有效性和优越性。
2021-03-24 cs.LG
On the Expressive Power of Graph Neural Networks
本文梳理了图神经网络表达能力的多种研究视角与定义，包括通用逼近特性、图结构区分能力、图属性计算能力等，为GNN架构设计提供理论参考与见解。
2024-03-08 cs.AI cs.LG
Universal Function Approximation by Deep Neural Nets with Bounded Width and ReLU Activations
Department of Mathematics, Texas A\&M, College Station, United States
本文关注的是具有ReLU激活和有界宽度的神经网络中深度的表达能力。我们对以下问题特别感兴趣：最小宽度$w_{\text{min}}(d)$是多少，以便宽度为$w_{\text{min}}(d)$（和任意深度）的ReLU网可以任意地逼近单位立方体$[0,1]^d$上的任何连续函数？对于接近这个最小宽度的ReLU网，我们可以说近似给定函数所需的深度是多少？我们对本文的方法是基于这样的观察，即由于ReLU激活的凸性，ReLU网特别适合表示凸函数。特别地，我们证明了具有宽度$d+1$的ReLU网可以任意地逼近$d$变量的任何连续凸函数。然后，这些结果给出了宽度为$d+3.$的ReLU网对$d$维立方体$[0,1]^d$上任何连续标量函数的逼近速率的定量深度估计
2017-12-20 cs.CG cs.LG math.FA
Adaptive Multi-view Graph Contrastive Learning via Fractional-order Neural Diffusion Networks
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电子与电气工程学院）；University College London, London, U.K.（伦敦大学学院）
本文提出一种无增强的多视图图对比学习框架，利用分数阶连续动力学生成连续视图谱，通过调整分数阶导数阶数α实现自适应扩散尺度，提升多尺度结构模式的表征能力。
2026-05-10 cs.LG
From Diffusion to Reaction-Diffusion: A Dynamical-Systems View of Oversmoothing in Hypergraph Neural Networks
School of Mathematics and Statistics, Shandong University, Weihai（山东大学（威海）数学与统计学院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
研究超图神经网络过平滑问题，从动力系统视角出发，提出反应扩散框架HNRD，通过定义算子解释消息传递为扩散过程，分析得出过平滑是能量耗散现象，HNRD能补偿耗散稳定变化，实验证明其优于基线，为深度超图架构设计提供框架。
2026-07-20 cs.LG
Neural Network Architecture Beyond Width and Depth
National University of Singapore（新加坡国立大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文提出了一种新的神经网络结构，通过引入一个额外的维度称为高度超过宽度和深度。将高度、宽度和深度作为超参数的神经网络架构称为三维架构。结果表明，具有三维结构的神经网络比具有二维结构的神经网络（仅以宽度和深度作为超参数的神经网络）具有更强的表达力，例如，标准的全连接网络。新的网络架构是通过嵌套结构递归构造的，因此我们称具有新架构的网络为嵌套网络（NestNet）。构建高度为$s$的NestNet，其中每个隐藏神经元由高度为$\le s-1$的NestNet激活。当$s=1$时，NestNet退化为具有二维架构的标准网络。通过构造证明了具有$\mathcal{O}(n)$参数的高度- $s$ ReLU NestNets可以逼近$[0,1]^d$上的$1$ -Lipschitz连续函数，误差为$\mathcal{O}(n^{-(s+1)/d})$，而具有$\mathcal{O}(n)$参数的标准ReLU网络的最佳逼近误差为$\mathcal{O}(n^{-2/d})$。进一步地，将这一结果推广到$[0,1]^d$上的一般连续函数，其逼近误差由连续模表征。最后，我们使用数值实验来展示ReLU NestNets的超近似能力的优势。
2023-01-14 cs.LG stat.ML
Unleashing the Expressive Power of Pulse-Based Quantum Neural Networks
Tsinghua University（清华大学）；Center for Intelligent and Networked Systems（智能与网络系统中心）
本文从量子控制理论出发，证明基于脉冲的量子神经网络在系综可控条件下可逼近任意非线性函数，并通过数值模拟展示其比基于门电路的模型具有更强的表达能力，为NISQ设备上的QML模型设计奠定理论基础。
2024-06-26 cs.ET cs.LG quant-ph
The Expressive Power of Low Precision Softmax Transformers with (Summarized) Chain-of-Thought
Department of Mathematics, University of Tübingen, Germany（图宾根大学数学系）
本文研究了低精度softmax变换器在链式思维中的表达能力，通过构造三元激活和分离注意力分数的硬max变换器来模拟图灵机，从而将构造转换为等效的softmax变换器，并分析了最近提出的总结链式思维范式在模拟图灵机时的效率。
2026-08-10 cs.CC cs.CL cs.LG
A Function Space View of Bounded Norm Infinite Width ReLU Nets: The Multivariate Case
University of Chicago（芝加哥大学）；Technion, Israel Institute of Technology（以色列理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
理解过参数化神经网络的有效性的一个关键因素是描述当网络中的权重数量接近无穷大时它们如何表示函数。在本文中，我们将函数$f:\mathbb{R}^d\rightarrow\mathbb{R}$实现为具有无限数量单元（无限宽度）的单个隐藏层ReLU网络所需的范数进行了表征，但其中权重的欧几里得范数是有界的，包括精确表征哪些函数可以用有限范数实现。Savarese等人（2019）解决了单变量单变量函数的问题，其中表明所需的范数由函数的二阶导数的L1范数确定。我们将特征扩展到多变量函数（即，具有d个输入设备的网络），将所需的范数与函数的（d+1）/2次拉普拉斯算子的Radon变换的L1范数相关联。这个特征使我们能够证明，所有的功能在Sobolev空间$W^{s,1}(\mathbb{R})$，$s\geq d+1$，可以表示与有界范数，计算所需的范数为几个特定的功能，并获得深度分离的结果。这些结果对于理解泛化性能以及神经网络和更传统的核学习之间的区别具有重要意义。
2019-10-03 cs.LG stat.ML
Approximating Continuous Functions by ReLU Nets of Minimal Width
Department of Mathematics, Texas A&M（德克萨斯农工大学数学系）；Trinity College, Cambridge（剑桥大学三一学院）
这篇文章关注的是带有ReLU激活的深度前馈神经网络的深度表达能力。具体来说，我们回答了以下问题：对于一个固定的$d_{in}\geq 1,$，最小宽度$w$是多少，以便具有ReLU激活、输入维度$d_{in}$、最大$w,$的隐藏层宽度和任意深度的神经网络可以任意地逼近$d_{in}$变量的任何连续实值函数？事实证明，这个最小宽度正好等于$d_{in}+1.$也就是说，如果所有的隐藏层宽度都以$d_{in}$为界，那么即使在无限深度限制下，ReLU网也只能表达非常有限的一类函数，另一方面，在$d_{in}$上的任何连续函数-维单位立方体可以通过ReLU网近似到任意精度，其中所有隐藏层的宽度都正好是$d_{in}+1.$我们的构造实际上表明，任何连续函数$f:[0,1]^{d_{in}}\to\mathbb R^{d_{out}}$可以近似为宽度为$d_{in}+d_{out}$的网。我们得到定量的深度估计这样一个近似的$f$的连续模。
2018-03-10 cs.CC cs.LG math.CO
Efficient Geometry-aware 3D Generative Adversarial Networks
Stanford University（斯坦福大学）；NVIDIA（英伟达）
仅使用单视图2D照片的集合来无监督地生成高质量的多视图一致的图像和3D形状一直是一个长期的挑战。现有的3D GANs要么是计算密集型的，要么是不具有3D一致性的近似;前者限制了生成图像的质量和分辨率，后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GANs的计算效率和图像质量，而不过度依赖于这些近似。我们引入了一种表现力强的混合显式-隐式网络架构，与其他设计选择一起，不仅可以实时的合成高分辨率多视图一致的图像，而且还可以生成高质量的3D几何图形。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，如StyleGAN 2，并继承它们的效率和表现力。我们展示了最先进的3D感知合成与FFHQ和AFHQ猫，以及其他实验。
2022-04-27 cs.AI cs.CV cs.GR
Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity
Google（谷歌）
我们开发了神经网络和组合内核之间的一般二元性，努力更好地理解深度学习。我们表明，初始表示所产生的共同随机初始化是足够丰富的，以表达所有功能的对偶核空间。因此，尽管训练目标在最坏的情况下很难优化，但初始权重是优化的良好起点。我们的双重观点也揭示了神经网络的实用和美学观点，并强调了它们的表达能力。
2017-05-19 cs.AI cs.CC cs.DS
A Little Depth Goes a Long Way: The Expressive Power of Log-Depth Transformers
Allen Institute for AI（阿伦人工智能研究所）；New York University（纽约大学）
本文从理论和实验两方面证明，深度为 Θ(log n) 的 Transformer 即可表达正则语言识别和图连通性等固定深度模型无法表达的顺序推理问题，并揭示了深度扩展比宽度或思维链扩展更高效，为实际深度选择提供了指导。
2025-11-05 cs.CC cs.LG
SHAP Meets Tensor Networks: Provably Tractable Explanations with Parallelism
LIRMM, UMR 5506, University of Montpellier, CNRS（蒙彼利埃大学LIRMM研究所，法国国家科研中心）；The Hebrew University of Jeursalem（耶路撒冷希伯来大学）
本文研究了张量网络中SHAP解释的计算问题，提出了一种通用框架，证明了在张量网络结构下，通过并行计算可实现多项式对数时间复杂度的SHAP计算，从而改进了多种机器学习模型的复杂度分析。
2026-03-19 cs.CC cs.FL cs.LG
Towards Deepening Graph Neural Networks: A GNTK-based Optimization Perspective
University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）；Northeastern University（东北大学）；Aalborg University（奥尔堡大学）
图卷积网络及其变体在处理图结构数据方面取得了巨大的成功。然而，众所周知，深GCN遭受过平滑问题，其中节点表示往往是不可区分的，因为更多的层堆叠起来。迄今为止，关于深层GCN的理论研究主要集中在表达能力而不是可训练性，这是一个优化的角度。与表达能力相比，可训练性试图解决一个更根本的问题：给定一个足够表达的模型空间，我们能否通过基于梯度下降的优化器成功找到一个好的解决方案？这项工作填补了这一空白，利用图神经切线核（GNTK），它管理的优化轨迹下梯度下降宽GCN。我们制定了GNTK在大深度上的渐近行为，这使我们能够揭示宽深度GCN在优化过程中以指数速度下降的可训练性。此外，我们扩展了我们的理论框架来分析基于残余连接的技术，发现这些技术只能轻微地减轻可训练性的指数衰减。受我们对可训练性的理论见解的启发，我们提出了临界DropEdge，一种连通性感知和图形自适应采样方法，以更根本地缓解指数衰减问题。实验评估一致证实，使用我们提出的方法可以实现更好的结果相比，相关同行与无限宽度和有限宽度。
2022-04-21 cs.AI cs.LG
View-Structured Conformal Prediction for 3D Gaussian Splatting
Nankai University（南开大学）；Beihang University（北京航空航天大学）
针对3D高斯泼溅新视角合成，提出视图结构化共形预测（VSCP），分解尺度为空间形状与视图难度因子，通过视图级校准保证覆盖率并削减预测宽度，实验验证其有效性与高效性。
2026-09-10 cs.CV cs.LG
Fast and Explicit Neural View Synthesis
Apple（苹果公司）
我们研究的问题，新的视图合成从稀疏源观察的场景组成的3D对象。我们提出了一个简单而有效的方法，既不是连续的，也不是隐含的，挑战最近的趋势，视图合成。我们的方法显式地将观察编码到一个体积表示，使摊销渲染。我们证明，虽然连续辐射场表示已经获得了很多关注，由于其表现力，我们简单的方法获得了可比的，甚至更好的新的视图重建质量相比，最先进的基线，同时提高渲染速度超过400倍。我们的模型以类别不可知的方式进行训练，不需要特定于场景的优化。因此，它能够将新颖的视图合成推广到训练期间未看到的对象类别。此外，我们表明，我们的简单配方，我们可以使用视图合成作为一个自我监督信号，有效地学习3D几何形状，而无需明确的3D监督。
2021-12-08 cs.CV cs.GR cs.LG
TERM Model: Tensor Ring Mixture Model for Density Estimation
University of Electronic Science and Technology of China（电子科技大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
针对张量网络密度估计中排列候选多、表达能力受限的问题，提出基于张量环分解的TERM模型及带自适应权重的混合模型，在中等维度数据集的密度估计和采样任务上取得更优效果。
2023-12-13 cs.LG stat.ML
On the equivalence between graph isomorphism testing and function approximation with GNNs
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）；Center for Data Science（数据科学中心）
图神经网络（GNNs）在图结构数据上取得了很大的成功。有鉴于此，人们对研究它们的表达能力越来越感兴趣。一条工作线研究了GNN在图上近似置换不变函数的能力，另一条工作线则专注于它们作为图同构测试的能力。我们的工作连接这两个角度，并证明他们的等价性。我们进一步开发了一个框架的GNN的表达能力，结合这两个观点使用的语言sigma代数，通过它，我们比较不同类型的GNN的表达能力与其他图同构测试。特别地，我们证明了二阶不变图网络不能区分具有相同度的非同构正则图。然后，我们将其扩展到一个新的架构，Ring-GNN，它成功地区分这些图，并在现实世界的数据集上实现了良好的性能。
2023-02-11 cs.LG stat.ML
On Computational Limits of FlowAR Models: Expressivity and Efficiency
Wyoming Seminary（怀俄明私立学校）；UT-Austin（得克萨斯大学奥斯汀分校）；The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Simons Institute, UC Berkeley（伯克利大学模拟研究所）
本研究分析了FlowAR模型的电路复杂性，证明其可被TC⁰电路模拟，并探讨了其计算效率与表达能力的限制。
2026-01-23 cs.AI cs.CC cs.CV
End-to-End Multi-View Networks for Text Classification
National Research Council Canada（加拿大国家研究委员会）
我们提出了一个多视图网络的文本分类。我们的方法自动创建其输入文本的各种视图，每个视图都采用软注意力权重的形式，将分类器的焦点分布在一组基本特征中。对于词袋表示，每个视图关注文本单词的不同子集。聚合许多这样的视图导致更有区别性和鲁棒性的表示。通过一个既堆叠又连接视图的新架构，我们产生了一个强调深度和宽度的网络，允许训练快速收敛。使用我们的多视图架构，我们在两个基准任务上建立了新的最先进的精度。
2017-04-19 cs.CL cs.LG cs.NE
Scaling Laws and Tradeoffs in Recurrent Networks of Expressive Neurons
University of Tübingen, Germany（图宾根大学，德国）；Max Planck Institute for Biological Cybernetics, Tübingen, Germany（生物感知研究所，图宾根，德国）；Max Planck Institute for Intelligent Systems, Tübingen, Germany（智能系统研究所，图宾根，德国）
本文探讨了在固定参数预算下，递归网络中神经元数量、每单位有效复杂度和连接度的最优分配问题，通过ELM网络验证了复杂度与连接度的权衡关系，并提出了信息论模型解释其结果。
2026-10-27 cs.AI cs.IT cs.LG
