The Effect of Depth on the Expressivity of Deep Linear State-Space Models
Department of Mathematics（数学系）；National University of Singapore（新加坡国立大学）；Institute for Functional Intelligent Materials（功能智能材料研究所）
本文系统研究深度线性状态空间模型中深度与宽度对表达能力的影响，证明无约束时二者等价，有范数约束时深度更优，并给出最小深度上界，经数值实验验证。
2025-06-24 cs.LG
DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products
University of Freiburg（弗赖堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Microsoft Research（微软研究院）；Prior Labs（先驱实验室）；CSML, Istituto Italiano di Tecnologia（CSML，意大利技术研究所）；AI Centre, University College London（伦敦大学学院人工智能中心）
DeltaProduct通过每token执行多步在线梯度下降，构造Householder乘积形式的状态转移矩阵，在保持效率的同时提升线性RNN的状态追踪与语言建模性能。
2025-10-22 cs.CL cs.FL cs.LG
Pause Tokens Strictly Increase the Expressivity of Constant-Depth Transformers
Department of Computer Science University of Oxford（计算机科学系牛津大学）
本文首次从理论上证明，向常数深度且对数宽度的Transformer中添加pause tokens能严格增加其计算表达能力，并在有界和对数精度下分别达到表达$\mathsf{AC}^0$和$\mathsf{TC}^0$的能力，且实验证实其能使两层Transformer学会奇偶性。
2025-05-27 cs.CL cs.LG
Why Depth Matters in Parallelizable Sequence Models: A Lie Algebraic View
Howard Hughes Medical Institute, Department of Neurobiology, Harvard Medical School（霍华德·休斯医学研究所，哈佛医学院神经生物学系）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（自然与人工智能研究学院，哈佛大学）；Department of Psychology and Center for Brain Science, Harvard University（心理学系和脑科学中心，哈佛大学）
从李代数控制视角，研究可并行化序列模型（如Transformer变体和状态空间模型）的表达能力与深度关系，证明误差随深度增加呈指数下降。
2026-06-11 cs.LG
Continuous Depth Recurrent Neural Differential Equations
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
递归神经网络（RNN）在序列标记任务和序列数据方面带来了很多进步。然而，当序列中的观测是不规则采样的，其中观测以不规则的时间间隔到达时，它们的有效性是有限的。为了解决这个问题，基于神经常微分方程（NODE）引入了RNN的连续时间变量。它们使用隐藏状态随时间的连续变换来学习更好的数据表示，同时考虑到观察之间的时间间隔。然而，它们的能力仍然有限，因为它们使用离散变换和序列中输入的固定离散层数（深度）来产生输出观察。我们打算通过提出基于微分方程的RNN来解决这一限制，该微分方程对深度和时间上的连续变换进行建模，以预测序列中给定输入的输出。具体来说，我们提出了连续深度递归神经微分方程（CDR-NDE），它通过在时间和深度维度上不断进化隐藏状态来推广RNN模型。CDR-NDE在每个维度上考虑两个单独的微分方程，并交替地模拟时间和深度方向的演化。我们还提出了基于偏微分方程的CDR-NDE-热模型，该模型将隐态的计算视为求解随时间变化的热方程。我们通过与现实世界序列标记问题和数据的最新RNN模型进行比较，证明了所提出模型的有效性。
2022-12-28 cs.LG
On Expressivity of Height in Neural Networks
The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出由宽度、深度和高度刻画的3D神经网络，通过层内连接构建层内层级，并从理论界、逼近速率和多类数据集实验证明高度可增强表达能力。
2025-01-04 cs.LG
Survey of Expressivity in Deep Neural Networks
Google Brain（谷歌大脑）；Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
我们调查了“深度神经网络的表达能力“中描述的神经网络表达能力的结果。本文激励和开发了三种自然的表现力测量方法，它们都显示出对网络深度的指数依赖性。事实上，所有这些测量都与第四个量有关，即轨迹长度。这个量在网络的深度上呈指数增长，并且负责观察到的深度敏感性。这些结果转化为训练期间和之后的网络后果。他们认为，网络中较早的参数对其表达能力有更大的影响-特别是，给定一个层，其对表达能力的影响取决于该层之后网络的剩余深度。这是验证与MNIST和CIFAR-10上的实验。我们还探讨了训练对输入输出图的影响，并发现它在稳定性和表达性之间进行了权衡。
2016-11-24 cs.LG cs.NE stat.ML
Architectural Complexity Measures of Recurrent Neural Networks
MILA, Université de Montréal（蒙特利尔大学 MILA）；University of Toronto（多伦多大学）；Institut des Hautes Études Scientifiques, France（法国高等科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文系统地分析了循环神经网络（RNN）的连接结构。我们的主要贡献是两方面的：首先，我们提出了一个严格的图论框架，描述了一般RNN的连接架构。其次，我们提出了RNN的三种架构复杂度度量：（a）递归深度，它捕获RNN随时间的非线性复杂度，（b）前馈深度，它捕获局部输入输出非线性（类似于前馈神经网络（FNN）中的“深度”），以及（c）递归跳跃系数，它捕获信息随时间传播的速度。我们严格证明了每一个措施的存在性和可计算性。我们的实验结果表明，RNN可能受益于更大的递归深度和前馈深度。我们进一步证明，增加经常性跳跃系数提供了长期依赖问题的性能提升。
2016-11-12 cs.LG cs.NE
Towards an Expressivity-Normalized Energy-Demand Comparison of ANNs and SNNs
LMU Munich（慕尼黑大学）；University of Tromsø（特罗姆瑟大学）；DLR-German Aerospace Center（德国航空航天中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本研究开发分析框架，对比匹配表达能力的ANNs与SNNs的理论能效，推导能效比与相关阈值，明确事件驱动计算抵消SNNs时间开销的场景，为设计高能效时间网络提供原则。
2026-09-01 cs.LG
Depth-Width Trade-offs for Neural Networks via Topological Entropy
Harvard University（哈佛大学）；Zhejiang University（浙江大学）
深度学习理论研究的核心问题之一是理解深度、宽度和节点数量等结构属性如何影响深度神经网络的表达能力。在这项工作中，我们展示了一个新的联系之间的表达能力的深度神经网络和拓扑熵的动力系统，它可以用来表征深度和宽度的权衡神经网络。利用结构参数给出了具有连续半代数单元的神经网络的拓扑熵的一个上界。具体地，具有$l$层和每层$m$节点的ReLU网络的拓扑熵由$O(l\log m)$上界。此外，如果神经网络是某个函数$f$的良好逼近，则神经网络的规模相对于$f$的拓扑熵具有指数下界.讨论了拓扑熵与振荡次数、周期和Lipschitz常数之间的关系。
2020-10-15 cs.LG
Depthwise Separable Convolutions Versus Recurrent Neural Networks for Monaural Singing Voice Separation
Tampere University（坦佩雷大学）；Fraunhofer-IDMT（弗劳恩霍夫数字媒体技术研究所）
最近的音乐源分离方法几乎完全基于深度神经网络，主要采用递归神经网络（RNN）。尽管RNN在许多情况下优于其他类型的深度神经网络进行序列处理，但它们在训练和并行化方面存在特定的困难，特别是对于音乐源分离中遇到的通常较长的序列。在本文中，我们提出了一个用深度可分离（DWS）卷积替换RNN的用例，DWS卷积是典型卷积的一种轻量级和更快的变体。我们专注于歌声分离，采用RNN架构，我们用DWS卷积（DWS-CNN）代替RNN。我们进行了一项消融研究，并通过利用信号与伪影、信号与干扰和信号失真比的标准度量，研究了DWS-CNN的通道数量和层数对源分离性能的影响。我们的结果表明，通过用DWS-CNN代替RNN，分别获得了1.20，0.06，0.37 dB的改进，而仅使用RNN架构参数量的20.57%。
2020-07-06 cs.LG cs.SD eess.AS
An expressivity analysis of hierarchical modelling in deep transformers via bounded-depth grammars
University of Sydney（悉尼大学）；San Francisco State University（旧金山州立大学）；IIT Madras（印度理工学院马德拉斯分校）
通过有界深度上下文无关文法，证明深度Transformer的深度随文法深度线性增长，神经元数随派生树形状和产生式规则数量缩放，支持线性表示假说。
2026-07-20 cs.CL cs.LG
Depth Enables Long-Term Memory for Recurrent Neural Networks
Faculty of Computer Science and Engineering The Hebrew University of Jerusalem（计算机科学与工程学院 希伯来大学耶路撒冷分校）；The Hebrew University of Jerusalem（希伯来大学耶路撒冷分校）；Faculty of Computer Science and Engineering（计算机科学与工程学院）
现代循环神经网络（RNN）在涉及序列数据的学习任务上取得空前成功的一个关键属性是它们能够对复杂的长期时间依赖性进行建模。然而，缺乏对RNN长期记忆能力的一个完善的衡量标准，因此对深度对其在整个时间内关联数据的能力的影响的正式理解是有限的。具体来说，卷积网络上现有的深度效率结果不足以解释深度RNN在不同长度数据上的成功。为了解决这个问题，我们引入了一个衡量网络支持跨时间信息流的能力的指标，称为起止分离秩，它反映了递归网络实现的函数与输入序列的开始和结束之间没有依赖关系的距离。我们证明了深经常性网络支持的起始-结束分离秩组合高于浅对应网络支持的秩。因此，我们确定深度在递归网络建模长期依赖关系的能力方面具有压倒性的优势，并提供了量化这一关键属性的范例。我们通过广泛的实验评估，使用限制隐藏到隐藏矩阵正交的优化技术，经验性地证明了常见RNN上讨论的现象。最后，我们使用量子张量网络的工具来获得有关递归网络深度带来的复杂性的额外图形见解。
2020-03-23 cs.LG stat.ML
On the expressivity of sparse maxout networks
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；TU Berlin（柏林技术大学）
本文研究稀疏最大输出网络的表达能力，通过建立与虚拟多胞体的对偶性并推导维数紧界，证明深度不足时宽度无法弥补稀疏性，而足够深时网络具有普适性。
2025-10-15 cs.AI cs.LG math.CO
Expressivity of Quadratic Neural ODEs
University of Illinois, Urbana, IL 61801 USA（伊利诺伊大学厄巴纳-香槟分校）；Error Corp（Error公司）；Sandia National Laboratories（沙ia国家实验室）；Department of Electrical and Computer Engineering and the Coordinated Science Laboratory, University of Illinois, Urbana, IL 61801, USA（伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系和协调科学实验室）
本研究推导二次非线性神经常微分方程的定量近似误差界，发现其表达能力主要源于模型深度而非基础运算复杂度，深化了对深度学习架构中深度作用的理解。
2025-06-13 cs.LG cs.SY eess.SY
On Minimal Depth in Neural Networks
本文通过几何框架分析ReLU网络的表达能力，推导出深度下界并揭示凸多面体的结构限制，证明ICNN无法用固定深度表示所有凸CPWL函数。
2026-09-22 cs.DM cs.LG math.CO
Homomorphism Expressivity of Spectral Invariant Graph Neural Networks
Peking University（北京大学）；Technion（以色列理工学院）；NVIDIA Research（英伟达研究院）
本文通过同态表达性视角，全面定量分析了谱不变图神经网络的表达力，证明其能精确计数平行树，并扩展了现有研究、解决了多个开放问题。
2025-03-01 cs.LG
Quantum Re-Uploading for Calorimetry: Optimized Architectures with Extended Expressivity
The Artificial Intelligence Institute, University of Waikato（怀卡托大学人工智能研究所）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；École polytechnique, Institut Polytechnique de Paris（巴黎理工学院巴黎综合理工学院）；Laboratoire Leprince-Ringuet, Institut Polytechnique de Paris（巴黎理工学院勒普兰斯-兰盖实验室）
本文提出了一种优化的量子重上传架构，通过扩展表达力在calorimetry分类任务中实现了更高的准确率，并展示了其在实际量子处理器上的可部署性。
2026-01-31 cs.LG quant-ph
Expressivity of Neural Networks via Chaotic Itineraries beyond Sharkovsky's Theorem
Columbia University（哥伦比亚大学）；Northwestern University（西北大学）
给定一个目标函数$f$，神经网络必须有多大才能近似$f$？最近的工作研究这个基本问题的神经网络\textit{expressivity}从镜头的动力系统，并提供新的“深度与宽度”的权衡为一大家族的功能$f$。他们认为，这种权衡是由$f$中存在的\textit{periodic}点或\emph{cycles}决定的。我们的工作，通过进一步部署动态系统的概念，阐明了周期性和表现力之间的一个更微妙的联系：我们证明，周期点单独导致次优的深度-宽度权衡，我们改进后，证明某些“混沌行程”给更强的指数权衡，即使在以前的分析只意味着多项式差距的制度。与先前的工作相反，我们的边界是接近最优的，随着周期的增加而收紧，并处理强烈的不可逼近性概念（例如，恒定$L_1$错误）。更广泛地说，我们确定了一个相变的\textit{chaotic regime}，正好与突然转变的其他概念的功能复杂性，包括VC维和拓扑熵。
2021-10-19 cs.LG math.DS nlin.CD
The Expressivity and Training of Deep Neural Networks: toward the Edge of Chaos?
Shanghai Jiao Tong University（上海交通大学）；NVIDIA Corporation（英伟达公司）；University of California（加利福尼亚大学）
表达性是评估神经网络的最重要的问题之一。本文从深层神经网络（DNN）的动态模型出发，定量分析了DNN的表达能力，并利用Hilbert空间分析了DNN的收敛性和临界性。我们研究了几个广泛使用的激活函数的特征映射，通过Hermite多项式获得，发现急剧下降，甚至鞍点的特征空间，这停滞了DNN中的信息传递。然后，我们提出了一个新的激活函数设计的基础上，更好地利用空间表示的埃尔米特多项式。此外，我们分析了DNN的信息传递，强调输入和拓扑结构之间的不匹配引起的收敛问题。我们还研究了输入扰动和正则化算子对临界表达性的影响。我们的理论分析表明，DNN使用空间域来表示信息，并随着深度的增加而演化到混沌的边缘。在实际训练中，一个特定的网络最终能否到达混沌边缘，取决于它克服收敛并将信息传递到所需网络深度的能力。最后，我们通过多变量时间序列预测和图像分类的例子证明了所提出的假设的经验性能。
2019-12-23 cs.LG cs.NE stat.ML
Design Principles for Sequence Models via Coefficient Dynamics
ETH Zurich（苏黎世联邦理工学院）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Stanford University（斯坦福大学）
本文通过系数动力学框架系统比较了序列模型，揭示了不同架构间的数学共同主题，并提出了设计原则以平衡表达能力、效率和稳定性。
2026-04-13 cs.AI cs.LG
Simplifying and Understanding State Space Models with Diagonal Linear RNNs
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
提出无需离散化的对角线性RNN模型DLR，在多种基准上与SSM相当，并通过13个合成任务揭示SSM在需多卷积核或上下文相关操作时的局限，但在长输入高阶推理任务上表现良好。
2023-11-14 cs.CL cs.LG
Generalized Tensor Models for Recurrent Neural Networks
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute of Numerical Mathematics, Russian Academy of Sciences（俄罗斯科学院数值数学研究所）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
循环神经网络（RNN）在解决具有挑战性的序列数据问题方面非常成功。然而，这种观察到的效率尚未完全由理论解释。众所周知，某类乘法RNN具有深度效率的特性--需要指数级大宽度的浅网络来实现与这种RNN计算的相同的得分函数。然而，这种网络并不经常应用于现实生活中的任务。在这项工作中，我们试图通过将理论分析扩展到使用各种非线性的RNN（如整流线性单元（ReLU））来缩小理论与实践之间的差距，并表明它们也受益于普适性和深度效率的特性。一系列广泛的计算实验验证了我们的理论结果。
2019-01-30 cs.LG stat.ML
The Surprising Expressivity of a Single Neuron with Autoregressive Chain-of-Thought
Weizmann Institute of Science（魏茨曼科学研究所）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
该研究证明带自回归思维链的单个神经元可模拟任意同激活前馈电路，改进了相关模拟边界，还在CIFAR-10上训练单个自回归ReLU神经元模仿神经网络教师并取得可观测试准确率。
2026-10-14 cs.LG stat.ML
Fading memory as inductive bias in residual recurrent networks
Ernst Strüngmann Institute（恩斯特·斯特伦格曼研究所）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
本文提出弱耦合残差循环网络（WCRNNs），通过引入残差连接研究其对网络动力学和衰减记忆特性的影响，发现特定残差连接能提升网络表达能力，并扩展至非线性残差与Elman RNNs初始化方案。
2024-01-03 cs.CV cs.LG
Sound Event Detection with Depthwise Separable and Dilated Convolutions
Tampere University（坦佩雷大学）；Fraunhofer-IDMT（弗劳恩霍夫数字媒体技术研究所）；South China University of Technology（华南理工大学）
现有技术的声音事件检测（SED）方法通常采用一系列卷积神经网络（CNN）来从输入音频信号中提取有用的特征，然后采用递归神经网络（RNN）来对所提取的特征中的较长时间上下文进行建模。CNN的通道数量和RNN的权重矩阵的大小对SED方法的参数总量有直接影响，其数量达到数百万。此外，通常用作SED方法输入的长序列以及RNN的使用，引入了诸如增加训练时间、梯度流困难以及阻碍SED方法并行化的影响。为了解决所有这些问题，我们提出用dependently可分离卷积替换CNN，用dilated卷积替换RNN。我们比较了所提出的方法的基线卷积神经网络上的SED任务，并实现了减少的参数量的85%和平均训练时间每历元的78%，并增加了平均帧的F1分数和减少的平均出错率分别为4.6%和3.8%。
2020-02-02 cs.LG cs.SD eess.AS
On the Long-Term Memory of Deep Recurrent Networks
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
现代递归神经网络（RNN）在涉及序列数据的学习任务上取得空前成功的一个关键属性是它们能够对复杂的长期时间依赖性进行建模。然而，缺乏对RNN长期记忆能力的一个完善的衡量标准，因此对深度对其在整个时间内关联数据的能力的影响的正式理解是有限的。具体来说，卷积网络上现有的深度效率结果不足以解释深度RNN在不同长度数据上的成功。为了解决这个问题，我们引入了一个衡量网络支持跨时间信息流的能力的指标，称为起止分离秩，它反映了递归网络实现的函数与输入序列的开始和结束之间没有依赖关系的距离。我们证明了深经常性网络支持的起始-结束分离秩组合高于浅层次网络。因此，我们确定深度在递归网络建模长期依赖关系的能力方面带来了压倒性的优势，并提供了量化这一关键属性的范例，该属性可以很容易地扩展到其他感兴趣的RNN架构，例如LSTM网络的变体。我们通过考虑一类被称为递归算术电路的递归网络来获得我们的结果，这些递归网络通过乘法积分运算将隐藏状态与输入合并，并在常见的RNN上实证证明了所讨论的现象。最后，我们使用量子张量网络的工具来获得有关递归网络深度带来的复杂性的额外图形见解。
2018-06-06 cs.LG cs.NE
Local Vertex Colouring Graph Neural Networks
School of Computing, Australian National University（澳大利亚国立大学计算机学院）；Data61, CSIRO（联邦科学与工业研究组织Data61）；POSTECH（浦项科技大学）
针对现有提升图神经网络表达能力的方法存在效率低或适用范围受限的问题，本研究从图搜索角度提出局部顶点着色方案，构建基于两种搜索策略的新型GNN，实现表达能力随搜索邻域半径层级提升，且可高效计算。
2024-03-10 cs.LG
How to Construct Deep Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；Aalto University School of Science（阿尔托大学理学院）
在本文中，我们探索了将递归神经网络（RNN）扩展为\textit{deep} RNN的不同方法。首先，我们认为RNN中的深度概念并不像前馈神经网络中那样清晰。然而，通过仔细分析和理解RNN的架构，我们发现RNN的三个点可以更深入：（1）输入到隐藏函数，（2）隐藏到隐藏转换和（3）隐藏到输出函数。基于这一观察，我们提出了两种新的深度RNN架构，它们与早期堆叠多个递归层以构建深度RNN的尝试正交（Schmidhuber，1992; El Hihi和Bengio，1996）。我们使用基于神经运算符的新框架对这些深度RNN进行了另一种解释。在复调音乐预测和语言建模的任务上，对所提出的深度RNN进行了经验评估。实验结果支持了我们的观点，即所提出的深度RNN受益于深度，并且优于传统的浅RNN。
2014-04-24 cs.LG cs.NE stat.ML
Deep ReLU Networks Have Surprisingly Few Activation Patterns
Facebook AI Research（Facebook人工智能研究院）；Texas A&M University（得克萨斯农工大学）；University of Pennsylvania（宾夕法尼亚大学）
深度网络的成功部分归功于它们的表达能力：每个参数，深度网络可以近似比浅层网络更丰富的函数类。在ReLU网络中，激活模式的数量是表达能力的一个衡量标准;最大模式数量随着深度呈指数增长。然而，最近的研究表明，深度网络的实际表达能力--它们可以学习而不是表达的功能--往往远远没有达到理论上的最大值。在本文中，我们证明了ReLU网络在初始化时激活模式的平均数量受提升到输入维度的神经元总数的限制。我们的经验表明，这个界限，这是独立的深度，是紧在初始化和训练过程中，即使在记忆任务，应该最大限度地提高激活模式的数量。我们的工作表明，实现深度网络的完全表达能力在实践中可能是不可能的，至少用目前的方法是这样。
2019-10-20 cs.LG math.ST stat.ML
Optimization Landscape and Expressivity of Deep CNNs
Saarland University（萨尔大学）；University of Tübingen（图宾根大学）
我们分析了具有共享权重和最大池化层的实用深度卷积神经网络（CNN）的损失情况和表现力。我们表明，这样的CNN在“宽”层产生线性独立的特征，该层具有比训练样本数量更多的神经元。该条件例如对于VGG网络成立。此外，我们为这种宽CNN提供了零训练误差的全局最小值的充分必要条件。对于宽层之后是全连接层的情况，我们证明了经验损失的几乎每个临界点都是具有零训练误差的全局最小值。我们的分析表明，深度和宽度在深度学习中都非常重要。虽然深度带来了更强的代表性，并允许网络学习高级特征，但宽度平滑了损失函数的优化前景，因为足够宽的网络具有表现良好的损失表面，几乎没有不良的局部最小值。
2018-06-06 cs.AI cs.CV cs.LG
Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations
MILA, Université de Montréal（蒙特利尔大学 MILA）；École Polytechnique de Montréal（蒙特利尔理工学院）
我们提出了zoneout，一种正则化RNN的新方法。在每一个时间步，zoneout随机数强制一些隐藏的单位保持它们以前的值。与dropout一样，zoneout使用随机噪声来训练伪集成，从而提高泛化能力。但是通过保留而不是丢弃隐藏单元，梯度信息和状态信息更容易在时间上传播，就像在前馈随机深度网络中一样。我们对各种RNN正则化器进行了实证调查，发现zoneout在任务中提供了显着的性能改进。我们在Penn Treebank和Text8数据集上使用相对简单的模型在字符和单词级别的语言建模中取得了有竞争力的结果，并结合经常性的批量归一化在排列顺序MNIST上产生了最先进的结果。
2017-09-22 cs.CL cs.LG cs.NE
Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation
Harvard University（哈佛大学）
本研究探讨了 ReLU 神经网络逼近多元单项式所需神经元数量，证明了浅层网络逼近乘积函数存在指数下界，揭示了网络表达能力更依赖于深度而非整体复杂度。
2023-05-16 cs.LG stat.ML
Exponential expressivity in deep neural networks through transient chaos
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）；Cornell University（康奈尔大学）
我们结合黎曼几何和高维混沌的平均场理论，研究了具有随机权重的一般深层神经网络中信号传播的性质。我们的研究结果揭示了一个有序到混沌的表达性相变，在混沌阶段的网络计算非线性函数，其整体曲率随深度而不是宽度呈指数增长。我们证明了这类通用的深随机函数不能有效地计算任何浅网络，超越以前的工作限于分析单一的功能。此外，我们形式化并定量地证明了长期以来的理论，即深度网络可以将输入空间中的高度弯曲流形分解为隐藏空间中的平坦流形。我们对深度网络表达能力的理论分析广泛适用于任意非线性，并为之前关于深度函数几何的抽象概念提供了定量基础。
2016-06-17 cond-mat.dis-nn cs.LG stat.ML
Post-LayerNorm Is Back: Stable, ExpressivE, and Deep
ByteDance Seed（字节跳动种子）
Keel通过采用Highway风格连接的Post-LN架构，在极端深度下实现稳定训练，提升LLM的表达能力和扩展性。
2026-01-30 cs.CL cs.LG
The WidthWall: A Strict Expressivity Hierarchy for Hypergraph Neural Networks
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）；King Abdulaziz City for Science and Technology（国王阿卜杜勒阿齐兹科技城）；HUMAIN
本文研究超图神经网络的表达能力，通过超图同构密度构建严格层级，揭示超树宽度限制下的表达性边界，并验证了密度感知模型的有效性。
2026-05-13 cs.AI cs.LG
Mixture of Scope Experts at Test: Generalizing Deeper Graph Neural Networks with Shallow Variants
University of Southern California（南加州大学）；DEVCOM ARL Army Research Office（DEVCOM ARL陆军研究办公室）
针对异质性图中深层GNN泛化偏好随节点同质性水平变化的问题，提出测试时范围专家混合（Moscat）方法，通过结合不同深度GNN的优势，在保持表达能力的同时显著提升多种GNN在广泛数据集上的准确率。
2025-11-12 cs.LG cs.SI
A lattice-based approach to the expressivity of deep ReLU neural networks
Telecom ParisTech（巴黎电信学院）；Mitsubishi Electric R&D Centre Europe（三菱电机欧洲研发中心）；Texas A&M University（德克萨斯农工大学）
我们提出了新的家庭连续分段线性（CPWL）的功能在Rn有一些仿射片指数增长的$n$。我们证明，这些函数可以看作是Telgarsky在2016年使用的三角波函数的高维推广。我们证明了它们可以通过在空间维度上具有二次深度和线性宽度的ReLU网络来计算。我们还调查了这些函数的逼近误差的浅网络，并证明了分离的结果。我们的函数和其他构造之间的主要区别在于它们的实际意义：它们出现在信道编码的范围内。因此，计算这样的函数相当于执行解码操作。
2020-01-17 cs.IT cs.LG math.IT
Regularization and nonlinearities for neural language models: when are they needed?
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究组）；University College London（伦敦大学学院）
基于递归神经网络（RNN）的神经语言模型（LM）是一些最成功的单词和字符级LM。为什么它们工作得这么好，特别是比线性神经LM更好？可能的解释是RNN具有隐含的更好的正则化，或者RNN由于其非线性而具有更高的存储模式的能力，或者两者兼而有之。在这里，我们认为第一种解释是在训练数据很少的情况下，第二种解释是在大量文本数据的情况下。我们在流行的小型Penn数据集上展示了最先进的性能，当RNN LM被正则化并随机退出时。尽管如此，我们从一个简化的、表达能力更低的线性RNN模型中表现出更好的性能，该模型在递归矩阵中没有非对角项。我们称这种模型为脉冲响应LM（IRLM）。使用随机丢弃、列归一化和退火学习率，IRLM开发出的神经元可以在过去保持多达50个单词的记忆，并在Penn数据集上实现102.5的困惑度。然而，在两个大型数据集上，相同的正则化方法对于两个模型都是不成功的，RNN的表达能力允许它分别超过IRLM 10%和20%的困惑。尽管存在困惑差距，但IRLM在微软研究句子完成（MRSC）任务中的表现仍然优于RNN。我们开发了一个稍微修改的IRLM，将长上下文单元（LCU）从短上下文单元中分离出来，并表明LCU单独在MRSC任务上实现了60.8%的最先进性能。我们的分析表明，神经LM的一个富有成效的研究方向在于开发更容易访问的内部表示，并建议一个非常高的动量项的优化制度，有效地训练这样的模型…
2013-06-20 cs.LG stat.ML
Efficient recurrent architectures through activity sparsity and sparse back-propagation through time
Institute for Neural Computation, Ruhr University Bochum（波鸿鲁尔大学神经计算研究所）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；Faculty of Electrical and Computer Engineering, Technische Universität Dresden（德累斯顿工业大学电气与计算机工程学院）
递归神经网络（RNN）非常适合解决资源受限系统中的序列任务，因为它们的表达能力和低计算要求。然而，仍然需要弥合RNN在效率和性能方面的能力与实际应用需求之间的差距。在每个时间步将所有神经元的激活传播到每个连接的神经元所产生的存储器和计算需求，以及激活的顺序依赖性，导致训练和使用RNN的效率低下。我们提出了一种受生物神经元动力学启发的解决方案，使RNN单元之间的通信变得稀疏和离散。这使得具有时间反向传播（BPTT）的反向传递在计算上也是稀疏和高效的。我们的模型基于门控递归单元（GRU），将其扩展为发出离散事件的单元，用于由阈值触发的通信，以便在没有事件的情况下没有信息被传达给其他单元。我们从理论上证明了单元之间的通信，以及向前和向后传递所需的计算，与网络中的事件数量成比例。我们的模型在不影响任务性能的情况下实现了效率，与现实世界任务（包括语言建模）中最先进的递归网络模型相比，表现出了竞争力。动态活动稀疏机制也使我们的模型非常适合新的节能神经形态硬件。代码可在https://github.com/KhaleelKhan/EvNN/上获得。
2023-03-09 cs.AI cs.LG cs.NE
Expressivity of ReLU-Networks under Convex Relaxations
ETH Zurich（苏黎世联邦理工学院）
该研究针对凸松弛与标准神经网络的精度差距问题，首次深入分析常用凸松弛下ReLU网络的表达能力，发现先进松弛可扩大可精确分析的函数类与解空间，但最精确的单神经元松弛仍无法表达多变量凸单调CPWL函数。
2023-11-07 cs.AI cs.LG
Structural Correspondence and Universal Approximation in Diagonal plus Low-Rank Neural Networks
Department of Industrial Engineering & Operations Research（工业工程与运筹学系）
本文研究了严格限制在低秩流形上的神经网络的极限，提出结构对应框架，证明在低秩层中加入少量稀疏对角元素即可实现通用逼近，并展示乘法深度优于加法宽度的参数-表达性比例。
2026-05-07 cs.LG
On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP（理化学研究所人工智能研究中心）；École Normale Supérieure Paris-Saclay（巴黎-萨克雷高等师范学校）
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性（例如深度优于宽度）非常相关。然而，在比较不同网络架构的表现力时，它似乎是有限的。当考虑置换不变网络时，由于线性区域之间的对称冗余，这种缺乏变得特别突出。为了解决这个问题，我们提出了一个细化的定义分段线性函数的复杂性：而不是直接计算线性区域的数量，我们首先引入一个等价关系的线性函数组成分段线性函数，然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型，与经典度量一致，并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
Better Neural Network Expressivity: Subdividing the Simplex
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；University of Technology Nuremberg（纽伦堡技术大学）；Department of Mathematics, Technion--IIT（技术学院-理工学院数学系）
本文通过证明ReLU神经网络的表达性上限，推翻了原有猜想，并展示了如何用更少的隐藏层计算最大函数。
2026-02-19 cs.DM cs.LG cs.NE
The logic of rational graph neural networks
Johns Hopkins University（约翰斯·霍普金斯大学）
该研究证明部分深度3的GC2查询无法被带任意有理激活函数的GNN表达，解答了开放问题，还提出一阶逻辑有理由片段RGC2并证明有理GNN可一致表达其查询。
2024-08-13 cs.LG
Deep Echo State Network (DeepESN): A Brief Survey
Department of Computer Science, University of Pisa（比萨大学计算机科学系）
深度递归神经网络（RNN）的研究，特别是深度储备池计算（RC）的研究，在神经网络界正获得越来越多的研究关注。最近推出的深度回声状态网络（DeepESN）模型为设计用于时态数据的深度神经网络开辟了一条非常有效的方法。与此同时，对DeepESN的研究揭示了由递归层的分层组成所开发的状态动态的内在属性，即RNN架构设计中的深度偏差。本文总结了DeepESN的开发、分析和应用方面的进展。
2020-09-25 cs.AI cs.LG stat.ML
Highway State Gating for Recurrent Highway Networks: improving information flow through time
Ben-Gurion University（本-古里安大学）
递归神经网络（RNN）在顺序学习领域发挥着重要作用，并且在许多基准测试中优于传统算法。训练深度RNN仍然是一个挑战，大多数最先进的模型都具有2-4层的过渡深度。为了解决这一问题，引入了经常性公路网。这些已经在使用10层深度的一些基准测试中实现了最先进的性能。然而，这种架构的性能受到瓶颈的影响，并且当尝试添加更多层时，性能不再改善。在这项工作中，我们分析了原因，并假设主要来源是信息流经时间的方式。我们介绍了一种新颖的和简单的变化的RHN细胞，称为高速公路状态门控（HSG），它允许添加更多的层，同时继续提高性能。通过对状态使用门控机制，我们允许网络“选择”是直接通过时间传递信息，还是通过门控传递信息。这种机制也允许梯度直接通过时间反向传播，因此，收敛速度略快。我们使用Penn Treebank（PTB）数据集作为经验概念证明的平台。实证结果表明，由于公路状态门控的改善是为所有的深度，随着深度的增加，改善也增加。
2018-05-23 cs.AI cs.LG stat.ML
A Comprehensive Study of Deep Bidirectional LSTM RNNs for Acoustic Modeling in Speech Recognition
RWTH Aachen University（亚琛工业大学）
我们对基于深度双向长短期记忆（LSTM）递归神经网络（RNN）的自动语音识别（ASR）声学模型进行了全面研究。我们研究的效果的大小和深度和训练模型多达8层。我们研究了训练方面，并研究了优化方法的不同变体，如dropout，截断反向传播，不同的正则化技术，如dropout和$L_2$正则化，以及不同的梯度裁剪变体。实验分析的主要部分是在Quaero语料库上进行的。还在Switchboard语料库上进行了额外的实验。与Quaero任务上的最佳前馈神经网络（FFNN）基线相比，我们最好的LSTM模型在单词出错率方面有超过14%的相对改善。在这项任务中，我们使用8层双向LSTM获得了最佳结果，并且我们证明了具有逐层构造的预训练方案有助于深度LSTM。最后，我们比较了许多实验的训练计算时间与识别性能的关系。所有实验都是使用RETURNN（RWTH通用递归神经网络的可扩展训练框架）和RASR（RWTH ASR工具包）完成的。
2017-03-29 cs.CL cs.LG cs.NE
Tackling Over-Smoothing for General Graph Convolutional Networks
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
增加GCN的深度，预计将允许更多的表现力，招致性能损害，特别是对节点分类。其主要原因在于过度平滑。过度平滑的问题将GCN的输出推向包含节点之间有限的可区分信息的空间，导致表达性差。已经提出了一些改进深度GCN架构的工作，但理论上仍然不知道这些改进是否能够减轻过度平滑。在本文中，我们首先从理论上分析了一般的GCN如何随着深度的增加而起作用，包括一般的GCN，带偏差的GCN，ResGCN和APPNP。我们发现，所有这些模型的特点是一个普遍的过程：所有的节点收敛到一个长方体。基于这个定理，我们提出了DropEdge，通过在每个训练时期随机删除一定数量的边缘来减轻过度平滑。理论上，DropEdge既可以降低过平滑的收敛速度，也可以减轻维数坍塌造成的信息损失。在模拟数据集上的实验评估显示了不同GCN之间过平滑的差异。此外，在几个真实的基准测试上进行的大量实验表明，DropEdge在各种浅层和深层GCN上都能持续提高性能。
2022-07-09 cs.LG stat.ML
On the Expressive Power of Deep Neural Networks
Cornell University（康奈尔大学）；Google Brain（谷歌大脑）；Stanford University（斯坦福大学）
我们提出了一种新的方法来解决神经网络的表达性问题，该方法旨在描述神经网络家族的结构特性如何影响它能够计算的函数。我们的方法基于一组相互关联的表达性度量，并通过新颖的轨迹长度概念统一起来，该概念衡量了网络的输出如何随着输入沿一维路径扫描而变化。我们的发现可以总结如下：（1）计算函数的复杂性随深度呈指数增长。(2)所有权重都不相等：训练过的网络对其较低（初始）层权重更敏感。(3)对轨迹长度进行正则化（轨迹正则化）是批量归一化的一种更简单的替代方法，具有相同的性能。
2017-06-18 cs.AI cs.LG stat.ML
Early Improving Recurrent Elastic Highway Network
KAIST（韩国科学技术院）
为了模拟序列数据中的时变非线性时间动态，研究了一种能够改变和调整输入间隔之间的递归深度的递归网络。递归深度扩展了几个中间隐藏状态单元，并在确定这些单元所涉及的权重参数动态计算。这篇论文背后的动机在于克服递归高速公路网络的缺陷并提高其性能，这是目前RNN的最前沿：1）确定RHN中用于不同任务的递归深度的适当数量是一个巨大的负担，仅仅将其设置为一个很大的数字在计算上是浪费的，可能会导致性能下降和高延迟。扩展自适应计算时间（ACT）的思想，使用弹性门，以整流指数递减函数的形式，以先前的隐藏状态和输入作为参数，所提出的模型能够为每个输入评估适当的递归深度。整流门控函数使得最重要的中间隐藏状态更新能够提前到来，从而提前实现显著的性能增益。2)从先前中间层的权重更新权重提供比跨所有中间递归层使用共享权重更丰富的表示。权值更新过程只是超网络基础思想的扩展。为了证实所提出的网络的有效性，我们进行了三个实验：对合成数据的回归，人类活动识别，以及对Penn Treebank数据集的语言建模。在所有三个实验中，所提出的网络表现出比其他最先进的递归网络更好的性能。
2017-08-14 cs.LG
Separation Power of Equivariant Neural Networks
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Oxford（牛津大学）；University of Venice（威尼斯大学）
本文研究了等变神经网络的分离能力，分析了架构和超参数对分离能力的影响，发现非多项式激活函数在表达能力上等价，深度在阈值后不再提升分离能力，而隐表示的块分解会影响分离能力。
2026-06-04 cs.AI cs.LG
SGD Learns the Conjugate Kernel Class of the Network
Google Brain（谷歌大脑）
我们表明，标准的随机梯度下降（SGD）算法是保证学习，在多项式时间，一个功能，是有竞争力的最佳功能在共轭核空间的网络，定义在Daniely，Frostig和辛格。结果适用于来自丰富架构家族的对数深度网络。据我们所知，这是第一个多项式时间保证的标准神经网络学习算法的网络深度超过两个。作为推论，对于$2$和$\log(n)$之间任何深度的神经网络，保证SGD在多项式时间内学习具有多项式有界系数的常次数多项式。同样，在足够大的网络上，SGD可以学习任何连续函数（而不是在多项式时间内），补充了经典的表达性结果。
2017-05-19 cs.DS cs.LG stat.ML
Some Super-approximation Rates of ReLU Neural Networks for Korobov Functions
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
本文研究ReLU神经网络对Korobov函数的逼近误差，推导出近最优的超逼近误差界，改进了经典误差界并展示了神经网络的表达能力不受维度灾难影响。
2026-03-05 cs.LG
