Nearly-tight bounds on linear regions of piecewise linear neural networks
Department of Electrical Engineering, Tsinghua University（清华大学电子工程系）
近年来，深度神经网络（DNN）的发展为人工智能开辟了一个崭新的时代。DNN被证明在解决非常复杂的问题方面非常出色，例如，视觉识别和文本理解，达到与人竞争甚至超越人的程度。尽管DNN取得了鼓舞人心的成功，但仍然缺乏彻底的理论分析来揭开其魔力的奥秘。DNN结构的设计主要取决于网络深度、神经元数量和激活方面的经验结果。最近发表的一些试图解释DNN的杰出作品已经建立了对其内部机制的初步了解。尽管如此，探索DNN如何运作的研究仍处于初始阶段，还有很大的改进空间。在本文中，我们扩展了关于线性区域边界的分段线性激活神经网络（PLNN）的研究。我们提出了（i）单层PLNN的线性区域的确切最大数量;（ii）多层PLNN的上限;以及（iii）整流器网络上线性区域的最大数量的更严格的上限。导出的边界也间接解释了为什么深层模型比浅层模型更强大，以及激活函数的非线性如何影响网络的表现力。
2018-12-26 cs.AI cs.LG stat.ML
Transformers are Expressive, But Are They Expressive Enough for Regression?
IIT Bombay（印度理工学院孟买分校）
本文通过理论证明和实验分析揭示 Transformer 难以逼近光滑函数、只能依赖分段常数近似，从而质疑其作为通用函数逼近器的能力，并呼吁更精细地理解其表达力。
2024-08-30 cs.LG stat.ML
On the Expressive Power of Mixture-of-Experts for Structured Complex Tasks
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；AI for Science Institute, Beijing, China（北京人工智能科学研究院）
本文研究了混合专家模型在结构复杂任务中的表达能力，证明了浅层和深层MoEs在低维性和稀疏性先验下能够高效近似复杂函数，并揭示了关键架构组件的作用。
2026-02-18 cs.LG stat.ML
Robust Basis Spline Decoupling for the Compression of Transformer Models
NUMA, Department of Computer Science, KU Leuven（NUMA计算机科学系，鲁文大学）
本文提出了一种基于B-样条的解耦框架，通过利用B-样条的局部支持和灵活的光滑性控制，改进了传统张量解耦方法，提高了数值稳定性和表达能力，实验表明该方法在保持竞争力精度的同时实现了显著的参数减少。
2026-05-11 cs.AI cs.LG
A Tropical Approach to Neural Networks with Piecewise Linear Activations
Cornell University（康奈尔大学）；National Technical University of Athens（雅典国立技术大学）
我们提出了一个新的，统一的方法，一些最近的发展与分段线性激活的神经网络的复杂性。我们将具有分段线性激活的神经网络层视为热带多项式，其推广了所谓的$(\max, +)$或热带代数中的多项式，可能具有实值指数。受（arXiv：1402.1869）中讨论的启发，这种方法使我们能够将具有ReLU或泄漏ReLU激活的层的线性区域上的上限细化为$\min\left\{ 2^m, \sum_{j=0}^n \binom{m}{j} \right\}$，其中$n, m$分别是输入和输出的数量。此外，我们恢复他们的上限maxout层。我们的工作遵循一个新的路径，完全在热带几何的镜头下，这是独立的改进报告（arXiv：1611.01491，arXiv：1711.02114）。最后，为了避免精确计数方法的计算开销，我们提出了一种使用随机抽样的线性区域有效计数的几何方法
2019-01-30 cs.LG stat.ML
Expressivity Saturation: Reduced Affine Region Usage Under Increasing Task Complexity
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Genoa（热那亚大学）；Nanjing University（南京大学）
本文研究了分段仿射神经网络中理论区域容量与训练后实际区域使用之间的差距，发现随着任务复杂度增加，训练后网络使用的仿射区域显著减少，称为表达性饱和，并分析了其对决策边界的影响。
2026-06-23 cs.LG
Depth-Bounds for Neural Networks via the Braid Arrangement
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；University of Technology Nuremberg（纽伦堡技术大学）；Freie Universität Berlin（柏林自由大学）；University of Twente（埃因霍温理工大学）
针对ReLU网络精确表示分段线性函数所需隐藏层数的问题，在辫子扇相容网络下证明最大函数需Ω(log log d)层，并给出5个数最大值需3层的组合证明，且改进maxout网络的上界。
2025-10-23 cs.DM cs.LG cs.NE
From Taylor Series to Fourier Synthesis: The Periodic Linear Unit
National Taiwan University（台湾大学）
针对现代神经网络依赖单调激活函数导致模型参数庞大的问题，本文提出周期线性单元（PLU）及排斥重参数化技术，仅需两个PLU神经元的极小MLP即可解决螺旋分类任务，实现参数效率指数级提升。
2025-08-26 cs.LG cs.NA cs.NE
Neural Networks and (Virtual) Extended Formulations
Georg Loho\ Universität Berlin \& University of Twente
通过将神经网络表示能力与多面体的扩展复杂度关联，证明单调或输入凸神经网络规模的下界，并引入虚拟扩展复杂度以推广到一般神经网络。
2026-05-28 cs.CC cs.DM cs.LG
Rational Neural Networks have Expressivity Advantages
Center for Applied Mathematics, Cornell University, United States（应用数学中心，康奈尔大学，美国）；Department of Mathematics, Cornell University, United States（数学系，康奈尔大学，美国）
本文证明可训练低次有理激活函数网络在表达性和参数效率上优于常见固定激活函数，理论上有指数级参数节省，实验验证其与标准架构兼容。
2026-06-25 cs.AI cs.LG cs.NA
Fast Jacobian-Vector Product for Deep Networks
Rice University（莱斯大学）
雅可比向量积（JVP）构成了深度网络（DN）中许多最新发展的支柱，其应用包括更快的约束优化，具有泛化保证的正则化以及对抗性示例敏感性评估。不幸的是，JVP对于真实世界的DN架构来说在计算上是昂贵的，并且需要使用自动微分来避免在改变DN架构时手动地适配JVP程序。我们提出了一种新的方法来快速计算任何DN的JVP，该DN采用连续分段仿射（例如，leaky-ReLU、max-pooling、maxout等）非线性我们表明，我们的技术是平均$2\times$速度比最快的替代$13$ DN架构和各种硬件。此外，我们的解决方案不需要自动微分，因此易于在软件中部署，只需要修改几行不依赖于DN架构的代码。
2021-04-01 cs.LG
Nonlinear Approximation and (Deep) ReLU Networks
本文关注的是深度神经网络的逼近和表达能力。这是一个活跃的研究领域，目前产生了许多有趣的论文。在文献中最常见的结果证明，神经网络近似函数与经典的线性近似方法，例如多项式或分段多项式在规定的分区近似相同的精度与经典的光滑。然而，依赖于n个参数的神经网络的近似是非线性近似的一种形式，因此应该与其他非线性方法（例如可变结样条或来自字典的n项近似）进行比较。神经网络在目标应用（如机器学习）中的性能表明，它们实际上比这些传统的非线性逼近方法具有更大的逼近能力。本文的主要结果证明了这一点。这是通过展示大类的功能，可以有效地捕获的神经网络，经典的非线性方法达不到的任务。本文有目的地将自己限制在研究ReLU网络对单变量函数的近似。可以设想对多个变量的函数和其他激活函数的许多推广。然而，即使在这里考虑的最简单的设置中，仍然缺乏完全量化神经网络的近似能力的理论。
2019-05-05 cs.LG
A comparison of deep networks with ReLU activation function and linear spline-type methods
Leiden University（莱顿大学）
深度神经网络（DNN）生成的函数空间比浅网络丰富得多。由于浅网络诱导的函数空间有几个近似理论的缺点，这并不一定解释了深网络的成功。在这篇文章中，我们采取了另一种方法，将DNN与ReLU激活函数的表达能力与分段线性样条方法进行比较。我们发现，MARS（多元自适应回归样条）是不适当的学习DNN的意义上，对于任何给定的功能，可以表示为一个功能的MARS与$M$参数存在一个多层神经网络与$O(M \log (M/\varepsilon))$参数，近似这个功能，以超范数误差$\varepsilon.$我们显示了类似的结果扩展相对于Faber-Schauder系统。在此基础上，我们推导出风险比较不等式，约束的统计风险拟合的神经网络基于样条函数的方法。这表明深度网络的性能比所考虑的样条方法更好或仅略差。给出了函数逼近的构造性证明。
2018-09-24 cs.LG stat.ME stat.ML
Bounding and Counting Linear Regions of Deep Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；The University of Utah（犹他大学）
我们研究了表示分段线性（PWL）函数的深度神经网络（DNN）的复杂性。特别是，我们研究了由DNN表示的PWL函数在理论和经验上可以达到的线性区域（即块）的数量。我们提出了（i）整流器网络上线性区域的最大数量的更严格的上限和下限，这对于一维输入是精确的;（ii）多层maxout网络的第一个上限;以及（iii）通过用混合整数线性公式对DNN建模来执行精确枚举或区域数量计数的第一种方法。这些边界来自于利用定义每个线性区域的空间的维度。结果还表明，一个深整流器网络只能有更多的线性区域比每个浅对应相同数量的神经元，如果该数量超过了输入的维数。
2018-09-16 cs.AI cs.LG cs.NE
An interpretable neural network model through piecewise linear approximation
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）；Chinese Academy of Sciences（中国科学院）；The University of Arizona（亚利桑那大学）
大多数现有的可解释方法以事后方式解释黑盒模型，其使用更简单的模型或数据分析技术来解释模型学习后的预测。然而，他们（a）可能会在不同的方法和数据样本下对相同的预测得出相互矛盾的解释，（b）专注于使用更简单的模型来提供更高的描述准确性，而牺牲预测准确性。为了解决这些问题，我们提出了一个混合解释模型，结合了分段线性组件和非线性组件。第一部分通过分段线性近似来描述显式特征贡献，以增加模型的表达能力。另一个组件使用多层感知器来捕获特征交互和隐式非线性，并提高预测性能。与事后方法不同的是，一旦模型以特征形状的形式学习，就可以获得可解释性。我们还提供了一个变体来探索特征之间的高阶交互，以证明所提出的模型是灵活的适应。实验表明，该模型可以通过描述特征形状，同时保持最先进的准确性，实现良好的可解释性。
2020-01-20 cs.AI cs.LG stat.ML
Neural Network-Based Piecewise Survival Models
Linköping University（林雪平大学）
本文提出了一族基于神经网络（Neural Network）的分段生存模型（Piecewise Survival Models），通过分段定义风险和密度函数扩展了标准模型，在模拟数据上表现优异且计算成本更低。
2024-03-27 cs.LG cs.SY eess.SY
CLARITree: Cholesky and Lookahead Accelerations for Regression with Interpretable Piecewise Linear Trees
Department of Computer Science, Duke University, Durham, USA（杜克大学计算机科学系，美国达勒姆）；Department of Computer Science, University of British Columbia, Vancouver, Canada（不列颠哥伦比亚大学计算机科学系，加拿大温哥华）
提出一种结合前瞻搜索和秩一Cholesky更新的算法，用于构建近最优稀疏分段线性回归树，在计算效率、预测精度和稀疏性之间取得良好平衡。
2026-06-12 cs.LG
On the Optimal Expressive Power of ReLU DNNs and Its Application in Approximation with Kolmogorov Superposition Theorem
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文证明ReLU深度神经网络可用L层N神经元表示O(N^2L)段连续分段线性函数，并通过打散能力证明该构造参数最优，同时借助Kolmogorov叠加定理提升了高维连续函数的逼近速率。
2023-08-10 cs.LG cs.NA math.NA
Scalable Verification of Neural Control Barrier Functions Using Linear Bound Propagation
Department of Computer Science University of Oxford（牛津大学计算机科学系）；St Hugh’s College University of Oxford（牛津大学圣希利学院）；Delft Center for Systems and Control TU Delft（代尔夫特理工大学系统与控制中心）；Dep. of Computer Science & Inst. for Data Science in Mech. Eng RWTH Aachen University（亚琛工业大学计算机科学系及机械工程数据科学研究所）；AI4I Italy（意大利AI4I）
本文提出一种基于线性边界传播的神经控制屏障函数验证方法，通过计算梯度边界和McCormick松弛，实现对神经网络作为控制屏障函数的有效验证，适用于任意控制-affine系统和多种非线性激活函数。
2026-04-14 cs.LG cs.RO cs.SY
Joint Optimization of Piecewise Linear Ensembles
University of Michigan（密歇根大学）
本文提出JOPLEn方法，通过在现有树集成模型的所有叶节点上联合拟合分段线性模型并引入多种惩罚项，有效提升了非线性预测性能，并在153个数据集上验证了其优于现有树集成增强方法。
2024-08-29 cs.LG
Region Seeding via Pre-Activation Regularization: A Geometric View of Piecewise Affine Neural Networks
AI for Good Istituto Italiano di Tecnologia, Genoa, Italy DITEN University of Genoa, Genoa, Italy（AI for Good 意大利理工学院，热那亚，意大利 DITEN 热那亚大学，热那亚，意大利）
本文提出一种区域播种正则化方法，通过预激活正则化在优化早期增加仿射区域数量，提升模型在数据相关区域的性能，实验表明其在玩具数据集和ImageNet-1k上均有效。
2026-05-09 cs.LG
Constraining the outputs of ReLU neural networks
University of California, Los Angeles（加州大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）
通过引入与ReLU网络相关的代数簇，利用激活区域内的秩约束推导多项式方程，刻画网络可表示的函数，并研究簇达到预期维度的条件。
2026-06-16 cs.LG math.AG stat.ML
On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP（理化学研究所人工智能研究中心）；École Normale Supérieure Paris-Saclay（巴黎-萨克雷高等师范学校）
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性（例如深度优于宽度）非常相关。然而，在比较不同网络架构的表现力时，它似乎是有限的。当考虑置换不变网络时，由于线性区域之间的对称冗余，这种缺乏变得特别突出。为了解决这个问题，我们提出了一个细化的定义分段线性函数的复杂性：而不是直接计算线性区域的数量，我们首先引入一个等价关系的线性函数组成分段线性函数，然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型，与经典度量一致，并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
On transversality of bent hyperplane arrangements and the topological expressiveness of ReLU neural networks
Boston College（波士顿学院）
设F：R^n -> R是一个前馈ReLU神经网络。众所周知，对于任何参数的选择，F是连续的和分段（仿射）线性的。我们为系统研究F的体系结构如何影响其可能的二元分类任务决策区域的几何和拓扑奠定了一些基础。遵循微分拓扑中光滑函数的经典进展，我们首先定义了通用的横向ReLU神经网络的概念，并证明几乎所有的ReLU网络都是通用的和横向的。然后，我们定义了一个部分定向的线性1-复域的F和确定的属性，这个复杂的决策区域的有界连通分量的存在产生的障碍。我们使用这个障碍来证明一个通用的，横向的ReLU网络F：R^n -> R的决策区域具有一个维度为（n + 1）的单个隐藏层，可以有不超过一个有界连通分量。
2021-12-02 cs.CG cs.LG math.CO
The Evolution of the Interplay Between Input Distributions and Linear Regions in Networks
Nanjing University（南京大学）
该研究针对ReLU深度神经网络表达能力的衡量问题，统计线性凸区域数量，证明一维输入存在神经元最小阈值，发现复杂输入削弱线性区域表达能力，还揭示决策边界迭代细化过程，为网络优化提供启发。
2023-11-07 cs.AI cs.LG
Approximating Lipschitz continuous functions with GroupSort neural networks
Criteo（Criteo公司）；Sorbonne Université（索邦大学）
对抗性攻击和Wasserstein GANs的最新进展提倡使用具有受限Lipschitz常数的神经网络。出于这些观察，我们研究了最近推出的GroupSort神经网络，限制的权重，并作出理论上的一步，更好地了解他们的表达能力。我们特别展示了这些网络如何表示任何Lipschitz连续分段线性函数。我们还证明了它们非常适合于近似Lipschitz连续函数，并且在深度和大小上都具有上界。总之，GroupSort网络与更标准的ReLU网络相比的效率在一组合成实验中得到了说明。
2021-02-08 cs.LG stat.ML
Neural network realization of binary refinement iterates via a two-chart atlas selector
McGill University（麦吉尔大学）；National University of Mongolia（蒙古国立大学）；Mongolian Academy of Sciences（蒙古科学院）
本文针对二元细化迭代的神经网络实现问题，提出双图册选择器构造，通过双坐标系切换解决不连续与连续映射的矛盾，实现ReLU网络对相关函数的精确表达。
2026-08-05 cs.LG cs.NA math.NA
Expressivity of ReLU-Networks under Convex Relaxations
ETH Zurich（苏黎世联邦理工学院）
该研究针对凸松弛与标准神经网络的精度差距问题，首次深入分析常用凸松弛下ReLU网络的表达能力，发现先进松弛可扩大可精确分析的函数类与解空间，但最精确的单神经元松弛仍无法表达多变量凸单调CPWL函数。
2023-11-07 cs.AI cs.LG
Lower and Upper Bounds for Numbers of Linear Regions of Graph Convolutional Networks
Wuhan University（武汉大学）；Shanghai Jiao Tong University（上海交通大学）；University of New South Wales（新南威尔士大学）；Harbin Institute of Technology（哈尔滨工业大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
随着图神经网络在过去五年中的成功应用，对GNN表达能力的研究引起了人们的广泛关注。线性区域的数量被认为是衡量具有分段线性激活的神经网络表达能力的一个很好的指标。本文给出了经典图卷积网络在单层和多层情况下线性区域数目的估计。特别是，我们得到了一个最佳的上界的最大数量的线性区域的一层GCN，和多层GCN的上限和下限。模拟估计表明，真正的线性区域的最大数量可能更接近我们估计的下限。这些结果意味着多层GCN的线性区域的数量一般是指数大于每个参数的单层GCN。这表明更深的GCN比浅GCN具有更多的表现力。
2022-06-01 cs.AI cs.LG stat.ML
Empirical Bounds on Linear Regions of Deep Rectifier Networks
Bucknell University（巴克内尔大学）；The University of Utah（犹他大学）
我们可以通过线性区域的数量来比较使用整流线性单元（ReLU）的神经网络的表达能力，线性区域的数量反映了由这种网络建模的分段线性函数的数量。然而，枚举这些区域是禁止的，并且已知的分析界限对于具有相同维度的网络是相同的。在这项工作中，我们通过基于训练网络特征和概率推理的经验边界来近似线性区域的数量。我们的第一个贡献是使用通用哈希函数对ReLU定义的激活模式进行采样的方法。该方法基于网络的混合线性规划（MILP）公式和MILP解集的概率下界算法（我们称之为MIPBound），该算法比精确计数快得多，并达到类似数量级的值。我们的第二个贡献是对线性区域的最大数量有一个更严格的基于激活的界限，这在具有窄层的网络中特别强。结合起来，这些边界产生了深度神经网络的线性区域数量的快速代理。
2019-12-14 cs.AI cs.LG math.OC
Modeling the AC Power Flow Equations with Optimally Compact Neural Networks: Application to Unit Commitment
Argonne National Laboratory（阿贡国家实验室）；Georgia Institute of Technology（佐治亚理工学院）
非线性潮流约束使得各种电力系统优化问题在计算上难以处理。然而，新兴的研究表明，非线性交流潮流方程可以成功地使用神经网络（NN）建模。这些神经网络可以精确地转换为混合线性规划（MILP），并嵌入到具有挑战性的优化问题中，从而用易于处理的分段线性近似代替许多应用中难以处理的非线性。然而，这样的方法遭受了表示NN所需的二进制变量数量的爆炸。因此，本文开发了一种用于训练“最优紧凑”NN的技术，即，一个可以表示具有足够高的精度的潮流方程，同时仍然保持易于处理的二进制变量的数量。我们表明，所得到的神经网络模型比DC和线性化潮流近似更有表现力，当嵌入一个具有挑战性的优化问题（即，AC单元委托问题）。
2021-10-28 cs.LG cs.SY eess.SY
A general approximation lower bound in $L^p$ norm, with applications to feed-forward neural networks
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；IRT Saint Exupéry（圣埃克苏佩里技术研究所）
我们研究了神经网络表达能力的基本限制。给定两个实值函数集合$F$，$G$，我们首先证明了对于任意$p \geq 1$和任意概率测度$μ$，$F$中的函数在$L^p(μ)$范数下如何被$G$中的函数逼近的一般下界.下限取决于$F$的包装数、$F$的范围和$G$的脂肪粉碎维度。然后，我们实例化的情况下，$G$对应于一个分段多项式前馈神经网络的约束，并详细描述了应用程序的两个集合$F$：H{<$}lder球和多元单调函数。除了将（已知或新的）上限匹配到对数因子之外，我们的下限还揭示了$L^p$范数或sup范数近似之间的相似性或差异，解决了DeVore等人的一个悬而未决的问题。（2021）。我们的证明策略不同于sup范数的情况，并使用了Mendelson（2002）的关键概率结果。
2022-12-20 cs.LG math.ST stat.ML
