Piecewise Linear Functions Representable with Infinite Width Shallow ReLU Neural Networks
Iowa State University(爱荷华州立大学)
本文通过测度映射方法证明:能用无限宽浅层ReLU神经网络表示的连续分段线性函数,必可用有限宽度浅层ReLU神经网络表示,从而证实了Ongie等人的猜想。
2023-07-25 cs.LG math.FA
Piecewise linear activations substantially shape the loss surfaces of neural networks
The University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学)
理解神经网络的损失面对于理解深度学习至关重要。本文介绍了如何分段线性激活函数基本上形成神经网络的损失面。我们首先证明了{ \it许多神经网络的损失面有无穷多个虚假的局部极小值},这些极小值被定义为比全局极小值具有更高经验风险的局部极小值。我们的研究结果表明,具有分段线性激活的网络具有充分研究的线性神经网络的实质性差异。这一结果适用于任何具有任意深度和任意分段线性激活函数(不包括线性函数)的神经网络,在实践中的大多数损失函数下。基本上,基本假设与输出层比任何隐藏层都窄的大多数实际情况一致。此外,具有分段线性激活的神经网络的损失面被不可微边界划分为多个光滑的多线性单元。所构造的伪局部极小值集中在一个单元格中作为谷:它们通过连续路径彼此连接,在该连续路径上经验风险是不变的。此外,对于一个隐藏层网络,我们证明了所有的局部极小在一个细胞构成一个等价类,他们集中在一个山谷,他们都是在细胞的全局极小。
2020-03-27 cs.LG stat.ML
Neural Piecewise-Constant Delay Differential Equations
Microsoft Research Asia(微软亚洲研究院)
近年来,连续深度神经网络(如神经常微分方程(ODE))引起了机器学习和数据科学界的极大兴趣,它在深度神经网络和动力系统之间架起了桥梁。在这篇文章中,我们介绍了一种新的连续深度神经网络,称为神经分段常数延迟微分方程(PCDDE)。在这里,不同于最近提出的神经延迟微分方程(DDE)的框架,我们将单个延迟转换为分段常数延迟。一方面,具有这种变换的神经PCDDE继承了神经DDE的通用逼近能力。另一方面,神经PCDDE利用来自多个先前时间步的信息的贡献,进一步提高建模能力而不增加网络维度。通过这样的推广,我们证明了神经PCDDE在一维分段常数延迟种群动力学和真实世界数据集(包括MNIST,CIFAR10和SVHN)上的表现确实优于现有的几种连续深度神经框架。
2022-01-04 cs.AI cs.LG math.DS
Piecewise-constant Neural ODEs
Oregon State University(俄勒冈州立大学)
神经网络是一种流行的工具,用于建模连续数据,但他们通常不把时间作为一个连续变量。神经常微分方程代表了一个重要的例外:它们用神经网络参数化隐藏状态的时间导数,然后在任意时间内积分。但是这些具有任意曲率的参数化可能难以集成,从而难以训练和评估。在本文中,我们建议对神经常微分方程进行分段常数近似来缓解这些问题。我们的模型可以通过欧拉积分进行精确积分,并且可以比可比的RNN和ODE-RNN模型少3-20倍的步骤生成自回归样本。我们评估我们的模型上的几个合成物理任务和规划任务的灵感来自台球游戏。我们发现它与基线方法的性能相匹配,同时需要更少的时间进行训练和评估。
2021-06-11 cs.AI cs.LG
Piecewise Strong Convexity of Neural Networks
University of Toronto(多伦多大学)
我们研究了具有ReLU非线性的前馈神经网络的损失面,并使用权重衰减进行正则化。我们证明了正则化的损失函数在一个重要的开集上是分段强凸的,在一定条件下,该开集包含其所有的全局极小点。这用于证明该集合中正则化损失函数的局部极小值是孤立的,并且该集合中的每个可微临界点都是局部极小值,部分解决了2015年学习理论会议(COLT)上给出的公开问题;我们的结果也被应用于线性神经网络以表明利用权重衰减正则化,在获得低于给定阈值的训练误差的标准球中不存在非零临界点。我们还包括一个实验部分,我们验证我们的理论工作,并表明正则化的损失函数几乎总是分段强凸时,仅限于随机梯度下降轨迹为三个标准的图像分类问题。
2019-12-09 cs.LG cs.NE
Neural Network Verification as Piecewise Linear Optimization: Formulations for the Composition of Staircase Functions
Rice University(莱斯大学);Google Research(谷歌研究院)
我们提出了一种技术,神经网络验证使用混合整数规划(MIP)配方。我们使用分段线性激活函数为网络中的每个神经元导出一个\emph{strong formulation}。此外,在一般情况下,这些公式可能需要指数数量的不等式,我们还推导出一个分离过程,在输入维的超线性时间运行。我们首先介绍并开发了我们在\emph{staircase}函数类上的技术,该技术概括了ReLU、二进制化和量化的激活函数。然后,我们使用楼梯激活函数的结果,得到一般分段线性激活函数的分离方法。从经验上讲,使用我们的强大的配方和分离技术,我们可以减少计算时间在精确的验证设置的基础上MIP和提高假阴性率依赖于松弛的MIP配方的不精确的验证。
2022-11-27 cs.LG math.OC
Trusting SVM for Piecewise Linear CNNs
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
提出了一种新的逐层优化算法,用于分段线性卷积神经网络(PL-CNNs)的学习目标,PL-CNNs是一大类卷积神经网络。具体来说,PL-CNN采用分段线性非线性,例如常用的ReLU和最大池,以及SVM分类器作为最后一层。我们的方法的关键观察是,对应于一个层的参数估计的问题可以制定为一个差分凸(DC)的程序,这恰好是一个潜在的结构化SVM。我们使用凹凸程序优化DC程序,这需要我们迭代地解决结构化SVM问题。这允许设计具有不需要任何调整的最优学习率的优化算法。使用MNIST,CIFAR和ImageNet数据集,我们证明了我们的方法总是比最先进的反向传播变体有所改进,并可扩展到大数据和大网络设置。
2017-03-06 cs.LG
On the power of graph neural networks and the role of the activation function
Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究图神经网络的表达能力,证明采用分段多项式激活的有界GNN无法区分特定深度2非同构有根树的根节点,而使用非分段多项式激活的单神经元感知机可实现该区分,揭示激活函数对GNN能力的关键影响。
2024-05-08 cs.LG
Equivariant neural networks and piecewise linear representation theory
The University of Sydney(悉尼大学)
本文探讨等变神经网络的结构,通过群表示论分解网络层,利用非线性激活函数构建分段线性映射,提出等变神经网络的过滤框架,扩展了傅里叶级数的应用。
2024-12-20 cs.LG math.GR math.RT
Piecewise Linear Units Improve Deep Neural Networks
Deakin University(迪肯大学)
激活函数是深度神经网络非线性的核心;函数的选择对训练的成功有很大影响。目前,许多从业者更喜欢整流线性单元(ReLU),因为它的简单性和可靠性,尽管它的缺点很少。虽然大多数以前提出的取代ReLU的函数都是手工设计的,但最近在训练过程中学习函数的工作已经显示出了有希望的结果。在本文中,我们提出了一个自适应分段线性激活函数,分段线性单元(PiLU),它可以独立学习的神经网络的每个维度。我们演示了如何PiLU是一个广义的整流器单元,并注意到它的相似之处,自适应分段线性单元,即自适应和分段线性。在30个实验的分布中,我们表明,对于相同的模型架构,超参数和预处理,PiLU显着优于ReLU:在CIFAR-10和CIFAR-100上分别减少了18.53%和13.13%的分类错误,神经元数量略有增加。进一步的工作应该致力于探索广义分段线性单元,以及验证这些结果在其他具有挑战性的领域和更大的问题。
2021-08-22 cs.AI cs.LG cs.NE
An Explicit Neural Network Construction for Piecewise Constant Function Approximation
The Ohio State University(俄亥俄州立大学)
我们提出了一个显式的前向神经网络(FNN)的结构,它提供了一个分段常数逼近多元函数。建议的模糊神经网络有两个隐藏层,其中的权重和阈值是明确定义的,不需要数值优化的训练。与大多数现有的显式FNN构造工作不同,所提出的FNN不依赖于多维张量结构。相反,它会根据目标函数的给定数据自动创建域的Voronoi细分,以及函数的分段常数近似。这使得该结构对于应用更实用。我们提出了理论分析和数值例子来证明其性质。
2018-08-22 cs.LG cs.NA cs.NE
A Tropical Approach to Neural Networks with Piecewise Linear Activations
Cornell University(康奈尔大学);National Technical University of Athens(雅典国立技术大学)
我们提出了一个新的,统一的方法,一些最近的发展与分段线性激活的神经网络的复杂性。我们将具有分段线性激活的神经网络层视为热带多项式,其推广了所谓的$(\max, +)$或热带代数中的多项式,可能具有实值指数。受(arXiv:1402.1869)中讨论的启发,这种方法使我们能够将具有ReLU或泄漏ReLU激活的层的线性区域上的上限细化为$\min\left\{ 2^m, \sum_{j=0}^n \binom{m}{j} \right\}$,其中$n, m$分别是输入和输出的数量。此外,我们恢复他们的上限maxout层。我们的工作遵循一个新的路径,完全在热带几何的镜头下,这是独立的改进报告(arXiv:1611.01491,arXiv:1711.02114)。最后,为了避免精确计数方法的计算开销,我们提出了一种使用随机抽样的线性区域有效计数的几何方法
2019-01-30 cs.LG stat.ML
Linear-Size Neural Network Representation of Piecewise Affine Functions in $\mathbb{R}^2$
Ulm University(乌尔姆大学)
针对二维连续分段仿射函数,本文证明含两个隐藏层、$O(p)$ 个神经元的 ReLU 网络即可表示具有 $p$ 个连通且可能非凸分段的函数,突破了以往凸分段设定。
2025-03-17 cs.LG cs.NE math.MG
Neural Network-Based Piecewise Survival Models
Linköping University(林雪平大学)
本文提出了一族基于神经网络(Neural Network)的分段生存模型(Piecewise Survival Models),通过分段定义风险和密度函数扩展了标准模型,在模拟数据上表现优异且计算成本更低。
2024-03-27 cs.LG cs.SY eess.SY
Training Neural Networks for Solving 1-D Optimal Piecewise Linear Approximation
BIOMIND
最近,深度学习的可解释性引起了广泛关注。已有大量的方法试图通过特征可视化、显著图、模型提取等方法来解释神经网络,但这些方法都难以揭示神经网络的内在特性。在这项工作中,我们研究了一维最优分段线性逼近(PWLA)问题,并将其与设计的神经网络,命名为格型神经网络(LNN)。我们提出了以下四个基本问题:(1)PWLA问题最优解的性质是什么?(2)LNN能收敛到全局最优吗?(3)LNN能收敛到局部最优吗?(4)LNN能解决PWLA问题吗?我们的主要贡献是提出了PWLA问题最优解的特征定理和求解PWLA问题最优解的LNN方法,并在近似任务上对所提出的LNN进行了评估,提出了一种改进LNN性能的经验方法。实验证明,我们的LNN方法是有竞争力的开始的最先进的方法。
2021-10-14 cs.LG cs.NE
Deep Learning for Prediction and Classifying the Dynamical behaviour of Piecewise Smooth Maps
School of Digital Sciences, Digital University Kerala(喀拉拉邦数字大学数字科学学院)
本文提出使用多种深度学习与机器学习模型,预测和分类分段光滑映射的动力学行为,包括边界碰撞分岔预测、规则与混沌行为分类及参数图重建。
2024-06-24 cs.LG nlin.CD
DeepPAMM: Deep Piecewise Exponential Additive Mixed Models for Complex Hazard Structures in Survival Analysis
LMU Munich(慕尼黑大学)
生存分析(SA)是一个活跃的研究领域,它关注事件发生时间的结果,在许多领域都很流行,特别是生物医学应用。尽管其重要性,SA仍然具有挑战性,由于小规模的数据集和复杂的结果分布,被截断和删失过程所掩盖。分段指数加法混合模型(PAMM)是解决许多这些挑战的模型类,但PAMM不适用于高维特征设置或非结构化或多模态数据的情况。我们通过提出DeepPAMM统一了现有的方法,DeepPAMM是一个多功能的深度学习框架,从统计的角度来看是有根据的,但具有足够的灵活性来建模复杂的危险结构。我们说明了DeepPAMM与其他机器学习方法在预测性能方面具有竞争力,同时通过基准实验和扩展的案例研究保持可解释性。
2022-02-12 cs.LG stat.ML
Multiplication-Free Transformer Training via Piecewise Affine Operations
EPFL(洛桑联邦理工学院)
本文提出用浮点数位表示相加的廉价分段仿射近似替代乘法,在视觉和语言任务上实现Transformer无乘法训练,并首次在包括前向传播、反向传播和优化器更新的整个训练过程中完全消除乘法运算。
2023-10-25 cs.LG
ReLU neural network approximation to piecewise constant functions
Purdue University(普渡大学);Department of Mathematics, Purdue University(普渡大学数学系);School of Mechanical Engineering, Purdue University(普渡大学机械工程学院)
本文研究ReLU神经网络逼近具有未知界面的分段常数函数,证明三层网络在界面可由超平面以精度ε逼近时足够精确,并对凸界面给出解析构造公式。
2024-10-21 cs.LG cs.NA math.FA
An Adaptive Deep RL Method for Non-Stationary Environments with Piecewise Stable Context
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);University of California, Berkeley(加州大学伯克利分校);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
将RL部署到现实世界应用中的关键挑战之一是适应未知环境上下文的变化,例如机器人任务中不断变化的地形和拥塞控制中波动的带宽。现有的作品适应未知的环境背景下,要么假设的背景是相同的,为整个情节或假设的背景变量是马尔可夫。然而,在许多现实世界的应用中,环境上下文通常保持稳定的一个随机的时间段,然后在一个插曲内突然和不可预测的方式发生变化,导致段结构,现有的作品未能解决。为了在实际应用中充分利用分段稳定上下文的分段结构,本文提出了一种\textit{\textbf{Se}gmented \textbf{C}ontext \textbf{B}elief \textbf{A}ugmented \textbf{D}eep~(SeCBAD)} RL方法。我们的方法可以联合推断的信念分布在潜在的上下文与后验段长度和执行更准确的信念上下文推断与当前上下文段内的观察数据。可以利用推断的信念上下文来增强状态,从而产生可以适应上下文中的突然变化的策略。我们的经验表明,SeCBAD可以准确地推断上下文段长度,并优于现有的方法在玩具网格世界环境和Mujuco任务与分段稳定的上下文。
2022-12-24 cs.LG
Post-Training Piecewise Linear Quantization for Deep Neural Networks
Samsung Semiconductor, Inc.(三星半导体有限公司);Microsoft(微软)
量化在资源有限的设备上深度神经网络的节能部署中起着重要作用。训练后量化是非常可取的,因为它不需要重新训练或访问完整的训练数据集。通过将神经网络从全精度转换为8位定点整数,建立了一种统一的后训练量化方案,取得了令人满意的结果。然而,当量化到较低的比特宽度时,它遭受显著的性能下降。在本文中,我们提出了一个分段线性量化(PWLQ)计划,使张量值,具有长尾巴的钟形分布的准确近似。我们的方法将整个量化范围分解为每个张量的非重叠区域,每个区域被分配相同数量的量化级别。通过最小化量化误差找到划分整个范围的最佳断点。实验结果表明,与现有的训练后量化方法相比,该方法在图像分类、语义分割和目标检测等方面具有更好的性能,且开销较小.
2020-03-18 cs.CV cs.LG
AffineLens: Capturing the Continuous Piecewise Affine Functions of Neural Networks
State Key Laboratory of Novel Software Technology School of Intelligence Science and Technology Nanjing University, Jiangsu, China(软件新技术国家重点实验室 智能科学与技术学院 南京大学 江苏 中国);AI for Good Istituto Italiano di Tecnologia, Genoa, Italy DITEN University of Genoa, Genoa, Italy(AI for Good 意大利技术研究院,热那亚,意大利 DITEN 热那亚大学,热那亚,意大利);State Key Laboratory of Novel Software Technology School of Artificial Intelligence Nanjing University, Jiangsu, China(软件新技术国家重点实验室 人工智能学院 南京大学 江苏 中国);AI for Good Istituto Italiano di Tecnologia, Genoa, Italy Department of Computer Science University of Verona, Verona, Italy(AI for Good 意大利技术研究院,热那亚,意大利 计算机科学系 热那亚大学,热那亚,意大利)
本文提出AffineLens框架,用于计算神经网络中分段仿射函数的超平面排列和多面体结构,通过可视化区域划分和决策边界,提供对神经网络表达性的深入分析。
2026-05-12 cs.LG
Developing Training Procedures for Piecewise-linear Spline Activation Functions in Neural Networks
Middlebury College(Middlebury学院)
本文提出并比较9种训练方法,研究参数化线性B样条激活函数在神经网络中的双重优化动态,实验显示相比ReLU模型,FNN误差率最多降低94%,CNN最多降低51%,但代价是训练复杂度和模型延迟增加。
2025-09-17 cs.AI cs.LG
The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models
Carnegie Mellon University(卡内基梅隆大学)
如今,用户对他们使用的模型的信任比以往任何时候都更加重要。随着机器学习模型受到越来越多的监管审查,并开始在高风险情况下看到更多的应用,解释我们的模型变得至关重要。具有ReLU激活函数的分段线性神经网络(PLNN)由于许多吸引人的特性而迅速成为非常受欢迎的模型;然而,它们在鲁棒性和解释方面仍然存在许多挑战。为此,我们引入了新的方法来简化和增加分段线性神经网络的分类任务的可解释性。我们的方法包括使用经过训练的深度网络来生成性能良好的单隐藏层网络,而无需进一步的随机训练,此外还使用一种算法将平面网络减少到更小,更可解释的大小,同时性能损失最小。在这些方法中,我们进行了初步的研究模型的性能,以及富国银行的家庭贷款数据集的案例研究,连同可视化模型解释。
2020-12-02 cs.AI cs.LG stat.ML
Region Seeding via Pre-Activation Regularization: A Geometric View of Piecewise Affine Neural Networks
AI for Good Istituto Italiano di Tecnologia, Genoa, Italy DITEN University of Genoa, Genoa, Italy(AI for Good 意大利理工学院,热那亚,意大利 DITEN 热那亚大学,热那亚,意大利)
本文提出一种区域播种正则化方法,通过预激活正则化在优化早期增加仿射区域数量,提升模型在数据相关区域的性能,实验表明其在玩具数据集和ImageNet-1k上均有效。
2026-05-09 cs.LG
Piecewise Constant Spectral Graph Neural Network
Université Paris-Saclay CentraleSupélec, Inria, France(巴黎-萨克雷大学中央超算研究所、法国国家信息与自动化技术研究院)
本文提出分段常数谱图神经网络PieCoN,通过结合常数谱滤波器与多项式滤波器并自适应划分频谱区间,解决低阶多项式滤波器谱表征能力不足的问题,在异配图数据集上表现尤为突出。
2025-05-07 cs.AI cs.LG
A Unified View of Piecewise Linear Neural Network Verification
University of Oxford(牛津大学);Deepmind;Alan Turing Institute(艾伦图灵研究所)
深度学习的成功及其在许多安全关键型应用中的潜在用途推动了对神经网络(NN)模型的形式化验证的研究。尽管学习过的NN模型被认为是黑箱,并且在理论上很难证明它们的属性,但研究人员已经成功地通过利用它们的分段线性结构并从形式化方法(如满意度模理论)中获得见解来验证了某些类别的模型。然而,这些方法仍然远远不能扩展到现实的神经网络。为了促进在这一关键领域取得进展,我们作出两项关键贡献。首先,我们提出了一个统一的框架,包括以前的方法。这种分析的结果在识别新的方法,结合了多种现有的方法的优势,实现了两个数量级的加速比以前的最先进的状态。第二,我们提出了一个新的数据集的基准,其中包括收集以前发布的测试用例。我们使用基准测试提供现有算法的第一个实验比较,并确定影响验证问题的硬度的因素。
2018-05-22 cs.AI cs.LG
Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation
Imperial College London(帝国理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校);Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);University of Limassol(利马索尔大学);Safe Intelligence
本文提出一种通过采样、线性近似与分支定界Lipschitz优化计算分段线性约束的方法,用于验证神经网络对图像几何变换的鲁棒性,获得了更紧的过近似,在MNIST和CIFAR10上比现有方法多解决高达32%的验证案例。
2024-09-21 cs.AI cs.CV cs.LG
Piecewise convexity of artificial neural networks
Stanford University(斯坦福大学)
尽管人工神经网络在计算机视觉和语音识别等应用中显示出巨大的前景,但在优化其参数方面仍然存在相当大的实际和理论困难。梯度下降方法在最小化这些非凸函数方面看似不合理的成功仍然知之甚少。在这项工作中,我们提供了一些理论保证网络分段仿射激活函数,这在最近几年已成为常态。我们证明了三个主要结果。首先,网络是作为输入数据的函数的分段凸的。其次,网络,被认为是一个函数的参数在一个单一的层,所有其他保持不变,再次分段凸。最后,网络作为其所有参数的函数是分段多凸的,是双凸性的推广。从这里我们描述了训练目标的局部极小值和稳定点,表明它们最小化了参数空间的某些子集。然后,我们分析了两种优化算法的性能多凸问题:梯度下降,和一种方法,反复解决了一些凸子问题。我们证明了必要的收敛条件的第一个算法和必要和充分条件的第二个,引入正则化的目标。最后,我们评论的剩余困难的全局优化问题。在平方误差目标下,我们证明了通过改变训练数据,单个整流器神经元在目标值和参数空间中都允许任意远的局部极小值。
2016-12-28 cs.AI cs.CV cs.LG
Deep Global-Connected Net With The Generalized Multi-Piecewise ReLU Activation in Deep Learning
University of Waterloo(滑铁卢大学)
近年来的研究表明,在计算机视觉领域,利用卷积神经网络的隐层神经元,结合精心设计的激活函数,可以获得更好的分类结果。本文首先介绍了一种新的深度学习架构,旨在减轻梯度消失问题,其中前隐层神经元可以直接与最后一个隐层连接,并馈送到最后一层进行分类。然后,我们设计了一个广义线性整流函数作为激活函数,可以通过训练的参数来逼近任意复杂的函数。我们将证明,我们的设计可以在一些对象识别和视频动作基准任务中实现类似的性能,在参数数量少得多和网络基础设施浅的情况下,这不仅在计算负担和内存使用方面有前途,而且也适用于低计算,低内存的移动场景。
2018-06-19 cs.CV cs.LG
A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes
Università di Milano(米兰大学);Gruppo Nazionale Calcolo Scientifico, INDAM(意大利国家数学物理应用研究所国家科学计算小组);Università di Pavia(帕维亚大学)
本文扩展基于奇异黎曼度量的神经网络几何框架,使其适用于卷积、残差和递归网络及 ReLU 等不可微激活函数,并通过图像分类与热力学数值实验验证。
2024-04-09 cs.LG math.DG
Continuous-Time Piecewise-Linear Recurrent Neural Networks
Department of Theoretical Neuroscience, Central Institute of Mental Health, Mannheim, Germany(理论神经科学系,心理健康中央研究所,曼海姆,德国);Faculty of Physics and Astronomy, Heidelberg University, Heidelberg, Germany(物理和天文学系,海德堡大学,海德堡,德国);Interdisciplinary Center for Scientific Computing, Heidelberg University(科学计算跨学科中心,海德堡大学);Hector Institute for Artificial Intelligence in Psychiatry, Central Institute of Mental Health, Mannheim, Germany(精神病学人工智能研究所,心理健康中央研究所,曼海姆,德国);Faculty of Mathematics and Computer Science, Heidelberg University, Heidelberg, Germany(数学和计算机科学系,海德堡大学,海德堡,德国)
本文提出连续时间分段线性递归神经网络(cPLRNNs),通过高效利用其分段线性结构,解决了动态系统重建中连续时间建模和非规则时间间隔数据处理的问题。
2026-08-07 cs.LG
On the Importance of Normalisation Layers in Deep Learning with Piecewise Linear Activation Units
ARC Centre of Excellence for Robotic Vision(ARC机器人视觉卓越中心);University of Adelaide(阿德莱德大学)
具有分段线性激活的深度前馈神经网络目前正在几个公共数据集中产生最先进的结果。深度学习模型和分段线性激活函数的组合允许使用大量专门用于相似输入示例分类的子网络来估计指数复杂函数。在训练过程中,这些子网络避免了隐式正则化方案的过拟合,因为它们必须与其他子网络共享参数。使用这个框架,我们做了一个实证观察,可以提高这些模型的性能。我们注意到,这些模型假设一个平衡的初始分布的数据点相对于域的分段线性激活函数。如果违反该假设,则分段线性激活单元可以退化为纯线性激活单元,这可能导致其学习复杂函数的能力显著降低。此外,随着模型层数的增加,这种不平衡的初始分布使模型病态。因此,我们建议将批量归一化单元引入具有分段线性激活的深度前馈神经网络中,这将推动这些激活单元的更平衡使用,其中激活函数的每个区域都使用相对较大比例的训练样本进行训练。此外,这种批量标准化促进了非常深度学习模型的预处理。我们表明,通过在网络模型中向网络引入maxout和批量归一化单元,可以产生比CIFAR-10,CIFAR-100,MNIST和SVHN数据集的当前最先进水平更好或相当的分类结果。
2015-11-01 cs.CV cs.LG cs.NE
Piecewise Deterministic Markov Processes for Bayesian Neural Networks
本文提出一种通用自适应稀疏方案,用于高效采样分段确定性马尔可夫过程,提升贝叶斯神经网络推断的计算效率和预测精度。
2026-04-06 cs.LG stat.ML stat.OT
Semi-Structured Deep Piecewise Exponential Models
LMU Munich(慕尼黑大学)
我们提出了一个多功能的生存分析框架,结合了统计学和深度学习的先进概念。所提出的框架是基于分段指数模型,从而支持各种生存任务,如竞争风险和多状态建模,并进一步允许估计随时间变化的影响和随时间变化的功能。为了在模型中包含多个数据源和高阶交互效应,我们将模型类嵌入到神经网络中,从而能够同时估计固有的可解释结构化回归输入以及深度神经网络组件,这些组件可能会处理其他非结构化数据源。通过使用该框架基于表格和3D点云数据预测阿尔茨海默病进展并将其应用于合成数据来提供概念证明。
2021-03-01 cs.AI cs.LG stat.ML
SPINE: Soft Piecewise Interpretable Neural Equations
KJ Somaiya College of Engineering(KJ Somaiya工程学院);National Institute of Technology Karnataka, Surathkal(卡纳塔克国立理工学院苏拉特卡尔分校)
Relu全连接网络无处不在,但无法解释,因为它们适合从多层结构和模型权重的复杂相互作用中出现的分段线性函数。本文提出了一种新的分段拟合方法,通过对单个零件进行集合运算来实现分段拟合。这是通过近似规范范式并使用结果作为模型来完成的。这给出了特殊的优点,如(a)参数与拟合函数的片段的强对应性(高可解释性);(b)将连续函数的任何组合拟合为分段函数的片段的能力(易于设计);(c)在域的目标区域中添加新的非线性的能力(目标学习);(d)避免分层的方程的简单性。它也可以表示在一般的最大-最小表示的分段线性函数,这给理论上的方便和可信度。该架构在模拟回归和分类任务以及基准数据集(包括UCI数据集、MNIST、FMNIST和CIFAR 10)上进行了测试。这种性能与全连接架构不相上下。它可以找到各种应用程序,其中完全连接的层必须由可解释的层取代。
2021-11-20 cs.AI cs.CV cs.CY
Piecewise Latent Variables for Neural Variational Text Processing
Universite de Montreal(蒙特利尔大学);Penn State University(宾夕法尼亚州立大学);McGill University(麦吉尔大学)
神经变分推理的进步促进了具有连续潜变量的强大有向图模型的学习,例如变分自编码器。我们希望这样的模型能够学会表示真实世界数据中丰富的、多模态的潜在因素,比如自然语言文本。然而,目前的模型往往假设简单的潜在变量的先验-如单峰高斯分布-这是无法有效地表示复杂的潜在因素。为了克服这个限制,我们提出了简单,但高度灵活的分段常数分布。该分布具有表示潜在目标分布的指数数量的模式的能力,同时保持数学上易于处理。我们的结果表明,将这种新的潜在分布纳入不同的模型中,可以大大改进自然语言处理任务,例如文档建模和对话的自然语言生成。
2017-09-23 cs.AI cs.CL cs.LG
Dissecting Deep Neural Networks
Norwegian University of Science and Technology(挪威科技大学);SINTEF Digital(SINTEF数字);Oklahoma State University(俄克拉荷马州立大学)
为了换取大量的数据和处理能力,深度神经网络已经产生了在许多领域提供最先进的预测能力的模型。然而,由于缺乏对它们行为的有力保证,人们对它们在安全关键应用中的使用表示担忧。理解这些网络的第一步是开发替代表示,以便进一步分析。已经证明,具有分段仿射激活函数的神经网络本身也是分段仿射的,其域由大量线性区域组成。到目前为止,关于这个主题的研究主要集中在对线性区域的数量进行计数,而不是获得显式的分段仿射表示。本文提出了一种新的算法,可以计算任何具有整流线性单元激活的全连接神经网络的分段仿射形式。
2020-01-19 cs.LG cs.NE stat.ML
Piecewise-Linear Manifolds for Deep Metric Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出用分段线性流形近似高维数据流形以估计数据点相似度,并引入代理建模提升无监督深度度量学习性能,在零样本图像检索基准上优于现有方法。
2024-03-22 cs.AI cs.CV cs.LG
Deep Jump Gaussian Processes for Surrogate Modeling of High-Dimensional Piecewise Continuous Functions
Industrial & Systems Engineering University of Washington(工业与系统工程华盛顿大学)
深度跳跃高斯过程通过整合区域特定的局部线性投影与JGP建模,提升了高维分段连续函数的替代建模精度和不确定性量化能力。
2026-10-14 cs.LG stat.ML
On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP(理化学研究所人工智能研究中心);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学校)
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性(例如深度优于宽度)非常相关。然而,在比较不同网络架构的表现力时,它似乎是有限的。当考虑置换不变网络时,由于线性区域之间的对称冗余,这种缺乏变得特别突出。为了解决这个问题,我们提出了一个细化的定义分段线性函数的复杂性:而不是直接计算线性区域的数量,我们首先引入一个等价关系的线性函数组成分段线性函数,然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型,与经典度量一致,并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
Limitations of Piecewise Linearity for Efficient Robustness Certification
Carnegie Mellon University(卡内基梅隆大学)
近年来,针对小范数对抗性示例的认证防御受到了越来越多的关注;尽管最先进方法的认证准确性仍然远远低于其非鲁棒对应物,尽管基准数据集已被证明在比文献通常试图证明的更大的半径上分离良好。在这项工作中,我们提供的见解,确定在这个性能差距的潜在因素。具体来说,我们的分析表明,分段线性对领先的认证技术的紧密性施加了根本性的限制。这些限制在实践中被认为是对希望得到有效认证的模型的能力的更大需求。此外,这是除了学习一个强大的边界所需的能力,在以前的工作中研究。然而,我们认为,通过扩大模型容量来解决分段线性的局限性可能会引起潜在的困难-特别是在鲁棒泛化方面-因此,我们得出结论,建议开发平滑的激活函数可能是提高认证神经网络性能的前进方向。
2023-01-21 cs.LG
YANNs: Y-wise Affine Neural Networks for Exact and Efficient Representations of Piecewise Linear Functions
Department of Chemical and Biomedical Engineering, West Virginia University, United States of America(化学与生物医学工程系,西弗吉尼亚大学,美国)
本文提出YANNs,一种能够精确且高效表示分段线性函数的Y-wise仿射神经网络,无需训练即可实现功能等效表示,为多参数模型预测控制提供了应用展示,展示了在实时计算中的高效性与控制理论保证。
2025-05-11 cs.LG cs.SY eess.SY
An interpretable neural network model through piecewise linear approximation
Xi’an Jiaotong University(西安交通大学);City University of Hong Kong(香港城市大学);Chinese Academy of Sciences(中国科学院);The University of Arizona(亚利桑那大学)
大多数现有的可解释方法以事后方式解释黑盒模型,其使用更简单的模型或数据分析技术来解释模型学习后的预测。然而,他们(a)可能会在不同的方法和数据样本下对相同的预测得出相互矛盾的解释,(b)专注于使用更简单的模型来提供更高的描述准确性,而牺牲预测准确性。为了解决这些问题,我们提出了一个混合解释模型,结合了分段线性组件和非线性组件。第一部分通过分段线性近似来描述显式特征贡献,以增加模型的表达能力。另一个组件使用多层感知器来捕获特征交互和隐式非线性,并提高预测性能。与事后方法不同的是,一旦模型以特征形状的形式学习,就可以获得可解释性。我们还提供了一个变体来探索特征之间的高阶交互,以证明所提出的模型是灵活的适应。实验表明,该模型可以通过描述特征形状,同时保持最先进的准确性,实现良好的可解释性。
2020-01-20 cs.AI cs.LG stat.ML
Nearly-tight bounds on linear regions of piecewise linear neural networks
Department of Electrical Engineering, Tsinghua University(清华大学电子工程系)
近年来,深度神经网络(DNN)的发展为人工智能开辟了一个崭新的时代。DNN被证明在解决非常复杂的问题方面非常出色,例如,视觉识别和文本理解,达到与人竞争甚至超越人的程度。尽管DNN取得了鼓舞人心的成功,但仍然缺乏彻底的理论分析来揭开其魔力的奥秘。DNN结构的设计主要取决于网络深度、神经元数量和激活方面的经验结果。最近发表的一些试图解释DNN的杰出作品已经建立了对其内部机制的初步了解。尽管如此,探索DNN如何运作的研究仍处于初始阶段,还有很大的改进空间。在本文中,我们扩展了关于线性区域边界的分段线性激活神经网络(PLNN)的研究。我们提出了(i)单层PLNN的线性区域的确切最大数量;(ii)多层PLNN的上限;以及(iii)整流器网络上线性区域的最大数量的更严格的上限。导出的边界也间接解释了为什么深层模型比浅层模型更强大,以及激活函数的非线性如何影响网络的表现力。
2018-12-26 cs.AI cs.LG stat.ML
Combinatorial Regularity for Relatively Perfect Discrete Morse Gradient Vector Fields of ReLU Neural Networks
本文提出一种构造性方法,将ReLU神经网络的逐段线性Morse函数转换为兼容的相对完美离散Morse函数,并给出判定临界点及构造离散Morse配对的算法,同时提供浅层网络子水平集拓扑的可实现性结果。
2025-01-22 cs.CG cs.LG math.AT
Optimal approximation of piecewise smooth functions using deep ReLU neural networks
Technische Universität Berlin(柏林工业大学)
我们研究了ReLU神经网络的必要和充分的复杂性-在深度和权重数量方面-这是$L^2$中近似分类器函数所需的。作为一个模型类,我们考虑可能不连续的分段$C^β$函数$f : [-1/2, 1/2]^d \to \mathbb R$的集合$\mathcal{E}^β(\mathbb R^d)$,其中$f$的不同光滑区域由$C^β$超曲面分隔。对于维数$d \geq 2$、正则性$β> 0$和准确性$\varepsilon > 0$,我们构建了具有ReLU激活函数的人工神经网络,该函数近似从$\mathcal{E}^β(\mathbb R^d)$到$L^2$误差为$\varepsilon$的函数。所构造的网络具有固定的层数,仅取决于$d$和$β$,并且它们具有$O(\varepsilon^{-2(d-1)/β})$许多非零权重,我们证明了这是最优的。除了权重数量方面的最优性之外,我们还表明,为了实现最优逼近率,需要一定深度的ReLU网络。准确地说,对于分段$C^β(\mathbb R^d)$函数,这个最小深度由$β/d$给出--直到一个乘法常数。直到对数因子,我们构造的网络符合这个界限。这部分解释了深度对ReLU网络的好处,因为它表明深度网络对于实现(分段)光滑函数的有效近似是必要的。最后,我们分析近似在高维空间中的功能$f$近似可以分解成一个光滑的降维特征映射$τ$和分类器功能$g$ …
2018-05-22 cs.LG math.FA stat.ML
Learning Sub-Patterns in Piecewise Continuous Functions
University of Basel(巴塞尔大学);University of Zürich(苏黎世大学)
大多数随机梯度下降算法可以优化在其参数中是次可微的神经网络;然而,这意味着神经网络的激活函数必须表现出一定程度的连续性,这限制了神经网络模型对连续函数的一致逼近能力。本文重点研究的情况下,不连续性产生不同的子模式,每个定义在输入空间的不同部分。我们提出了一种新的不连续深度神经网络模型,可通过解耦的两步过程进行训练,避免通过网络唯一的和战略性放置的不连续单元传递梯度更新。我们为我们的体系结构提供了有界连续函数空间中的逼近保证,并在本文介绍的分段连续函数空间中提供了通用逼近保证。我们为我们的不连续深度学习模型提出了一种新的半监督两步训练过程,根据其结构量身定制,并为其有效性提供理论支持。我们的模型的性能和训练与建议的程序进行了实验评估现实世界的金融数据集和合成数据集。
2021-12-15 cs.LG cs.NE stat.ML
Convergence rates for gradient descent in the training of overparameterized artificial neural networks with piecewise affine activation
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳))
本文研究了在过参数化 regime 下,使用分段仿射激活函数的人工神经网络通过批量梯度下降优化时的收敛速度问题,证明了在神经网络宽度足够大且学习率足够小的情况下,均方误差以线性速度收敛到零。
2026-05-19 cs.LG cs.NA math.NA
Piecewise Linear Equivariant Maps for Compact Groups
Università di Roma Sapienza(罗马智慧大学)
本文研究紧群有限维实表示间的分段线性等变映射,揭示其非线性行为的局限区域,得到紧群版本的Gibson-Tubbenhauer-Williamson存在准则,发现单位分支带来有限群无的刚性现象。
2026-08-25 cs.LG math.RT
DGNN: A Neural PDE Solver Induced by Discontinuous Galerkin Methods
本文受IPDGM启发提出DGNN框架,以分段神经网络为试探空间、分段多项式为检验空间,在稳态与时变PDE数值实验中展现出高精度、训练高效及处理复杂情形的能力。
2025-03-14 cs.LG physics.comp-ph
Non-Singularity of the Gradient Descent map for Neural Networks with Piecewise Analytic Activations
Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究首次证明了带分段解析激活函数的真实神经网络架构下,梯度下降映射对几乎所有步长具有非奇异性,拓展了GD与SGD收敛性的适用场景,为学习动力学研究提供了理论支撑。
2025-10-28 cs.LG math.OC
Measuring Model Complexity of Neural Networks with Curve Activation Functions
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
度量深度神经网络的模型复杂度是一个基础问题。现有的关于模型复杂性的文献主要集中在具有分段线性激活函数的神经网络上。具有一般曲线激活函数的神经网络的模型复杂性是一个悬而未决的问题。为了应对这一挑战,本文首先提出了线性近似神经网络(简称LANN),这是一种分段线性框架,用于近似具有曲线激活函数的给定深度模型。LANN为每个神经元的激活函数构造单独的分段线性逼近,并最小化线性区域的数量以满足所需的逼近度。然后,我们分析了由LANN形成的线性区域的数量的上界,并推导出基于上界的复杂性度量。为了检验复杂性度量的有用性,我们通过实验探索了神经网络的训练过程并检测过拟合。我们的研究结果表明,过拟合的发生与训练过程中模型复杂度的增加呈正相关。我们发现$L^1$和$L^2$正则化抑制了模型复杂度的增加。最后,我们提出了两种方法来防止过拟合直接约束模型的复杂性,即神经元修剪和定制的$L^1$正则化。
2020-06-16 cs.LG stat.ML
Improved Bounds on Neural Complexity for Representing Piecewise Linear Functions
University of California, San Diego(加利福尼亚大学圣迭戈分校);Qualcomm Institute(高通研究所)
使用整流线性单元的深度神经网络表示连续分段线性(CPWL)函数,反之亦然。最近的文献结果估计,精确表示任何CPWL函数所需的神经元数量随着片段的数量呈指数增长,或者根据不同线性分量的数量的阶乘呈指数增长。此外,这种增长与输入维度呈线性放大。这些现有的结果似乎表明,代表CPWL功能的成本是昂贵的。在本文中,我们提出了更严格的界限,并建立了一个多项式时间算法,以找到一个网络满足这些界限,任何给定的CPWL功能。我们证明了隐藏的神经元的数量,需要准确地表示任何CPWL功能是最多的二次函数的数量件。与以前的结果相比,这个上界对输入维数是不变的。除了片的数量,我们还研究了不同的线性分量的CPWL函数的数量。当这样一个数字也给出,我们证明了二次复杂度变成双线性,这意味着较低的神经复杂度,因为不同的线性组件的数量总是不大于在CPWL函数的最小数量的件。当块的数量是未知的,我们证明,在不同的线性组件的数量方面,任何CPWL函数的神经复杂性是最多的多项式增长的低维输入和阶乘增长的最坏情况下,这是显着优于现有的结果在文献中。
2023-01-16 cs.CC cs.LG cs.NE