Visualization of Multi-Objective Switched Reluctance Machine Optimization at Multiple Operating Conditions with t-SNE
Georgia Institute of Technology(佐治亚理工学院);Northwestern University(西北大学);Ansys Inc.(Ansys公司);Temple University(天普大学)
在多个工作点优化电机对于需要频繁改变速度和负载的应用至关重要,例如电动汽车,以在整个驾驶周期中努力实现机器的最佳性能。然而,需要优化的目标的数量将随着优化中考虑的操作点的数量而显著增加,因此在当前使用的可视化技术方面存在潜在问题,例如在帕累托前沿的散点图、平行坐标和主成分分析(PCA)中,这抑制了他们向机器设计者提供所有设计候选者的直观且信息丰富的可视化的能力,以及他们挑选几个候选者用于进一步微调性能验证的能力。因此,本文提出了利用t分布随机邻居嵌入(t-SNE)可视化所有的优化目标的各种电机设计候选人与各种操作条件,这构成了一个高维的数据集,将躺在几个不同的,但相关的,低维流形。最后,开关磁阻电机(SRM)的两个案例研究,以说明的优越性,然后t-SNE相比,传统的可视化技术用于电机优化。
2019-11-04 cs.LG cs.SY eess.SY
Two-hidden-layer ReLU neural networks and finite elements
National Engineering Laboratory for Big Data Analysis and Applications, Peking University, Beijing(大数据分析与应用国家工程实验室,北京大学,北京)
本文提出通过两个隐藏层ReLU神经网络弱表示有限元函数,并探讨其在逼近能力分析中的应用。
2026-01-04 cs.LG cs.NA math.NA
Clustering-Based Interpretation of Deep ReLU Network
SAILAB, University of Siena(锡耶纳大学SAILAB实验室);University of Pavia(帕维亚大学)
其中,采用校正线性单元(ReLU)被认为是深度学习成功的要素之一。ReLU激活已被证明可以缓解消失梯度问题,鼓励学习参数的稀疏性,并允许有效的反向传播。在本文中,我们认识到,当考虑活动神经元的模式时,ReLU函数的非线性行为会产生自然的聚类。这一观察有助于加深网络的学习机制;事实上,我们证明,在每个聚类中,网络可以完全表示为仿射映射。结果是,我们能够以特征重要性的形式恢复网络对属于该集群的实例所做的预测的解释。因此,我们提出的方法能够在模型拟合阶段的下游提高完全连接的前馈ReLU神经网络的可解释性水平,而不会改变网络的结构。对Titanic数据集的模拟研究和实证应用表明,该方法能够弥合算法优化与黑盒深度ReLU网络的人类可理解性之间的差距。
2021-10-13 cs.LG stat.ML
Normalized gradient flow optimization in the training of ReLU artificial neural networks
Basque Center for Applied Mathematics(巴斯克应用数学中心);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Münster(明斯特大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
人工神经网络(ANN)的训练是当今高度相关的算法过程,在科学和工业中有许多应用。粗略地说,人工神经网络可以被视为仿射线性函数和某些固定的非线性函数之间的迭代组合,这些非线性函数通常是一维所谓的激活函数的多维版本。这种一维激活函数的最流行的选择是整流线性单位(ReLU)激活函数,其将实数映射到其正部分$ \mathbb{R} \ni x \mapsto \max\{ x, 0 \} \in \mathbb{R} $。在这篇文章中,我们提出并分析了这种ReLU ANN的标准训练过程的修改变体,在这个意义上,我们提出将负梯度流动动力学限制在ANN参数空间的一个大的子流形上,这是一个严格的$ C^{ \infty } $ -- 整个ANN参数空间的子流形,其似乎比整个ANN参数空间享有更好的正则性,但是其也足够大,足够高的维数,使得它可以表示可以通过整个ANN参数空间表示的所有ANN实现函数。在特殊的情况下,浅的ANN只有一维ANN层,我们还证明了每一个Lipschitz连续的目标函数,每个梯度流的轨迹在这个大的子流形的ANN参数空间是全局有界的。对于具有Lipschitz连续目标函数的整个ANN参数空间上的标准梯度流,即使在仅具有一维ANN层的浅ANN的情况下,证明或反驳梯度流轨迹的全局有界性仍然是一个开放的研究问题。
2022-07-13 cs.LG math.OC
Top-N-Rank: A Scalable List-wise Ranking Method for Recommender Systems
Pennsylvania State University(宾夕法尼亚州立大学);South China University of Technology(华南理工大学)
我们提出了Top-N-Rank,一种新颖的列表式学习排名模型,用于可靠地推荐N个排名靠前的项目。所提出的模型优化了广泛使用的折扣累积增益(DCG)目标函数的变体,其在两个重要方面不同于DCG:(i)它将DCG的评估仅限于排名列表中的前N个项目,从而消除了低排名项目对学习的排名函数的影响;以及(ii)它结合了允许模型利用具有不同可靠性或可信度级别的多种类型的隐式反馈的权重。由于得到的目标函数是非光滑的,因此优化具有挑战性,我们考虑使用传统的S形函数和校正线性单元(ReLU)对目标函数进行两个光滑近似。我们提出了一个家庭的学习排名算法(Top-N-Rank),工作与任何光滑的目标函数。然后,引入了一个更有效的变体Top-N-Rank.ReLU,该变体有效地利用了ReLU函数的性质,将Top-N-Rank的计算复杂性从用户评分的平均项目数的二次降低到线性。我们使用两个广泛使用的基准测试,即MovieLens数据集和Amazon Video Games数据集的实验结果表明:(i)目标函数的“top-N截断”大大提高了前N个推荐的排名质量;(ii)与使用sigmoid相比,使用ReLU来平滑目标函数在排名质量和运行时间方面都有显着改善;以及(iii)Top-N-Rank.ReLU在排名质量方面大大优于表现良好的列表式排名方法。
2018-12-19 cs.IR cs.LG stat.ML
Most ReLU Networks Admit Identifiable Parameters
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所)
研究ReLU深度网络的实现映射,探讨函数是否能确定其参数(除缩放和排列外),引入基于加权多面体复形的框架,证明对于输入和隐藏层宽度至少为2的架构,存在可识别参数的开集,且函数维度等于参数数量减去隐藏神经元数量,并建立通用深度层次。
2026-05-19 cs.DM cs.LG math.CO
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University(斯坦福大学)
批量归一化(BN)是一种常用的技术,用于加速和稳定深度神经网络的训练。尽管其经验的成功,一个完整的理论理解BN尚未开发。在这项工作中,我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架,以获得具有BN的权重衰减正则化ReLU网络的精确凸表示,该网络可以在多项式时间内进行训练。我们的分析还表明,最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外,我们发现,梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响,我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性,用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
NP-Hardness of Minimizing Neurons in Two-Hidden-Layer ReLU Neural Networks
FAMU–FSU College of Engineering(佛罗里达农工大学-佛罗里达州立大学工程学院);Florida State University(佛罗里达州立大学)
本文证明两层隐藏层ReLU网络中最小化隐藏神经元数量的问题是NP-难解的,为ReLU网络设计采用启发式逼近方法提供了理论依据。
2026-10-09 cs.LG
An Embedding of ReLU Networks and an Analysis of their Identifiability
具有整流线性单元(ReLU)非线性的神经网络由参数$θ$的向量描述,并实现为分段线性连续函数$R_θ: x \in \mathbb R^{d} \mapsto R_θ(x) \in \mathbb R^{k}$。对参数$θ$的自然缩放和置换操作使实现保持不变,从而导致产生相同实现的参数的等价类。这些考虑反过来又导致了可识别性的概念--从其实现$R_θ$的唯一知识中恢复$θ$(的等价类)的能力。本文的总体目标是为任何深度的ReLU神经网络引入一种嵌入,即$Φ(θ)$,它对缩放是不变的,并提供了网络实现的局部线性参数化。利用这两个关键属性,我们从有限样本集$x_{i} \in \mathbb R^{d}$上的实现知识中推导出了深度ReLU网络确实是本地可识别的一些条件。我们更深入地研究了浅的情况下,建立必要和充分条件的网络是可识别的有界子集$\mathcal X \subseteq \mathbb R^{d}$。
2022-06-07 cs.LG
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University(斯坦福大学)
本文研究并行 ReLU 网络的训练问题,提出路径正则化以揭示隐藏凸性并诱导群稀疏,同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
Capacity Control of ReLU Neural Networks by Basis-path Norm
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
最近,路径范数被提出来作为一种新的基于修正线性单元(ReLU)激活函数的神经网络的容量度量,它考虑了ReLU的重标度不变特性。已经表明,根据路径范数的泛化误差界比其他容量度量更好地解释了ReLU神经网络的经验泛化行为。此外,以路径范数作为损失函数的正则化项的优化算法,如Path-SGD,已被证明具有更好的泛化性能。然而,路径范数计算所有路径的值,并且因此基于路径范数的容量度量可能不适当地受到不同路径之间的依赖性的影响。众所周知,ReLU网络的每条路径都可以用一小组线性独立的基路径表示,这表明网络的泛化行为只依赖于少数几条基路径。基于此,我们提出了一种新的基于线性无关路径的范数\emph{Basis-path Norm},以更准确地度量神经网络的容量。我们基于这个基本路径范数建立了一个泛化误差界,并通过大量的实验表明,它比以前的容量度量更准确地解释了ReLU网络的泛化行为。此外,我们开发的优化算法,最大限度地减少经验风险正规化的基础路径规范。我们在基准数据集上的实验表明,所提出的正则化方法在测试集上的性能明显优于以前的正则化方法。
2018-09-19 cs.LG stat.ML
The Effects of Mild Over-parameterization on the Optimization Landscape of Shallow ReLU Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所)
我们研究了温和的过度参数化对$\mathbf{x}\mapsto\sum_{i=1}^k\max\{0,\mathbf{w}_i^{\top}\mathbf{x}\}$形式的简单ReLU神经网络的优化景观的影响,在一个经过充分研究的教师-学生设置中,目标值由相同的架构生成,并且直接优化相对于高斯输入的群体平方损失。我们证明,虽然目标是强凸的全局最小值时,教师和学生网络拥有相同数量的神经元,它甚至不是\emph{locally convex}后,任何数量的过参数化。此外,相关的期望性质(例如,单点强凸性和Polyak-Schojasiewicz条件)甚至在局部也不成立。另一方面,我们建立的目标仍然是一点强凸的\emph{most}方向(适当定义),并显示在此属性下的优化保证。对于非全局最小值,我们证明了即使只添加一个神经元也会将非全局最小值变成鞍点。这在某些技术条件下是成立的,我们通过经验验证了这一点。这些结果提供了一个可能的解释,为什么恢复全局最小值变得明显更容易,当我们过度参数化,即使过度参数化的量是非常温和的。
2021-07-30 cs.LG stat.ML
When Will Gradient Methods Converge to Max-margin Classifier under ReLU Models?
The Ohio State University(俄亥俄州立大学)
研究了线性可分数据集上的梯度下降方法在解决二元分类问题时的隐式偏差。分类器采用非线性ReLU模型描述,目标函数采用指数损失函数。我们首先描述景观的损失函数,并表明,可以存在虚假的渐近局部极小值,除了渐近全局极小值。然后,我们表明,梯度下降(GD)可以收敛到一个全球或当地的最大利润率的方向,或可能偏离所需的最大利润率的方向在一般情况下。对于随机梯度下降(SGD),我们表明,它收敛于预期的全局或局部最大利润的方向,如果SGD收敛。我们进一步探索了这些算法在某些固定条件下学习多神经元网络时的隐式偏差,并表明学习的分类器在ReLU激活下最大化了每个样本模式分区的边缘。
2018-10-15 cs.LG stat.ML
Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes
Stanford University(斯坦福大学)
本文研究了带权重衰减正则化的两层ReLU网络训练复杂性,证明了其近似难度与Max-Cut问题对应,并针对三类数据集首次给出了多项式时间近似保证与近似难度结果。
2023-11-18 cs.CC cs.LG stat.ML
On Learnability via Gradient Method for Two-Layer ReLU Neural Networks in Teacher-Student Setting
The University of Tokyo(东京大学);RIKEN(理化学研究所)
深度学习在许多应用中经验性地实现了高性能,但其训练动态在理论上尚未得到充分理解。在本文中,我们探索了在师生回归模型中训练两层ReLU神经网络的理论分析,其中学生网络通过其输出学习未知的教师网络。我们表明,通过特定的正则化和充分的过参数化,学生网络可以通过具有范数依赖步长的梯度下降以高概率识别教师网络的参数,即使目标函数是高度非凸的。关键的理论工具是测量表示的神经网络和一个新的应用程序的双证书参数稀疏估计的测量空间。在测度空间中分析了算法的全局极小性和全局收敛性。
2021-06-29 cs.LG stat.ML
Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth
MIT(麻省理工学院)
我们证明了在本文定义的一类函数$\mathcal{G}_D$的平方损失下,具有$D$ ReLU层的神经网络的无量纲表示结果。这些结果在以下意义上捕捉了深度的确切好处:1。通过$D$ ReLU层表示函数类$\mathcal{G}_D$的速率急剧上升到常数,如匹配下限所示。2.对于每个$D$、$\mathcal{G}_{D} \subseteq \mathcal{G}_{D+1}$,并且随着$D$的增长,函数类$\mathcal{G}_{D}$包含逐渐较少的光滑函数。3.如果是$D^{\prime} < D$,则深度$D^{\prime}$网络实现的类$\mathcal{G}_D$的近似率严格地差于深度$D$网络实现的近似率。这构成了任意深度$D$和神经元数目$N$的前馈网络的表示能力的细粒度表征,与现有的表示结果相反,现有的表示结果要么要求$D$随着$N$快速增长,要么假设所表示的函数是高度平滑的。在后一种情况下,可以用单个非线性层获得类似的速率。我们的研究结果证实了流行的假设,即更深的网络更好地表示不太光滑的函数,实际上,主要的技术新颖性是充分利用深度网络可以产生高度振荡的函数,而激活函数很少。
2021-02-21 cs.LG stat.ML
Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics
Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学)
神经网络(NN)的学习动力学和归纳偏差的理解受到NN参数和所表示的函数之间关系的不透明性的阻碍。我们建议将ReLU NN重新参数化为连续分段线性样条。使用这种样条透镜,我们研究了浅单变量ReLU NN的学习动态,为几个令人困惑的现象找到了意想不到的见解和解释。我们开发了一个令人惊讶的简单和透明的视图的损失表面的结构,包括其临界点和不动点,海森,和海森谱。我们还表明,标准的权重初始化产生非常平坦的函数,这种平坦性,加上overparametrization和初始权重规模,是负责隐式正则化的强度和类型,与最近的工作arXiv:1906.05827。我们的隐式正则化结果是对最近独立完成的工作arXiv:1906.07842的补充,该工作表明初始化规模通过基于内核的参数严格控制隐式正则化。我们基于样条的方法再现了他们的关键隐式正则化结果,但以更直观和透明的方式。展望未来,我们基于样条的方法很可能会自然地扩展到多元和深层环境,并将在理解神经网络的努力中发挥基础作用。使用基于样条的可视化学习动态的视频可在http://shorturl.at/tFWZ2上获得。
2020-08-04 cs.LG stat.ML
ConquerNet: Convolution-Smoothed Quantile ReLU Neural Networks with Minimax Guarantees
Department of Statistics and Data Science(统计与数据科学系)
ConquerNet通过卷积平滑技术解决分位数回归中非光滑损失函数的优化难题,提供非渐近风险界,并在多个分位数水平上提升估计精度和训练效率。
2026-05-07 cs.LG stat.ML
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology(佐治亚理工学院)
本文通过原始-对偶分析,研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差,证明其以高概率近似最小ℓ2范数解,差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
Non-asymptotic estimates for TUSLA algorithm for non-convex learning with applications to neural networks with ReLU activation function
该研究针对带超线性增长不连续随机梯度的非凸优化问题,推导TUSLA算法的Wasserstein距离非渐近误差界与超额风险估计,通过理论、合成实验和真实数据集验证其在ReLU神经网络等场景下优于主流优化器。
2023-05-02 cs.LG cs.NA math.NA
Towards Lower Bounds on the Depth of ReLU Neural Networks
London School of Economics and Political Science(伦敦政治经济学院);Johns Hopkins University(约翰斯·霍普金斯大学);Università degli Studi di Padova(帕多瓦大学);Technische Universität Berlin(柏林工业大学)
本研究利用混合整数优化、多面体理论和热带几何,证明增加层数可严格扩展ReLU网络精确表示的函数类,并肯定解决了Wang和Sun的猜想,同时给出对数深度网络规模的上界。
2024-07-17 cs.DM cs.LG cs.NE
Dual Graphs of Polyhedral Decompositions for the Detection of Adversarial Attacks
Colorado State University(科罗拉多州立大学)
以前的工作已经表明,具有整流线性单元(ReLU)激活函数的神经网络导致输入空间的凸多面体分解。这些分解可以用对偶图来表示,对偶图的顶点对应于多面体,而边对应于多面体共享一个刻面,这是汉明图的子图。本文阐述了如何利用对偶图来检测和分析数字图像背景下的对抗攻击。当图像通过包含ReLU节点的网络时,节点处的激发或非激发可以被编码为位($1$用于ReLU激活,$0$用于ReLU非激活)。所有位激活的序列用位向量标识图像,位向量在分解中用多面体标识图像,并且反过来用对偶图中的顶点标识图像。我们识别了非对抗性图像和对抗性图像之间的鉴别器ReLU位,并研究了这些鉴别器的集合如何集成投票以构建对抗性图像检测器。具体来说,我们使用预训练的ResNet-50架构来检查对抗图像的ReLU位向量及其非对抗对应物的相似性和差异。虽然本文的重点是对抗性数字图像,ResNet-50架构和ReLU激活函数,但我们的方法可以扩展到其他网络架构,激活函数和数据集类型。
2022-12-02 cs.CR cs.CV cs.LG
Implicit Hypersurface Approximation Capacity in Deep ReLU Networks
本文通过几何方法证明宽度为d+1的深度ReLU网络可用零等值线隐式逼近d维超曲面,并给出误差界与所需层数的显式表达式。
2024-07-04 cs.LG
A Function Space View of Bounded Norm Infinite Width ReLU Nets: The Multivariate Case
University of Chicago(芝加哥大学);Technion, Israel Institute of Technology(以色列理工学院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
理解过参数化神经网络的有效性的一个关键因素是描述当网络中的权重数量接近无穷大时它们如何表示函数。在本文中,我们将函数$f:\mathbb{R}^d\rightarrow\mathbb{R}$实现为具有无限数量单元(无限宽度)的单个隐藏层ReLU网络所需的范数进行了表征,但其中权重的欧几里得范数是有界的,包括精确表征哪些函数可以用有限范数实现。Savarese等人(2019)解决了单变量单变量函数的问题,其中表明所需的范数由函数的二阶导数的L1范数确定。我们将特征扩展到多变量函数(即,具有d个输入设备的网络),将所需的范数与函数的(d+1)/2次拉普拉斯算子的Radon变换的L1范数相关联。这个特征使我们能够证明,所有的功能在Sobolev空间$W^{s,1}(\mathbb{R})$,$s\geq d+1$,可以表示与有界范数,计算所需的范数为几个特定的功能,并获得深度分离的结果。这些结果对于理解泛化性能以及神经网络和更传统的核学习之间的区别具有重要意义。
2019-10-03 cs.LG stat.ML
Tighter Sparse Approximation Bounds for ReLU Neural Networks
IBM Research AI(IBM研究院人工智能);New York University(纽约大学)
一个著名的工作路线(Barron,1993; Breiman,1993; Klusowski & Barron,2018)提供了ReLU双层神经网络的宽度$n$的界限,当基于傅立叶的量$C_f = \frac{1}{(2π)^{d/2}} \int_{\mathbb{R}^d} \|ξ\|^2 |\hat{f}(ξ)| \ dξ$有限时,需要在球$\mathcal{B}_R(\mathbb{R}^d)$上近似函数$f$,直到误差$ε$。最近,Ongie等人(2019)使用Radon变换作为分析无限宽ReLU双层网络的工具。特别是,他们引入了基于Radon的$\mathcal{R}$ -范数的概念,并表明定义在$\mathbb{R}^d$上的函数可以表示为无限宽度的双层神经网络,当且仅当其$\mathcal{R}$ -范数是有限的。在这项工作中,我们扩展了Ongie等人的框架。(2019)并定义了类似的基于Radon的半范数($\mathcal{R}, \mathcal{U}$ -范数),使得当其$\mathcal{R}, \mathcal{U}$ -范数有限时,函数在有界开集$\mathcal{U} \subseteq \mathbb{R}^d$上允许无限宽度的神经网络表示。在此基础上,我们推导出稀疏(有限宽度)神经网络近似界,改进了Breiman(1993); Klusowski…
2021-11-25 cs.LG math.ST stat.ML
Complexity of Injectivity and Verification of ReLU Neural Networks
Technische Universität Berlin, Faculty IV Institute of Software Engineering and Theoretical Computer Science, Algorithmics and Computational Complexity(柏林技术大学,第四学院软件工程与理论计算机科学研究所,算法与计算复杂性);Technische Universität Berlin, Faculty II, Institute of Mathematics, Combinatorial Optimization and Graph Algorithms(柏林技术大学,第二学院数学研究所,组合优化与图算法)
本研究证明ReLU网络单射性判定为coNP完全,提出输入维度参数化算法,并证明网络验证为coNP难,同时刻画满射性与计算凸性的联系。
2025-06-19 cs.CC cs.DM cs.LG
ZoPE: A Fast Optimizer for ReLU Networks with Low-Dimensional Inputs
Stanford University(斯坦福大学)
深度神经网络通常缺乏在安全关键系统中部署所需的安全性和鲁棒性保证。形式化验证技术可以用来证明网络的输入输出安全性质,但当性质难以确定时,我们依赖于各种优化问题的解决方案。在这项工作中,我们提出了一种名为ZoPE的算法,该算法解决了具有低维输入的前馈ReLU网络输出的优化问题。该算法急切地分裂的输入空间,边界的目标使用zonotope传播在每一步,并提高了计算效率相比,现有的混合整数规划方法。我们演示了如何制定和解决三种类型的优化问题:(i)最小化输出空间上的任何凸函数,(ii)最小化两个网络的输出上的凸函数,在它们之间的层中具有对抗性扰动,以及(iii)最大化两个网络之间的输出差异。使用ZoPE,我们观察到与几个最先进的验证器相比,ACAS Xu神经网络验证基准的属性$1$的$25\times$加速,以及与混合整数编程基线相比,一组线性优化问题的$85\times$加速。我们通过投影到生成对抗网络的范围并可视化压缩和未压缩网络之间的差异来展示优化器在分析网络方面的多功能性。
2022-05-16 cs.AI cs.LG math.OC
PathProx: A Proximal Gradient Algorithm for Weight Decay Regularized Deep Neural Networks
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
本文提出 PathProx 近端梯度算法,利用 ReLU 网络权重衰减目标的等价重构形式,实现比 SGD 更快的稀疏解收敛。
2023-07-05 cs.LG
Expressive Power of ReLU and Step Networks under Floating-Point Operations
本文在浮点运算条件下研究ReLU和阶跃网络的表达能力,证明其可记忆任意有限数据并逼近连续函数,参数数量与精确运算下经典结果一致,且适用于IEEE 754和bfloat16格式。
2024-07-16 cs.AI cs.LG
Large Deviation Analysis of Function Sensitivity in Random Deep Neural Networks
Non-linearity and Complexity Research Group, Aston University(阿斯顿大学非线性与复杂性研究组);Aston University(阿斯顿大学);United Kingdom(英国(注:根据机构粒度要求,此处仅保留大学级别,国家不属于机构))
平均场论已成功用于分析无限大小限制下的深度神经网络(DNN)。在实际DNN规模有限的情况下,利用大偏差理论和路径积分分析方法研究了DNN所代表的函数与其典型平均场解的偏差.研究的参数扰动包括权重稀疏化(稀释)和二值化,这通常用于ReLU和符号激活函数的模型简化。我们发现,相对于具有符号激活的随机网络,具有ReLU激活的随机网络对参数扰动更具鲁棒性,这可以说反映在它们生成的函数的简单性上。
2020-02-20 cond-mat.dis-nn cs.LG stat.ML
Demystifying the Global Convergence Puzzle of Learning Over-parameterized ReLU Nets in Very High Dimensions
这篇理论论文致力于开发一个严格的理论,以在一个具有挑战性的场景中揭开全局收敛现象的神秘面纱:在非常温和的假设下,为非常高维的数据集学习过参数化的整流线性单元(ReLU)网络。我们分析的一个主要组成部分是随机激活矩阵的细粒度分析。分解激活矩阵的基本优点是它在高维数据空间中的优化和角分布的动态之间架起了桥梁。这种基于角度的详细分析导致在每次梯度下降迭代中目标函数的梯度范数和方向曲率的渐近特征,揭示了经验损失函数在过参数化设置中具有良好的几何性质。在此过程中,我们显着提高了现有的理论界的过参数化条件和学习率非常温和的假设学习非常高维的数据。此外,我们发现的输入数据的几何和光谱特性的作用,在确定所需的过参数化的大小和全局收敛速度。所有这些线索使我们能够发现深度学习中非凸优化的一个新的几何图像:高维数据空间中的角分布$\mapsto$过参数化激活矩阵的谱$\mapsto$经验损失景观的有利几何性质$\mapsto$全局收敛现象。此外,我们的理论研究结果表明,基于梯度的非凸优化算法有更强的统计保证和更温和的过度参数化的条件下,学习非常高维的数据,这是很少探索到目前为止,比重复的理论状态。
2022-06-05 cs.LG stat.ML
Closed Form Variational Objectives For Bayesian Neural Networks with a Single Hidden Layer
Uber AI Labs(优步人工智能实验室)
在这篇文章中,我们考虑了贝叶斯神经网络的变分目标可以以封闭形式计算的设置。特别地,我们专注于激活函数是分段多项式的单层网络(例如ReLU)。在这种情况下,我们表明,正常的可能性和结构正常的变分分布,可以计算封闭形式的变分下界。此外,我们计算封闭形式的预测均值和方差。最后,我们还展示了如何计算其他可能性的近似下界(例如softmax分类)。在实验中,我们展示了由此产生的变分目标如何帮助改进训练并提供快速的测试时间预测。
2018-12-02 cs.LG stat.ML
A proof of convergence for the gradient descent optimization method with random initializations in the training of neural networks with ReLU activation for piecewise linear target functions
University of Münster(明斯特大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
梯度下降(GD)型最优化方法是用整流线性单元(ReLU)激活来训练人工神经网络(ANN)的标准工具。尽管GD型最优化方法在用ReLU激活训练ANN的数值模拟中取得了巨大成功,它仍然是-即使在最简单的情况下,普通香草GD最优化方法与随机初始化和人工神经网络与一个隐藏层-一个开放的问题,以证明(或反驳)GD最优化方法的风险在这样的ANN的训练中收敛到零作为ANN的宽度的猜想,独立随机初始化的数量和GD步骤的数量增加到无穷大。在本文中,我们证明了这一猜想的情况下,输入数据的概率分布是一个紧凑的区间上的连续均匀分布,其中的概率分布的神经网络参数的随机初始化是标准正态分布,和所考虑的目标函数是连续和分段仿射线性。粗略地说,在我们的数学收敛分析中的关键成分是(i)证明风险函数的全局最小值的合适集合是\emph{twice continuously differentiable submanifolds of the ANN parameter spaces},(ii)证明这些全局最小值的集合上的风险函数的Hessian满足适当的\emph{maximal rank condition},并且,此后,(iii)应用[Fehrman,B.,Gess,B.,Jentzen,A.,非凸目标函数的随机梯度下降法的收敛速度。J·马赫。学习. Res. 21(136):1- 48,2020]以建立具有随机初…
2021-08-10 cs.LG cs.NA math.NA
A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network
Department of Mathematics, Purdue University(数学系,普渡大学);School of Mechanical Engineering, Purdue University(机械工程学院,普渡大学)
本文提出结构引导高斯-牛顿方法,通过将浅层ReLU神经网络参数分为非线性与线性两类并交替求解,利用对称正定矩阵自然获得有效搜索方向,有效解决了不连续及尖锐过渡层函数逼近难题。
2025-07-19 cs.LG cs.NA math.NA
The Kolmogorov-Arnold representation theorem revisited
University of Twente(特文特大学);Leiden University(莱顿大学)
关于柯尔莫哥洛夫-阿诺德表示定理是否可以解释神经网络中多个隐藏层的使用,有一个长期的争论。Kolmogorov-Arnold表示将多变量函数分解为内部函数和外部函数,因此确实具有与具有两个隐藏层的神经网络类似的结构。但它们之间有明显的区别。其中一个主要的障碍是外部函数依赖于所表示的函数,并且即使所表示的函数是光滑的,外部函数也可能是变化很大的。我们推导出Kolmogorov-Arnold表示的修改,将表示函数的平滑特性转移到外部函数,并且可以通过ReLU网络很好地近似。看来,Kolmogorov-Arnold表示的一个更自然的解释是深度神经网络,而不是两个隐藏层,其中大多数层都需要近似内部函数。
2021-01-02 cs.LG cs.NE stat.ML
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs
Institute for Computational and Mathematical Engineering(计算与数学工程研究所);Stanford University(斯坦福大学)
本文将门控 ReLU 网络的凸规划解释为带加权数据掩码的 MKL,证明其特定核等价于 NTK,并通过迭代重加权获得等价于精确凸解的最优核。
2023-09-26 cs.LG stat.ML
The Convex Geometry of Backpropagation: Neural Network Gradient Flows Converge to Extreme Points of the Dual Convex Program
Stanford University(斯坦福大学)
我们从凸几何和对偶的角度研究了用于训练两层ReLU神经网络的非凸次梯度流。我们将非正则化非凸梯度流的隐偏差刻画为等价凸模型的凸正则化。然后,我们证明了非凸次梯度流的极限点可以通过原始对偶对应在这个凸优化问题。此外,我们得到了一个关于对偶变量的充分条件,该条件确保非凸目标的平稳点是凸目标的KKT点,从而证明了非凸梯度流收敛到全局最优。对于一类规则的训练数据分布,如正交可分数据,我们证明了这一充分条件成立。因此,非凸梯度流实际上收敛于凸优化问题的最优解。我们提出的数值结果验证了我们的非凸次梯度下降理论的预测。
2021-10-13 cs.LG math.OC
Compressed Computation is (probably) not Computation in Superposition
Metamorphic;Independent(独立研究者);UK AI Security Institute(英国人工智能安全研究所);Apollo Research
通过分析压缩计算(CC)模型,发现其性能提升源于标签中的混合矩阵,而非真正的叠加计算,SNMF基线可复现其损失特征。
2026-06-15 cs.LG
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
神经网络成功的奥秘之一是随机初始化的一阶方法,如梯度下降,即使目标函数是非凸和非光滑的,也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络,我们证明了只要$m$足够大并且没有两个输入是并行的,随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察:过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化,这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
Random Parameter Noise Does Not Make Exact ReLU Verification Easy
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
研究对抗性平滑模型中ReLU网络精确验证,表明在NP⊈BPP假设下,不存在预期运行时间为多项式的可靠完备验证器,通过结合精确间隙嵌入等方法证明,指出参数非退化不能为精确验证提供通用平滑多项式保证。
2026-07-17 cs.CC cs.LG
PowerNet: Efficient Representations of Polynomials and Smooth Functions by Deep Neural Networks with Rectified Power Units
University of Chinese Academy of Sciences(中国科学院大学);National Center for Mathematics and Interdisciplinary Sciences, Chinese Academy of Sciences(中国科学院国家数学与交叉科学中心)
具有整流线性单元的深度神经网络(ReLU)最近越来越流行。然而,由ReLU网络表示的函数的导数是不连续的,这将ReLU网络的使用限制在不需要平滑的情况下。在本文中,我们构建了具有整流功率单元(RePU)的深度神经网络,它可以对光滑函数提供更好的近似。提出了显式构建具有稀疏连接RePU的神经网络的优化算法,我们称之为PowerNets,以表示没有近似误差的多项式。对于一般的光滑函数,我们首先将函数投影到它们的多项式逼近,然后使用所提出的算法来构造相应的PowerNet。因此,最佳多项式近似的误差提供了最佳RePU网络近似误差的上限。对于高维Sobolev空间中的光滑函数,我们使用快速谱变换的张量积网格和稀疏网格离散化得到多项式逼近。我们的构造性算法清楚地表明了谱方法和深层神经网络之间的密切联系:具有$n$层的PowerNet可以精确地表示高达$s^n$次的多项式,其中$s$是RePU的幂。所提出的PowerNets在需要高精度或平滑性的情况下具有潜在的应用。
2019-09-09 cs.LG cs.NA math.NA
MP-GELU Bayesian Neural Networks: Moment Propagation by GELU Nonlinearity
Graduate School of Information Science and Technology(信息科学技术研究生院);The University of Tokyo(东京大学)
贝叶斯神经网络(BNNs)是不确定度量化研究的重要框架。确定性变分推理是一种利用矩传播计算预测分布和目标函数的推理方法。不幸的是,导出矩需要在非线性函数中进行计算昂贵的泰勒展开,例如整流线性单元(ReLU)或S形函数。因此,需要一种新的非线性函数,其实现比传统函数更快的力矩传播。在本文中,我们提出了一种新的非线性函数命名为矩传播高斯误差线性单元(MP-GELU),使快速推导的一阶和二阶矩的BNN。MP-GELU通过将非线性应用于输入统计数据来实现矩的分析计算,从而减少了非线性函数所需的计算成本。在回归任务的实证实验中,我们观察到所提出的MP-GELU提供了更高的预测精度和更好的不确定性质量,并且执行速度比基于ReLU的BNN更快。
2022-11-24 cs.LG
No one-hidden-layer neural network can represent multivariable functions
Meiji University(明治大学)
在用神经网络的函数逼近中,通过优化每个隐藏层单元的参数,将输入数据集映射到输出索引。对于一元函数,我们通过构造具有整流线性单元(ReLU)激活函数的一个隐藏层神经网络的连续版本来对参数及其二阶导数进行约束。由于约束条件减少了参数的自由度,因此网络可以精确地实现。我们还解释了存在一个光滑的二元函数,不能精确地表示任何这样的神经网络。
2020-06-19 cs.LG stat.ML
Linear-Size Neural Network Representation of Piecewise Affine Functions in $\mathbb{R}^2$
Ulm University(乌尔姆大学)
针对二维连续分段仿射函数,本文证明含两个隐藏层、$O(p)$ 个神经元的 ReLU 网络即可表示具有 $p$ 个连通且可能非凸分段的函数,突破了以往凸分段设定。
2025-03-17 cs.LG cs.NE math.MG
Minimax Optimality (Probably) Doesn't Imply Distribution Learning for GANs
UC Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院);CMU(卡内基梅隆大学);UCLA(加州大学洛杉矶分校)
可以说,生成对抗网络(GANs)理论中最基本的问题是理解GANs实际上可以在多大程度上学习底层分布。理论和经验证据表明,经验培训目标的局部最优性是不够的。然而,它并不排除实现真正的群体极大极小最优解可能意味着分布学习的可能性。在本文中,我们表明,标准的密码学假设意味着这个更强的条件仍然是不够的。也就是说,我们证明了如果局部伪随机生成器(PRG)存在,那么对于一个大的自然连续目标分布族,存在具有恒定深度和多项式大小的ReLU网络生成器,它们采用高斯随机种子,使得(i)输出远离目标分布的Wasserstein距离,但(ii)没有多项式大的Lipschitz ReLU网络可以检测到这一点。这意味着,即使实现群体最小最大最优解的Wasserstein GAN目标是可能不足以在通常的统计意义上的分布学习。我们的技术揭示了GANs和PRG之间的深层联系,我们相信这将导致对GANs计算领域的进一步了解。
2022-01-18 cs.CC cs.CR cs.LG
Why Deep Neural Networks for Function Approximation?
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近,人们对理解为什么深度神经网络比浅网络更受欢迎很感兴趣。我们证明了,对于一个大类的分段光滑函数,一个浅网络近似一个函数所需的神经元数量是指数大于一个深度网络所需的神经元数量为给定程度的函数近似。首先,我们考虑有界区间上的单变量函数,并要求神经网络在区间上均匀地实现$\varepsilon$的近似误差。我们表明,浅网络(即,深度不依赖于$\varepsilon$的网络)需要$Ω(\text{poly}(1/\varepsilon))$神经元而深度网络(即,深度随$1/\varepsilon$而增长的网络)需要$\mathcal{O}(\text{polylog}(1/\varepsilon))$神经元。然后,我们将这些结果推广到某些重要的多元函数类。我们的研究结果是来自神经网络,它使用整流器线性单元(ReLU)和二进制阶跃单元,两个最流行的类型的激活函数的组合。我们的分析建立在一个简单的观察基础上:两位的乘法可以由ReLU表示。
2017-03-03 cs.LG cs.NE
Finite Samples for Shallow Neural Networks
Hangzhou Normal University(杭州师范大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文研究两层不可约浅层网络的有限样本可识别性,证明 ReLU 网络无法由有限样本确定识别,但可与同规模网络区分,并为 sigmoid 与 tanh 解析网络构造可精确恢复的有限样本。
2025-03-17 cs.IT cs.LG cs.NA
Modeling Design and Control Problems Involving Neural Network Surrogates
University of California at Los Angeles(加利福尼亚大学洛杉矶分校);Argonne National Laboratory(阿贡国家实验室)
我们考虑非线性最优化问题,涉及代理模型表示的神经网络。我们首先展示了如何直接嵌入神经网络评估到最优化模型,突出了这种方法的困难,可以防止收敛,然后表征平稳的这种模型。然后,我们在具有ReLU激活的前馈神经网络的特定情况下提出了这些问题的两种替代形式:作为混合整数最优化问题和作为具有互补约束的数学规划。对于后者的制定,我们证明了这个问题的平稳性在一个点对应于平稳的嵌入式制定。这些配方可以解决国家的最先进的最优化方法,我们展示了如何获得良好的初始可行解这些方法。我们比较了我们的配方在燃烧发动机的设计和控制中产生的三个实际应用中,在分类器网络上产生对抗性攻击,以及在油井网络中确定最佳流量。
2021-11-20 cs.LG math.OC
Stable and Robust Deep Learning By Hyperbolic Tangent Exponential Linear Unit (TeLU)
University of South Florida(南佛罗里达大学)
本文提出TeLU激活函数,通过调整输出均值解决梯度消失/爆炸问题,在多种架构和数据集上表现优于ReLU等,成为潜在新标准。
2024-02-05 cs.LG cs.NE
A Unified View of SDP-based Neural Network Verification through Completely Positive Programming
Stanford University(斯坦福大学);MIT(麻省理工学院)
确保神经网络的输入-输出关系符合规定的操作规范是将这些网络部署在安全关键应用中的关键推动因素。基于半定规划(SDP)的ReLU网络验证方法将这个问题转化为最优化问题,其中任何此类公式的准确性反映了神经网络计算如何表示的保真度水平,以及棘手约束的放松。虽然文献包含了在保持可处理性的同时改进SDP公式的紧密性的许多进展,但相对较少的工作致力于另一个极端,即,如何在SDP松弛之前最准确地捕获原始验证问题。在这项工作中,我们开发了一个精确的,凸的验证公式作为一个完全积极的程序(CPP),并提供分析表明,我们的公式是最小的-任何约束的去除从根本上歪曲了神经网络计算。我们利用我们的配方提供了一个统一的观点,现有的方法,并在某些情况下观察到的大弛豫间隙的来源给予洞察力。
2022-03-06 cs.LG math.OC
Robustness Verification of Recurrent Neural Networks with Abstraction Refinement
National Science and Technology Council (NSTC), Taiwan(台湾国家科学与技术委员会)
提出抽象精化框架,通过分割预激活区间消除非线性松弛误差,并利用SHAP引导的时间步选择策略降低组合成本,显著提升RNN鲁棒性验证成功率。
2026-06-12 cs.LG
Recovery Guarantees for One-hidden-layer Neural Networks
UT-Austin(得克萨斯大学奥斯汀分校);Microsoft Research, India(微软研究院(印度));UC, Berkeley(加州大学伯克利分校)
本文研究了单隐层神经网络(1NNs)的回归问题。我们提取的激活函数,导致$\mathit{local~strong~convexity}$在附近的地面实况参数的1NN平方损失目标的一些属性。大多数流行的非线性激活函数都满足蒸馏特性,包括整流线性单元(ReLU),泄漏ReLU,平方ReLU和S形。对于激活功能,也是顺利的,我们显示$\mathit{local~linear~convergence}$保证梯度下降下的一个rescent规则。对于齐次激活,我们表明张量方法能够初始化的参数落入局部强凸区域。因此,保证张量初始化之后是梯度下降,以针对具有高概率的平滑齐次激活恢复具有样本复杂度$ d \cdot \log(1/ε) \cdot \mathrm{poly}(k,λ)$和计算复杂度$n\cdot d \cdot \mathrm{poly}(k,λ) $的基础事实,其中$d$是输入的维度,$k$($k\leq d$)是隐藏节点的数量,$λ$是输入层和隐藏层之间的地面实况参数矩阵的条件属性,$ε$是目标精度,$n$是样本数。据我们所知,这是第一个为1NN提供恢复保证的工作,在输入维度上具有样本复杂度和计算复杂度$\mathit{linear}$,在精度上具有$\mathit{logarithmic}$。
2017-06-10 cs.DS cs.LG stat.ML
A function space analysis of finite neural networks with insights from sampling theory
Tel Aviv University(特拉维夫大学)
本文提出用抽样理论分析神经网络所代表的函数空间。首先,它表明,在有限输入域的假设下,这是在训练神经网络的常见情况下,由具有非扩张激活函数的多层网络生成的函数空间是光滑的。这扩展了以前的作品,这些作品显示了无限宽度ReLU网络的结果。然后,假设输入是带限的,我们提供了新的误差界的单变量神经网络。我们分析了确定性均匀和随机抽样显示前者的优势。
2022-02-25 cs.IT cs.LG math.FA
A globally convergent fast iterative shrinkage-thresholding algorithm with a new momentum factor for single and multi-objective convex optimization
Kyoto University(京都大学)
凸复合优化(Convex-composite optimization)是一种最小化由可微函数和凸函数之和表示的目标函数的优化方法,广泛应用于机器学习和信号/图像处理中。快速迭代收缩保持算法(FISTA)是求解该问题的一种典型方法,具有$O(1 / k^2)$的整体收敛速度。最近,这已被扩展到多目标最优化,连同$O(1 / k^2)$的整体收敛率的证明。然而,它的动量因子是经典的,其迭代的收敛性尚未得到证明。在这项工作中,引入一些额外的超参数$(a, b)$,我们提出了另一种加速邻近梯度方法与一般的动量因子,这是新的单目标的情况下。我们表明,我们提出的方法也有一个整体收敛速度$O(1/k^2)$的任何$(a,b)$,并进一步生成的迭代序列收敛到一个弱Pareto解时,$a$是积极的,有限时间流形识别的一个基本属性。此外,我们报告的数值结果与各种$(a,b)$,表明这些选择中的一些给出了更好的结果比经典的动量因子。
2022-05-11 cs.LG math.OC