Iterative Surrogate Model Optimization (ISMO): An active learning algorithm for PDE constrained optimization with deep neural networks
SINTEF（挪威科学与工业研究基金会）；ETH Zürich（苏黎世联邦理工学院）；University of Southern California（南加州大学）；TIFR Centre for Applicable Mathematics（塔塔基础研究院应用数学中心）
提出了一种新的主动学习算法--迭代代理模型优化算法（ISMO），用于求解偏微分方程约束最优化问题的鲁棒、高效的数值逼近。该算法基于深度神经网络，其关键特征是通过深度神经网络和任何底层标准优化算法之间的反馈循环迭代选择训练数据。在适当的假设下，我们证明了所得到的优化收敛指数快速（和指数衰减方差），相对于训练样本的数量增加。最优控制，参数识别和形状最优化问题的偏微分方程的数值例子提供验证所提出的理论，并说明ISMO显着优于基于代理优化算法的标准深度神经网络。
2020-08-13 cs.LG cs.NA math.NA
Optimization Landscapes of Wide Deep Neural Networks Are Benign
Ruhr-University Bochum（波鸿鲁尔大学）
我们分析了具有广泛网络的深度学习的优化景观。我们强调了约束的重要性，这样的网络，并表明，约束-以及无约束-在这样的网络的风险最小化没有限制点，也就是说，次优参数，难以逃脱。因此，我们的理论证实了一个共同的信念，即广泛的神经网络不仅具有高度的表达能力，而且易于优化。
2021-01-13 cs.LG stat.ML
PDE-constrained Models with Neural Network Terms: Optimization and Global Convergence
University of Oxford（牛津大学）；University of Notre Dame（圣母大学）；Boston University（波士顿大学）
研究含神经网络项的线性椭圆PDE的优化问题，证明梯度下降结合伴随PDE可全局收敛，并应用于RANS湍流模型的训练与评估。
2023-10-16 cs.LG
Qualitatively characterizing neural network optimization problems
Google Inc.（谷歌公司）；Stanford University（斯坦福大学）
训练神经网络涉及解决大规模非凸优化问题。长期以来，这项任务被认为是非常困难的，由于担心局部极小值和其他障碍，激励了各种方案来改进优化，例如无监督预训练。然而，现代神经网络能够在复杂任务上实现可忽略的训练误差，仅使用具有随机梯度下降的直接训练。我们引入一个简单的分析技术来寻找证据，这样的网络克服局部最优。我们发现，事实上，在从初始化到解决方案的直线路径上，各种最先进的神经网络从未遇到任何重大障碍。
2015-05-21 cs.LG cs.NE stat.ML
Frank-Wolfe optimization for deep networks
深度神经网络是当今分类、回归和函数逼近中最受欢迎的选择之一。然而，这种深度网络的训练远非微不足道，因为通常有数百万个参数需要调整。通常，人们使用一些希望收敛到某个最小值的优化方法。最流行和最成功的方法是基于梯度下降。本文将另一种优化方法Frank-Wolfe优化应用于小型深度网络，并与梯度下降进行了比较。虽然优化确实收敛，但它收敛得很慢，并且不接近梯度下降的速度。此外，在随机设置中，优化变得非常不稳定，并且似乎不收敛，除非使用线搜索方法。
2020-06-06 cs.LG stat.ML
Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了循环神经网络（RNN）的参数空间几何结构，并开发了一种适应这种几何结构的路径SGD优化方法，该方法可以学习具有ReLU激活的普通RNN。在几个需要捕获长期依赖结构的数据集上，我们表明，与使用SGD训练的RNN相比，即使使用各种最近建议的初始化方案，path-SGD也可以显着提高ReLU RNN的可训练性。
2016-05-23 cs.LG cs.NE
Optimization Algorithm Inspired Deep Neural Network Structure Design
Peking University（北京大学）
近年来，深度神经网络一直是主导的机器学习方法之一。提出了几种新的网络结构，它们比传统的前馈神经网络结构具有更好的性能。代表性的包括ResNet中的跳跃连接结构和DenseNet中的密集连接结构。但是，对于神经网络的结构设计，仍然缺乏统一的指导。在本文中，我们提出的假设，神经网络结构设计可以启发优化算法和更快的优化算法可能会导致一个更好的神经网络结构。具体地说，我们证明了在前馈神经网络的传播与相同的线性变换在不同的层是等价的最小化使用梯度下降算法的功能。基于这一观察，我们用重球算法和Nesterov的加速梯度下降算法取代了梯度下降算法，它们更快，并启发我们设计新的更好的网络结构。ResNet和DenseNet可以被认为是我们框架的两个特例。在CIFAR-10，CIFAR-100和ImageNet上的数值实验验证了我们的优化算法在ResNet和DenseNet上的优势。
2018-10-03 cs.CV cs.LG
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions
Stanford University（斯坦福大学）
我们证明了找到所有全局最优的双层ReLU神经网络可以通过求解具有锥约束的凸优化程序来执行。我们的分析是新颖的，描述了所有最优解的特征，并且没有利用最近用于将神经网络训练提升到凸空间的基于对偶的分析。给定我们的凸优化程序的解集，我们展示了如何精确地构建整个最优神经网络集。我们提供了一个详细的特征，这个最佳的设置和不变的变换。作为凸透视的附加结果，（i）我们建立了由随机梯度下降找到的Clarke平稳点对应于下采样凸问题的全局最优值（ii）我们提供了一个多项式时间算法来检查神经网络是否是训练损失的全局最小值（iii）我们提供了一个明确的结构之间的连续路径的任何神经网络和全球最小的子水平集和（iv）表征隐藏层的最小尺寸，使得神经网络优化景观没有虚假谷。总的来说，我们提供了一个丰富的框架，通过凸性研究神经网络训练损失的景观。
2022-03-13 cs.LG stat.ML
On the Ineffectiveness of Variance Reduced Optimization for Deep Learning
Facebook AI Research（脸书人工智能研究院）
随机方差缩减在优化中的应用在最近的理论和实践中都取得了显著的成功。这些技术对现代深度神经网络训练过程中遇到的硬非凸优化问题的适用性是一个悬而未决的问题。我们表明，天真的应用SVRG技术和相关的方法失败，并探讨原因。
2019-11-20 cs.LG stat.ML
Two-Layer Neural Networks for Partial Differential Equations: Optimization and Generalization Theory
Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
求解偏微分方程（PDE）的问题可以转化为一个最小二乘最小化问题，其中神经网络用于参数化PDE解。一个全局极小对应于一个神经网络，解决了给定的偏微分方程。在本文中，我们证明了梯度下降法可以识别一个全局极小的最小二乘优化求解二阶线性偏微分方程的两层神经网络的假设下，过参数化。我们还分析了二阶线性偏微分方程和两层神经网络的最小二乘优化的推广误差，当偏微分方程的右手侧函数在Barron型空间中，最小二乘优化用Barron型范数正则化，没有过参数化假设。
2020-12-10 cs.LG cs.NA math.NA
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol（布里斯托大学）
我们将神经网络优化问题表述为贝叶斯滤波，其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究，但他们无法使用均方根梯度归一化器恢复标准优化器，如Adam和RMSprop，而是得到均方归一化器。为了恢复均方根归一化，我们发现有必要考虑所有其他参数的时间动态，因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换，自动恢复AdamW，这是Adam的最新变体，具有解耦的权重衰减，并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
Neural Fixed-Point Acceleration for Convex Optimization
Facebook AI（脸书人工智能研究院）
定点迭代是数值计算的核心，并且通常是实时应用中的计算瓶颈，这些应用通常需要中等精度的快速解决方案。我们提出了神经定点加速，它结合了元学习和经典加速方法的思想，可以自动学习加速从分布中提取的定点问题。我们将我们的框架应用于SCS，最先进的凸锥规划求解器，设计模型和损失函数，以克服展开优化和加速不稳定性学习的挑战。我们的工作将神经加速带入任何可以用CVXPY表达的优化问题。本文的源代码可以在https://github.com/facebookresearch/neural-scs上找到
2021-07-23 cs.AI cs.LG math.OC
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS（高等研究院）；Harvard University（哈佛大学）
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核（NTK）来描述，其中证明了在无限宽度限制下，NTK收敛到显式限制核，并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6，13，14]。在过度参数化机制中，完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络，梯度下降实现了零训练损失。然而，在[5]中观察到，使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化，由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中，我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程，神经切线层次（NTH），它捕获了深度神经网络的梯度下降动态。此外，在一定的条件下的神经网络的宽度和数据集的维数，我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能，并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Combination of Hyperband and Bayesian Optimization for Hyperparameter Optimization in Deep Learning
Blippar
深度学习在许多问题上取得了令人印象深刻的成果。然而，它需要高度的专业知识或大量的经验来很好地调整超参数，并且这种手动调整过程很可能是有偏差的。此外，在深度学习中尝试与在其他机器学习场景中一样多的不同超参数配置是不切实际的，因为在深度学习中评估每个单个超参数配置将意味着训练深度神经网络，这通常需要相当长的时间。Hyperband算法在深度学习领域的各种超参数优化问题上实现了最先进的性能。然而，Hyperband算法没有利用以前探索的超参数配置的历史信息，因此找到的解决方案是次优的。我们建议将Hyperband算法与贝叶斯优化（在对下一个试验配置进行采样时不忽略历史）相结合。实验结果表明，该方法优于包括Hyperband算法在内的其他超参数优化方法。
2018-01-05 cs.AI cs.CV cs.LG
Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning
Meiji University（明治大学）
将Adam算法与非线性共轭梯度法相结合，提出了一种基于共轭梯度的Adam算法，并给出了收敛性分析。文本分类和图像分类的数值实验表明，与现有的自适应随机最优化算法相比，该算法能够在更少的时期内训练深度神经网络模型。
2020-03-03 cs.LG math.OC
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University（普林斯顿大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们证明了对于低维解析函数，深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
An Elementary Approach to Convergence Guarantees of Optimization Algorithms for Deep Networks
University of Washington（华盛顿大学）
我们提出了一种基于基本参数和计算来获得深度网络优化算法收敛保证的方法。收敛性分析围绕优化预言机的分析和计算结构展开，而优化预言机是在机器学习软件中实现深度网络的核心。我们提供了一种系统的方法来计算平滑常数的估计值，这些平滑常数决定了用于训练深度网络的一阶优化算法的收敛行为。现代深度网络中出现的一组不同的示例组件和架构穿插在阐述中，以说明该方法。
2020-12-30 cs.LG stat.ML
BayesFT: Bayesian Optimization for Fault Tolerant Neural Network Architecture
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
为了在资源有限的场景中部署深度学习算法，新兴的设备电阻式随机存取存储器（ReRAM）被认为是通过模拟计算有前途的。然而，由于制造、热噪声等多因素的影响，ReRAM神经网络的权值会发生漂移，限制了ReRAM的实用性。本文提出了一种新的容错神经网络结构（BayesFT）贝叶斯优化方法。对于神经结构搜索空间的设计，而不是在整个可行的神经结构搜索空间上进行神经结构搜索，我们首先系统地探索了不同神经网络组件的权重漂移容忍度，例如dropout，归一化，层数和激活函数，其中dropout被发现能够提高神经网络对权重漂移的鲁棒性。基于我们的分析，我们提出了一个有效的搜索空间，只搜索每一层的辍学率。然后，我们使用贝叶斯优化搜索的最佳神经网络结构的重量漂移的鲁棒性。实证实验表明，我们的算法框架已经超过了国家的最先进的方法高达10倍的各种任务，如图像分类和目标检测。
2022-09-30 cs.AI cs.LG
Optimization Theory for ReLU Neural Networks Trained with Normalization Layers
UCLA（加州大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）
深度神经网络的成功部分归功于规范化层的使用。批量归一化、层归一化和权重归一化等归一化层在实践中无处不在，因为它们可以显著提高泛化性能并加快训练速度。尽管如此，目前绝大多数深度学习理论和非凸优化文献都集中在非规范化设置上，其中所考虑的函数没有表现出通常规范化的神经网络的属性。在本文中，我们通过给出两层神经网络的第一个全局收敛结果来弥合这一差距，其中ReLU激活是用归一化层（即权重归一化）训练的。我们的分析表明，与未规范化的神经网络相比，规范化层的引入如何改变优化景观，并可以实现更快的收敛。
2020-06-11 cs.LG math.OC stat.ML
GADAM: Genetic-Evolutionary ADAM for Deep Neural Network Optimization
Florida State University（佛罗里达州立大学）
深度神经网络学习可以用公式表示为非凸优化问题。现有的优化算法，例如，Adam可以快速学习模型，但可能很容易陷入局部最优。在本文中，我们介绍了一种新的优化算法，即GADAM（遗传进化亚当）。GADAM基于多个单元模型逐代学习深度神经网络模型：用Adam训练单元模型，用遗传算法进化到新的代。我们将证明GADAM在学习过程中可以有效地跳出局部最优，获得更好的解决方案，并证明GADAM也可以实现非常快的收敛。在各种基准数据集上进行了大量的实验，学习结果将证明GADAM算法的有效性和效率。
2019-03-10 cs.LG cs.NE stat.ML
A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
当配备有有效的优化算法时，过参数化神经网络已经表现出高水平的性能，即使损失函数是非凸和非光滑的。虽然许多工作一直专注于通过使用梯度下降（GD）训练神经网络来理解损失动态，但在这项工作中，我们考虑了广泛的一类在实践中常用的优化算法。例如，我们表明，从动力系统的角度来看，重球（HB）方法可以收敛到全局最小的均方误差（MSE）在一个线性的速度（类似于GD），然而，Nesterov加速梯度下降（NAG）可能只收敛到全局最小次线性。我们的结果依赖于神经切线核（NTK）和具有ReLU激活的有限过参数化神经网络之间的联系，这导致分析优化算法的极限常微分方程（ODE）。我们表明，优化非凸损失的权重对应于优化一些强凸损失的预测误差。因此，我们可以利用经典的凸优化理论来理解神经网络的收敛行为。我们相信我们的方法也可以扩展到其他优化算法和网络架构。
2021-03-10 cs.LG math.DS math.OC
The Global Optimization Geometry of Shallow Linear Neural Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Technion, Israel Institute of Technology（以色列理工学院）；Colorado School of Mines（科罗拉多矿业学院）
我们研究了浅线性神经网络的平方误差损失景观。我们表明-与显着温和的假设比以前的作品-相应的优化问题具有良性的几何性质：有没有虚假的局部极小值和Hessian在每个鞍点至少有一个负特征值。这意味着在每个鞍点处存在方向负曲率，算法可以利用该方向负曲率来进一步减小目标值。这些几何性质意味着许多局部搜索算法（如广泛用于训练神经网络的梯度下降算法）可以证明以全局收敛的方式解决训练问题。
2018-11-05 cs.LG stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Universality of Deep Convolutional Neural Networks
City University of Hong Kong（香港城市大学）
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是，对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力，缺乏理论基础。在这里，我们证明了深度卷积神经网络（CNN）是通用的，这意味着当神经网络的深度足够大时，它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计，严格按照要计算的自由参数的数量给出，验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Langevin algorithms for very deep Neural Networks with application to image classification
Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）；Sorbonne Université（索邦大学）
训练非常深的神经网络是一项具有挑战性的任务，因为神经网络越深，它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能，用于训练深度增加的神经网络。对于浅层神经网络，Langevin算法没有带来任何改进，但是网络越深，Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱，这对于非常深的神经网络来说更常见。在此启发式之后，我们引入了一种新的Langevin算法，称为Layer Langevin，该算法仅将Langevin噪声添加到与最深层相关的权重。然后，我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
2022-12-27 cs.LG stat.ML
Particle Dual Averaging: Optimization of Mean Field Neural Networks with Global Convergence Rate Analysis
Kyushu Institute of Technology（九州工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究院）；The University of Tokyo（东京大学）
提出了粒子对偶平均（PDA）方法，将凸优化中的对偶平均方法推广到具有定量运行时间保证的概率分布上的优化.该算法由内循环和外循环组成：内循环利用Langevin算法近似求解一个平稳分布，然后在外循环中进行优化。因此，该方法可以被解释为一个扩展的Langevin算法，自然地处理非线性功能的概率空间。所提出的方法的一个重要应用是在平均场区域中优化神经网络，由于非线性特征学习的存在，这在理论上是有吸引力的，但定量收敛速度可能是具有挑战性的。通过将有限维凸优化理论引入测度空间，分析了正则化经验/期望风险最小化下的PDA，并在更一般的情况下建立了双层平均场神经网络学习的定量全局收敛性.我们的理论结果得到了合理规模的神经网络的数值模拟的支持。
2022-01-22 cs.LG stat.ML
Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time
Stanford University（斯坦福大学）
具有非线性激活函数的两层神经网络的训练是一个重要的非凸优化问题，在逐层深度学习中具有许多应用和有前途的性能。本文基于半定规划理论，建立了二次多项式激励的双层神经网络的精确凸优化公式。值得注意的是，我们表明，半定提升始终是准确的，因此计算复杂性的全局优化是多项式的输入尺寸和样本大小的所有输入数据。开发的凸公式被证明可以实现相同的全局最优解集作为他们的非凸同行。更具体地说，具有多项式激活的全局最优双层神经网络可以通过求解半定规划（SDP）并使用我们称为神经分解的过程分解该解来找到。此外，正则化器的选择在神经网络训练的计算易处理性中起着至关重要的作用。我们表明，标准的权重衰减正则化制定是NP-困难的，而其他简单的凸罚款使问题易于处理的多项式时间通过凸规划。我们将结果扩展到完全连接架构之外的不同神经网络架构，包括具有向量输出的网络和具有池化的卷积架构。我们提供了大量的数值模拟表明，标准的反向传播方法往往无法实现全局最优的训练损失。所提出的方法是显着更快，以获得更好的测试精度相比，标准的反向传播过程。
2021-01-07 cs.CC cs.LG math.OC
Interpreting learning in biological neural networks as zero-order optimization method
University of Twente（特文特大学）
近年来，关于人工神经网络（ANN）的统计理解已经取得了重大进展。人工神经网络是由大脑的功能驱动的，但在几个关键方面有所不同。特别是，在生物神经网络（BNN）中的连接参数的更新规则的局部性使得大脑的学习基于梯度下降在生物学上不可信。在这项工作中，我们将大脑视为监督学习的统计方法。主要贡献是将BNN中连接参数的局部更新规则与零阶优化方法联系起来。结果表明，迭代的期望值实现了梯度下降的修改。
2023-03-23 cs.LG cs.NE math.ST
Neural ODEs as the Deep Limit of ResNets with constant weights
Uppsala University（乌普萨拉大学）
在本文中，我们证明了，在深度极限，ResNet型深度神经网络，其中每一层共享相同的权重矩阵的随机梯度下降收敛到神经ODE的随机梯度下降，以及相应的值/损失函数收敛。在随机梯度下降最小化的背景下，我们的结果为将神经常微分方程视为ResNets的深度极限提供了理论基础。我们的证明是基于相关的福克-普朗克方程的某些衰减估计。
2020-01-20 cs.LG math.AP math.CA
Generative Neural Reparameterization for Differentiable PDE-constrained Optimization
Ergodic LLC（Ergodic有限责任公司）；Pasteur Labs（巴斯德实验室）；Institute for Simulation Intelligence（仿真智能研究所）
本文提出将可微 PDE 约束优化中的自由参数重参数化为神经网络输出，使其学习从概率分布到最优参数分布的映射，从而在一次优化中生成多组多样化的最优解，并成功应用于降低激光聚变中的等离子体不稳定性。
2024-10-16 cs.AI cs.LG cs.NA
Leapfrogging for parallelism in deep neural networks
我们提出了一种技术，我们称之为蛙跳，在深度神经网络中并行化反向传播。我们表明，这种技术产生的储蓄$1-1/k$的一个主要术语在反向传播，其中k是线程（或GPU）的数量。
2018-01-15 cs.DC cs.LG
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University（首尔国立大学）
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时，即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法，估计量化步长动态再训练过程中。此外，还测试了一种渐进量化方案，该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络（FFDNN）、卷积神经网络（CNN）和递归神经网络（RNN）进行实验。
2017-02-27 cs.LG
Topology Optimization using Neural Networks with Conditioning Field Initialization for Improved Efficiency
Carnegie Mellon University（卡内基梅隆大学）
提出一种用于基于神经网络的拓扑优化的条件场初始化方法，通过将应变能场作为额外条件场输入，有效提高了拓扑优化的收敛速度与效率。
2023-05-17 cs.LG
Neural Optimization Machine: A Neural Network Approach for Optimization
Northwestern University（西北大学）；Arizona State University（亚利桑那州立大学）
提出了一种新的求解约束优化问题的神经网络方法。所提出的方法使用一个专门设计的神经网络架构和训练/优化过程称为神经优化机（NOM）。NOM的目标函数近似与NN模型。优化过程由神经网络的内置反向传播算法进行。NOM通过扩展NN目标函数模型的体系结构来解决优化问题。这是通过适当地设计NOM的结构、激活函数和损失函数来实现的。NN目标函数可以具有任意的结构和激活函数。NOM的应用不限于特定的优化问题，例如，线性和二次规划。结果表明，设计变量维数的增加并不会显著增加计算量。然后，NOM扩展到多目标优化。最后，使用数值优化问题测试NOM，并将其应用于增材制造工艺参数的优化设计。
2022-08-08 cs.LG math.OC stat.ML
Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks
Stony Brook University（石溪大学）
本研究率先将梯度采样优化技术StochGradAdam整合到神经网络剪枝中，解决了资源受限场景下剪枝模型保持准确性的挑战，在CIFAR-10和残差架构上验证了其能有效保持性能。
2024-04-29 cs.LG
NTopo: Mesh-free Topology Optimization using Implicit Neural Representations
Université de Montréal（蒙特利尔大学）；ETH Zurich（苏黎世联邦理工学院）
隐式神经表征的最新进展在产生偏微分方程的数值解方面显示出巨大的潜力。与传统的替代方案相比，这种表示采用参数化神经网络来以无网格的方式定义高度详细、连续和完全可微的信号。在这项工作中，我们提出了一种新的机器学习方法的拓扑优化-一类重要的反问题，高维参数空间和高度非线性的目标景观。为了在无网格拓扑优化的背景下有效地利用神经表示，我们使用多层感知器来参数化密度场和位移场。我们的实验表明，我们的方法在最小化结构合规目标方面具有很强的竞争力，并且它能够对拓扑优化问题的连续解空间进行自监督学习。
2021-11-25 cs.LG
Neural Networks for Generating Better Local Optima in Topology Optimization
Chair of Computational Modeling and Simulation, Technical University of Munich, School of Engineering and Design, Arcisstraße 21, Munich, 80 333, Germany（慕尼黑技术大学计算建模与模拟系）；Department of Civil and Mechanical Engineering, Technical University of Denmark（丹麦技术大学土木与机械工程系）；BMW Group, Knorrstraße 147, 80937 München（宝马集团）；Chair of Data Science in Engineering, Bauhaus-Universität Weimar, Coudraystraße 13 b, 99423, Weimar, Germany（魏玛包豪斯大学工程数据科学系）
本文探讨了神经网络在拓扑优化中生成更好局部最优解的方法，通过多次部分优化和不同初始化提高识别能力，并强调了Adam优化器与神经网络材料离散化之间的相互作用。
2024-07-25 cs.LG
A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search
KAIST AI（韩国科学技术院人工智能学院）
本调查的重点是分类和评估神经架构搜索（NAS）领域的超网优化方法。超网优化涉及训练单个过参数化网络，该网络包含所有可能的网络架构的搜索空间。该调查分析了超网优化方法的基础上，他们的空间和时间优化的方法。空间优化涉及优化超网及其子系统的架构和参数，而时间优化涉及提高从超网选择架构的效率。这些方法在各种任务和设置，包括可转移性，领域泛化，和Transformer模型的优点，局限性和潜在的应用进行了讨论。
2023-02-07 cs.CV cs.LG
Nonlinear Optimization with GPU-Accelerated Neural Network Constraints
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Dowson Farms（道森农场）；Texas A&M University（德克萨斯大学）
本文提出了一种利用GPU加速的神经网络约束进行非线性优化的降维空间形式化方法，提升了优化求解效率，并在对抗生成和电力系统优化中验证了其有效性。
2025-12-08 cs.LG
Deep Learning: From Basics to Building Deep Neural Networks with Python
本书面向不熟悉深度学习的初学者。我们对读者的唯一期望是他们已经掌握了Python的基本编程技能。
2022-04-22 cs.LG
Adaptive Wind Driven Optimization Trained Artificial Neural Networks
Schlumberger-Doll Research Center（斯伦贝谢-多尔研究中心）
本文介绍了一种新开发的自然启发式优化方法，即自适应风驱动优化（AWDO），前馈人工神经网络（NN）的训练的应用，并提出了对AWDO实现在深度学习（DL）的未来研究的讨论。MNIST数据集数字分类的应用实例揭示了无导数AWDO方法与最速下降方法相比的有趣行为，其中讨论了在深度神经网络中实现AWDO的结果和未来工作。
2019-11-20 cs.LG stat.ML
BOPO: Neural Combinatorial Optimization via Best-anchored and Objective-guided Preference Optimization
Sun Yat-sen University（中山大学）
本文提出BOPO训练范式，通过最佳锚定偏好对构建和目标引导的成对损失函数，利用解的目标值差异提升神经组合优化的样本效率与推理性能，在JSP、TSP和FJSP上显著缩小最优性差距。
2025-06-02 cs.LG
Concurrent build direction, part segmentation, and topology optimization for additive manufacturing using neural networks
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种基于神经网络的拓扑优化方法，旨在减少增材制造中支撑结构的使用。我们的方法使用一种网络架构，允许同时确定优化的：（1）部分分割，（2）每个部分的拓扑结构，以及（3）每个部分的构建方向，这些部分共同最小化支撑结构的数量。通过训练，网络在连续的3D空间中学习材料密度和片段分类。给定具有规定的载荷和位移边界条件的问题域，神经网络将体素化域的3D坐标作为输入作为训练样本，并输出连续的密度场。由于用于拓扑优化的神经网络学习密度分布场，所以可以从神经网络的输入-输出关系获得密度梯度的解析解。我们展示了我们的方法在几个符合性最小化问题的体积分数的约束，其中支持体积最小化作为一个额外的标准添加到目标函数。我们表明，同时优化的部分分割与拓扑和打印角度优化进一步减少了支撑结构，相比，一个组合的打印角度和拓扑优化没有分割。
2022-10-04 cs.LG
A Comprehensive Review of Spiking Neural Networks: Interpretation, Optimization, Efficiency, and Best Practices
Rice University（莱斯大学）
生物神经网络继续激发神经网络性能的突破。然而，神经计算的一个关键领域尚未得到充分的重视和研究，这是生物学上合理的、节能的脉冲神经网络，其潜力对于低功耗、移动或其他硬件受限的设置特别有吸引力。我们提出了一个文献综述的解释，优化，效率和准确性的脉冲神经网络的最新发展。主要贡献包括识别、讨论和比较脉冲神经网络优化、能效和评估中的前沿方法，从第一原理开始，以便新从业者可以使用。
2023-03-21 cs.LG cs.NE eess.IV
Reinforcement Learning for Scalable Logic Optimization with Graph Neural Networks
Huawei Technologies, Zurich Research Center（华为技术有限公司苏黎世研究中心）
逻辑优化是一个NP难问题，通常通过手工设计的算法来解决。我们建议将图卷积网络与强化学习和一种新颖的可扩展节点嵌入方法相结合，以学习哪些局部变换应该应用于逻辑图。我们表明，这种方法在较小的电路上实现了与ABC相似的尺寸减小，并且在较大的随机图上优于它1.5- 1.75倍。
2021-05-04 cs.LG
Evidence, Definitions and Algorithms regarding the Existence of Cohesive-Convergence Groups in Neural Network Optimization
针对人工神经网络优化因非凸性难以实际收敛的问题，本文基于优化过程中出现的凝聚收敛群现象，提出新的研究思路以拓展神经网络收敛领域的相关研究。
2024-03-08 cs.CV cs.LG
Architectural Strategies for the optimization of Physics-Informed Neural Networks
Australian Institute of Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）
本文从神经架构角度研究物理信息神经网络（PINNs）的优化难题，利用神经正切核发现高斯激活函数更优，并提出预条件架构以增强训练，经标准PDEs验证有效。
2024-02-05 cs.LG
DeepSearch: A Simple and Effective Blackbox Attack for Deep Neural Networks
MPI-SWS（马克斯·普朗克软件系统研究所）
尽管深度神经网络在图像分类任务中非常成功，但它们容易受到对抗攻击。为了生成对抗性输入，出现了各种各样的技术，例如针对神经网络的黑盒和白盒攻击。在本文中，我们提出了DeepSearch，这是一种针对图像分类器的新型基于模糊的，查询效率高的黑盒攻击。尽管它很简单，但DeepSearch在寻找对抗性输入方面比最先进的黑盒方法更有效。与这些方法相比，DeepSearch还能够生成最微妙的对抗性输入。
2020-08-15 cs.LG
NSGA-PINN: A Multi-Objective Optimization Method for Physics-Informed Neural Network Training
Purdue University（普渡大学）
本文提出了NSGA-PINN，一个多目标优化框架的有效训练的物理信息神经网络（PINNs）。所提出的框架使用非支配排序遗传算法（NSGA-II）来实现传统的随机梯度优化算法（例如，ADAM）来有效地逃离局部极小。此外，NSGA-II算法能够在物理信息训练期间精确地满足编码到损失函数中的初始和边界条件。我们证明了我们的框架的有效性，通过应用NSGA-PINN几个普通和偏微分方程问题。特别是，我们表明，该框架可以处理具有挑战性的逆问题与噪声数据。
2023-03-07 cs.LG
Stochastic Optimization for Deep CCA via Nonlinear Orthogonal Iterations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度CCA是最近提出的对传统典型相关分析（CCA）的深度神经网络扩展，并且已经在多个领域中成功地用于多视图表示学习。然而，深度CCA目标的随机优化并不简单，因为它不会在训练样本上解耦。以前的深度CCA优化器要么是基于批处理的算法，要么是使用大型小批量的随机优化，这可能会占用很高的内存。在本文中，我们解决了随机优化的问题，深CCA与小minibatches，基于迭代解决方案的CCA目标，并表明，我们可以实现良好的性能，因为以前的优化，从而减轻内存需求。
2015-10-07 cs.LG
Hyperparameter Optimization with Neural Network Pruning
AIRS Company, Hyundai Motor Group（现代汽车集团AIRS公司）
由于深度学习模型高度依赖于超参数，因此在开发基于深度学习模型的应用程序时，超参数优化至关重要，即使需要很长时间。随着使用深度学习模型的服务开发逐渐变得具有竞争力，许多开发人员高度要求快速的超参数优化算法。为了跟上快速超参数优化算法的需求，研究人员正致力于提高超参数优化算法的速度。然而，由于深度学习模型本身的高计算成本而导致的超参数优化的巨大时间消耗尚未得到深入处理。与贝叶斯优化中的代理模型一样，为了解决这个问题，需要考虑神经网络（N_B）的代理模型用于超参数优化。受神经网络修剪的主要目标启发，即，通过对神经网络进行剪枝，得到的神经网络（N_P）可以作为N_B的代理模型。为了验证我们的想法，我们使用CIFAR10，CFIAR100和TinyImageNet数据集以及三种常用的神经网络和三种代表性的超参数优化方法进行了大量的实验。通过这些实验，我们验证了N_P可以作为N_B的一个很好的代理模型，用于快速的超参数优化。所提出的超参数优化框架可以减少高达37%的时间量。
2022-05-18 cs.CV cs.LG
HiveNAS: Neural Architecture Search using Artificial Bee Colony Optimization
Staffordshire University（斯塔福德郡大学）
针对传统神经网络开发依赖经验试错、NAS领域元启发式算法研究不足的问题，提出基于人工蜂群优化的NAS框架HiveNAS，其以远少于现有顶尖群智能NAS框架的耗时实现了更优性能。
2023-06-15 cs.AI cs.LG cs.NE
Equivariance-aware Architectural Optimization of Neural Networks
IRIT, University of Toulouse（图卢兹大学IRIT研究所）；ISAE-SUPAERO, University of Toulouse（图卢兹大学高等航空航天学院）；University of Amsterdam（阿姆斯特丹大学）
在神经网络训练期间，将等方差作为对称群的约束可以提高表现出这些对称性的任务的性能和泛化，但这种对称性通常不是完美的，也不是明确存在的。这促使算法优化等方差施加的架构约束。我们提出了等方差松弛态射，它保留了功能，同时重新参数化组等变层，以在子群上进行等方差约束，以及[G]-混合等变层，它混合了约束到不同组的层，以实现层内等方差优化。我们进一步提出了进化和微分神经架构搜索（NAS）算法，利用这些机制分别为等方差意识的架构优化。在各种数据集上的实验表明，动态约束等方差的好处，找到有效的架构与近似等方差。
2023-02-07 cs.LG
Learning Rate Optimization for Deep Neural Networks Using Lipschitz Bandits
Indian Institute of Technology Madras（印度马德拉斯理工学院）
针对神经网络学习率调优问题，提出Lipschitz老虎机驱动的优化方法，相比HyperOpt与BLiE可通过更少评估次数和单评估轮数找到更优学习率，提升训练效率、降低成本。
2024-09-15 cs.LG
