DEEP-BO for Hyperparameter Optimization of Deep Networks
Seoul National University（首尔大学）；UNIST（蔚山科学技术院）
深度神经网络（DNN）的性能对超参数的特定选择非常敏感。更糟糕的是，当使用像batchnorm这样的技术时，学习曲线的形状会受到显着影响。因此，深度网络的超参数优化可能比传统的机器学习模型更具挑战性。在这项工作中，我们从众所周知的贝叶斯优化解决方案开始，并提供专门为深度网络的超参数优化设计的增强策略。DEEP-BO（Diversified，Early-termination-Enabled，and Parallel Bayesian Optimization）是一种基于贝叶斯优化的算法。当在六个DNN基准测试中进行评估时，DEEP-BO的表现轻松优于或表现出与一些知名解决方案相当的性能，包括GP-Hedge，Hyperband，BOHB，中位数停止规则和学习曲线外推。所使用的代码可在https://github.com/snu-adsl/DEEP-BO上公开获取。
2019-05-23 cs.DC cs.LG stat.ML
GoSGD: Distributed Optimization for Deep Learning with Gossip Exchange
我们通过研究一种适应于随机梯度下降的分布式方法来解决加快卷积神经网络训练的问题。我们的并行优化设置使用多个线程，每个线程对局部变量应用单独的梯度下降。我们提出了一种新的方式，不同的线程之间共享信息的基础上八卦算法，表现出良好的共识收敛性能。我们称为GoSGD的方法具有完全异步和分散的优点。
2018-11-12 cs.LG stat.ML
Blessing of Nonconvexity in Deep Linear Models: Depth Flattens the Optimization Landscape Around the True Solution
University of Michigan（密歇根大学）
这项工作描述了深度对线性回归优化景观的影响，表明尽管它们是非凸的，但更深的模型具有更理想的优化景观。我们考虑一个强大的和过度参数化的设置，其中测量的一个子集被严重损坏的噪声和真正的线性模型是通过一个$N$层线性神经网络捕获。在消极的一面，我们表明，这个问题\textit{does not}有一个良性的景观：给定任何$N\geq 1$，具有恒定的概率，存在一个解决方案对应的地面真理，既不是本地也不是全球最小值。然而，在积极的一面，我们证明，对于任何$N$层模型与$N\geq 2$，一个简单的次梯度方法变得无视这样的"问题“的解决方案;相反，它收敛到一个平衡的解决方案，不仅接近地面真相，但也享有平坦的局部景观，从而避免了需要“提前停止”。最后，我们通过经验验证了更深层次模型的理想优化前景扩展到其他强大的学习任务，包括深度矩阵恢复和具有$\ell_1$损失的深度ReLU网络。
2022-07-15 cs.LG stat.ML
GradVis: Visualization and Second Order Analysis of Optimization Surfaces during the Training of Deep Neural Networks
Fraunhofer ITWM（弗劳恩霍夫信息技术与数学研究所）；TU Kaiserslautern（凯泽斯劳滕工业大学）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Offenburg University（奥芬堡应用技术大学）
目前用于深度神经网络的训练方法归结为非常高维和非凸优化问题，这些问题通常由广泛的随机梯度下降方法来解决。虽然这些方法往往在实践中起作用，但在理论上对收敛和泛化保证等关键方面的理解仍然存在许多差距，这是由优化表面（损失景观）的属性引起的。为了获得更深入的见解，一些最近的出版物提出了可视化和分析优化表面的方法。然而，这些方法的计算成本非常高，几乎不可能在更大的网络上使用它们。在本文中，我们介绍了GradVis Lens，这是一个开源库，用于在Tensorflow和PyTorch中高效、可扩展地可视化和分析深度神经网络损失情况。引入更有效的数学公式和新的并行化方案，GradVis允许绘制优化表面和轨迹的2D和3D投影，以及大型网络的高分辨率二阶梯度信息。
2019-09-27 cs.LG stat.ML
Width Provably Matters in Optimization for Deep Linear Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
证明了对于一个$L$层全连接线性神经网络，如果每个隐层的宽度都是$\tildeΩ(L \cdot r \cdot d_{\mathrm{out}} \cdot κ^3 )$，其中$r$和$κ$是输入数据的秩和条件数，$d_{\mathrm{out}}$是输出维数，则高斯随机初始化的梯度下降法以线性速度收敛到全局最小值.找到$ε$次优解的迭代次数为$O(κ\log(\frac{1}ε))$。我们对宽深度线性网络的总运行时间的多项式上限和窄深度线性神经网络的$\exp\left(Ω\left(L\right)\right)$下限[Shamir，2018]一起证明了宽层对于优化深度模型是必要的。
2019-05-27 cs.LG stat.ML
Multi-Fidelity Bayesian Optimization via Deep Neural Networks
University of Utah（犹他大学）；Scientific Computing and Imaging Institute（科学计算与成像研究所）
贝叶斯优化（BO）是一个流行的框架来优化黑盒函数。在许多应用中，目标函数可以在多个精度下进行评估，以实现成本和精度之间的权衡。为了降低优化成本，已经提出了许多多保真度BO方法。尽管这些方法取得了成功，但它们忽略或过度简化了跨多个属性的强的复杂相关性，因此在估计目标函数时可能效率低下。为了解决这个问题，我们提出了深度神经网络多保真度贝叶斯优化（DNN-MFBO），可以灵活地捕捉各种复杂的关系之间的准确性，以提高目标函数的估计，从而优化性能。我们使用顺序的，逐行高斯-厄米特求积和矩匹配来实现基于互信息的捕获功能，这是计算上易处理的和高效的。我们展示了我们的方法在合成基准数据集和工程设计中的实际应用中的优势。
2020-12-10 cs.LG stat.ML
Gradient Descent based Optimization Algorithms for Deep Learning Models Training
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
在本文中，我们旨在介绍用于学习深度神经网络模型的基于梯度下降的优化算法。涉及多个非线性投影层的深度学习模型的训练非常具有挑战性。目前，大部分的深度学习模型训练实际上仍然依赖于反向传播算法。在反向传播中，将迭代地更新模型变量，直到利用基于梯度下降的优化算法收敛。除了传统的vanilla梯度下降算法外，近年来还提出了许多梯度下降变体来提高学习性能，包括Momentum，Adagrad，Adam，Gadam等，本文将分别介绍这几种方法。
2019-03-11 cs.AI cs.LG stat.ML
GADAM: Genetic-Evolutionary ADAM for Deep Neural Network Optimization
Florida State University（佛罗里达州立大学）
深度神经网络学习可以用公式表示为非凸优化问题。现有的优化算法，例如，Adam可以快速学习模型，但可能很容易陷入局部最优。在本文中，我们介绍了一种新的优化算法，即GADAM（遗传进化亚当）。GADAM基于多个单元模型逐代学习深度神经网络模型：用Adam训练单元模型，用遗传算法进化到新的代。我们将证明GADAM在学习过程中可以有效地跳出局部最优，获得更好的解决方案，并证明GADAM也可以实现非常快的收敛。在各种基准数据集上进行了大量的实验，学习结果将证明GADAM算法的有效性和效率。
2019-03-10 cs.LG cs.NE stat.ML
Lecture Notes on Linear Neural Networks: A Tale of Optimization and Generalization in Deep Learning
Tel Aviv University（特拉维夫大学）
本讲义基于普林斯顿大学讲座，提出线性神经网络理论，利用动态数学工具研究深度学习中的优化与泛化，并讨论实际应用。
2024-11-06 cs.AI cs.LG stat.ML
Combination of Hyperband and Bayesian Optimization for Hyperparameter Optimization in Deep Learning
Blippar
深度学习在许多问题上取得了令人印象深刻的成果。然而，它需要高度的专业知识或大量的经验来很好地调整超参数，并且这种手动调整过程很可能是有偏差的。此外，在深度学习中尝试与在其他机器学习场景中一样多的不同超参数配置是不切实际的，因为在深度学习中评估每个单个超参数配置将意味着训练深度神经网络，这通常需要相当长的时间。Hyperband算法在深度学习领域的各种超参数优化问题上实现了最先进的性能。然而，Hyperband算法没有利用以前探索的超参数配置的历史信息，因此找到的解决方案是次优的。我们建议将Hyperband算法与贝叶斯优化（在对下一个试验配置进行采样时不忽略历史）相结合。实验结果表明，该方法优于包括Hyperband算法在内的其他超参数优化方法。
2018-01-05 cs.AI cs.CV cs.LG
A Survey of Geometric Optimization for Deep Learning: From Euclidean Space to Riemannian Manifold
East China Normal University（华东师范大学）
尽管深度学习（DL）在复杂的人工智能（AI）任务中取得了成功，但它存在各种臭名昭著的问题（例如，特征冗余和消失或爆炸梯度），因为更新欧几里德空间中的参数不能完全利用解空间的几何结构。作为一种有前途的替代解决方案，基于黎曼的DL使用几何优化来更新黎曼流形上的参数，并可以利用底层的几何信息。因此，本文提出了一个全面的调查应用几何优化DL。本文首先介绍了几何优化的基本过程，包括各种几何优化器和黎曼流形的一些概念。随后，本文研究了几何优化在不同DL网络中的应用，例如，卷积神经网络、递归神经网络、迁移学习和最优传输。此外，还讨论了实现流形优化的典型公共工具箱。最后，本文对不同深度几何优化方法在图像识别场景下的性能进行了比较。
2023-02-16 cs.LG
Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning
Meiji University（明治大学）
将Adam算法与非线性共轭梯度法相结合，提出了一种基于共轭梯度的Adam算法，并给出了收敛性分析。文本分类和图像分类的数值实验表明，与现有的自适应随机最优化算法相比，该算法能够在更少的时期内训练深度神经网络模型。
2020-03-03 cs.LG math.OC
An empirical analysis of the optimization of deep network loss surfaces
AIFounded Inc.（AIFounded公司）；Janelia Research Campus, HHMI（HHMI珍妮莉亚研究园区）；University of Toronto（多伦多大学）
深度神经网络的成功取决于我们准确有效地优化高维非凸函数的能力。在本文中，我们实证研究了最先进的网络的损失函数，以及常用的随机梯度下降变量如何优化这些损失函数。为此，我们通过将损失函数投影到基于不同优化算法的收敛点选择的低维空间来可视化损失函数。我们的观察表明，优化算法在许多鞍点遇到并选择不同的下降方向，以找到不同的最终权重。基于我们在相同随机优化算法的重新运行中观察到的一致性，我们假设每个优化算法在这些鞍点处做出特征选择。
2017-12-07 cs.LG
Theory of Deep Learning IIb: Optimization Properties of SGD
Center for Brains, Minds, and Machines, McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院大脑、心智与机器中心，麦戈文脑科学研究所）；University of Pennsylvania（宾夕法尼亚大学）
在理论IIb中，我们用理论和实验的混合来表征深度卷积网络通过随机梯度下降的优化。本文的主要新结果为以下关于SGD的猜想提供了理论和实验证据：SGD集中在概率上-像经典的Langevin方程一样-在大体积，“平坦”极小值上，选择具有非常高概率的平坦极小值也是全局极小值
2018-01-07 cs.LG
Iterative Surrogate Model Optimization (ISMO): An active learning algorithm for PDE constrained optimization with deep neural networks
SINTEF（挪威科学与工业研究基金会）；ETH Zürich（苏黎世联邦理工学院）；University of Southern California（南加州大学）；TIFR Centre for Applicable Mathematics（塔塔基础研究院应用数学中心）
提出了一种新的主动学习算法--迭代代理模型优化算法（ISMO），用于求解偏微分方程约束最优化问题的鲁棒、高效的数值逼近。该算法基于深度神经网络，其关键特征是通过深度神经网络和任何底层标准优化算法之间的反馈循环迭代选择训练数据。在适当的假设下，我们证明了所得到的优化收敛指数快速（和指数衰减方差），相对于训练样本的数量增加。最优控制，参数识别和形状最优化问题的偏微分方程的数值例子提供验证所提出的理论，并说明ISMO显着优于基于代理优化算法的标准深度神经网络。
2020-08-13 cs.LG cs.NA math.NA
CMA-ES for Hyperparameter Optimization of Deep Neural Networks
Univesity of Freiburg（弗莱堡大学）
深度神经网络的超参数通常通过网格搜索、随机搜索或贝叶斯优化来优化。作为替代方案，我们建议使用协方差矩阵自适应演化策略（CMA-ES），该策略以其在无导数优化中的最新性能而闻名。CMA-ES具有一些有用的不变性性质，并且对于解的并行计算是友好的。我们提供了一个玩具例子，比较了CMA-ES和最先进的贝叶斯优化算法，用于在30个GPU上并行调整MNIST数据集的卷积神经网络的超参数。
2016-04-25 cs.LG cs.NE
Cooper: A Library for Constrained Optimization in Deep Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
Cooper 是一个开源库，通过实现多种基于拉格朗日的一阶更新方案，将约束优化算法与 PyTorch 的自动微分及深度学习架构无缝结合，适用于深度学习及一般非凸连续约束优化问题。
2025-04-01 cs.LG cs.MS
A Survey on Multi-Objective based Parameter Optimization for Deep Learning
本文综述了多目标优化策略在深度神经网络参数优化中的有效性，探讨了二者结合在多个应用预测与分析中的价值。
2023-05-17 cs.LG math.OC
Optimization Methods in Deep Learning: A Comprehensive Overview
本文综述深度学习训练中的一阶、动量及自适应梯度优化方法，分析优化挑战及初始化与归一化技术，并给出面向任务和数据集的选型建议。
2023-04-24 cs.LG math.OC
Explicit and Implicit Graduated Optimization in Deep Neural Networks
Meiji University（明治大学）
本文实验评估了显式渐进优化算法的性能与局限，并将隐式渐进优化扩展到带动量的SGD，通过ResNet图像分类实验验证了其有效性。
2024-12-16 cs.LG
On the Optimization of Deep Networks: Implicit Acceleration by Overparameterization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Google Brain（谷歌大脑）
深度学习的传统观点认为，增加深度可以提高表达能力，但会使优化复杂化。本文建议，有时，增加深度可以加快优化。深度对优化的影响与表现力无关，它关注的是附加层会过度参数化的设置--线性神经网络，一个研究得很好的模型。理论分析和实验表明，深度在这里起着加速收敛的预条件子的作用。即使在简单的凸问题上，例如具有$\ell_p$损失的线性回归，$p>2$，梯度下降也可以从过渡到非凸的过参数化目标中受益，而不是从一些常见的加速方案中受益。我们还证明了通过任何正则化子的梯度来获得过参数化的加速效果在数学上是不可能的。
2018-06-11 cs.LG
Few-Shot Bayesian Optimization with Deep Kernel Surrogates
IBM Research（IBM研究院）；University of Freiburg（弗莱堡大学）
超参数优化（HPO）是机器学习解决方案自动化的核心支柱，主要通过贝叶斯优化来执行，其中学习参数替代以近似黑盒响应函数（例如验证误差）。不幸的是，评估响应函数是计算密集型的。作为一种补救措施，早期的工作强调需要迁移学习代理，它学习从其他任务中优化算法的超参数。与以前的工作相比，我们建议将HPO重新考虑为一个少样本学习问题，其中我们训练一个共享的深度代理模型，以快速适应（很少响应评估）新任务的响应函数。我们建议使用一个深内核网络的高斯过程代理元学习的端到端的方式，以共同近似的响应函数的集合的训练数据集。因此，与最近在不同元数据集上的几种方法相比，我们的深度内核代理的新颖的Few-Shot优化在HPO上产生了新的最先进的结果。
2021-01-19 cs.LG
Path-SGD: Path-Normalized Optimization in Deep Neural Networks
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Toronto（多伦多大学）
我们通过重新考虑优化权重的适当几何形状，重新审视了SGD用于训练深度神经网络的选择。我们主张一个几何不变的权重重新缩放，不影响网络的输出，并建议路径SGD，这是一个近似的最速下降方法相对于路径的正则化相关的最大范数正则化。Path-SGD易于实现且高效，并导致SGD和AdaGrad的经验收益。
2015-06-08 cs.CV cs.LG cs.NE
Interpolatron: Interpolation or Extrapolation Schemes to Accelerate Optimization for Deep Neural Networks
Peking University（北京大学）；Megvii（旷视科技）
在本文中，我们探讨了大规模非凸优化问题的加速技术，特别关注深度神经网络。外推法是求解凸优化问题的一种经典的加速随机梯度下降方法，但它在非凸优化问题中的表现并不理想。或者，我们提出了一个插值方案，以加速非凸优化和调用的方法Interpolatron。我们解释Interpolatron背后的动机，并进行彻底的实证分析。深度DNN的经验结果（例如，98-在CIFAR-10和ImageNet上进行的两个实验（200层ResNet和200层ResNet）表明，Interpolatron可以比最先进的方法（如带有动量的SGD和Adam）更快地收敛。此外，安德森的加速，其中的混合系数的最小二乘估计计算，也可以用来提高性能。Interpolatron和Anderson的加速都很容易实现和调整。在一定的正则性假设下，证明了插值算法具有线性收敛速度.
2018-05-17 cs.AI cs.LG math.OC
A Novel Structured Natural Gradient Descent for Deep Learning
Beijing Institute of Technology（北京理工大学）
自然梯度下降（NGD）为深度神经网络提供了深刻的见解和强大的工具。然而，随着网络结构的复杂化，Fisher信息矩阵的计算变得越来越困难。本文提出了一种新的优化方法，其主要思想是通过重构网络精确地代替自然梯度优化。更具体地说，我们重建了深度神经网络的结构，并使用传统的梯度下降（GD）优化了新网络。重构后的网络达到了自然梯度下降优化方法的效果。实验结果表明，我们的优化方法可以加速深度网络模型的收敛，并在共享其计算简单性的同时实现比GD更好的性能。
2021-09-21 cs.AI cs.LG
The Number of Steps Needed for Nonconvex Optimization of a Deep Learning Optimizer is a Rational Function of Batch Size
Meiji University（明治大学）
最近，针对非凸优化的深度学习优化器的收敛性和收敛速度分析得到了广泛的研究。与此同时，优化器的数值评估精确地阐明了批量大小与训练深度神经网络所需步骤数之间的关系。本文的主要贡献是从理论上表明，每个优化器的非凸优化所需的步骤数可以表示为批量大小的有理函数。拥有这些有理函数会导致两个特别重要的事实，这在以前的研究中得到了数值验证。第一个事实是，存在一个最佳的批量大小，使得非凸优化所需的步骤数最小化。这意味着使用比最优批量更大的批量不会减少非凸优化所需的步骤数。第二个事实是最佳批处理大小取决于优化器。特别是，它从理论上表明，动量和亚当型优化器可以利用更大的最优批次，并进一步减少非凸优化所需的最小步骤数比随机梯度下降优化。
2021-08-26 cs.LG math.OC
Training Deep Neural Networks via Optimization Over Graphs
University of Technology, Sydney（悉尼科技大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
在这项工作中，我们提出了通过图上的分布式优化来训练深度神经网络。考虑两个非线性函数：整流线性单元（ReLU）和具有上下截止值的线性单元（DCutLU）。通过使用一组松弛变量显式表示ReLU或DCutLU来实现图上的问题重构。然后，我们应用交替方向的乘法器（ADMM）更新的权重的网络逐层解决子问题的重新制定的问题。实证结果表明，基于ADMM的方法是不太敏感的过度拟合比随机梯度下降（SGD）和亚当的方法。
2017-06-17 cs.DC cs.LG
A Comprehensive Study on Optimization Strategies for Gradient Descent In Deep Learning
Vellore Institute of Technology（韦洛尔理工学院）
人工神经网络最重要的部分之一是最小化损失函数，它告诉我们模型的好坏。为了最小化这些损失，我们需要调整权重和偏差。同样，为了计算函数的最小值，我们需要梯度。为了更新权重，我们需要梯度下降。但是有规则的梯度下降也有一些问题。它很慢而且不那么准确。本文旨在介绍梯度下降的优化策略。此外，我们还将讨论这些算法的结构和进一步优化的神经网络一般
2021-01-07 cs.AI cs.LG
RTDK-BO: High Dimensional Bayesian Optimization with Reinforced Transformer Deep kernels
Hewlett Packard Enterprise（慧与科技）
针对现有贝叶斯优化小样本方法无法挖掘相关目标相似性的问题，提出RTDK-BO方法，将注意力机制融入深度核学习并结合强化学习训练的采集函数，在连续高维优化任务中取得了SOTA结果。
2023-11-08 cs.AI cs.LG
Meta-Optimization of Deep CNN for Image Denoising Using LSTM
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿产大学）
最近深度学习（DL）在各种任务中的应用已经看到经典技术的性能被基于DL的技术所超越。因此，DL同样可以应用于从图像中去除噪声。特别地，已经研究了深度前馈卷积神经网络（DnCNN）的使用以用于去噪。与其他经典的最先进的去噪算法相比，它利用了深度架构、残差学习和批量归一化等DL技术的进步，实现了更好的去噪性能。然而，它的深层架构导致了一组庞大的可训练参数。元优化是一种使算法能够自我训练的训练方法。与经典的基于梯度下降的训练方法相比，使用元优化器的训练算法已被证明能够使算法实现更好的性能。在这项工作中，我们研究了元优化训练方法在DnCNN去噪算法中的应用，以增强其去噪能力。我们对简单算法的初步实验揭示了利用元优化训练方法增强DnCNN去噪能力的前景。
2021-07-14 cs.AI cs.LG eess.IV
Effectiveness of Optimization Algorithms in Deep Image Classification
亚当被广泛应用于训练神经网络。不同类型的亚当方法具有不同的特征。最近两个新的adam优化器，AdaBelief和Padam被引入社区。我们分析了这两个亚当优化器，并将它们与其他传统的优化器（亚当，SGD +动量）在图像分类的情况下进行了比较。我们使用EMNIST数据集在AlexNet和简化版本的VGGNet，ResNet上评估这些优化算法的性能。（基准算法可在\hyperref [https：//github.com/chuiyunjun/projectCSC413]{https：//github.com/chuiyunjun/projectCSC413}获得）。
2021-10-04 cs.CV cs.LG math.OC
Integrating Optimization Theory with Deep Learning for Wireless Network Design
Koc University（科克大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央高等电力学院）
针对传统无线网络优化算法复杂度高、纯深度学习方案存在准确性与可解释性不足的问题，本文提出将优化理论与深度学习结合的混合方法，通过用深度神经网络替换优化方案的关键模块，在运行效率、准确性和收敛速度上均优于两类单一方案。
2024-12-11 cs.AI cs.LG cs.NI
Grasp Force Optimization as a Bilinear Matrix Inequality Problem: A Deep Learning Approach
IIT Guwahati（印度理工学院古瓦哈提分校）；University of Edinburgh（爱丁堡大学）
本文将多指机器人手的抓取力优化建模为BMI问题，并提出深度学习求解方法，以在未知物体上高效生成最优质量的力封闭抓取。
2023-12-08 cs.AI cs.LG cs.NE
An Essay on Optimization Mystery of Deep Learning
MIPT（莫斯科物理技术学院）
尽管深度学习在经验上取得了巨大的成功，但对神经网络学习过程的理论理解仍然缺乏。这就是为什么它的一些特征看起来“神秘”的原因。我们强调深度学习的两个奥秘：泛化奥秘和优化奥秘。在这篇文章中，我们回顾并绘制几个选定的作品之间的联系，后者。
2019-05-17 cs.LG stat.ML
A Comparison of Optimization Algorithms for Deep Learning
Mimar Sinan Fine Arts University（米马尔·希南美术大学）
近年来，我们见证了深度学习的兴起。深度神经网络已经在许多领域证明了它们的成功。然而，随着神经网络的深入和数据集的增大，这些网络的优化变得越来越困难。因此，在过去的几年中，已经提出了更先进的优化算法。在这项研究中，广泛使用的优化算法的深度学习进行了详细检查。为此，这些算法被称为自适应梯度方法的监督和无监督的任务。在训练过程中的算法的行为和结果的四个图像数据集，即MNIST，CIFAR-10，Kaggle花和标记的脸在野外进行比较，指出他们的差异对基本的优化算法。
2020-07-28 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
DeepCO: Offline Combinatorial Optimization Framework Utilizing Deep Learning
Hitachi, Ltd.（株式会社日立）
组合优化在许多现代工业应用中起着重要作用。由于安全和/或成本问题，大量的问题是离线设置。虽然基于模拟的方法似乎很难实现复杂的系统，在这项研究中，我们提出了DeepCO，一个利用深度学习的离线组合优化框架。我们也设计了旅行商问题（TSP）的离线变化模型仓库操作序列优化问题进行评估。在历史数据有限的情况下，本文提出的分布正则化优化方法在离线TSP实验中的性能优于现有的基线方法，平均减少路径长度5.7%，在现实问题中显示出巨大的潜力。
2020-07-20 cs.LG math.OC stat.ML
Stage-based Hyper-parameter Optimization for Deep Learning
Seoul National University（首尔国立大学）
随着深度学习技术比以往任何时候都进步，超参数优化是深度学习集群中新的主要工作负载。虽然超参数优化在训练深度学习模型以获得高模型性能方面至关重要，但有效执行这样的计算繁重的工作量仍然是一个挑战。我们观察到，从现有的超参数优化算法发出的许多试验共享共同的超参数序列前缀，这意味着有冗余的计算，从训练相同的超参数序列多次。我们提出了一个基于阶段的执行策略，有效地执行超参数优化算法。我们的策略通过将试验的超参数序列分成同质阶段，并通过合并公共前缀生成阶段树来消除训练过程中的冗余。我们的初步实验结果表明，将基于阶段的执行应用于超参数优化算法的性能优于原始的基于试验的方法，所需的GPU时间和端到端训练时间分别节省了6.60倍和4.13倍。
2019-11-24 cs.LG stat.ML
Deep Inverse Optimization
Concordia University（康考迪亚大学）
给定由优化过程生成的一组观测，逆优化的目标是确定该过程的可能参数。我们将逆优化视为深度学习的一种形式。我们的方法称为深度逆优化，是展开迭代优化过程，然后使用反向传播来学习生成观测值的参数。我们证明，通过内点算法的反向传播，我们可以学习的系数确定成本向量和约束，独立或联合，为非参数和参数线性规划，从一个或多个观察。通过这种方法，逆优化可以利用来自深度学习的概念和算法。
2018-12-03 cs.LG math.OC stat.ML
A Survey of Techniques All Classifiers Can Learn from Deep Networks: Models, Optimizations, and Regularization
Department of Computer Science（计算机科学系）；Pullman, WA 99163（普尔曼，华盛顿州 99163（注：此为地址，非机构））
深度神经网络为机器学习社区引入了新颖而有用的工具。其他类型的分类器也可以潜在地利用这些工具来提高它们的性能和通用性。本文回顾了在深度神经网络之外使用的深度学习分类器技术的当前发展水平。非网络分类器可以采用在深度神经网络架构中发现的许多组件。在本文中，我们回顾了构成深度网络技术核心的特征学习、优化和正则化方法。然后，我们调查非神经网络学习算法，使创新地利用这些方法来改善分类。由于仍然存在许多机遇和挑战，我们讨论了可以追求的方向，以扩展各种分类算法的深度学习领域。
2019-09-27 cs.LG stat.ML
Optimization Methods for Supervised Machine Learning: From Linear Models to Deep Learning
Lehigh University（理海大学）
本教程的目标是介绍与使用优化方法解决机器学习中出现的问题相关的关键模型、算法和开放性问题。它是为INFORMS的读者而写的，特别是那些熟悉优化算法基础，但不太熟悉机器学习的读者。我们首先推导出一个监督学习问题的公式，并展示它如何导致各种优化问题，这取决于上下文和基本假设。然后，我们讨论这些优化问题的一些独特特征，重点是逻辑斯谛回归和深度神经网络的训练的例子。本教程的后半部分重点介绍优化算法，首先是凸逻辑斯谛回归，我们讨论了一阶方法，随机梯度方法，方差减少随机方法和二阶方法的使用。最后，我们讨论了如何将这些方法用于深度神经网络的训练，强调了这些模型的复杂非凸结构所带来的困难。
2017-06-30 cs.LG stat.ML
A Novel Topology Optimization Approach using Conditional Deep Learning
The Ohio State University（俄亥俄州立大学）
在这项研究中，一种新的拓扑优化方法的基础上的条件Wasserstein生成对抗网络（CWGAN）的开发复制传统的拓扑优化算法在一个非常计算成本低廉的方式。CWGAN由一个生成器和一个卷积器组成，两者都是深度卷积神经网络（CNN）。有限的数据样本，准最优的平面结构，需要使用传统的拓扑优化算法的训练目的。利用CWGAN，可以在生成样本之前将拓扑优化条件设置为所需的值。CWGAN通过由设计器引入等式约束来截断全局设计空间。通过使用具有相同设置的常规算法生成优化的平面结构来验证结果。提出了一个概念证明，这是已知的CWGAN和拓扑优化的融合的第一个这样的说明。
2019-01-14 cs.LG stat.ML
Deep Reinforcement Learning for Dynamic Urban Transportation Problems
George Mason University（乔治梅森大学）
我们探索了深度学习和深度强化学习在交通优化问题中的应用。许多交通系统分析任务都被表述为优化问题-例如智能交通系统和长期城市规划中的最优控制问题。通常，用于表示交通系统动态的交通模型涉及具有复杂输入-输出交互的大型数据集，并且难以在优化的上下文中使用。使用深度学习元模型可以产生这些关系的低维表示，并允许以有效的方式实现优化和强化学习算法。特别是，我们开发了用于校准交通模拟器和强化学习的深度学习模型，以解决网络上旅行者的最佳调度问题。
2018-06-14 cs.LG stat.ML
DLOPT: Deep Learning Optimization Library
Universidad de Málaga（马拉加大学）
深度学习超参数优化是一项艰巨的任务。找到合适的网络配置是成功的关键，但大多数时候这项工作都是粗略完成的。在这项工作中，我们引入了一个新的库来解决这个问题，深度学习优化库：DLOPT。我们简要描述了它的架构，并提出了一组使用示例。这是一个在GNU GPL v3许可下开发的开源项目，可在https://github.com/acamero/dlopt上免费获得
2018-07-10 cs.LG cs.NE stat.ML
Bayesian Optimization using Deep Gaussian Processes
Université de Lille（里尔大学）；CNRS/CRIStAL（法国国家科学研究中心/CRIStAL实验室）；Inria Lille（法国里尔国家信息与自动化研究所）
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而，由于经典高斯过程的协方差阵的平稳性是先验的，这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题，提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型，而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性，从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论，并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比，最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Time Matters in Regularizing Deep Networks: Weight Decay and Data Augmentation Affect Early Learning Dynamics, Matter Little Near Convergence
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
正则化通常被理解为通过改变模型最终收敛到的局部极值来改善泛化。然而，深度神经网络（DNN）挑战了这一观点：我们表明，在初始过渡期之后删除正则化对泛化的影响很小，即使最终的损失情况与没有正则化的情况相同。在某些情况下，在中断正则化之后，泛化甚至有所改善。相反，如果仅在初始瞬态之后应用正则化，则它对最终解没有影响，其泛化差距就像正则化从未发生过一样糟糕。这表明，训练深度网络的重要性不仅仅在于是否或如何正则化，而是何时正则化。我们观察到的现象表现在不同的数据集（CIFAR-10，CIFAR-100），不同的架构（ResNet-18，All-CNN），不同的正则化方法（权重衰减，数据增强），不同的学习率调度（指数，分段常数）。他们共同认为，有一个“关键时期”来正则化深度网络，这对最终的表现是决定性的。因此，更多的分析应该集中在学习的瞬态而不是渐近行为上。
2019-05-30 cs.AI cs.LG stat.ML
McTorch, a manifold optimization library for deep learning
Microsoft（微软）；The University of Electro-Communications（电气通信大学）
在本文中，我们介绍了McTorch，这是一个用于深度学习的流形优化库，它扩展了PyTorch。它旨在为希望在深度学习应用程序中使用多种约束的用户降低障碍，即，当参数被约束为位于流形上时。这些约束包括流行的正交性和秩约束，并且最近已在深度学习的许多应用中使用。McTorch遵循PyTorch的架构，并简化了流形定义和优化器，即，一旦添加了新的歧管，它就可以与任何现有的优化器一起使用，反之亦然。McTorch可在https://github.com/mctorch上获得。
2018-10-04 cs.AI cs.LG stat.ML
Stochastic Optimization for Deep CCA via Nonlinear Orthogonal Iterations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度CCA是最近提出的对传统典型相关分析（CCA）的深度神经网络扩展，并且已经在多个领域中成功地用于多视图表示学习。然而，深度CCA目标的随机优化并不简单，因为它不会在训练样本上解耦。以前的深度CCA优化器要么是基于批处理的算法，要么是使用大型小批量的随机优化，这可能会占用很高的内存。在本文中，我们解决了随机优化的问题，深CCA与小minibatches，基于迭代解决方案的CCA目标，并表明，我们可以实现良好的性能，因为以前的优化，从而减轻内存需求。
2015-10-07 cs.LG
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University（首尔国立大学）
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时，即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法，估计量化步长动态再训练过程中。此外，还测试了一种渐进量化方案，该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络（FFDNN）、卷积神经网络（CNN）和递归神经网络（RNN）进行实验。
2017-02-27 cs.LG
Algorithms for solving optimization problems arising from deep neural net models: smooth problems
结合多层学习网络的机器学习模型已被视为为各种分类问题提供有效的模型。然而，求解使经验风险最小化的最优向量的所得最优化问题是高度非线性的。这对应用和开发用于解决该问题的适当优化算法提出了挑战。在本文中，我们总结了所涉及的主要挑战，并提出了一个基于牛顿的方法纳入负曲率方向的情况下，包括有前途的数值结果所产生的数据安全异常检测。
2018-06-30 cs.LG math.OC stat.ML
Deep2Lead: A distributed deep learning application for small molecule lead optimization
Georgia Institute of Technology（佐治亚理工学院）
先导化合物优化是药物发现的关键步骤，是产生有效和选择性化合物的关键步骤。从历史上看，计算机筛选和基于结构的小分子设计促进了这一过程。尽管最近深度学习在药物发现中的应用试验了其在计算机上应用铅优化步骤的可能性，但由于工具的可用性，缺乏现实世界的应用。在这里，我们开发了一个单一的用户界面应用程序，称为Deep2Lead。我们的基于网络的应用程序集成了VAE和DeepPurpose DTI，允许用户在没有编程经验的情况下快速执行电极导线优化任务。
2021-08-09 cs.LG q-bio.QM
Optimization of Molecules via Deep Reinforcement Learning
Stanford University（斯坦福大学）；Google AI Applied Science（谷歌人工智能应用科学部）
我们提出了一个框架，我们称之为分子深度$Q$网络（MolDQN），通过结合化学领域知识和最先进的强化学习技术（双$Q$学习和随机价值函数）进行分子优化。我们直接定义分子上的修饰，从而确保100%的化学有效性。此外，我们在没有对任何数据集进行预训练的情况下进行操作，以避免该集合的选择可能产生的偏差。受药物化学铅优化过程中面临的问题的启发，我们用多目标强化学习扩展了我们的模型，该模型在保持与原始分子相似性的同时最大化了药物相似性。我们进一步展示了通过化学空间实现分子优化的路径，以了解模型是如何工作的。
2019-03-01 cs.AI cs.LG stat.ML
Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO
MIT（麻省理工学院）；Two Sigma（双西格玛）
通过对两种常用的策略优化算法：近端策略优化（PPO）和信任域策略优化（TRPO）的案例研究，分析了深度策略梯度算法取得进步的根源。具体来说，我们调查的后果“代码级优化：”算法增强只在实现或描述为辅助细节的核心算法。这种优化似乎是次要的，但事实证明它对代理行为有重大影响。我们的研究结果表明，它们（a）是PPO在TRPO上获得累积奖励的主要原因，（b）从根本上改变了RL方法的功能。这些见解表明了在深度强化学习中归因于性能增益的困难和重要性。复制我们结果的代码可在https://github.com/MadryLab/implementation-matters上获得。
2020-05-25 cs.LG cs.RO stat.ML
Optimization under Uncertainty in the Era of Big Data and Deep Learning: When Machine Learning Meets Mathematical Programming
Cornell University（康奈尔大学）
本文通过现代数据镜头回顾了不确定性优化领域的最新进展，强调了数据驱动优化的关键研究挑战和前景，该优化将机器学习和数学规划有机地集成到不确定性决策中，并确定了潜在的研究机会。首先简要回顾了经典的数学规划技术对冲不确定性，以及它们在过程系统工程中的广泛应用。然后对数据驱动的分布鲁棒优化、数据驱动的机会约束规划、数据驱动的鲁棒优化和数据驱动的基于分布鲁棒优化的相关出版物进行了全面的回顾和分类。本文还为未来的研究确定了丰富的途径，重点是闭环数据驱动的优化框架，该框架允许从数学编程到机器学习的反馈，以及利用深度学习技术的力量进行基于神经网络的优化。展望在线学习基于数据驱动的多级优化与学习，同时优化计划。
2019-04-03 cs.LG math.OC stat.ML
