Blessing of Nonconvexity in Deep Linear Models: Depth Flattens the Optimization Landscape Around the True Solution
University of Michigan（密歇根大学）
这项工作描述了深度对线性回归优化景观的影响，表明尽管它们是非凸的，但更深的模型具有更理想的优化景观。我们考虑一个强大的和过度参数化的设置，其中测量的一个子集被严重损坏的噪声和真正的线性模型是通过一个$N$层线性神经网络捕获。在消极的一面，我们表明，这个问题\textit{does not}有一个良性的景观：给定任何$N\geq 1$，具有恒定的概率，存在一个解决方案对应的地面真理，既不是本地也不是全球最小值。然而，在积极的一面，我们证明，对于任何$N$层模型与$N\geq 2$，一个简单的次梯度方法变得无视这样的"问题“的解决方案;相反，它收敛到一个平衡的解决方案，不仅接近地面真相，但也享有平坦的局部景观，从而避免了需要“提前停止”。最后，我们通过经验验证了更深层次模型的理想优化前景扩展到其他强大的学习任务，包括深度矩阵恢复和具有$\ell_1$损失的深度ReLU网络。
2022-07-15 cs.LG stat.ML
Optimization Landscapes Learned: Proxy Networks Boost Convergence in Physics-based Inverse Problems
Ludwig Maximilian University of Munich（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Instituto de Telecomunicações（电信研究所）
针对物理逆问题中迭代优化算法易陷入局部极小和混沌的问题，提出利用深度神经网络学习并平滑复杂的PDE逆损失景观，在多个挑战性问题上实现了优于BFGS等传统优化器的收敛性。
2025-01-27 cs.LG math.OC
Visualizing Movement Control Optimization Landscapes
Aalto University（阿尔托大学）；Stanford University（斯坦福大学）
大量的动画研究集中在动作控制的优化上，无论是动作序列还是策略参数。然而，由于目标函数的封闭形式的表达式往往是不可用的，我们对优化问题的理解是有限的。在最近分析神经网络训练的基础上，我们提供了高维控制优化景观的新可视化;这有助于深入了解为什么控制优化很难，以及为什么像提前终止和基于样条的动作参数化这样的常见做法使优化更容易。例如，我们的实验显示了轨迹优化如何随着较长的轨迹而变得越来越病态，但是将控制参数化为部分目标状态-例如，使用PD控制器将目标角度转换为扭矩-可以作为有效的预处理器。我们的可视化和定量经验数据也表明，神经网络策略优化的规模比轨迹优化长期规划的视野。我们的工作推进了对运动优化的理解，我们的可视化也应该在教育用途中提供价值。
2020-08-22 cs.LG stat.ML
Optimization Landscape and Expressivity of Deep CNNs
Saarland University（萨尔大学）；University of Tübingen（图宾根大学）
我们分析了具有共享权重和最大池化层的实用深度卷积神经网络（CNN）的损失情况和表现力。我们表明，这样的CNN在“宽”层产生线性独立的特征，该层具有比训练样本数量更多的神经元。该条件例如对于VGG网络成立。此外，我们为这种宽CNN提供了零训练误差的全局最小值的充分必要条件。对于宽层之后是全连接层的情况，我们证明了经验损失的几乎每个临界点都是具有零训练误差的全局最小值。我们的分析表明，深度和宽度在深度学习中都非常重要。虽然深度带来了更强的代表性，并允许网络学习高级特征，但宽度平滑了损失函数的优化前景，因为足够宽的网络具有表现良好的损失表面，几乎没有不良的局部最小值。
2018-06-06 cs.AI cs.CV cs.LG
Large-scale global optimization of ultra-high dimensional non-convex landscapes based on generative neural networks
Stanford University（斯坦福大学）
本文提出一种基于深度生成网络训练的元启发式算法，通过定制损失函数和渐进式网络架构在超高维连续空间中高效寻优，在高达一千维的标准问题上以更少函数评估次数超越现有基准。
2023-07-09 cs.LG math.OC
Analyzing and Improving the Optimization Landscape of Noise-Contrastive Estimation
Carnegie Mellon University（卡内基梅隆大学）
噪声对比估计（NCE）是一种用于学习非归一化概率模型的统计一致性方法。根据经验观察到，噪声分布的选择对于NCE的性能至关重要。然而，这种观察从未被正式或量化。事实上，甚至不清楚由选择不当的噪声分布引起的困难本质上是统计的还是算法的。在这项工作中，我们正式查明NCE的性能不佳的原因时，使用不适当的噪声分布。也就是说，我们证明这些挑战是由于一个行为不端（更准确地说，平坦）的损失景观。为了解决这个问题，我们引入了一种称为“eNCE”的NCE变体，它使用指数损失，并且当目标和噪声分布在给定的指数族中时，归一化梯度下降可证明地解决了景观问题。
2021-10-21 cs.LG stat.ML
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions
Stanford University（斯坦福大学）
我们证明了找到所有全局最优的双层ReLU神经网络可以通过求解具有锥约束的凸优化程序来执行。我们的分析是新颖的，描述了所有最优解的特征，并且没有利用最近用于将神经网络训练提升到凸空间的基于对偶的分析。给定我们的凸优化程序的解集，我们展示了如何精确地构建整个最优神经网络集。我们提供了一个详细的特征，这个最佳的设置和不变的变换。作为凸透视的附加结果，（i）我们建立了由随机梯度下降找到的Clarke平稳点对应于下采样凸问题的全局最优值（ii）我们提供了一个多项式时间算法来检查神经网络是否是训练损失的全局最小值（iii）我们提供了一个明确的结构之间的连续路径的任何神经网络和全球最小的子水平集和（iv）表征隐藏层的最小尺寸，使得神经网络优化景观没有虚假谷。总的来说，我们提供了一个丰富的框架，通过凸性研究神经网络训练损失的景观。
2022-03-13 cs.LG stat.ML
Loss landscapes and optimization in over-parameterized non-linear systems and neural networks
The Ohio State University（俄亥俄州立大学）；University of California, San Diego（加州大学圣地亚哥分校）；Halicioğlu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校哈利西奥卢数据科学研究所）
深度学习的成功在很大程度上要归功于应用于大型神经网络的基于梯度的优化方法的显著效果。这项工作的目的是提出一个现代的观点和一个通用的数学框架，用于过度参数化的机器学习模型和非线性方程系统中的损失景观和有效优化，这种设置包括过度参数化的深度神经网络。我们的初步观察是，对应于这样的系统的优化问题通常不是凸的，即使是局部的。我们认为，相反，他们满足PL $^*$，变形的Polyak-Lojasiewicz条件的大部分（但不是全部）的参数空间，这保证了解决方案的存在性和有效的优化（随机）梯度下降（SGD/GD）。这些系统的PL $^*$条件与与非线性系统相关的切线核的条件数密切相关，表明基于PL $^*$的非线性理论如何与过参数化线性方程的经典分析并行。我们证明了宽神经网络满足PL $^*$条件，这解释了（S）GD收敛到全局最小值。最后，我们提出了一个放松的PL $^*$条件适用于“几乎”过参数化系统。
2021-05-26 cs.LG math.OC stat.ML
Analyzing the Impact of Multimodal Perception on Sample Complexity and Optimization Landscapes in Imitation Learning
University of California, Berkeley（加州大学伯克利分校）
本文基于统计学习理论，分析了多模态感知对模仿学习样本复杂度与优化景观的影响，证明适当集成的多模态策略优于单模态策略，并从理论框架解释了PerAct和CLIPort等架构的卓越性能。
2025-08-07 cs.LG cs.RO
On the Optimization Landscape of Maximum Mean Discrepancy
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）
本文分析了生成模型中最大均值差异（MMD）学习的优化景观，证明在低秩协方差高斯分布和高斯混合分布等情形下MMD目标具有良性优化结构，梯度方法可实现全局最优。
2024-05-03 cs.LG stat.ML
In almost all shallow analytic neural network optimization landscapes, efficient minimizers have strongly convex neighborhoods
University of Mannheim（曼海姆大学）；University of Münster（明斯特大学）
本文分析浅层解析神经网络回归问题的优化景观，发现有效域上几乎所有回归问题的局部极小值均具强凸邻域（优化景观为莫尔斯函数），而冗余域维度更小且局部极小值不孤立。
2025-04-11 cs.LG math.PR stat.ML
On Landscape of Lagrangian Functions and Stochastic Search for Constrained Nonconvex Optimization
Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota（明尼苏达大学）；Princeton University（普林斯顿大学）
我们研究机器学习、信号处理和随机控制中的约束非凸优化问题。这是众所周知的，这些问题可以改写为一个极大极小问题的拉格朗日形式。然而，由于缺乏凸性，他们的景观没有得到很好的理解，如何找到稳定的平衡的拉格朗日函数仍然是未知的。为了弥补这一差距，我们研究了拉格朗日函数的景观。此外，我们定义了一类特殊的拉格朗日函数。他们有两个特点：1.平衡点是稳定的或不稳定的（形式定义见第二节）; 2.稳定平衡点对应于原问题的全局最优解。我们表明，广义特征值（GEV）问题，包括典型相关分析和其他问题，属于类。具体来说，我们通过利用不变群和对称属性来描述其稳定和不稳定平衡点（更多细节见第3节）。受这些整洁的几何结构，我们提出了一个简单，高效，随机的原始-对偶算法解决在线GEV问题。在理论上，我们给出了充分条件，在此基础上，我们利用扩散近似建立了在线GEV问题的渐近收敛速度，并得到了第一个样本复杂性结果，这在应用概率和随机控制中有着广泛的应用.数值结果支持我们的理论。
2019-10-27 cs.LG math.OC stat.ML
HPO X ELA: Investigating Hyperparameter Optimization Landscapes by Means of Exploratory Landscape Analysis
LMU Munich（慕尼黑大学）；TU Dresden（德累斯顿工业大学）；University of Münster（明斯特大学）；University of Twente（特文特大学）
超参数优化（HPO）是用于实现峰值预测性能的机器学习模型的关键组成部分。虽然在过去的几年中已经提出了许多方法和算法HPO，很少取得进展，在照明和检查这些黑盒优化问题的实际结构。探索性景观分析（ELA）包含了一组技术，可用于获得有关未知优化问题的属性的知识。在本文中，我们评估了五种不同的黑盒优化器在30个HPO问题上的性能，这些问题包括在10个不同数据集上训练的XGBoost学习器的二维、三维和五维连续搜索空间。这与黑盒优化基准（BBOB）的360个问题实例上评估的相同优化器的性能形成对比。然后，我们计算ELA功能的HPO和BBOB的问题，并检查相似性和差异。聚类分析的HPO和BBOB的问题在ELA特征空间，使我们能够确定如何HPO的问题相比，BBOB的问题上的结构元水平。我们确定了一个子集的BBOB问题，接近HPO问题在ELA特征空间，并表明优化器的性能是类似的这两组基准问题。我们强调了HPO的ELA面临的挑战，并讨论了未来研究和应用的潜在方向。
2022-07-30 cs.LG
Neural network optimization strategies and the topography of the loss landscape
Department of Physics & Astronomy, Rutgers, The State University of New Jersey（物理与天文学系，罗格斯大学）
本文研究了SGD与准牛顿方法在神经网络训练中的表现差异，发现SGD能探索平滑吸引盆地，而准牛顿方法能发现更深孤立的最小值，但泛化能力较弱。
2026-02-24 cs.LG stat.ML
Visualized Insights into the Optimization Landscape of Fully Convolutional Networks
The Chinese University of Hong Kong（香港中文大学）
许多图像处理任务涉及图像到图像的映射，这可以通过全卷积网络（FCN）很好地解决，而无需任何繁重的预处理。虽然经验设计和训练的FCN可以取得令人满意的结果，性能提高的原因是稍微模糊的。我们的研究是通过可视化的优化景观，在理解他们的泛化能力方面取得进展。目标函数的可视化是通过选择一个解决方案，并将其附近投影到3D空间。我们在多个数据集上比较了三个基于FCN的网络（两个现有模型和本文提出的一个新模型）。在实践中已经观察到，从预合并的特征图到后上采样的特征图的连接可以实现更好的结果。我们调查了原因，并提供实验表明，在FCN的跳层连接可以促进平坦的优化景观，这是众所周知的推广更好。此外，我们还探讨了不同批量下模型泛化能力与损失面之间的关系。结果表明，大批量训练使模型收敛到具有混沌邻域的尖锐极小点，而小批量训练使模型收敛到具有光滑和近似凸区域的平坦极小点。我们的工作可能有助于设计和训练的FCNs的见解和分析。
2019-01-20 cs.LG stat.ML
The Landscape of the Proximal Point Method for Nonconvex-Nonconcave Minimax Optimization
Google Research（谷歌研究院）；Cornell University（康奈尔大学）；University of Chicago（芝加哥大学）
极大极小优化已经成为机器学习的核心工具，在鲁棒优化、强化学习、GANs等方面都有应用。这些应用通常是非凸-非凹的，但现有的理论无法识别和处理这带来的根本困难。本文研究了经典的邻近点方法（PPM）在非凸-非凹极大极小问题中的应用。我们发现，经典的概括莫罗信封Attouch和韦茨提供了关键的见解。关键是，我们表明，这个信封不仅平滑的目标，但可以凸和凹的基础上存在的最小化和最大化的变量之间的相互作用的水平。由此，我们确定了三个不同的区域的非凸非凹问题。当相互作用足够强时，我们得到全局线性收敛保证。相反，当相互作用是相当弱的，我们得到一个适当的初始化的局部线性收敛保证。在这两个设置之间，我们表明PPM可能发散或收敛到一个极限环。
2021-04-01 cs.LG math.OC stat.ML
On the Optimization Landscape of Tensor Decompositions
Duke University（杜克大学）；Princeton University（普林斯顿大学）
非凸局部搜索算法在机器学习中得到了广泛的应用，并取得了许多新的成果。理解为什么它们可以在典型数据上解决这些NP难题变得越来越重要。学习中的许多目标函数都具有“局部最优解（近似）是全局最优解”的几何性质，因此可以用局部搜索算法有效地求解。然而，建立这种财产可能非常困难。随机过完备张量分解问题在无监督学习，特别是潜变量模型的学习中有着广泛的应用。在实践中，它可以有效地解决梯度上升的非凸目标。我们表明，对于任何小常数$ε> 0$，在一组点的函数值$(1+ε)$ -因子大于期望的功能，所有的局部极大值是近似的全球最大值。在此之前，最著名的结果仅描述了真实组件周围小邻域中的几何形状。我们的结果意味着，即使初始化几乎不比随机猜测好，梯度上升算法也能保证解决这个问题。我们的主要技术是使用Kac-Rice公式和随机矩阵理论。据我们所知，这是第一次当Kac-Rice公式被成功地应用于计算一个高度结构的随机多项式的局部极小值的数量与相关系数。
2017-06-18 cs.DS cs.LG math.OC
Towards Automated Design of Bayesian Optimization via Exploratory Landscape Analysis
Leibniz University Hannover（汉诺威莱布尼茨大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；TU München（慕尼黑工业大学）
贝叶斯优化（BO）算法形成了一类基于代理的算法，旨在有效地计算数值黑箱优化问题的高质量解决方案。BO管道是高度模块化的，具有不同的设计选择的初始采样策略，的代理模型，采集功能（AF），求解器用于优化AF等，我们证明在这项工作中，动态选择的AF可以受益于BO设计。更确切地说，我们已经表明，一个天真的随机森林回归模型，建立在探索性景观分析功能，从初始设计点计算，足以推荐AF优于任何静态选择，当考虑性能超过经典的BBOB基准套件的衍生物自由数值优化方法的COCO平台。因此，我们的工作为AutoML辅助的动态BO设计铺平了道路，这些设计可以在逐个运行的基础上调整其行为。
2022-11-17 cs.LG
Low-Pass Filtering SGD for Recovering Flat Optima in the Deep Learning Optimization Landscape
NYU（纽约大学）
在本文中，我们研究了局部最小值周围的深度学习（DL）损失景观的清晰度，以揭示DL模型泛化能力的系统机制。我们的分析是在不同的网络和优化器超参数上进行的，涉及到丰富的不同锐度度量。我们比较了这些措施，并表明，低通滤波器为基础的措施表现出最高的相关性与DL模型的泛化能力，具有较高的鲁棒性的数据和标签噪声，而且可以跟踪双下降行为的神经网络。接下来，我们推导出优化算法，依赖于低通滤波器（LPF），使用SGD类过程主动搜索DL优化景观中的平坦区域。所提出的算法的更新，我们称之为LPF-SGD，由滤波器内核与损失函数的卷积的梯度确定，并且可以使用MC采样有效地计算。我们的经验表明，我们的算法实现了优越的泛化性能相比，常见的DL训练策略。在理论方面，我们证明了LPF-SGD比SGD收敛到一个更好的最优点，并且具有更小的泛化误差。
2022-02-04 cs.LG
On the Optimization Landscape of Dynamic Output Feedback: A Case Study for Linear Quadratic Regulator
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）；Tsinghua University（清华大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文研究线性二次调节中动态输出反馈的优化景观，证明可观测dLQR驻点唯一且可表示为带最优相似变换的观测器型控制器，为部分观测决策问题的高效算法设计提供理论依据。
2023-10-29 cs.LG cs.SY eess.SY
The Optimization Landscape of Learning Compacted Context Models
Base Labs
本文分析持续学习中KV缓存压缩优化问题的困难性，提出简化Perceiver架构，在多个领域任务上匹配或超越基线性能。
2026-10-06 cs.LG
Matrix Sensing with Kernel Optimal Loss: Robustness and Optimization Landscape
Department of Computer Science, CityUHK（计算机科学系，城市大学）
本文提出基于核最优损失的矩阵感知方法，通过改进损失函数提升鲁棒性与优化景观，适用于非高斯噪声环境。
2026-01-05 cs.AI cs.LG
The Effects of Mild Over-parameterization on the Optimization Landscape of Shallow ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了温和的过度参数化对$\mathbf{x}\mapsto\sum_{i=1}^k\max\{0,\mathbf{w}_i^{\top}\mathbf{x}\}$形式的简单ReLU神经网络的优化景观的影响，在一个经过充分研究的教师-学生设置中，目标值由相同的架构生成，并且直接优化相对于高斯输入的群体平方损失。我们证明，虽然目标是强凸的全局最小值时，教师和学生网络拥有相同数量的神经元，它甚至不是\emph{locally convex}后，任何数量的过参数化。此外，相关的期望性质（例如，单点强凸性和Polyak-Schojasiewicz条件）甚至在局部也不成立。另一方面，我们建立的目标仍然是一点强凸的\emph{most}方向（适当定义），并显示在此属性下的优化保证。对于非全局最小值，我们证明了即使只添加一个神经元也会将非全局最小值变成鞍点。这在某些技术条件下是成立的，我们通过经验验证了这一点。这些结果提供了一个可能的解释，为什么恢复全局最小值变得明显更容易，当我们过度参数化，即使过度参数化的量是非常温和的。
2021-07-30 cs.LG stat.ML
Strict-Saddle Landscapes and Multi-Rank Geometry in Low-Tubal-Rank Tensor Sensing
Michigan State University（密歇根州立大学）；Iowa State University（爱荷华州立大学）
本研究通过平衡分解分析低管秩张量感知的优化景观，建立严格鞍点性质，揭示局部几何由傅里叶切片秩决定，并区分均匀与非均匀秩下的不同增长行为。
2026-09-30 cs.LG math.OC
On the existence of minimizers in shallow residual ReLU neural network optimization landscapes
本文证明带ReLU激活的单隐层残差神经网络在损失景观中存在极小化子，通过构造包含不连续广义响应的搜索空间闭包，并证明这些广义响应次优，从而解决了此前平滑激活函数下极小化子不存在的问题。
2024-11-19 cs.LG cs.NA math.NA
Deep Learning for Explicitly Modeling Optimization Landscapes
Google, Inc.（谷歌公司）
在所有的，但最平凡的优化问题，结构的解决方案之间的输入参数表现出复杂的相互依赖性。几十年来，随机搜索技术的研究表明，明确建模参数集之间的相互作用和所发现的解决方案的整体质量的好处。我们展示了一种基于学习深度网络的新方法，用于对优化问题的全局景观进行建模。为了简洁而准确地表示搜索空间，深度网络必须对有关底层参数相互作用及其对解决方案质量的贡献的信息进行编码。一旦网络被训练，就探测网络以揭示相对于优化任务具有高预期性能的参数组合。这些估计值用于初始化快速、随机、局部搜索算法，这些算法又暴露了有关搜索空间的更多信息，这些信息随后用于细化模型。我们展示了在各种现实世界的领域，包括：包装，图形，作业调度，布局和压缩的多个优化问题的技术。这些问题包括组合搜索空间，不连续和高度非线性空间，跨度二元，高基数离散，以及连续参数。该方法的优势，局限性和扩展进行了广泛的讨论和论证。
2017-03-21 cs.AI cs.LG cs.NE
Spectral Neural Networks: Approximation Theory and Optimization Landscape
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究针对传统特征求解器在在线大数据场景下的局限，围绕谱神经网络（SNN）开展理论研究，量化了神经元数量与谱几何信息学习量的权衡，并首次探索其优化景观以阐明训练动力学，揭示了其非凸损失函数带来的额外复杂性。
2023-10-01 cs.LG cs.NA math.AP
Multi-Variable Batch Bayesian Optimization in Materials Research: Synthetic Data Analysis of Noise Sensitivity and Problem Landscape Effects
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Aalto University（阿尔托大学）；Massachusetts Institute of Technology（麻省理工学院）
本文通过合成数据研究噪声敏感性和问题景观对贝叶斯优化的影响，分析了噪声水平、批量选择方法和获取函数对优化结果的影响，为材料研究中的实验优化提供指导。
2025-10-15 cond-mat.mtrl-sci cs.LG stat.ML
Towards Understanding Momentum Acceleration in River-Valley Loss Landscape
Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣迭戈分校）；University of Chicago（芝加哥大学）；Yale University（耶鲁大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
本研究在河谷损失景观下理论分析动量加速机制，发现动量通过稳定大学习率提升沿河优化速度，且对平坦缓转河谷，加速主要源于更大学习率而非动量本身。
2026-09-28 cs.LG math.OC
Reframing Neural Networks: Deep Structure in Overcomplete Representations
Carnegie Mellon University（卡内基梅隆大学）；The University of Adelaide（阿德莱德大学）
与经典的浅表示学习技术相比，深度神经网络在几乎所有应用基准中都取得了卓越的性能。但是，尽管它们具有明显的经验优势，但人们仍然没有很好地理解是什么使它们如此有效。为了解决这个问题，我们引入了深度框架近似：一个统一的框架约束表示学习与结构化的过完备框架。虽然精确推理需要迭代优化，但它可以通过前馈深度神经网络的操作来近似。我们间接地分析了模型容量如何与由建筑超参数（如深度，宽度和跳过连接）引起的框架结构相关。我们量化这些结构的差异与深帧潜力，数据无关的措施的一致性表示的独特性和稳定性。作为模型选择的标准，我们在各种常见的深度网络架构和数据集上显示了与泛化误差的相关性。我们还演示了如何实现迭代优化算法的递归网络可以实现与前馈近似相当的性能，同时提高对抗鲁棒性。这种与已建立的过完备表示理论的联系表明，有原则的深度网络架构设计有希望的新方向，对ad-hoc工程的依赖更少。
2022-01-08 cs.CV cs.LG
A Collection of Deep Learning-based Feature-Free Approaches for Characterizing Single-Objective Continuous Fitness Landscapes
University of Münster（明斯特大学）；TU Dresden（德累斯顿工业大学）；University of Twente（特文特大学）
探索性景观分析是一种强大的技术，用于数值表征单目标连续优化问题的景观。景观的见解是至关重要的问题的理解，以及评估基准集的多样性和组成。尽管这些功能具有无可辩驳的实用性，但它们也有自己的弊病和缺点。因此，在这项工作中，我们提供了一系列不同的方法来表征优化景观。与传统的景观特征类似，我们需要一个小的初始样本。然而，我们不是基于该样本计算特征，而是开发原始样本的替代表示。这些范围从点云到2D图像，因此完全没有特征。我们在BBOB测试平台上演示和验证了我们设计的方法，并在深度学习的帮助下预测了高层次的、基于专家的景观属性，如多模态程度和漏斗结构的存在。我们的方法的质量与传统的景观特征方法相当。因此，我们提供了一个令人兴奋的新的视角，利用问题的信息，如问题的理解和算法设计，以及自动化的算法配置和选择的每一个研究领域。
2022-04-13 cs.LG
Neural topology optimization: the good, the bad, and the ugly
Faculty of Mechanical Engineering（机械工程系）；Delft university of technology（代尔夫特理工大学）；School of engineering（工程学院）；Brown University（布朗大学）
本文探讨神经拓扑优化在非凸问题中的潜力与挑战，分析其在优化过程中的影响及未来发展方向。
2024-07-19 cs.LG cs.NA math.NA
Ubiquitous Symmetry at Critical Points Across Diverse Optimization Landscapes
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文将神经网络损失景观中的对称性研究扩展到射影、八面体图、完美匹配和粒子吸引四类优化问题，证明所有观察到的临界点均具有非平凡对称性，并提出一种能揭示更多对称结构的新度量。
2025-05-04 cs.AI cs.LG physics.atom-ph
Nonconvex Factorization and Manifold Formulations are Almost Equivalent in Low-rank Matrix Optimization
University of Chicago（芝加哥大学）；Fudan University（复旦大学）；Duke University（杜克大学）
该研究建立低秩矩阵优化中流形与因子分解公式在平稳点、鞍点等上的几何等价性及谱夹心关系，可迁移几何性质、解决文献遗留问题并强化相关应用结论。
2024-08-12 cs.IT cs.LG eess.SP
Visualizing the Loss Landscape of Actor Critic Methods with Applications in Inventory Optimization
McGill University（麦吉尔大学）；Desautels Faculty of Management（德索特尔管理学院）
连续控制是强化学习的一个广泛应用领域。这一领域的主要参与者是行动者-批评者方法，该方法利用神经逼近器的策略梯度作为常见实践。我们的研究重点是显示的演员损失函数，这是优化的本质部分的特性。我们利用低维可视化的损失函数，并提供各种算法的损失景观的比较。此外，我们将我们的方法应用到多商店的动态库存控制，一个众所周知的困难的问题，在供应链运作，并探讨与最优政策的损失函数的形状。我们使用强化学习建模并解决了这个问题，同时具有有利于最优性的损失景观。
2020-09-04 cs.LG stat.ML
Symmetry, Saddle Points, and Global Optimization Landscape of Nonconvex Matrix Factorization
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个一般性的理论来研究非凸\xl{optimization}的\xl{landscape}与潜在的对称结构\tz{for a class of machine learning problems (e.g., low-rank matrix factorization, phase retrieval, and deep linear neural networks)}。具体地，我们通过不变群\removed{for associated optimization problems, including low-rank matrix factorization, phase retrieval, and deep linear neural networks}的透镜刻画了Hessian矩阵\xl{of the objective function}的驻点位置和零空间。作为一个主要的激励例子，我们应用所提出的一般理论来表征全球\xl{landscape}的\xl{nonconvex optimization in}低秩矩阵分解问题。特别是，我们说明了如何旋转对称群产生无穷多个非孤立的严格鞍点和等价的全局极小的目标函数。通过显式识别所有静止点，我们将整个参数空间分为三个区域：（$\cR_1$）包含所有严格鞍点的邻域的区域，其中目标具有负曲率;（$\cR_2$）包含所有全局极…
2018-01-20 cs.LG math.OC stat.ML
PRISM: A Predictive Protocol for Permutation Optimization via Landscape Diagnostics
ML Collective（机器学习集体）
PRISM是基于景观诊断的置换优化预测协议，可在优化前预测搜索行为，适用于多类场景，能确定置换搜索的适用性及对应方案。
2026-08-11 cs.AI cs.LG math.OC
A Closer Look at the Optimization Landscapes of Generative Adversarial Networks
Mila, Université de Montréal（蒙特利尔大学Mila）；Facebook AI Research（Facebook人工智能研究院）；Element AI
生成对抗网络在生成建模方面非常成功，但与标准深度神经网络相比，它们的训练仍然相对具有挑战性。在本文中，我们为GANs的优化景观提出了新的可视化技术，使我们能够研究由两个玩家的梯度级联产生的游戏向量场。使用这些可视化技术，我们试图弥合理论和实践之间的差距，通过经验表明，GANs的训练表现出围绕局部稳定点（LSSP）的显著旋转，类似于玩具示例的理论预测。此外，我们提供的经验证据表明，GAN训练收敛到一个稳定的稳定点，这是一个鞍点的发电机损失，而不是最小值，同时仍然实现了优异的性能。
2020-04-27 cs.LG stat.ML
Landscape Features in Single-Objective Continuous Optimization: Have We Hit a Wall in Algorithm Selection Generalization?
本研究评估了基于不同问题表示的算法选择模型在单目标连续优化中的泛化能力，发现面对分布外数据时，所有基于特征的模型均未能超越单一最佳求解器基线。
2025-01-29 cs.LG
Explainable Landscape-Aware Optimization Performance Prediction
Jožef Stefan Institute（约瑟夫·斯特凡研究所）
一个看不见的优化问题的有效解决与优化算法及其超参数的适当选择有关。为此，应执行自动算法性能预测，在大多数常用实践中，这涉及使用一组问题景观特征来训练监督ML算法。然而，训练这种模型的主要问题是它们有限的可解释性，因为它们只提供关于景观特征集合对最终预测结果的联合影响的信息。在这项研究中，我们正在研究可解释的感知回归模型，其中每个景观特征对优化算法性能预测的贡献在全局和局部水平上进行估计。全局级别提供了关于特性对所有基准问题实例的影响的信息，而局部级别提供了关于对特定问题实例的影响的信息。使用COCO基准问题和三种不同配置的模块化CMA-ES获得实验结果。结果表明，不同的特征集对于不同的问题实例是重要的，这表明在训练自动算法性能预测模型时需要进一步个性化景观空间。
2021-10-22 cs.LG cs.NE
Improved Langevin Monte Carlo for stochastic optimization via landscape modification
National University of Singapore（新加坡国立大学）；Nanjing University（南京大学）
给定目标函数$H$最小化或目标吉布斯分布$π_β^0 \propto e^{-βH}$在低温下采样，本文提出并分析了Langevin Monte Carlo（LMC）算法，该算法运行在$H^f_{β,c,1}$指定的替代景观上，并以修改的吉布斯分布$π^f_{β,c,1} \propto e^{-βH^f_{β,c,1}}$为目标，其中$H^f_{β,c,1}$的景观是$H$的景观的变换版本，其取决于参数$f,β$和$c$。虽然与$π^0_β$相关的原始Log-Sobolev常数在低温状态下表现出对$β$和能垒$M$的指数依赖性，但适当地调整这些参数并服从对$H$的假设，我们证明了变换后的景观的能量势垒降低，从而导致多项式依赖于修改后的Log中的$β$和$M$。与$π^f_{β,c,1}$相关的Sobolev常数。这产生改进的总变差混合时间边界和改进的收敛到全局最小值的$H$。我们强调，在本文中开发的技术不仅限于LMC，并广泛适用于其他基于梯度的优化或采样算法。
2023-02-08 cs.LG math.OC math.PR
Fractal Landscapes in Policy Optimization
UC San Diego（加州大学圣迭戈分校）
本文揭示策略梯度在特定MDP中面临分形、非光滑优化景观这一固有局限，并提出基于Lyapunov与Hölder指数分析及样本局部光滑度估计的检测方法。
2023-10-24 cs.AI cs.LG
Learn2Hop: Learned Optimization on Rough Landscapes
Google Research（谷歌研究院）
包含许多局部最小值的非凸损失表面的优化仍然是各种领域中的关键问题，包括运筹学、信息学和材料设计。然而，当前的技术要么需要极高的迭代计数，要么需要大量的随机重新启动以获得良好的性能。在这项工作中，我们建议通过学习各种损失景观的优化算法，使元学习的最新发展适应这些多极小值问题。我们专注于原子结构优化的问题-寻找多原子系统的低能量配置-包括广泛研究的模型，如硅原子团簇和无序硅。我们发现，我们的优化器学习的“跳跃”的行为，使有效的探索，并提高了低能量极小值的发现率。最后，我们学习的优化器在以前从未见过的任务（例如新元素或组合物）上表现出有希望的泛化效率。代码将很快提供。
2021-07-20 cs.LG
Improving Protein Optimization with Smoothed Fitness Landscapes
Massachusetts Institute of Technology（麻省理工学院）；Czech Academy of Sciences（捷克科学院）；Czech Technical University in Prague（捷克布拉格技术大学）；University of Chemistry and Technology, Prague（布拉格化学与技术大学）
本文提出通过图信号建模与 Tikunov 正则化平滑蛋白质适应度景观，并结合离散能量模型和 MCMC 构建 GGS，在 GFP、AAV 基准上实现最优性能及训练集 2.5 倍适应度提升。
2024-03-03 cs.LG q-bio.BM q-bio.QM
What can linear interpolation of neural network loss landscapes tell us?
Department of Mathematics, University of Edinburgh（爱丁堡大学数学系）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
研究神经网络损失景观提供了深入了解基本优化问题的性质。不幸的是，损失景观是出了名的难以想象的人类理解的方式。解决这个问题的一种常见方法是绘制景观的线性切片，例如从网络的初始状态到优化后的最终状态。在此分析的基础上，先前的工作已经得出了更广泛的结论，优化问题的难度。在本文中，我们对这种推断进行了测试，系统地评估了线性插值和最终性能在更改数据、初始化选择以及其他优化器和架构设计选择时的变化。此外，我们使用线性插值来研究网络的各个层和子结构所扮演的角色。我们发现某些层对初始化的选择更敏感，但线性路径的形状并不表示模型测试精度的变化。我们的研究结果质疑更广泛的直觉，即存在或不存在的障碍时，插值必然涉及到优化的成功。
2022-02-03 cs.AI cs.LG stat.ML
Policy Optimization in a Noisy Neighborhood: On Return Landscapes in Continuous Control
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
针对连续控制深度强化学习智能体性能不稳定的问题，研究通过分布视角分析回报景观，揭示策略空间易失效区域与隐藏质量维度，提出感知分布的方法驶离噪声邻域，提升策略鲁棒性，为智能体优化设计提供新洞见。
2024-04-10 cs.LG
Understanding the impact of entropy on policy optimization
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
在强化学习中，熵正则化通常用于改善策略优化。它被认为有助于\emph{exploration}通过鼓励更多的随机策略的选择。在这项工作中，我们分析这种说法使用新的可视化的优化景观的基础上随机扰动的损失函数。我们首先表明，即使获得精确的梯度，由于目标函数的几何形状，策略优化是困难的。然后，我们定性地表明，在某些环境中，具有较高熵的策略可以使优化景观更平滑，从而连接局部最优值，并能够使用更大的学习率。本文提出了新的工具来理解优化景观，表明政策熵作为一个正则化，并强调了设计通用的政策优化算法的挑战。
2019-06-07 cs.LG stat.ML
Clickbait vs. Quality: How Engagement-Based Optimization Shapes the Content Landscape in Online Platforms
Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）
本文通过博弈模型与Twitter数据实证，研究基于参与度的推荐优化如何影响内容创作者的质量投入与投机行为，揭示其可能导致平均质量下降、用户效用受损及实际参与度次优，强调平台选择优化指标须考虑创作者激励。
2024-01-18 cs.CY cs.GT cs.LG
Deep-ELA: Deep Exploratory Landscape Analysis with Self-Supervised Pretrained Transformers for Single- and Multi-Objective Continuous Optimization Problems
Paderborn University（帕德博恩大学）；TU Dresden（德累斯顿工业大学）；ScaDS.AI Dresden/Leipzig（德累斯顿/莱比锡数据科学与人工智能中心）；University of Twente（特文特大学）
针对ELA特征存在强相关性且难以用于多目标优化的问题，提出混合方法Deep-ELA，通过在数百万随机生成的优化问题上预训练四个Transformer学习景观深度表征，开箱即用或微调用于单/多目标连续优化问题的分析与算法行为理解。
2024-07-29 cs.LG
Neural Exploratory Landscape Analysis for Meta-Black-Box-Optimization
South China University of Technology（华南理工大学）
本文提出NeurELA，一种端到端、基于注意力两阶段神经网络的框架，用于动态刻画景观特征，替代人工特征，提升元黑箱优化的自主性和性能。
2025-03-27 cs.LG cs.NE
Landscape-Sketch-Step: An AI/ML-Based Metaheuristic for Surrogate Optimization Problems
AIST（产业技术综合研究所）；Tohoku University（东北大学）
针对成本函数评估代价高的全局优化场景，提出结合机器学习、随机优化和强化学习的LSS启发式算法，无需构建代理模型，在低维崎岖地貌优化问题上比经典模拟退火实现了有效加速。
2023-10-04 cond-mat.mtrl-sci cs.AI cs.LG
Explainable Landscape Analysis in Automated Algorithm Performance Prediction
Jožef Stefan Institute（约瑟夫·斯特凡研究所）
预测优化算法在新问题实例上的性能对于选择最合适的算法来解决该问题实例至关重要。为此，最近的研究学习监督机器学习（ML）模型使用一组问题景观功能链接到优化算法实现的性能。然而，这些模型是黑箱，其唯一目标是实现良好的预测性能，而没有提供解释哪些景观特征对优化算法实现的性能预测贡献最大。在这项研究中，我们研究了不同监督ML模型在自动算法性能预测中使用的问题景观特征的表达能力。实验结果指出，监督ML方法的选择是至关重要的，因为不同的监督ML回归模型不同地利用问题景观特征，并且关于哪些景观特征信息量最大没有共同的模式。
2022-03-22 cs.LG cs.NE
Large Scale Structure of Neural Network Loss Landscapes
Google Research（谷歌研究院）；New York University（纽约大学）
深度神经网络的优化有许多令人惊讶的，也许是违反直觉的特性。我们提出并实验验证了一个统一的现象学模型的损失景观，其中包括许多。高维度在我们的模型中起着关键作用。我们的核心思想是将损失景观建模为一组高维\emph{wedges}，这些高维\emph{wedges}一起形成大规模的、相互连接的结构，并且朝着该结构进行优化。我们首先表明，超参数的选择，如学习率，网络宽度和$L_2$正则化，影响路径优化器以类似的方式通过景观，影响大尺度曲率的区域优化器探索。最后，我们预测并展示了损失景观的新的反直觉性质。我们证明了连接一组（而不仅仅是一对）解决方案的低损失子空间的存在性，并通过实验验证了这一点。最后，我们根据我们的模型分析了最近流行的深度网络集成技术。
2019-06-11 cs.LG stat.ML
Landscape of Policy Optimization for Finite Horizon MDPs with General State and Action
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文研究了有限时间MDP中一般状态和动作的策略优化问题，提出PŁK条件以确保策略梯度方法在非凸情况下以非渐近速率收敛，并适用于多种控制和运营模型。
2026-03-08 cs.LG math.OC
