Sampler-Robust Optimization under Generative Models
Telfer School of Management University of Ottawa（渥太华大学泰弗管理学院）
本文提出Sampler-Robust Optimization方法，通过优化决策以应对最坏情况下的采样器，提高鲁棒性和稳定性，实验显示在分布转移下性能更优。
2026-04-30 cs.AI cs.LG math.OC
Free Lunch for Few-shot Learning: Distribution Calibration
School of Electrical and Data Engineering, University of Technology Sydney（悉尼科技大学电气与数据工程学院）；Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能学院）
从有限数量的样本中学习是具有挑战性的，因为基于仅由几个训练样本形成的偏置分布，学习的模型可以容易地变得过拟合。在本文中，我们校准这些少样本类的分布，通过转移统计数据的类与足够的例子，然后足够数量的例子可以从校准的分布中采样，以扩大输入到分类器。我们假设特征表示中的每个维度都遵循高斯分布，以便分布的均值和方差可以借用相似类的均值和方差，这些类的统计数据可以通过足够数量的样本进行更好的估计。我们的方法可以建立在现成的预训练特征提取器和分类模型之上，而无需额外的参数。我们表明，使用从我们校准的分布中采样的特征训练的简单逻辑回归分类器可以在两个数据集上超过最先进的准确性（与下一个最佳相比，miniImageNet提高了约5%）。这些生成的特征的可视化表明，我们的校准分布是一个准确的估计。
2021-08-15 cs.CV cs.LG
Stealing That Free Lunch: Exposing the Limits of Dyna-Style Reinforcement Learning
Department of Computer Science, University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校计算机科学系）；Department of Aerospace Engineering and Engineering Mechanics, University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校航空航天工程与工程力学系）
本文揭示Dyna式离策略基于模型的强化学习算法在DeepMind控制套件中性能显著下降，表明跨基准评估不存在免费午餐，并深化了对模型强化学习基本挑战的理解。
2025-06-20 cs.LG
Free Lunch in the Forest: Functionally-Identical Pruning of Boosted Tree Ensembles
Polytechnique Montréal（蒙特利尔理工学院）；Centre Interuniversitaire de Recherche sur les Réseaux d’Entreprise, la Logistique et le Transport (CIRRELT)（企业网络、物流与运输跨大学研究中心（CIRRELT））
针对大型提升树集成模型可解释性差和推理慢的问题，提出功能等价剪枝方法，保证预测不变且无损，显著减小模型规模，保持最优性能。
2025-01-20 cs.LG math.OC
Separable Power of Classical and Quantum Learning Protocols Through the Lens of No-Free-Lunch Theorem
Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）；Peking University（北京大学）
本文建立经典、受限量子与量子三类学习协议的 NFL 定理，证明量子资源可在特定条件下使样本复杂度二次降低。
2024-05-12 cs.AI cs.LG quant-ph
Neglected Free Lunch -- Learning Image Classifiers Using Annotation Byproducts
NAVER AI Lab（NAVER人工智能实验室）；Sogang University（西江大学）；Dante Company（但丁公司）；University of Michigan（密歇根大学）；DGIST（大邱庆北科学技术院）；University of Tübingen（图宾根大学）
提出使用标注副产品（如鼠标轨迹）作为辅助信息弱引导模型聚焦前景，创建ImageNet-AB和COCO-AB数据集，在不增加标注成本下提升了模型泛化性与鲁棒性。
2023-07-26 cs.CV cs.LG
Switch EMA: A Free Lunch for Better Flatness and Sharpness
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Damo Academy（达摩院）
针对现有权重平均正则化方法存在性能下降或需额外测试计算的问题，提出仅需一行修改的Switch EMA方法，可在平坦度与锐度间实现更优权衡，经多任务多数据集验证，能无额外成本地提升DNN性能并加快收敛。
2024-10-06 cs.CV cs.LG
Leveraging Semantic Attribute Binding for Free-Lunch Color Control in Diffusion Models
Computer Vision Center, Spain（西班牙计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）；Program of Computer Science, City University of Hong Kong (Dongguan)（香港城市大学（东莞）计算机科学项目）
ColorWave通过语义属性绑定实现扩散模型中精确的颜色控制，无需微调，提升颜色指定的准确性和适用性。
2025-11-28 cs.CV cs.GR cs.LG
Can Learned Optimization Make Reinforcement Learning Less Difficult?
University of Oxford（牛津大学）
针对强化学习的非平稳性、可塑性损失及探索问题，提出OPEN方法，通过元学习参考现有解决方案的更新规则，在多样场景中灵活元学习并利用随机性探索，实验显示其优于或等于传统优化器且泛化性强。
2025-04-15 cs.AI cs.LG
Meta Learning Black-Box Population-Based Optimizers
Mila（米拉研究所）
没有免费的午餐定理表明，没有一个模型更适合所有问题。由此产生的一个问题是如何设计方法，提出针对特定问题的优化器，实现最先进的性能。本文通过提出使用元学习来推断基于种群的黑盒优化器来解决这个问题，这些优化器可以自动适应特定类别的问题。我们提出了一个基于人口的算法，导致学习优化POMDP（LTO-POMDP），一个元学习框架的基础上，一个特定的部分可观察马尔可夫决策过程（POMDP）的一般建模。从该框架的公式中，我们提出使用深度递归神经网络来参数化算法，并使用基于随机算法性能的Meta损失函数来训练几个相关优化任务的有效数据驱动优化器。基于该实现的学习优化器的性能在各种黑盒优化任务和机器学习模型的超参数调整上进行评估。我们的研究结果表明，Meta损失函数鼓励学习算法改变其搜索行为，以便它可以很容易地适应新的上下文。因此，它允许更好的推广和更高的样本效率比国家的最先进的通用优化算法，如协方差矩阵自适应演化策略（CMA-ES）。
2021-03-05 cs.AI cs.LG cs.NE
High-dimensional Multi-objective Bayesian Optimization with Learned Variable Interactions
本文提出ViaMOBO框架，通过变量交互分析划分高维决策空间并执行局部贝叶斯优化，经实验验证其在高维昂贵多目标问题的帕累托前沿近似上优于现有最优MOBO方法。
2026-08-13 cs.AI cs.LG
Learning Representation for Bayesian Optimization with Collision-free Regularization
University of Chicago（芝加哥大学）；Fermi National Accelerator Laboratory（费米国家加速器实验室）
贝叶斯优化一直受到具有大规模，高维和非平稳特征的数据集的挑战，这些特征在现实世界中很常见。最近的工作试图通过在经典高斯过程之前应用神经网络来学习潜在表示来处理这样的输入。我们表明，即使有适当的网络设计，这种学习表示往往会导致潜在空间中的碰撞：两个点具有显着不同的观察碰撞在学习的潜在空间，导致优化性能下降。为了解决这个问题，我们提出了LOCo，这是一个高效的深度贝叶斯优化框架，它采用了一种新的正则化器来减少学习的潜在空间中的冲突，并鼓励从潜在空间到目标值的映射是Lipschitz连续的。LOCo采用成对的数据点，并惩罚那些在潜在空间中与其目标空间距离相比过于接近的数据点。我们提供了一个严格的理论依据LOCo检查遗憾的动态嵌入为基础的贝叶斯优化算法，其中的神经网络迭代再训练的正则化。我们的实证结果表明，几个合成和现实世界的基准贝叶斯优化任务的有效性LOCo。
2022-03-16 cs.AI cs.LG
A Novel Meta-Heuristic Optimization Algorithm Inspired by the Spread of Viruses
The University of Hong Kong（香港大学）
根据没有免费的午餐定理，没有一个单一的元启发式算法可以最优地解决所有的优化问题。这促使许多研究人员不断开发新的优化算法。本文提出了一种新的自然启发式优化算法病毒传播优化（VSO）。VSO松散地模拟了病毒在主机之间的传播，可以有效地应用于解决许多具有挑战性的连续优化问题。我们设计了一个新的表示方案和病毒操作，从根本上不同于以前提出的基于病毒的优化算法。首先，VSO中每个宿主的病毒RNA表示一个潜在的解决方案，不同的病毒操作将有助于多样化的搜索策略，以大大提高解决方案的质量。此外，引入了一种引入的感染机制，从另一个群体中继承搜索到的最优解，以避免在解决复杂问题时任何潜在解的早熟。VSO具有出色的能力，可以在发现的最优值周围进行自适应邻域搜索，以获得更好的解决方案。此外，VSO具有灵活的感染机制，可以快速摆脱局部最优。为了清楚地证明其有效性和效率，VSO在一系列众所周知的基准函数上进行了严格的评估。通过金融投资组合优化和支持向量机分类问题超参数优化两个实例验证了VSO算法的适用性。结果表明，VSO已达到优越的性能，在解决方案的适应度，收敛速度，可扩展性，可靠性和灵活性相比，这些结果的传统以及国家的最先进的元启发式优化算法。
2020-06-11 cs.AI cs.LG cs.NE
Robust Bayesian optimization with reinforcement learned acquisition functions
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；State Key Laboratory of Aerodynamics（空气动力学国家重点实验室）
在贝叶斯优化（BO）昂贵的黑盒优化任务，采集功能（AF）指导顺序采样，并发挥了关键作用，有效收敛到更好的最优。流行的AF通常依赖于人工经验，在探索或开发的偏好方面，这会带来计算浪费或陷入局部最优和由此产生的重新优化的风险。为了解决这个问题，提出了数据驱动的AF选择思想，并将顺序AF选择任务进一步形式化为马尔可夫决策过程（MDP），并采用强大的强化学习（RL）技术。该算法从优势BO轨迹中学习合适的AF选择策略，实时的在探测和利用之间取得平衡，称为基于学习辅助的贝叶斯优化（RLABO）。五个基准问题的竞争力和强大的BO评估表明RL的认可的隐式AF选择模式，并暗示该建议的潜在实用性，智能AF选择，以及在昂贵的黑箱问题的有效优化。
2022-10-02 cs.AI cs.LG math.OC
Unveiling the Limits of Learned Local Search Heuristics: Are You the Mightiest of the Meek?
Texas A&M University（德克萨斯A&M大学）
本文揭示学习型局部搜索启发式评估中的三大局限，并通过实验证明基于禁忌搜索的简单学习型启发式在性能和泛化性上超越现有SOTA方法，挑战了该领域的普遍假设。
2023-10-30 cs.AI cs.LG
Learn2Hop: Learned Optimization on Rough Landscapes
Google Research（谷歌研究院）
包含许多局部最小值的非凸损失表面的优化仍然是各种领域中的关键问题，包括运筹学、信息学和材料设计。然而，当前的技术要么需要极高的迭代计数，要么需要大量的随机重新启动以获得良好的性能。在这项工作中，我们建议通过学习各种损失景观的优化算法，使元学习的最新发展适应这些多极小值问题。我们专注于原子结构优化的问题-寻找多原子系统的低能量配置-包括广泛研究的模型，如硅原子团簇和无序硅。我们发现，我们的优化器学习的“跳跃”的行为，使有效的探索，并提高了低能量极小值的发现率。最后，我们学习的优化器在以前从未见过的任务（例如新元素或组合物）上表现出有希望的泛化效率。代码将很快提供。
2021-07-20 cs.LG
Async Learned User Embeddings for Ads Delivery Optimization
Meta Platforms, Inc（元平台公司）
针对推荐系统中用户嵌入质量影响投放效果的问题，提出异步学习的ALURE方法，结合Transformer模块与图学习生成用户嵌入，用于广告候选检索，离线在线实验均有显著增益。
2024-06-23 cs.AI cs.IR cs.LG
Applications of fractional calculus in learned optimization
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Google DeepMind（谷歌DeepMind）；Newton（牛顿）；Google（谷歌）
本文研究分数阶梯度下降中阶数参数难以微调的问题，提出用神经网络预测梯度阶数，从而提升复杂优化问题中的灵活性与性能。
2024-11-22 cs.LG
Learned Ranking Function: From Short-term Behavior Predictions to Long-term User Satisfaction
Google Inc（谷歌公司）；Google DeepMind（谷歌DeepMind）；University of California, Davis（加利福尼亚大学戴维斯分校）
本研究提出学习型排序函数LRF，将推荐问题建模为 slate 优化问题以提升长期用户满意度，还设计了新型约束优化算法稳定多目标权衡，并已在 YouTube 部署验证。
2024-08-12 cs.AI cs.IR cs.LG
Towards Mixed Optimization for Reinforcement Learning with Program Synthesis
Google Brain（谷歌大脑）
深度强化学习最近取得了一些突破，尽管学习的策略通常基于黑盒神经网络。这使得它们难以解释，并在学习过程中施加所需的规范约束。我们提出了一个迭代的框架，MORL，使用程序合成，以提高学习的政策。具体地说，我们建议使用合成技术来获得一个符号表示的学习政策，然后可以手动或自动使用程序修复调试。在修复步骤之后，我们使用行为克隆来获得与修复程序相对应的策略，然后使用梯度下降来进一步改进该策略。这个过程一直持续到学习到的策略满足所需的约束。我们实例化MORL简单的CartPole问题，并表明，编程表示允许高层次的修改，从而导致改善学习的政策。
2018-07-03 cs.AI cs.LG stat.ML
Realistic molecule optimization on a learned graph manifold
AnotherBrain
基于深度学习的分子图生成和优化最近因其在从头药物设计方面的巨大潜力而受到关注。一方面，最近的模型能够有效地学习给定的图分布，并且许多方法已经证明非常有效地产生最大化给定分数的分子。另一方面，先前的研究表明，生成的优化分子通常是不现实的，即使包含了与真实药物分子数据集相似的机制。在这项工作中，我们使用了一种混合方法，其中数据集分布是使用自回归模型学习的，而分数优化是使用Metropolis算法完成的，偏向于学习的分布。我们表明，由此产生的方法，我们称之为学习现实主义采样（LRS），产生经验更现实的分子，并优于所有最近的基线在任务中的相似性约束的分子优化。
2021-06-03 cs.LG physics.chem-ph
A Constrained-Optimization Approach to the Execution of Prioritized Stacks of Learned Multi-Robot Tasks
University of Waterloo（滑铁卢大学）
本文提出了一种约束优化配方的优先执行学习机器人任务。该框架适用于执行由价值函数编码的任务，例如使用强化学习范式学习的任务。通过使用控制李雅普诺夫函数的凸优化程序的约束的任务进行编码。此外，为了指定任务之间的相对优先级，强制执行附加约束。所提出的方法是展示在模拟使用一组移动机器人执行协调的多机器人任务。
2023-01-13 cs.LG cs.RO cs.SY
MANET-GNN: Learned Decentralized Optimization of Power Allocation in Multi-Channel MANETs
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对多信道MANET中动态多跳场景，提出基于消息传递GNN的去中心化功率分配优化框架MANET-GNN，以端到端吞吐量最大化为训练目标，仅用局部CSI，性能接近集中式方法。
2026-10-01 cs.LG
COIL: Constrained Optimization in Learned Latent Space: Learning Representations for Valid Solutions
UCL（伦敦大学学院）；Autodesk Research（欧特克研究院）
约束优化问题可能是困难的，因为它们的搜索空间具有不利于搜索的性质，例如，多模态、不连续性或欺骗。为了解决这些困难，已经进行了大量的研究，创造新的进化算法或专门的遗传算子。然而，如果可以改变定义搜索空间的表示，使得其仅允许满足约束的有效解，则找到最优解的任务将变得更加可行，而不需要任何专门的优化算法。我们提出了约束优化的潜在空间（COIL），它使用VAE生成一个学习的潜在表示从数据集，包括样本的有效区域的搜索空间根据一个约束，从而使优化器找到目标在新的空间定义的学习表示。初步实验表明，与使用无法满足约束或找到合适解决方案的标准表示的相同GA相比，COIL及其学习的潜在表示可以完美地满足不同类型的约束，同时找到高适应度解决方案。
2022-06-06 cs.LG cs.NE
A Closer Look at Learned Optimization: Stability, Robustness, and Inductive Biases
Google Research（谷歌研究院）
学习优化器（Learned optimizers）--被训练成充当优化器的神经网络--有可能极大地加速机器学习模型的训练。然而，即使在以巨大的计算成本对数千个任务进行元训练时，黑盒学习优化器在应用于与其元训练集中的任务不同的任务时，也经常会遇到稳定性和泛化问题。在本文中，我们使用动力系统的工具来研究优化算法的归纳偏差和稳定性，并将由此产生的见解应用于设计黑盒优化器的归纳偏差。我们的调查开始于一个嘈杂的二次模型，在那里我们的特征条件下，优化是稳定的，在训练动态的特征值。然后，我们引入简单的修改，学习优化器的架构和元训练过程，从而提高稳定性，并改善优化器的归纳偏差。我们将得到的学习优化器应用于各种神经网络训练任务，在优化性能和元训练速度方面，它优于当前最先进的学习优化器-在匹配的优化器计算开销方面，并且能够泛化到与元训练任务截然不同的任务。
2022-09-22 cs.LG math.OC stat.ML
Improving physics-informed neural networks with meta-learned optimization
Memorial University of Newfoundland（纽芬兰纪念大学）
我们表明，使用物理信息神经网络求解微分方程系统时，这些网络使用元学习优化方法进行训练，而不是像传统上那样使用固定的手工优化器，可以大大减少可实现的错误。我们选择了一种基于浅层多层感知器的可学习优化方法，该方法针对特定类别的微分方程进行元训练。我们说明了元训练优化器的几个方程的实际相关的数学物理，包括线性平流方程，泊松方程，Korteweg-德弗里斯方程和伯格斯方程。我们还说明了元学习优化器具有迁移学习能力，因为一个微分方程上的元训练优化器也可以成功地部署在另一个微分方程上。
2023-03-14 cs.LG cs.NA math.NA
Lightweight and Versatile Learned Optimization by Recombination of Gradient History
KAIST（韩国科学技术院）
本文提出一种轻量通用优化器，通过重组梯度历史（按时间跨度平均）减少预测空间，以37k参数网络在0.87 GPU小时内训练，零样本泛化并提升多种模型性能，FLOPs开销低至0.3%。
2026-10-08 cs.LG
Combining Learned Representations for Combinatorial Optimization
University of California, Berkeley（加州大学伯克利分校）
本文提出了一种新的方法来结合限制玻尔兹曼机（RBM），可以用来解决组合优化问题。这允许从已经预训练的较小RBM合成较大的模型，从而有效地绕过了大型RBM中的学习问题，并创建了一个能够对大型复杂多模态空间建模的系统。我们验证了这种方法，通过使用学习表示创建"可逆布尔逻辑“，在那里我们可以使用马尔可夫链蒙特卡罗（MCMC）的方法来找到大规模的布尔可满足性问题的解决方案，并显示对其他组合优化问题的可行性。使用这种方法，我们能够解决基于64位加法的问题，以及分解16位数字。我们发现，与完全训练的模型相比，这些组合表示可以为相同的样本量提供更准确的结果。
2019-09-09 cs.LG stat.ML
BRPO: Batch Residual Policy Optimization
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
在批处理强化学习（RL）中，通常将学习的策略约束为接近行为（数据生成）策略，例如，通过将学习到的动作分布约束为与行为策略相差在每个状态处相同的某个最大程度。这可能会导致批量RL过于保守，无法在频繁访问的高置信度状态下利用大的策略更改，而不会在稀疏访问状态下冒性能差的风险。为了弥补这一点，我们提出了剩余的政策，其中所允许的偏差的学习政策是状态动作依赖。我们推导出一种新的RL方法，BRPO，它学习的政策和允许的偏差，共同最大限度地提高政策性能的下限。我们表明，BRPO在许多任务中实现了最先进的性能。
2020-03-29 cs.AI cs.LG stat.ML
PILOT: Policy-Informed Learned Optimization for Adaptive Deep Network Training
King Abdullah University of Science and Technology（卡布斯大学）；University of Strathclyde（斯特拉思克莱德大学）
提出PILOT在线优化器，通过梯度方向一致性信号动态调整动量、归一化和符号更新的组合，在FashionMNIST和CIFAR-10上实现更高准确率。
2026-05-23 cs.AI cs.CV cs.LG
Denoising as Projection: Constrained Optimization with Gradient-Guided Diffusion
MIT（麻省理工学院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出一种将目标梯度融入去噪步骤的投影梯度引导扩散更新方法，用于结构化可行集上的约束优化，在三类设置中保证收敛，实验验证其平衡目标下降与几何保留的有效性。
2026-09-14 cs.AI cs.LG math.OC
MetaColloc: Optimization-Free PDE Solving via Meta-Learned Basis Functions
School of Mathematical Sciences（数学科学学院）
MetaColloc通过元学习生成通用神经基函数字典，无需优化和数据即可求解PDE，显著提升精度和效率，尤其在高频情况下揭示了函数逼近与算子稳定性之间的关键矛盾。
2026-05-12 cs.LG
Efficient Offline Policy Optimization with a Learned Model
Sea AI Lab（Sea人工智能实验室）；National University of Singapore（新加坡国立大学）
MuZero Unplugged为从记录的数据中进行离线策略学习提供了一种很有前途的方法。它使用学习模型进行蒙特卡罗树搜索（MCTS），并利用重新分析算法纯粹从离线数据学习。为了获得良好的性能，MCTS需要精确的学习模型和大量的模拟，从而花费大量的计算时间。本文研究了MuZero Unplugged在离线RL设置下可能无法正常工作的几个假设，包括1）有限数据覆盖的学习; 2）从随机环境的离线数据中学习; 3）离线数据的参数化模型不正确; 4）计算预算低。我们建议使用正则化的一步向前看的方法来解决上述问题。我们没有使用昂贵的MCTS进行规划，而是使用学习的模型来构建基于一步推出的优势估计。策略改进的方向是最大化数据集正则化的估计优势。我们与BSuite环境进行了广泛的实证研究，以验证假设，然后在RL Unplugged Atari基准上运行我们的算法。实验结果表明，我们提出的方法实现了稳定的性能，即使是不准确的学习模型。在大规模Atari基准测试中，该方法的性能比MuZero Unplugged高出43%。最重要的是，它只使用了5.6%的挂钟时间（即，1小时）与MuZero不插电（即，17.8小时），以实现150%的IQM标准化分数与相同的硬件和软件堆栈。我们的实现在https://github.com/sail-sg/rosmo上开源。
2023-02-15 cs.LG
Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints
Mila（米拉人工智能研究所）；DIRO, Université de Montréal（蒙特利尔大学计算机科学与运筹学系）
经过训练的神经网络的性能对于苛刻的修剪水平是鲁棒的。再加上深度学习模型的规模不断增长，这一观察结果激发了对学习稀疏模型的广泛研究。在这项工作中，我们专注于执行稀疏学习时控制稀疏度水平的任务。现有的方法的基础上稀疏诱导处罚涉及昂贵的试错调整的惩罚因子，从而缺乏直接控制所产生的模型稀疏。作为回应，我们采用了一种约束公式：使用Louizos等人（2018）提出的门机制，我们制定了一个约束优化问题，其中稀疏化由训练目标和所需的稀疏目标以端到端的方式指导。使用WideResNet和ResNet{18，50}模型在CIFAR-{10，100}、TinyImageNet和ImageNet上进行的实验验证了我们的建议的有效性，并证明我们可以可靠地实现预定的稀疏目标，而不会影响预测性能。
2022-11-27 cs.LG
Gradient-Based Trajectory Optimization With Learned Dynamics
ETH（苏黎世联邦理工学院）
本研究提出在缺乏精确解析模型时，利用神经网络学习可微动力学模型并结合梯度轨迹优化方法，执行复杂机器人任务，通过在Boston Dynamics Spot和RC car上25分钟交互数据学习，证明该方法能有效表示复杂动力学并实现良好性能。。
2023-06-25 cs.LG cs.RO
A Benchmark for Maximum Cut: Towards Standardization of the Evaluation of Learned Heuristics for Combinatorial Optimization
Texas A&M University（德克萨斯农工大学）
针对组合优化学习启发式算法评估不一致的问题，本文提出面向最大割问题的开源基准MaxCut-Bench，通过统一接口和多维度测试复现主流方法，发现多数学习算法未优于传统启发式，且ECO-DQN替换GNN为线性回归性能不变甚至提升。
2024-06-14 cs.AI cs.LG math.OC
Classifier-pruned Bayesian optimization for particle accelerator tuning: Exploring temporally structured manifold of 6D beam phase space
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对粒子加速器调谐这一高维优化问题，提出CBOL-Tuner框架，集成条件变分自编码器、长短期记忆网络、轻量级神经网络及分类器剪枝贝叶斯优化器，可在6D束流相空间的时间结构潜在流形内高效探索。
2026-09-29 cs.LG
Safeguarded Learned Convex Optimization
Typal LLC（Typal有限责任公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Alibaba US, DAMO Academy（阿里巴巴美国达摩院）
在大量的应用中，最优化问题必须反复求解，每次都使用新的（但相似的）数据。解析优化算法可以手工设计，以迭代的方式可证明地解决这些问题。一方面，数据驱动算法可以“学习优化”（L2 O），迭代次数少得多，每次迭代的成本与通用优化算法相似。另一方面，不幸的是，许多L2 O算法缺乏收敛保证。为了融合这些方法的优点，我们提出了一个安全的L2 O框架。Safe-L2 O更新包含了一个保障措施，以保证使用近似和/或梯度预言机的凸问题的收敛性。该保护措施简单且计算成本低，并且仅在数据驱动的L2 O更新性能不佳或出现分歧时才会激活。这产生了使用机器学习来创建快速L2 O算法的数值优势，同时仍然保证收敛。我们的数值示例显示了Safe-L2 O算法的收敛性，即使提供的数据不是来自训练数据的分布。
2022-09-26 cs.LG math.OC
Meta-Learned Adaptive Optimization for Robust Human Mesh Recovery with Uncertainty-Aware Parameter Updates
本文提出元学习框架，通过模拟测试时间优化学习更好的参数初始化，并引入选择性参数缓存和分布基适应更新，提升人体网格恢复的鲁棒性和泛化能力。
2026-03-27 cs.CV cs.LG
The Power of Learned Locally Linear Models for Nonlinear Policy Optimization
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）；Google Brain（谷歌大脑）
本文针对一般非线性系统，严格分析了一种在估计局部线性模型与执行类似 $\mathtt{iLQR}$ 策略更新间迭代的算法，证明其样本复杂度与问题参数呈多项式关系，并通过综合局部稳定增益克服了对时间范围的指数依赖。
2023-05-16 cs.LG math.OC stat.ML
High-Speed Accurate Robot Control using Learned Forward Kinodynamics and Non-linear Least Squares Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在高速下精确控制机器人需要一个控制系统，可以考虑到机器人与环境的kinodynamic相互作用。以前的工作学习逆Kinodynamic（IKD）模型的机器人已经成功地捕捉复杂的Kinodynamic效果。然而，这些方法可以应用到的控制问题的类型仅限于以下预先计算kinodynamically可行轨迹。在本文中，我们提出了Optim-FKD，一个新的配方，准确，高速机器人控制，利用一个学习向前kinodynamic（FKD）模型和非线性最小二乘优化。Optim-FKD可用于对任何可由非线性最小二乘目标指定的控制任务进行精确、高速控制。Optim-FKD可以实时的求解路径跟踪和时间最优控制等控制目标，而不需要访问预先计算的运动学可行轨迹。我们通过在十分之一自动驾驶汽车上的实验来实证我们方法的这些能力。我们的研究结果表明，Optim-FKD可以更准确地跟踪期望的轨迹，可以找到更好的解决方案，最优控制问题比基线方法。
2022-08-03 cs.AI cs.LG cs.RO
L-SR1: Learned Symmetric-Rank-One Preconditioning
Tel Aviv University（特拉维夫大学）
提出一种学习型二阶优化器，通过可训练的预处理单元增强经典SR1算法，在单目人体网格恢复任务中优于现有方法，无需标注数据或微调。
2026-07-01 cs.CV cs.LG
SELTO: Sample-Efficient Learned Topology Optimization
Center for Industrial Mathematics, University of Bremen（不来梅大学工业数学中心）；Cambridge Image Analysis, Centre for Mathematical Sciences, University of Cambridge（剑桥大学数学科学中心剑桥图像分析中心）
本文提出 SELTO，通过基于物理的预处理与等变网络提升拓扑优化深度学习流程的样本效率，并发布两个含真实解的 TO 数据集以支持基准比较。
2023-06-06 cs.CV cs.LG
Learning to Order: Task Sequencing as In-Context Optimization
本文提出通过元学习方法解决任务序列排序问题，证明深度神经网络能从合成数据中学习到最优任务序列，实现少样本泛化。
2026-03-15 cs.LG
Optimization Landscapes Learned: Proxy Networks Boost Convergence in Physics-based Inverse Problems
Ludwig Maximilian University of Munich（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Instituto de Telecomunicações（电信研究所）
针对物理逆问题中迭代优化算法易陷入局部极小和混沌的问题，提出利用深度神经网络学习并平滑复杂的PDE逆损失景观，在多个挑战性问题上实现了优于BFGS等传统优化器的收敛性。
2025-01-27 cs.LG math.OC
ProxIQA: A Proxy Approach to Perceptual Optimization of Learned Image Compression
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Netflix Inc.（奈飞公司）
$\ell_p$ $(p=1,2)$范数的使用由于其简单性和分析特性而在很大程度上主导了神经网络中损失的测量。然而，当用于评估视觉信息的损失时，这些简单的规范与人类的感知并不十分一致。在这里，我们描述了一种不同的“近端”方法来优化图像分析网络对定量感知模型。具体来说，我们构建了一个代理网络，广义上称为ProxIQA，它模仿感知模型，同时作为网络的损失层。我们通过实验演示了如何将此优化框架应用于训练端到端优化的图像压缩网络。通过建立在现有的深度图像压缩模型之上，我们能够证明在给定的感知质量（VMAF）水平下，与MSE优化相比，比特率降低多达$31\%$。
2020-10-29 cs.CV cs.LG eess.IV
Investigation into the Training Dynamics of Learned Optimizers
Faculty of Information Technology（信息技术学院）；Czech Technical University in Prague（布拉格捷克技术大学）
针对习得优化器存在稳定性与泛化性问题、内部机制不明难以改进的现状，从网络架构对称性和参数更新分布视角研究其优化轨迹，并对比手工设计优化器，得出两类方法可互取优势的关键洞见。
2023-12-12 cs.LG math.OC stat.ML
Data-Driven Performance Guarantees for Classical and Learned Optimizers
Princeton University（普林斯顿大学）
我们提出数据驱动框架，利用统计学习理论为经典和学习型优化器构建泛化保证，通过PAC-Bayes上界训练，实验显示界限更紧且优于非学习方法。
2025-10-06 cs.LG math.OC
Physical Design using Differentiable Learned Simulators
DeepMind（深度思维）
设计服务于某个目的的物理工件-例如工具和其他功能结构-是工程和日常人类行为的核心。虽然自动化设计有着巨大的前景，但通用的方法还不存在。在这里，我们探索了一个简单，快速，鲁棒的方法来逆向设计，结合学习的正向模拟器的基础上图神经网络与基于梯度的设计优化。我们的方法解决了具有复杂物理动力学的高维问题，包括设计操纵流体流动的表面和工具，以及优化翼型形状以最大限度地减少阻力。该框架通过数百步的轨迹传播梯度来产生高质量的设计，即使使用预先训练的模型对与设计任务截然不同的数据进行单步预测。在我们的流体操作任务中，所得到的设计优于基于采样的优化技术所发现的设计。在翼型设计中，他们匹配了用专门求解器获得的质量。我们的研究结果表明，尽管存在一些挑战，但基于机器学习的模拟器正在成熟到可以支持各种领域的通用设计优化的程度。
2022-02-01 cs.LG
BitE : Accelerating Learned Query Optimization in a Mixed-Workload Environment
Korea University（高丽大学）；SAP Labs Korea（SAP韩国研究院）；Ewha Womans University（梨花女子大学）；Dongguk University（东国大学）
本文提出 BitE 集成学习模型，利用数据库统计信息与元数据，并通过扩展 ASP 搜索空间、避免默认计划偏差和改进奖励估计，在混合工作负载下提升学习型查询优化性能。
2023-06-02 cs.DB cs.LG
Multi-element microscope optimization by a learned sensing network with composite physical layers
Pratt School of Engineering, Duke University（杜克大学普拉特工程学院）
标准显微镜提供多种设置，以帮助提高最终显微镜用户对不同标本的可见性。然而，越来越多地使用数字显微镜来捕获图像以通过计算机算法（例如，用于特征分类、检测或分割），通常没有任何人工参与。在这项工作中，我们研究了一种方法，以联合优化多个显微镜设置，连同一个分类网络，以提高性能与这样的自动化任务。我们探索可编程照明和光瞳传输的优化之间的相互作用，使用实验成像的血涂片自动疟疾寄生虫检测，显示多元素的“学习感测”优于其单一元素的对应。虽然不一定适合人类解释，但该网络产生的低分辨率显微镜图像（20倍可比）为机器学习网络提供了足够的对比度，以匹配相应的高分辨率图像（100倍可比）的分类性能，为大视场的精确自动化指明了道路。
2020-06-27 cs.LG eess.IV physics.optics
Learned Hardware/Software Co-Design of Neural Accelerators
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
深度学习的使用以指数速度增长，从而产生了许多用于深度学习的专用硬件和软件系统。由于深度学习软件栈和硬件加速器的设计空间是多样和巨大的，因此先前的工作将软件优化与硬件架构分开考虑，从而有效地减少了搜索空间。不幸的是，这种分叉的方法意味着许多有利可图的设计点从未被探索过。相反，本文铸造的问题，硬件/软件协同设计，自动识别在联合设计空间中的理想点的目标。我们的解决方案的关键是一个新的约束贝叶斯优化框架，避免无效的解决方案，利用高度约束的功能，这是半连续/半离散的设计空间。我们通过将其应用于各种神经模型来评估我们的优化框架，与手动调整的最先进系统相比，将能量延迟产品提高了18%（ResNet）和40%（DQN），并在其他神经网络架构（如MLP和Transformers）上展示了强大的结果。
2020-10-05 cs.AI cs.AR cs.LG
A Learned Proximal Alternating Minimization Algorithm and Its Induced Network for a Class of Two-block Nonconvex and Nonsmooth Optimization
Department of Mathematics, University of Florida, Gainesville, FL 32611, USA（佛罗里达大学数学系）
本文提出了一种学习的近端交替最小化算法及其诱导网络，用于解决双块非凸非光滑优化问题，通过残差学习架构和块坐标下降方法实现高效收敛。
2024-11-10 cs.LG math.OC
Reverse engineering learned optimizers reveals known and novel mechanisms
Google Research, Brain Team（谷歌研究院大脑团队）；Meta Reality Labs（Meta现实实验室）
学习优化器是一种算法，它本身可以被训练来解决优化问题。与使用从理论原理导出的简单更新规则的基线优化器（如动量或亚当）相比，学习优化器使用灵活的，高维的，非线性参数化。虽然这可以在某些设置中带来更好的性能，但它们的内部工作原理仍然是一个谜。一个学习过的优化器是如何超越一个调好的基线的？它是学会了现有优化技术的复杂组合，还是实现了全新的行为？在这项工作中，我们通过仔细分析和可视化学习优化来解决这些问题。我们研究了在三个不同的任务上从头开始训练的学习优化器，发现他们已经学会了可解释的机制，包括：动量，梯度裁剪，学习率调度，以及一种新形式的学习率适应。此外，我们展示了学习优化器的动态如何实现这些行为。我们的研究结果有助于阐明以前模糊的理解如何学习优化的工作，并建立解释未来学习优化的工具。
2021-12-07 cs.LG cs.NE stat.ML
