Backpropagation through the Void: Optimizing control variates for black-box gradient estimation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
基于直觉的优化是深度学习和强化学习的基础。即使当被优化的机制是未知的或不可微的，使用高方差或有偏梯度估计的优化通常仍然是最好的策略。我们介绍了一个一般的框架，学习低方差，无偏梯度估计的黑箱函数的随机变量。我们的方法使用梯度的神经网络训练联合模型参数或政策，并适用于离散和连续设置。我们展示了这个框架来训练离散潜变量模型。我们还给出了一个无偏的，行动条件的优势演员-评论家强化学习算法的扩展。
2018-02-23 cs.LG
RLPrompt: Optimizing Discrete Text Prompts with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Petuum Inc.（Petuum公司）
在使大型预训练的语言模型（LM）能够执行各种NLP任务方面，特别是当只有很少的下游数据可用时，编译已经取得了令人印象深刻的成功。然而，自动为每个任务找到最佳提示是具有挑战性的。大多数现有的工作采取调整软提示（例如，嵌入），其缺乏可解释性、跨LM的可重用性以及当梯度不可访问时的适用性。另一方面，离散提示难以优化，并且通常通过“枚举”（例如，释义）-然后选择”的策略，不系统地探索提示空间。提出了一种基于强化学习（RL）的高效离散提示优化方法RLPrompt。RLPrompt制定了一个参数有效的策略网络，该网络在带奖励的训练后生成所需的离散提示。为了克服大型LM环境中奖励信号的复杂性和随机性，我们引入了有效的奖励稳定性，大大提高了训练效率。RLPrompt可灵活地应用于不同类型的LM，例如掩码（例如，BERT）和从左到右模型（例如，GPT），用于分类和生成任务。在Few-Shot分类和无监督文本风格转换上的实验表明，该方法优于现有的各种微调或提示方法。有趣的是，所得到的优化提示通常是不合语法的胡言乱语文本;并且令人惊讶的是，这些胡言乱语提示可以在不同的LM之间转移以保持显著的性能，这表明LM提示可能不遵循人类语言模式。
2022-10-22 cs.CL cs.LG
Bayesian Optimization of Expensive Nested Grey-Box Functions
EPFL（洛桑联邦理工学院）；Swiss Federal Laboratories for Materials Science and Technology (Empa)（瑞士联邦材料科学与技术实验室（Empa））
针对由黑盒和白盒函数组成的嵌套灰盒函数优化问题，提出一种乐观驱动的算法，其遗憾界与标准黑盒贝叶斯优化算法相似，并显著提升了寻找全局最优解的速度。
2023-08-02 cs.AI cs.LG math.OC
$S^3$: A Smooth Simulation Surrogate for Optimizing Discrete Abstractions of Dynamical Systems
University of Florida（佛罗里达大学）
该研究提出平滑仿真代理$S^3$，结合泰勒模型可达性实现动力系统离散抽象的梯度优化，经案例验证其可有效降低抽象保守性且计算高效。
2026-08-18 cs.LG cs.SY eess.SY
Prompts Generalize with Low Data: Non-vacuous Generalization Bounds for Optimizing Prompts with More Informative Priors
Google Deepmind（谷歌DeepMind）
本文提出利用困惑度作为有效先验，推导出数据稀缺下提示优化的非空洞泛化界，并通过正则化限制探索来提升提示泛化能力。
2025-10-09 cs.AI cs.LG
Optimizing 3D Geometry Reconstruction from Implicit Neural Representations
New Jersey Institute of Technology（新泽西理工学院）
针对隐式神经表示难以保留高频细节且计算成本高的问题，提出整合周期性激活函数、位置编码和法线的新方法，以降低开销并增强3D形状精细细节与锐利特征的捕捉能力。
2024-10-16 cs.CV cs.GR cs.LG
Deep Reinforcement Learning for Optimizing Energy Consumption in Smart Grid Systems
Iran university of Science and Technology（伊朗科技大学）；Islamic Azad university（伊斯兰阿扎德大学）
本文提出利用物理信息神经网络改进强化学习，以提高智能电网能耗优化的效率和性能。
2026-02-20 cs.AI cs.DC cs.LG
KT-EGO: A Knowledge Transfer Assisted Efficient Global Optimization Algorithm for Solving High-Dimensional Expensive Black-Box Problems
AVIC Shenyang Engine Design Institute（中国航空工业集团公司沈阳发动机设计研究所）
针对高维昂贵黑箱优化问题，提出知识迁移辅助的高效全局优化算法KT-EGO，通过划分低维子空间、代理数据融合和自适应搜索，在12个基准函数及28维压气机叶片设计中验证了有效性。
2026-09-30 cs.CE cs.LG
Optimizing Recurrent Neural Networks Architectures under Time Constraints
递归神经网络（RNN）的结构是影响其性能的关键因素。我们提出了算法，以优化隐藏的大小下运行时间的约束。我们将离散优化转化为一个子集选择问题。通过新颖的变换，使目标函数成为次模，约束成为超模。提出了一种带界的贪婪算法来求解变换后的问题。我们展示了变换如何影响边界。为了加快优化速度，提出了平衡探索和开发的代理函数。实验表明，我们的算法可以找到更准确的模型或更快的模型比手动调整的国家的最先进的和随机搜索。我们还使用我们的算法比较了流行的RNN架构。
2018-02-21 cs.LG stat.ML
Optimizing Sequential Experimental Design with Deep Reinforcement Learning
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；CSIRO’s Land and Water（澳大利亚联邦科学与工业研究组织土地与水研究所）
贝叶斯方法解决序贯实验的最优设计是数学上优雅，但计算上具有挑战性。最近，已经提出了使用摊销的技术，通过训练在部署时有效地提出设计的参数化策略，使这些贝叶斯方法变得实用。然而，这些方法可能无法充分探索设计空间，需要访问可微概率模型，并且只能在连续的设计空间上进行优化。在这里，我们解决这些限制，表明优化政策的问题可以减少到解决马尔可夫决策过程（MDP）。我们用现代深度强化学习技术解决了等效的MDP。我们的实验表明，我们的方法在部署时也是计算效率高的，并且在连续和离散设计空间上都表现出最先进的性能，即使概率模型是黑盒。
2022-06-17 cs.LG stat.ML
Hybrid Memoised Wake-Sleep: Approximate Inference at the Discrete-Continuous Interface
MIT（麻省理工学院）；Cornell University（康奈尔大学）；University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；Harvard University（哈佛大学）
对复杂现象进行建模通常涉及使用离散变量和连续变量。这样的设置适用于广泛的问题，从识别时间序列数据的趋势到在图像中执行有效的组合场景理解。在这里，我们提出了混合记忆唤醒-睡眠（HMWS），在这种混合离散-连续模型中进行有效推理的算法。以前的学习方法受到影响，因为它们需要执行重复的昂贵的内环离散推理。我们建立在最近的一种方法，记忆唤醒睡眠（MWS），它通过记忆离散变量来解决部分问题，并将其扩展到允许一个原则性和有效的方式来处理连续变量，通过学习一个单独的识别模型用于基于重要性采样的近似推理和边缘化。我们在GP内核学习和3D场景理解领域评估了HMWS，并表明它优于当前最先进的推理方法。
2022-04-21 cs.AI cs.CV cs.LG
Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization
University of Oxford（牛津大学）；Meta
优化离散（和潜在连续）设计参数的昂贵评估黑箱函数是科学和工程应用中普遍存在的问题。贝叶斯优化（BO）是一种流行的，样本效率高的方法，它利用概率代理模型和获取函数（AF）来选择有前途的设计进行评估。然而，在混合或高基数离散搜索空间上最大化AF是具有挑战性的，不能直接使用标准的基于梯度的方法，或者在搜索空间中的每个点处评估AF将在计算上是禁止的。为了解决这个问题，我们建议使用概率重新参数化（PR）。我们不是在包含离散参数的搜索空间上直接优化AF，而是在由连续参数定义的概率分布上最大化AF的期望。我们证明，在适当的reparameterizations，BO政策，最大限度地提高了概率目标是相同的，最大限度地提高了AF，因此，PR享有相同的遗憾界作为原来的BO政策使用的基础AF。此外，我们的方法可证明收敛到一个平稳点的概率目标下梯度上升使用可扩展的，无偏估计的概率目标和梯度。因此，随着起始点和梯度步长数量的增加，我们的方法将恢复AF的最大化（通常被忽视的常用BO遗憾界限的必要条件）。我们通过经验验证了我们的方法，并在广泛的实际应用中展示了最先进的优化性能。PR是对最近工作的补充（也是好处），自然地推广到具有多个目标和黑盒约束的环境。
2022-10-18 cs.AI cs.LG math.OC
Bayesian Optimization with Expensive Integrands
Cornell University（康奈尔大学）；School of Operations Research & Information Engineering（运筹学与信息工程学院）
我们提出了一个贝叶斯优化算法的目标函数是昂贵的评估功能的总和或积分，允许嘈杂的评价。这些目标函数出现在用于调整机器学习超参数的多任务贝叶斯优化、通过模拟进行的优化以及具有随机环境条件的实验的顺序设计中。我们的方法是平均情况下最优的建设时，一个单一的评估被积保持在我们的评估预算。实现这种一步最优性需要解决一个具有挑战性的价值的信息优化问题，为此，我们提供了一种新的有效的离散化的计算方法。我们还提供了一致性证明，我们的方法在连续和离散有限域的目标函数的总和。在数值实验中，与以前的最先进的方法相比，包括那些也利用总和或积分结构，我们的方法在广泛的问题中表现良好或更好，并且在评估有噪声或被积函数在积分变量中平滑变化时提供了显着的改进。
2018-03-23 cs.LG stat.ML
Fast Bayesian Optimization of Function Networks with Partial Evaluations
Center for Applied Mathematics, Cornell University, USA（应用数学中心，康奈尔大学）；School of Operations Research and Information Engineering, Cornell University, USA（运筹学与信息工程学院，康奈尔大学）
针对函数网络贝叶斯优化中p-KGFN算法计算开销大的问题，提出加速算法，通过单次全局蒙特卡洛模拟生成节点候选输入，实现高达16倍加速且查询效率损失小。
2025-06-23 cs.LG stat.ML
Optimizing Falsification for Learning-Based Control Systems: A Multi-Fidelity Bayesian Approach
Rochester Institute of Technology（罗切斯特理工学院）；Stanford University（斯坦福大学）
针对基于学习的闭环控制系统证伪中全保真仿真计算成本高的问题，提出多保真度贝叶斯优化证伪框架，可切换不同精度仿真器并确定最优反例输入与适配保真度，在多Gym环境中验证了其比基线方法计算效率更高。
2024-09-12 cs.LG cs.SY eess.SY
Taxonomy of Dual Block-Coordinate Ascent Methods for Discrete Energy Minimization
University of Heidelberg（海德堡大学）；Czech Technical University in Prague（布拉格捷克理工大学）
我们考虑离散图形模型中的最大后验推理问题，并研究基于对偶块坐标上升规则的求解器。我们将所有现有的求解器映射到一个框架中，以便更好地理解它们的设计原理。我们从理论上证明了一些块优化更新是次优的，以及如何严格改进它们。在各种各样的问题的情况下，不同的图形连接，我们研究现有的求解器的性能，以及新的变种，可以在框架内获得。作为这种探索的结果，我们建立了一个新的国家的最先进的求解器，执行均匀更好的整个范围内的测试实例。
2020-04-16 cs.LG stat.ML
Learning Discrete Structured Variational Auto-Encoder using Natural Evolution Strategies
Technion, IIT（以色列理工学院）；Meta AI Research（Meta人工智能研究院）
离散变分自动编码器（VAE）能够表示生成学习中的语义潜在空间。在许多现实生活中，离散的潜在空间由高维结构组成，并且通过相关结构传播梯度通常需要在指数级大的潜在空间上进行枚举。最近，设计了各种方法来传播近似梯度，而不枚举可能的结构的空间。在这项工作中，我们使用自然演化策略（NES），一类无梯度黑箱优化算法，学习离散结构VAE。NES算法在计算上是吸引人的，因为它们仅用前向通过评估来估计梯度，因此它们不需要通过其离散结构传播梯度。我们的经验表明，使用NES优化离散结构VAE是有效的梯度为基础的近似。最后，我们证明了NES收敛的非Lipschitz功能出现在离散结构的VAE。
2022-05-03 cs.LG cs.NE stat.ML
Bayesian Optimization in Materials Science: A Survey
Center for Artificially Intelligent Manufacturing（智能制造人工智能中心）；University of Wyoming（怀俄明大学）
贝叶斯优化被用于人工智能的许多领域，用于优化黑盒过程，并在许多应用中取得了令人印象深刻的进步。它可以智能地探索大型复杂的设计空间，同时最大限度地减少要优化的昂贵底层流程的评估数量。材料科学考虑优化材料性能的问题，给定一个大的设计空间，定义如何合成或处理它们，评估需要昂贵的实验或模拟-一个非常相似的设置。虽然贝叶斯优化也是解决此类问题的一种流行方法，但在研究相同概念的两个社区之间几乎没有重叠。我们提出了一个调查贝叶斯优化方法在材料科学，以增加交叉施肥，避免重复工作。我们强调共同的挑战和共同研究工作的机会。
2021-07-29 cond-mat.mtrl-sci cs.LG physics.comp-ph
Optimization of Discrete Parameters Using the Adaptive Gradient Method and Directed Evolution
QuData AI
本文提出自适应梯度方法CONGA，结合随机sigmoid与定向进化策略，通过个体种群的梯度变异和双温度退火机制求解带约束的离散参数优化问题，并在0-1背包问题上进行了验证。
2024-01-12 cs.LG cs.NE math.OC
A Nested Weighted Tchebycheff Multi-Objective Bayesian Optimization Approach for Flexibility of Unknown Utopia Estimation in Expensive Black-box Design Problems
Oregon State University（俄勒冈州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一个嵌套的加权切比雪夫多目标贝叶斯优化框架，我们建立了一个回归模型选择过程，从一个合奏的模型，朝着更好地估计加权切比雪夫昂贵的黑箱多目标函数的不确定参数。在现有的工作中，加权Tchebycheff MOBO方法已被证明，试图估计未知的乌托邦在制定收购功能，通过校准使用先验选择的回归模型。然而，现有的MOBO模型在给定引导采样数据的情况下选择适当的回归模型时缺乏灵活性，因此，随着MOBO的迭代进行，可能欠拟合或过拟合，从而降低了整体MOBO性能。由于它过于复杂，无法先验地保证一般的最佳模型，这促使我们考虑在WTB MOBO的指导下，采用当前训练数据拟合的不同系列预测模型的组合;最佳模型是按照用户定义的基于预测均方根误差的方法选择的。所提出的方法是在优化多模态基准问题和薄壁管的设计温度-压力恒定载荷下，与蠕变疲劳失效的风险和设计成本最小化。最后，嵌套加权Tchebycheff MOBO模型的性能进行了比较与不同的MOBO框架的参数估计精度，帕累托最优解和功能评估成本。这种方法是广义的，足以考虑不同的家庭的预测模型的投资组合中的最佳模型选择，其中的整体设计架构允许解决任何高维（多功能）复杂的黑盒问题，并可以扩展到任何其他全球标准的多目标优化方法，需要先验知识的乌托邦。
2021-10-16 cs.LG stat.ML
Active Learning over DNN: Automated Engineering Design Optimization for Fluid Dynamics Based on Self-Simulated Dataset
Cranbrook Schools（克兰布鲁克学校）
优化流体动力学性能是一项重要的工程任务。传统上，专家根据经验估计设计形状，并通过昂贵的实验来验证它们。这个在时间和空间方面都昂贵的过程可能只探索有限数量的形状，并导致次优设计。在这项研究中，一个测试证明的深度学习架构被应用于预测各种限制下的性能，并通过优化学习的预测函数来搜索更好的形状。主要的挑战是深度神经网络（DNN）需要大量的数据点，这是无法模拟的。为了弥补这个缺点，使用频率主义主动学习来探索DNN预测有希望的输出空间的区域。此操作将所需的数据样本数量从约8000减少到625。最后一个阶段，一个用户界面，使模型能够优化与给定的用户输入的最小面积和粘度。整体填充用于定义边界面积函数，以便最佳形状不会绕过最小面积。随机梯度朗之万动力学（SGLD），以确保最终的形状是优化的，同时绕过所需的面积。共同地，具有极低阻力的形状被发现由实用的用户界面探索，没有人类领域知识和适度的计算开销。
2020-01-23 cs.CE cs.LG stat.ML
Implicit Regularization of Discrete Gradient Dynamics in Linear Neural Networks
Mila（米拉研究所）；DIRO（蒙特利尔大学计算机与运筹学系）；Université de Montréal（蒙特利尔大学）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
当优化过参数化模型时，例如深度神经网络，大量参数可以实现零训练误差。在这种情况下，优化算法及其相应超参数的选择引入了偏差，这将导致收敛到目标的特定最小值。因此，这种选择可以被认为是一种隐式正则化，用于训练过参数化模型。在这项工作中，我们通过研究具有最小平方损失的双层线性网络的训练的离散梯度动态来进一步推动这一想法。使用时间重新缩放，我们表明，与消失的初始化和一个足够小的步长，这种动态顺序学习的解决方案的降秩回归的秩逐渐增加。
2019-12-05 cs.LG math.OC stat.ML
