Convex Programs and Lyapunov Functions for Reinforcement Learning: A Unified Perspective on the Analysis of Value-Based Methods
Coordinated Science Laboratory（协同科学实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
基于值的方法在马尔可夫决策过程（MDP）和强化学习（RL）中发挥着重要作用。在本文中，我们提出了一个统一的控制理论框架，用于分析基于值的方法，如值计算（VC），值迭代（VI）和时间差（TD）学习（线性函数近似）。建立在基于值的方法和动态系统之间的内在联系，我们可以直接使用现有的凸测试条件在控制理论得到各种收敛性的结果，上述基于值的方法。这些测试条件是线性规划（LP）或半定规划（SDP）形式的凸规划，并且可以以直接的方式求解以构造李雅普诺夫函数。我们的分析揭示了反馈控制系统和RL算法之间的一些有趣的联系。我们希望这样的联系可以激发更多的工作在交叉的系统/控制理论和RL。
2022-02-14 cs.LG cs.SY eess.SY
Inverse Reinforcement Learning via Convex Optimization
Department of Computer Science and IMBIT//BrainLinks-BrainTools（计算机科学系和IMBIT//BrainLinks-BrainTools）；University of Freiburg（弗赖堡大学）
本文研究了逆强化学习问题，通过重新表述Ng和Russel提出的凸公式（CIRL），利用CVXPY直接求解，并扩展至基于轨迹数据的场景，引入超参数自动选择，使用户无需凸优化背景即可应用。
2025-06-26 cs.CE cs.LG math.OC
Policy Mirror Descent for Reinforcement Learning: Linear Convergence, New Sampling Complexity, and Generalized Problem Classes
Georgia Institute of Technology（佐治亚理工学院）
我们提出了新的策略镜像下降（PMD）方法解决强化学习（RL）问题的强凸或一般凸正则化。通过探索这些整体高度非凸问题的结构特性，我们表明PMD方法具有快速的线性收敛速度的全局最优性。我们开发了这些方法的随机对应物，并建立了一个${\cal O}(1/ε)$（分别，${\cal O}(1/ε^2)$）采样复杂度，用于解决这些RL问题，一般）使用不同采样方案的凸正则化器，其中$ε$表示目标精度。我们进一步表明，计算这些正则化的梯度的复杂性，如果必要的话，可以由${\cal O}\{(\log_γε) [(1-γ)L/μ]^{1/2}\log (1/ε)\}$（分别，${\cal O} \{(\log_γε) (L/ε)^{1/2}\}$）用于强（分别为，一般）凸正则化子。这里$γ$表示贴现系数。据我们所知，这些复杂性界限，以及我们的算法发展，似乎是新的优化和RL文献。这些凸正则化子的引入也极大地扩展了RL模型的灵活性和适用性。
2022-04-06 cs.AI cs.LG math.OC
Challenging Common Assumptions in Convex Reinforcement Learning
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）；ETH Zurich（苏黎世联邦理工学院）
经典的强化学习（RL）公式涉及标量奖励函数的最大化。最近，凸RL已被引入到扩展的RL制定的所有目标，是凸函数的状态分布引起的政策。值得注意的是，凸RL涵盖了几个不属于标量公式的相关应用，包括模仿学习，风险规避RL和纯探索。在经典RL中，通常优化无限次试验目标，该目标考虑状态分布而不是经验状态访问频率，即使实际轨迹的数量在实践中总是有限的。这在理论上是合理的，因为可以证明无限次试验和有限次试验的目标是一致的，从而导致相同的最优策略。在本文中，我们表明，这种隐藏的假设不成立的凸RL设置。特别是，我们表明，错误地优化无限试验的实际有限试验的目标，因为它通常是这样做，可能会导致一个显着的近似误差。由于有限试验设置是模拟和现实世界RL的默认设置，我们相信，揭示这个问题将导致更好的方法和方法用于凸RL，影响相关的研究领域，如模仿学习，风险规避RL和纯探索等。
2023-01-27 cs.LG
Non-Convex Sparse Reinforcement Learning via Non-Monotone Inclusions
Department of Information and Communications Engineering, Institute of Science Tokyo（东京理科大学信息与通信工程系）；Institute of Science Tokyo（东京理科大学）
研究针对强化学习中高效特征选择及非单调包含关系理论。核心方法是用非凸投影极小极大凹惩罚增强传统正则化。贡献是给出收敛条件，数值测试显示该方法在非凸正则化LSTD问题上优于现有方法。
2026-07-08 cs.LG
Bilevel reinforcement learning via the development of hyper-gradient without lower-level convexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种利用正则化RL的不动点方程计算超梯度的双层强化学习方法，无需下层凸性假设，设计了基于模型和无模型算法，收敛速率为O(ε⁻¹)，并验证超梯度整合了利用与探索。
2025-02-27 cs.AI cs.LG math.OC
Reinforcement Learning with Dynamic Convex Risk Measures
University of Toronto（多伦多大学）
提出了一种基于无模型强化学习的时间一致风险敏感随机优化问题求解方法。具体来说，我们假设代理商使用动态凸风险度量来评估随机变量序列的风险。我们采用时间一致的动态规划原则，以确定一个特定的政策的价值，并制定策略梯度更新规则，帮助获得最佳的政策。我们进一步开发了一个演员-评论家风格的算法，使用神经网络优化的政策。最后，我们证明了我们的方法的性能和灵活性，将其应用到三个优化问题：统计套利交易策略，金融对冲，避障机器人控制。
2022-11-30 cs.LG q-fin.CP q-fin.MF
Online Episodic Convex Reinforcement Learning
Univ. Grenoble Alpes（格拉诺布尔大学）；Inria（法国国家科学研究中心）；CNRS（法国国家科学研究中心）；Grenoble INP（格拉诺布尔研究所）；LJK（实验室）；EDF Lab（EDF实验室）
本文研究在线回合式凸强化学习CURL，提出带变化约束集与探索奖励的在线镜像下降算法，在无转移先验下获得近最优遗憾，并首次解决仅含目标值反馈的老虎机版本。
2025-05-12 cs.LG stat.ML
Difference of Convex Functions Programming Applied to Control with Expert Data
Univ. Lille（里尔大学）；CRIStAL (UMR CNRS 9189/Lille 1)（CRIStAL研究中心（UMR CNRS 9189/里尔第一大学））；CentraleSupélec（巴黎中央理工-高等电力学院）；IUF（法国大学研究院）；Google DeepMind（谷歌DeepMind）
本文报告了凸函数差（DC）编程在基于专家数据的演示学习（LfD）和强化学习（RL）中的应用。这是可能的，因为最佳贝尔曼残差（OBR）的范数，这是许多RL和LfD算法的核心，是DC。性能的改善表现在两个特定的算法，即奖励正则化分类学徒学习（RCAL）和强化学习与专家演示（RLED），通过实验通用马尔可夫决策过程（MDP），称为石榴石。
2016-09-05 cs.LG math.OC stat.ML
A Hybrid Framework of Reinforcement Learning and Convex Optimization for UAV-Based Autonomous Metaverse Data Collection
Nanyang Technological University（南洋理工大学）
针对无人机辅助元宇宙数据采集中资源分配与轨迹控制的时间序列优化难题，本文提出强化学习与凸优化协同的混合框架，在给定功率资源下有效缩短任务完成时间。
2023-05-29 cs.AI cs.LG
Constrained episodic reinforcement learning in concave-convex and knapsack settings
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们提出了一种带约束的表格式情景强化学习算法。我们提供了一个模块化的分析与强有力的理论保证设置凹奖励和凸约束，并设置硬约束（背包）。在约束强化学习中，以前的大多数工作都局限于线性约束，剩下的工作集中在可行性问题或单集设置上。我们的实验表明，该算法显着优于这些方法在现有的约束情景环境。
2021-06-06 cs.AI cs.DS cs.LG
Exploration-exploitation trade-off for continuous-time episodic reinforcement learning with linear-convex models
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；Alan Turing Institute（艾伦·图灵研究所）；Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计系）
我们开发了一个概率框架，用于分析情景设置中基于基于模型的强化学习。然后，我们应用它来研究有限时间范围内的线性动态随机控制问题，但未知系数和凸，但可能不规则的目标函数。使用概率表示，我们研究相关的成本函数的规律性，并建立精确的估计应用最优反馈控制来自估计和真实的模型参数之间的性能差距。我们确定了这种性能差距为二次的条件，改善了最近工作中的线性性能差距[X. Guo，中国古猿A. Hu和Y. Zhang，arXiv预印本，arXiv：2104.09311，（2021）]，这与随机线性二次问题的结果相匹配。接下来，我们提出了一个基于阶段的学习算法，我们展示了如何优化探索-开发权衡，并实现高概率和期望的次线性遗憾。当二次性能差距所需的假设成立时，该算法在一般情况下实现了顺序$\mathcal{O}(\sqrt{N} \ln N)$高概率后悔，在自我探索的情况下实现了顺序$\mathcal{O}((\ln N)^2)$期望后悔，在$N$事件上，与文献中的最佳可能结果相匹配。分析需要新的浓度不等式相关的连续时间观测，我们得到。
2021-12-19 cs.LG math.OC math.PR
Convex-Concave Reinforcement Learning
本文提出凸-凹强化学习（CCRL），将策略优化转化为DC约束DC规划，统一CPI、NPG、TRPO、AWR，并通过多步轴提升信用传播，在诊断MDP和医疗保健任务中优于PPO。
2026-10-08 cs.AI cs.LG
A Boosting Approach to Reinforcement Learning
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿分部）；Carnegie Mellon University（卡内基梅隆大学）
将强化学习简化为监督学习是一种经过充分研究的有效方法，它利用了紧凑函数逼近的优点来处理大规模马尔可夫决策过程。独立地，增强方法（例如AdaBoost）已被证明是不可或缺的，通过结合不准确的经验法则来设计有效和准确的分类算法。在本文中，我们更进一步：我们将强化学习简化为一系列弱学习问题。由于弱学习器的性能仅略好于随机猜测，因此这样的子例程构成了比准确的监督学习预言的可用性更弱的假设。我们证明了所提出的方法的样本复杂度和运行时间界不显式地依赖于状态的数量。虽然现有的结果上推凸的损失，价值函数的政策是非凸的。我们展示了如何使用一个非凸的变体的Frank-Wolfe方法的提升，另外提高了已知的样本复杂性和运行时间，即使减少到监督学习。
2023-01-25 cs.LG
Global Reinforcement Learning: Beyond Linear and Convex Rewards via Submodular Semi-gradient Methods
ETHZ（苏黎世联邦理工学院）
针对经典强化学习加性目标无法建模状态间相互作用的局限，提出奖励在轨迹上全局定义的全局强化学习，结合子模优化设计可转化为经典RL序列问题的算法，提供近似保证与难度结果并验证有效性。
2024-07-13 cs.LG
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Shapley Value Based Multi-Agent Reinforcement Learning: Theory, Method and Its Application to Energy Network
Imperial College of Science, Technology and Medicine（帝国理工学院）
本文通过合作博弈论将Shapley值扩展到马尔可夫决策过程，提出马尔可夫Shapley值作为公平信用分配基础，并据此设计SHAQ、SQDDPG和SMFPPO三种多智能体强化学习算法，在能源网络真实问题上验证了有效性。
2024-02-23 cs.LG cs.MA
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有非线性函数逼近的安全强化学习问题，将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题，我们构造了一个替代凸约束优化问题的序列，通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外，为了扩展我们的理论结果，我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
KF-LAX: Kronecker-factored curvature estimation for control variate optimization in reinforcement learning
University of Toronto（多伦多大学）
无模型强化学习中基于梯度的优化方法的一个关键挑战是开发一种样本效率高且方差低的方法。在这项工作中，我们应用克罗内克因子曲率估计技术（KFAC）最近提出的梯度估计控制变量优化，RELAX，以提高样本效率，使用这种梯度估计方法在强化学习。所提出的方法的性能证明合成问题和一组三个离散控制任务Atari游戏。
2018-12-11 cs.LG stat.ML
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化，找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术，在目标函数上设置先验，并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值，以便对目标函数进行观测，这必须考虑到勘探（从高度不确定性的区域取样）和开发（取样区域可能提供比当前最佳观测值更好的结果）。我们还提出了两个详细的扩展贝叶斯优化，与实验-主动用户建模与偏好，和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上，我们的经验。
2010-12-12 cs.LG
Robust Reinforcement Learning on Graphs for Logistics optimization
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
物流优化如今正成为人工智能社区最热门的领域之一。在过去的一年中，通过以图形的形式表示问题，在该领域取得了重大进展。另一个有前途的研究领域是将强化学习算法应用于上述任务。在我们的工作中，我们利用这两种方法，并在图上应用强化学习。为此，我们分析了这两个领域的最新成果，并从图神经网络和强化学习中选择了SOTA算法。然后，我们结合选定的模型对纽约市的交通网络的AMOD系统优化问题。我们的团队比较了三种算法- GAT，Pro-CNN和PTDNet -以突出图形表示上的重要节点。最后，我们使用PTDNet和GNN实现了AMOD系统优化问题的SOTA结果，并以强化方式对其进行训练。关键词：图神经网络，物流优化，强化学习
2022-05-25 cs.AI cs.LG
cc-DRL: a Convex Combined Deep Reinforcement Learning Flight Control Design for a Morphing Quadrotor
Beihang University（北京航空航天大学）；University of Science and Technology Beijing（北京科技大学）；Hangzhou International Innovation Institute of Beihang University（北京航空航天大学杭州国际创新研究院）
针对变形四旋翼难以精确建模的问题，提出cc-DRL飞行控制算法，利用近端策略优化离线训练代表性臂长模式的控制律，并通过凸组合技术构建控制方案，仿真验证了其有效性。
2024-08-23 cs.AI cs.LG cs.RO
Reinforcement Learning with Convex Constraints
Princeton University（普林斯顿大学）；University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
在标准的强化学习（RL）中，学习代理试图优化整体奖励。然而，期望行为的许多关键方面更自然地表示为约束。例如，设计者可能希望限制使用不安全的动作，增加轨迹的多样性以实现探索，或者在奖励稀疏时近似专家轨迹。在本文中，我们提出了一种算法方案，可以处理RL任务中的各种约束：具体来说，任何要求某些向量测量（例如使用动作）的预期值位于凸集的约束。这捕获了以前研究过的约束（例如安全性和与专家的接近度），但也启用了新的约束类别（例如多样性）。我们的方法具有严格的理论保证，并且仅依赖于近似解决标准RL任务的能力。因此，它可以很容易地适应任何无模型或基于模型的RL。在我们的实验中，我们表明，它匹配以前的算法，通过约束执行安全，但也可以执行新的属性，这些算法不包括，如多样性。
2019-11-11 cs.AI cs.GT cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Deep Reinforcement Learning and Convex Mean-Variance Optimisation for Portfolio Management
University of the Witwatersrand（金山大学）
传统的投资组合管理方法可以结合特定的投资者偏好，但依赖于对资产收益和协方差的准确预测。强化学习（RL）方法不依赖于这些明确的预测，更适合多阶段决策过程。为了解决评估研究的局限性，我们在总体趋势不同的不同经济体的三个市场进行了实验。通过将特定的投资者偏好纳入我们的RL模型的奖励函数中，可以在风险收益空间中与传统方法进行更全面的比较。交易成本的模型也更现实，包括市场波动和交易量引起的非线性变化。这项研究的结果表明，在某些市场条件下，与传统的凸均值-方差优化方法相比，使用RL方法可能具有优势。我们的RL模型在上升趋势市场中的表现可以显著优于传统的单期优化（SPO）和多期优化（MPO）模型，但仅限于特定的风险限制。在横向趋势市场中，SPO和MPO模型的表现可以与我们的RL模型在大多数测试的超额风险范围内紧密匹配。在特定的市场条件下，这些模型可以胜过对方突出的重要性，更全面的比较帕累托最优边界的风险回报空间。这些前沿领域让投资者更细致地了解哪些模型可能为他们特定的风险承受能力或回报目标提供更好的表现。
2022-02-13 cs.LG q-fin.PM
MODRL/D-AM: Multiobjective Deep Reinforcement Learning Algorithm Using Decomposition and Attention Model for Multiobjective Optimization
Department of Computer Science, Sun Yat-sen University（中山大学计算机科学系）；Sun Yat-sen University（中山大学）
近年来，提出了一种用于求解多目标优化问题的深度强化学习方法。该方法将多目标优化问题分解为多个单目标优化子问题，并以协同的方式对所有子问题进行优化。每个子问题用指针网络建模，并用强化学习训练模型。然而，指针网络在提取实例的特征时，忽略了输入节点的底层结构信息。因此，本文提出了一种基于分解和注意力模型的多目标深度强化学习方法来求解多目标优化问题。在我们的方法中，每个子问题是解决一个注意力模型，它可以利用结构特征以及输入节点的节点特征。对多目标旅行商问题的实验结果表明，该算法与已有的方法相比，具有更好的性能。
2020-02-13 cs.LG cs.NE
Automated quantum programming via reinforcement learning for combinatorial optimization
Stanford University（斯坦福大学）；Rigetti Computing（里盖蒂计算公司）
我们开发了一种基于激励的混合量子经典计算系统的编程方法，使用强化学习，并将其应用于解决模拟和真实的基于门的量子计算机上的组合优化问题。相对于一组随机生成的问题实例，通过强化学习技术训练的智能体能够生成短量子程序，这些程序在两种类型的量子资源上生成高质量的解决方案。我们观察到泛化到训练集之外的问题，以及从模拟量子资源到物理量子资源的泛化。
2019-08-21 cs.LG quant-ph
Reinforcement Learning via Fenchel-Rockafellar Duality
Google Research（谷歌研究院）
我们回顾凸对偶的基本概念，重点放在非常普遍和极其有用的Fenchel-Rockafellar对偶。我们总结了这种二元性如何应用于各种强化学习（RL）设置，包括策略评估或优化、在线或离线学习以及折扣或未折扣奖励。这些推导产生了许多有趣的结果，包括使用行为不可知的离线数据执行策略评估和基于策略的策略梯度的能力，以及通过最大似然优化学习策略的方法。虽然这些结果中的许多已经以各种形式出现，但我们对这些结果提供了统一的处理和观点，我们希望这将使研究人员能够更好地使用和应用凸对偶工具，以在RL中取得进一步的进展。
2020-01-09 cs.LG stat.ML
Distributionally Safe Reinforcement Learning under Model Uncertainty: A Single-Level Approach by Differentiable Convex Programming
Mississippi State University（密西西比州立大学）
针对Wasserstein分布偏移下的安全强化学习双层优化难题，提出基于对偶转换与可微凸规划的单层端到端框架，显著提升一阶和二阶系统的安全保证。
2023-10-03 cs.LG cs.RO cs.SY
Multi-condition multi-objective optimization using deep reinforcement learning
Pohang University of Science and Technology（浦项科技大学）
首次提出了一种基于深度强化学习的多条件多目标优化方法，该方法可以在给定的条件空间上找到Pareto前沿。与在单一条件下进行优化的传统方法不同，本方法学习条件和最优解之间的相关性。在一个新的修改Kursawe基准问题和翼型形状优化问题的解决方案，其中包括非线性特性，这是很难解决使用传统的优化方法的独家能力的开发方法进行检查。在每个问题中，成功地确定了在定义的条件空间上具有高分辨率的Pareto前沿。与单条件优化方法对多个条件的多个操作相比，本发明的基于深度强化学习的多条件优化方法通过减少所需函数求值的数量而显示出极大地加速了Pareto前沿的搜索。通过对优化设计翼型气动性能的分析，证实了多工况优化是避免变流条件下目标性能显著下降的必要措施。
2021-10-10 cs.LG physics.flu-dyn
A View on Deep Reinforcement Learning in System Optimization
Intel Labs（英特尔研究院）；University of California, Berkeley（加州大学伯克利分校）
许多现实世界的系统问题需要对配置和管理系统所采取的行动的长期后果进行推理。这些具有延迟和通常顺序聚集的奖励的问题通常是固有的强化学习问题，并且提供了利用深度强化学习最近的实质性进展的机会。然而，在某些情况下，尚不清楚为什么深度强化学习很适合解决这个问题。有时，它的性能并不比最先进的解决方案更好。在其他情况下，随机搜索或贪心算法可能优于深度强化学习。在本文中，我们回顾、讨论和评估了在系统优化中使用深度强化学习的最新趋势。我们提出了一组基本指标，以指导未来的工作，在系统优化中使用深度强化学习的有效性评估。我们的评估包括挑战、问题类型、它们在深度强化学习环境中的形成、嵌入、使用的模型、效率和鲁棒性。最后，我们讨论了进一步推动强化学习在系统优化中的集成所面临的挑战和潜在的方向。
2019-09-04 cs.AI cs.LG cs.SY
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Optimization of Molecules via Deep Reinforcement Learning
Stanford University（斯坦福大学）；Google AI Applied Science（谷歌人工智能应用科学部）
我们提出了一个框架，我们称之为分子深度$Q$网络（MolDQN），通过结合化学领域知识和最先进的强化学习技术（双$Q$学习和随机价值函数）进行分子优化。我们直接定义分子上的修饰，从而确保100%的化学有效性。此外，我们在没有对任何数据集进行预训练的情况下进行操作，以避免该集合的选择可能产生的偏差。受药物化学铅优化过程中面临的问题的启发，我们用多目标强化学习扩展了我们的模型，该模型在保持与原始分子相似性的同时最大化了药物相似性。我们进一步展示了通过化学空间实现分子优化的路径，以了解模型是如何工作的。
2019-03-01 cs.AI cs.LG stat.ML
Safe Reinforcement Learning of Control-Affine Systems with Vertex Networks
University of Washington（华盛顿大学）
本文的重点是寻找强化学习政策的控制系统的硬状态和行动的约束。尽管强化学习在许多领域取得了成功，但它在应用于具有硬约束的问题时仍具有挑战性，特别是在状态变量和动作都受到约束的情况下。以前的工作，寻求确保约束满足，或安全性，集中在增加一个投影步骤，学习的政策。然而，这种方法需要在每个策略执行步骤中解决优化问题，这可能导致显著的计算成本。为了解决这个问题，本文提出了一种新的方法，称为顶点网络（VNs），保证在探索过程中的安全性和学习控制策略，将安全约束的政策网络架构。利用凸集内所有点都可以表示为顶点的凸组合的几何性质，该算法首先学习凸组合权重，然后使用这些权重以及预先计算的顶点来输出动作。通过结构保证输出动作安全。数值算例表明，所提出的VN算法优于香草强化学习在各种基准控制任务。
2020-03-20 cs.LG cs.SY eess.SY
Grammars and reinforcement learning for molecule optimization
我们寻求基于特定化学性质的分子设计自动化。我们的主要贡献是一个更简单的方法生成SMILES字符串保证是化学上有效的，使用一个新的上下文无关文法SMILES和额外的掩蔽逻辑的组合;和铸造的分子属性优化作为一个强化学习问题，特别是最好的批量策略梯度应用到一个Transformer模型架构。这种方法比早期的方法每个原子使用的模型步骤要少得多，因此能够生成更大的分子，并以显著的优势击败了以前的最先进的基线。将强化学习应用于自定义上下文无关文法与附加掩码的组合以实施非局部约束可适用于在局部和非局部约束的混合下的图结构的任何优化。
2018-11-27 cs.LG physics.chem-ph stat.ML
An Overview of Machine Learning-Enabled Optimization for Reconfigurable Intelligent Surfaces-Aided 6G Networks: From Reinforcement Learning to Large Language Models
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）
本文综述了RIS辅助6G网络中基于机器学习的优化方法，重点梳理各类强化学习技术，进一步探讨大语言模型与强化学习结合的优势，并指出未来挑战与方向。
2024-09-17 cs.LG cs.NI cs.SY
Lane-Merging Using Policy-based Reinforcement Learning and Post-Optimization
fortiss GmbH（福蒂思有限公司）；Technische Universität München（慕尼黑工业大学）
许多当前的行为生成方法难以处理真实世界的交通情况，因为它们不能很好地扩展复杂性。然而，可以使用数据驱动的方法离线学习行为。特别是，强化学习是有前途的，因为它隐含地学习如何利用收集的经验的行为。在这项工作中，我们将基于策略的强化学习与局部优化相结合，以培养和综合这两种方法中最好的一种。基于策略的强化学习算法为后期优化提供了初始解和指导性参考。因此，优化器只需计算单个同伦类，例如\在另一辆车的后面或前面行驶。通过在强化学习期间存储状态历史，它可以用于约束检查，优化器可以考虑交互。后优化还充当安全层，因此，该新方法可以应用于安全关键应用中。我们评估所提出的方法使用变道的情况下，不同数量的车辆。
2020-03-06 cs.AI cs.LG cs.MA
Learning Sparse Representations in Reinforcement Learning with Sparse Coding
Indiana University（印第安纳大学）
各种各样的表示学习方法已经被研究用于强化学习;然而，很少有人关注稀疏编码的效用。在强化学习之外，稀疏编码表示已被广泛使用，其非凸目标导致区分表示。在这项工作中，我们开发了一个监督稀疏编码的政策评估目标。尽管这个目标的非凸性，我们证明了所有的局部极小值是全局极小值，使该方法适合简单的优化策略。我们的经验表明，使用监督目标是关键，而不是更直接的无监督稀疏编码方法。我们比较学习的表示一个规范的固定稀疏表示，称为瓦片编码，证明稀疏编码表示优于各种各样的瓦片编码表示。
2017-07-26 cs.AI cs.LG stat.ML
Proximal Reliability Optimization for Reinforcement Learning
Michigan Technological University（密歇根理工大学）
针对强化学习因现实差距难以用于自主控制器设计的问题，提出基于可靠性的近端优化框架，通过量化设计空间不确定性提升控制器鲁棒性，并利用基于模型的方法保持数据效率，在经典任务中验证了神经控制器的稳定性。
2019-06-03 cs.LG cs.SY eess.SY
Safe Deployment of Offline Reinforcement Learning via Input Convex Action Correction
Department of Chemical Engineering, Imperial College London（帝国理工学院化学工程系）；Shell Information Technology International BV（壳牌信息科技国际有限公司）；Shell Global Solutions International BV（壳牌全球解决方案国际有限公司）
本研究针对化工过程控制中离线强化学习的稳态偏差等问题，提出基于输入凸神经网络的部署时动作校正安全层，在反应器控制场景中性能优于传统方法，为工业安全数据驱动控制奠基。
2025-07-30 cs.AI cs.LG cs.SY
Emission-Aware Optimization of Gas Networks: Input-Convex Neural Network Approach
MIT Energy Initiative（麻省理工学院能源倡议）；Massachusetts Institute of Technology（麻省理工学院）；Technical University of Denmark（丹麦技术大学）
排放约束下的燃气管网规划优化以最小的CO $_2$强度优先供气。由于该问题包括气体流动的复杂物理定律，标准优化求解器不能保证收敛到可行解。为了解决这个问题，我们开发了一个输入凸神经网络（ICNN）辅助优化例程，其中包括一组训练ICNN近似的气体流量方程具有高精度。比利时天然气网络的数值试验表明，ICNN辅助优化占主导地位的非凸和松弛为基础的求解器，具有较大的最优增益与更严格的排放目标。此外，当非凸解算器失败时，ICNN辅助优化为网络规划提供了可行的解决方案。
2022-09-18 cs.LG math.OC
Faster Accelerated First-order Methods for Convex Optimization with Strongly Convex Function Constraints
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们介绍了快速加速原始对偶法，以最小化一个凸函数的强凸函数的约束。在我们的工作之前，最好的复杂性界限是$\mathcal{O}(1/{\varepsilon})$，不管约束函数的强凸性。目前还不清楚强凸性假设是否可以实现更好的收敛结果。为了解决这个问题，我们开发了新的技术，逐步估计拉格朗日函数的强凸性。我们的方法，第一次，有效地利用约束强凸性，获得了改进的复杂性$\mathcal{O}(1/\sqrt{\varepsilon})$。该速率与强凸-凹鞍点优化的复杂度下界相匹配，因此是阶数最优的。我们展示了我们的方法在稀疏诱导约束优化，特别是谷歌的个性化PageRank问题的优越性能。此外，我们表明，重新启动的版本所提出的方法可以有效地确定最优解的稀疏模式在有限数量的步骤，结果似乎有独立的意义。
2024-11-27 cs.LG math.OC
First-order Methods for Geodesically Convex Optimization
Massachusetts Institute of Technology（麻省理工学院）
测地凸性将（向量空间）凸性的概念推广到非线性度量空间。但与凸优化不同的是，测地线凸（g-凸）优化的发展要少得多。本文通过对Hadamard流形上的几个一阶算法的迭代复杂性分析，为理解g-凸优化做出了贡献。具体来说，我们证明了确定性和随机（子）梯度法优化光滑和非光滑g-凸函数，有和没有强g-凸的全局复杂性的上界。我们的分析还揭示了流形几何，特别是\emph{sectional curvature}，如何影响收敛速度。据我们所知，我们的工作是第一个提供全局复杂性分析的一般g-凸优化的一阶算法。
2016-02-19 cs.LG math.OC stat.ML
Lower Bounds for Higher-Order Convex Optimization
Princeton University（普林斯顿大学）
凸优化和非凸优化中的现有技术方法隐式地或显式地使用高阶导数信息。我们探讨了高阶优化的局限性，并证明了即使是凸优化，多项式依赖的近似保证和高阶光滑参数是必要的。作为特例，我们证明Nesterov的加速立方正则化方法是近紧的。
2017-10-27 cs.LG math.OC stat.ML
Distributed Optimization of Convex Sum of Non-Convex Functions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种分布式求解方法来优化由多个非凸函数组成的凸函数。每个非凸函数都被一个代理私有地存储，而代理与邻居通信以形成一个网络。我们证明了[1]中提出的耦合一致性和投影梯度下降算法在附加梯度Lipschitz性假设下可以优化非凸函数的凸和。我们进一步讨论了这种分析在分布式优化中提高隐私性的应用。
2016-08-18 cs.DC cs.LG math.OC
Open Problem: The Oracle Complexity of Convex Optimization with Limited Memory
我们注意到，已知的方法实现最佳的甲骨文复杂性的一阶凸优化需要二次内存，并询问这是否是必要的，更广泛地寻求表征的最小最大数量的一阶查询优化凸Lipschitz函数的内存约束。
2019-07-01 cs.LG math.OC stat.ML
Accelerated Algorithms for Convex and Non-Convex Optimization on Manifolds
University of Notre Dame（圣母大学）；University of Rochester（罗切斯特大学）；University of Hong Kong（香港大学）；Duke University（杜克大学）
我们提出了一个通用的计划，解决凸和非凸流形上的优化问题。其中心思想是，通过增加一个倍数的平方收缩距离的目标函数的问题，我们“凸”的目标函数，并解决了一系列的凸子问题的优化过程。流形上优化的关键挑战之一是难以验证目标函数的复杂性，例如，目标函数是凸的还是非凸的，以及非凸的程度。我们所提出的算法适应目标函数的复杂程度。我们表明，当目标函数是凸的，该算法可证明收敛到最优，并导致加速收敛。当目标函数为非凸时，算法将收敛到一个稳定点。我们提出的方法统一的见解Nesterov的原始想法，加速梯度下降算法的最新发展，在欧几里德空间的优化算法。我们展示了我们的算法在几个流形优化任务上的实用性，例如估计球体上的内在和外在Fréchet均值以及应用于Netflix评级数据集的Grassmann流形的低秩矩阵分解。
2020-10-18 cs.LG math.OC stat.CO
Optimization Problems with Nearly Convex Objective Functions and Nearly Convex Constraint Sets
Institute of Mathematics, Vietnam Academy of Science and Technology（越南科学技术院数学研究所）
本文研究了近凸优化问题，通过关联凸优化问题，推导了最优性条件和拉格朗日乘子规则，并通过实例验证了结果。
2026-02-10 math.OC
Some notes on continuity in convex optimization
证明了在欧几里得空间中的凸参数化最优化问题的最优值函数本身是延拓实直线上的凸函数。
2021-04-30 math.OC
An optimal algorithm for stochastic strongly-convex optimization
我们考虑随机凸优化与强凸（但不一定光滑）的目标。我们给出了一个算法，只执行梯度更新的最佳收敛速率。
2010-06-12 math.OC
Jensen: An Easily-Extensible C++ Toolkit for Production-Level Machine Learning and Convex Optimization
Microsoft Corporation（微软公司）；University of California, Davis（加州大学戴维斯分校）
本文介绍了Jensen，这是一个易于扩展和可扩展的生产级机器学习和凸优化工具包。Jensen实现了凸（或损失）函数、凸优化算法（包括梯度下降、L-BFGS、随机梯度下降、共轭梯度等）的框架，以及一系列机器学习分类器和回归器（逻辑回归、SVM、最小二乘回归等）。该框架使得使用几行代码部署和训练模型成为可能，并且还通过集成新的损失函数和优化算法来扩展和构建模型。
2018-07-17 cs.LG math.OC stat.ML
An Optimal Algorithm for Bandit and Zero-Order Convex Optimization with Two-Point Feedback
Weizmann Institute of Science（魏茨曼科学研究所）
我们考虑了两点反馈的Bandit凸优化和每轮两个函数求值的零阶随机凸优化的密切相关的问题。我们提供了一个简单的算法和分析，这是最佳的凸Lipschitz函数。这改进了\cite{dujww13}，它只提供了一个光滑的函数的最优结果，而且，算法和分析是简单的，并容易扩展到非欧问题。该算法是基于一个小的，但令人惊讶的强大的修改的梯度估计。
2015-07-31 cs.LG math.OC stat.ML
Convergence of the Min-Sum Algorithm for Convex Optimization
我们建立了最小和消息传递算法及其异步变体收敛于一大类无约束凸优化问题。
2007-05-29 math.OC
AGGLIO: Global Optimization for Locally Convex Functions
IIT Kanpur（印度理工学院坎普尔分校）
提出了AGGLIO（Accelerated Graduated广义线性模型优化）算法，它是一种分阶段的、渐进的优化技术，能够为非凸优化问题提供整体收敛保证，这些问题的目标仅具有局部凸性，甚至在全局尺度上可能不是准凸的。特别是，这包括使用流行的激活函数（如sigmoid，softplus和SiLU）的学习问题，这些函数会产生非凸训练目标。AGGLIO可以很容易地实现使用点以及小批量SGD更新，并提供可证明的收敛到一般条件下的全局最优值。在实验中，AGGLIO优于几个最近提出的优化技术，非凸和局部凸的目标方面的收敛速度以及收敛精度。AGGLIO依赖于广义线性模型的分级技术，以及一种新颖的证明策略，这两种方法可能都是独立的。
2021-11-06 cs.LG math.OC stat.ML
