ExPoSe: Combining State-Based Exploration with Gradient-Based Online Search
National University of Singapore（新加坡国立大学）
在线基于树的搜索算法迭代地模拟轨迹并更新存储在树结构中的一组状态的动作值。它在实践中运作良好，但未能有效利用从类似国家收集的信息。取决于动作价值函数的平滑度，克服该问题的一种方法是通过在线学习，其中在相似状态之间内插信息;策略梯度搜索提供了实现这一点的实用算法。然而，策略梯度搜索缺乏显式的探索机制，这是基于树的在线搜索算法的一个关键特征。在本文中，我们提出了一种高效和有效的在线搜索算法，称为探索性策略梯度搜索（ExpoSe），它利用状态之间的信息共享直接更新的搜索策略参数，同时纳入一个定义良好的探索机制在在线搜索过程中。我们评估了一系列决策问题的ExpoSe，包括雅达利游戏，推箱子，稀疏图中的汉密尔顿循环搜索。结果表明，在所有领域中，ExpoSe始终优于其他流行的在线搜索算法。ExpoSe源代码可在\textit{\url{https://github.com/dixantmittal/ExPoSe}}上获得。
2023-03-04 cs.AI cs.LG
Combining Parametric and Nonparametric Models for Off-Policy Evaluation
Harvard University（哈佛大学）；Stanford University（斯坦福大学）
我们考虑了一种基于模型的方法来执行批量离政策评估强化学习。我们的方法采用混合专家的方法来结合环境的参数和非参数模型，使最终值估计具有最小的预期误差。我们首先估计每个模型的局部精度，然后使用规划器来选择在每个时间步使用哪个模型，以最小化沿整个轨迹的返回误差估计。在各种领域中，我们的基于混合的方法优于单独的模型以及最先进的基于重要性采样的估计。
2019-05-16 cs.LG stat.ML
CEM-RL: Combining evolutionary and gradient-based methods for policy search
Gleamer；Sorbonne Université（索邦大学）
深度神经进化和深度强化学习（deep RL）算法是两种流行的策略搜索方法。前者适用范围广，稳定性好，但样本效率低。相比之下，后者更具样本效率，但大多数样本效率的变体也相当不稳定，并且对超参数设置高度敏感。到目前为止，这些家庭的方法大多是比较作为竞争工具。然而，一种新兴的方法是将它们结合起来，以便获得两个世界的最佳效果。两个先前存在的组合使用自组织进化算法或目标探索过程以及深度确定性策略梯度（DDPG）算法，一种样本有效的非策略深度RL算法。在本文中，我们提出了一种不同的组合方案，使用简单的交叉熵方法（CEM）和双延迟深度确定性策略梯度（td 3），另一种非策略深度RL算法，改进了ddpg。我们在深度RL中经典使用的一组基准上评估了所得到的方法cem-rl。我们表明，cem-rl受益于几个优势，其竞争对手，并提供了一个令人满意的性能和样本效率之间的权衡。
2019-02-11 cs.LG cs.NE stat.ML
Combining Evolution and Deep Reinforcement Learning for Policy Search: a Survey
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
深度神经进化和深度强化学习在过去几年中受到了很多关注。有些作品比较了它们，突出了它们的优点和缺点，但一个新兴的趋势是将它们结合起来，以便从两个世界的最佳状态中受益。在本文中，我们提供了一个调查，这一新兴的趋势，组织成相关的作品组的文学和铸造成一个通用的框架，在每个组中的所有现有的组合。我们系统地涵盖了所有容易获得的论文，无论其出版状态，侧重于组合机制，而不是实验结果。总的来说，我们涵盖了比2017年更新的45种算法。我们希望这一努力将有利于该领域的发展，促进对方法之间关系的理解，导致更深入的分析，概述缺失的有用比较，并提出新的机制组合。
2022-06-11 cs.LG
Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Nvidia（英伟达）；University of Toronto（多伦多大学）；University of Sydney（悉尼大学）；University of Washington（华盛顿大学）
传统的机器人方法依赖于精确的环境模型，如何执行任务的详细描述，以及强大的感知系统来跟踪当前状态。另一方面，强化学习方法可以直接从原始感官输入操作，只有一个奖励信号来描述任务，但样本效率极低且脆弱。在这项工作中，我们将基于模型的方法的优势与基于学习的方法的灵活性相结合，以获得一种通用方法，该方法能够克服机器人感知/驱动管道中的不准确性，同时需要与环境的最小交互。这是通过利用不确定性估计将空间划分为给定的基于模型的政策可靠的区域和可能存在缺陷或定义不明确的区域来实现的。在这些不确定的地区，我们表明，本地学习的政策可以直接与原始的感官输入。我们测试我们的算法，引导不确定性感知策略优化（GUAPO），在现实世界中的机器人执行钉插入。视频可在https://sites.google.com/view/guapo-rl上获得
2020-05-26 cs.AI cs.LG cs.RO
Externally Valid Policy Evaluation Combining Trial and Observational Data
Uppsala University（乌普萨拉大学）
针对随机试验人群与目标人群差异导致的政策评估外部有效性问题，提出结合目标人群协变量数据的非参数方法，可在指定模型校准误差范围及有限样本下保证评估有效性，并通过模拟和真实数据验证。
2024-10-29 cs.LG stat.ME stat.ML
Towards Combining On-Off-Policy Methods for Real-World Applications
National Chiao Tung University（国立交通大学）
在本文中，我们指出了强化学习中目标的一个基本属性，通过该属性，我们可以将策略梯度目标重新表示为类似感知器的损失函数，从而无需区分开和关策略训练。也就是说，我们认为，对于满足条件$A(\fracπμ-1)\leq0$的情况，仅更新策略$π$就足够了，其中$A$是优势，而$μ$是另一个策略。此外，我们通过理论推导表明，一个感知器一样的损失函数匹配PPO的剪切代理目标。使用我们的新公式，策略$π$和$μ$在理论上可以任意分开，从而有效地实现了策略外训练。为了检查我们的推导，我们可以将策略上的PPO裁剪代理（我们证明它与新改革的一个实例等效）与策略外的IMPALA方法相结合。我们首先在OpenAI Gym钟摆玩具问题上验证了组合方法。接下来，我们使用我们的方法在模拟器中训练四旋翼位置控制器。我们的训练策略是有效的，足够轻巧，以500 Hz的最小更新速率在低成本微控制器中执行。对于四旋翼，我们展示了两个实验来验证我们的方法并展示性能：1）悬停在固定位置，以及2）沿着特定轨迹跟踪。在初步试验中，我们也能够将该方法应用于现实世界的四旋翼。
2019-04-24 cs.LG stat.ML
Toward Robust Long Range Policy Transfer
National Tsing Hua University（国立清华大学）；Appier Inc., Taiwan（Appier 台湾公司）；MOST Joint Research Center for AI Technology and All Vista Healthcare, Taiwan（科技部人工智能技术及全视野医疗联合研究中心）
人类可以通过利用从先前经验中获得的技能，在几次尝试中掌握一项新任务。为了模拟这种能力，已经提出了结合从先前任务中学习的原始策略的分层模型。然而，与人类的可转移性范围相比，这些方法不足。我们提出了一种方法，利用层次结构训练的组合功能和适应不同的原始政策集交替，有效地产生一系列复杂的行为，对挑战新的任务。在预训练阶段，我们还设计了两个正则化项来提高基元的多样性和利用率。我们证明，我们的方法优于其他最近的政策转移方法相结合，并适应这些可重用的原语在任务中连续的动作空间。实验结果进一步表明，我们的方法提供了一个更广泛的转移范围。消融研究还表明，正则化项是关键的长期政策转移。最后，我们表明，我们的方法始终优于其他方法时，原语的质量变化。
2021-03-04 cs.AI cs.LG
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分（IPS）加权，其要求日志记录策略具有\emph{full support}，即对于评估策略的任何上下文/动作的非零概率。然而，许多现实世界的系统并不保证这样的日志记录策略，特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency}，离线学习无法找到最优策略。我们提出了一种新的方法，使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作，而离线学习用于从记录数据中利用支持的动作，避免不必要的探索。我们的方法确定了一个最优的政策，理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
Combining Model-Based and Model-Free Methods for Nonlinear Control: A Provably Convergent Policy Gradient Approach
Caltech（加州理工学院）；Tsinghua University（清华大学）
基于无模型学习的控制方法最近取得了巨大的成功。然而，这样的方法通常遭受差的样本复杂度和有限的收敛保证。这与经典的基于模型的控制形成鲜明对比，后者具有丰富的理论，但通常需要强大的建模假设。在本文中，我们将这两种方法结合起来，以实现两全其美。我们考虑一个动力系统的线性和非线性组件，并开发了一种新的方法，使用线性模型来定义一个无模型的，政策梯度法的热启动。我们表明，这种混合方法优于基于模型的控制器，同时避免了与无模型的方法，通过数值实验和理论分析，其中我们推导出充分条件的非线性组件，使我们的方法是保证收敛到（近）全局最优控制器的收敛问题。
2020-06-12 cs.LG cs.SY eess.SY
Combining Experimental and Historical Data for Policy Evaluation
School of Statistics and Management, Shanghai University of Finance and Economics（上海财经大学统计与管理学院）；London School of Economics and Political Science（伦敦政治经济学院）；Yunnan University（云南大学）；Didi Chuxing（滴滴出行）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文研究多数据源下的策略评估问题，提出基于实验与历史数据线性整合策略价值估计量的方法，通过优化权重最小化MSE并应用悲观原则增强稳健性，理论证明其误差界限与优良属性，实验验证了方法的优越性。
2024-06-01 cs.LG stat.ME stat.ML
Hindsight-Anchored Policy Optimization: Learning Through Hindsight with Thompson Sampling-Inspired Adaptive Gating
Amazon（亚马逊）
本文提出HAPO策略优化方法，通过合成成功注入机制和 Thompson 采样启发的门控机制，解决稀疏奖励下策略优化的分布偏置问题，实现渐近一致性。
2026-09-15 cs.AI cs.CL cs.LG
Truncated Horizon Policy Search: Combining Reinforcement Learning & Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了通过使用预言机的奖励塑造的想法来结合模仿和强化学习。我们研究了接近最优的成本去预言机在规划视野上的有效性，并证明了成本去预言机缩短了学习者的规划视野作为其准确性的函数：全局最优预言机可以将规划范围缩短为1，从而导致更容易优化的一步贪婪马尔可夫决策过程，而远离最优性的Oracle需要在更长的范围内进行规划以实现接近最优的性能。因此，我们的新见解弥合了模仿学习和强化学习之间的差距。受上述见解的启发，我们提出了截断HORIZON策略搜索（THOR），一种专注于搜索策略的方法，最大限度地提高总重塑奖励在一个有限的规划范围内，当预言是次优的。我们的实验表明，基于梯度的实现的THOR可以实现优越的性能相比，RL基线和IL基线，即使当oracle是次优的。
2018-05-29 cs.LG stat.ML
Combining Large Language Models and Gradient-Free Optimization for Automatic Control Policy Synthesis
UC Berkeley, Department of Mechanical Engineering（伯克利大学机械工程系）
针对大语言模型生成控制策略时无法区分结构与数值参数、搜索效率低的问题，提出将结构综合与参数优化解耦的混合方法，在控制任务上实现了更高回报与更优样本效率，兼具可解释性与高性能。
2025-10-01 cs.AI cs.LG cs.NE
VolleyBots: A Testbed for Multi-Drone Volleyball Game Combining Motion Control and Strategic Play
Tsinghua University（清华大学）
VolleyBots通过结合运动控制与战略博弈，测试多无人机乒乓球竞技，展示了强化学习在复杂任务中的应用与潜力。
2026-02-26 cs.AI cs.LG cs.RO
Optimal Policy Trees
Interpretable AI
我们提出了一种直接从数据中学习基于最优树的处方策略的方法，将因果推理文献中的反事实估计方法与训练全局最优决策树的最新进展相结合。由此产生的方法，最优策略树，产生可解释的处方政策，是高度可扩展的，并处理离散和连续的治疗。我们在合成和真实世界的数据集上进行了大量的实验，并证明这些树在各种问题上都具有一流的性能。
2020-12-03 cs.LG
Boosting Soft Actor-Critic: Emphasizing Recent Experience without Forgetting the Past
New York University（纽约大学）；NYU Shanghai（上海纽约大学）
Soft Actor-Critic（SAC）是一种基于最大熵强化学习的离线Actor-Critic深度强化学习（DRL）算法。通过将非策略更新与参与者-批评者制定相结合，SAC在一系列连续动作基准任务上实现了最先进的性能，优于先前的策略和非策略方法。SAC采用的非策略方法在执行参数更新时从过去的经验中统一采样数据。我们提出强调最近的经验（ERE），一个简单但功能强大的政策外采样技术，强调最近观察到的数据，同时不忘记过去。ERE算法从最近的经验中更积极地采样，并且还对更新进行排序，以确保来自旧数据的更新不会覆盖来自新数据的更新。我们比较香草SAC和SAC+ERE，并表明ERE是更有效的样本比香草SAC连续行动Mujoco任务。我们还考虑将SAC与优先级经验重放（PER）结合起来，PER是一种最初为深度Q学习提出的方案，它基于时间差（TD）误差对数据进行优先级排序。我们发现，SAC+PER可以稍微提高SAC的样本效率性能，但远远低于SAC+ERE。最后，我们提出了一种算法，它集成了ERE和PER，并表明这种混合算法可以给一些Mujoco任务的最佳结果。
2019-06-10 cs.AI cs.LG stat.ML
Intrinsic Reward Policy Optimization for Sparse-Reward Environments
The Grainger College of Engineering, University of Illinois Urbana-Champaign, Urbana, USA（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院）
IRPO通过利用多种内在奖励直接优化策略，提升稀疏奖励环境下的性能和样本效率。
2026-01-29 cs.AI cs.LG
Safe Policy Improvement for POMDPs via Finite-State Controllers
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
研究了部分可观测马尔可夫决策过程的安全策略改进问题。SPI是一个离线强化学习（RL）问题，它假设可以访问（1）关于环境的历史数据，以及（2）所谓的行为策略，该策略先前通过与环境交互生成此数据。SPI方法既不需要访问模型，也不需要访问环境本身，而是旨在以离线方式可靠地改进行为策略。现有的方法假设环境是完全可观察的。在我们的新方法的SPI问题的POMDPs，我们假设一个有限状态控制器（FSC）表示的行为政策和有限的内存是足够的，以获得最佳的政策。这个假设允许我们将POMDP映射到有限状态的完全可观测MDP，即历史MDP。我们估计这个MDP相结合的历史数据和内存的FSC，并计算一个改进的政策，使用现成的SPI算法。底层SPI方法根据可用数据约束策略空间，使得新计算的策略仅在足够数据可用时不同于行为策略。我们表明，这种新的政策，转换成一个新的FSC（未知）POMDP，优于行为政策的概率很高。几个成熟的基准测试的实验结果表明，即使在有限的内存是不够的情况下，该方法的适用性。
2023-01-12 cs.AI cs.LG
Behavior-Regularized Diffusion Policy Optimization for Offline Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））
本文提出BDPO框架，将行为正则化扩展至扩散策略，通过解析计算KL正则化作为逆向时间转移核的累积差异，开发双时间尺度actor-critic算法，在D4RL基准上验证了有效性与优越性能。
2025-05-29 cs.AI cs.LG
Language-Conditioned Representations and Mixture-of-Experts Policy for Robust Multi-Task Robotic Manipulation
Xiucheng Zhang（未知）；Yang Jiang（未知）；Jiashuo Bai（未知）
针对多任务机器人操作中感知歧义与任务冲突的问题，提出融合语言条件视觉表征模块和语言条件混合专家密度策略的框架，在真实机器人基准上显著提升了多任务操作成功率。
2025-10-28 cs.LG cs.RO
Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents
AI Research and Innovation Nexus for Africa (AIRINA Labs)（非洲AI研究与创新中心（AIRINA实验室））；Sefako Makgatho Health Sciences University (SMU)（塞法科·马加托健康科学大学）；African Center for Advanced Studies (ACAS)（非洲高级研究中心）；African Institute for Mathematical Sciences（非洲数学科学学院）
该研究针对LLM衍生奖励信号的理论模糊问题，提出基于LLM反馈的策略不变奖励塑形框架，将混合架构形式化为目标增强MDP，证明其最优策略集保留保证更强，并通过数值实验验证了结果。
2026-08-19 cs.AI cs.LG
IOB: Integrating Optimization Transfer and Behavior Transfer for Multi-Policy Reuse
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能与光学电子学院（iOPEN））；McKelvey School of Engineering, Washington University in St. Louis（圣路易斯华盛顿大学麦凯维工程学院）
本文提出 IOB，利用 actor-critic 的 Q 函数选择最大一步改进的源策略，并整合优化迁移与行为迁移，在无需额外训练组件的情况下提升迁移效果与持续学习性能。
2023-08-14 cs.AI cs.LG
Combining Benefits from Trajectory Optimization and Deep Reinforcement Learning
University of California at Santa Barbara（加州大学圣巴巴拉分校）
最近在强化学习和轨迹优化方面的突破已经在现实世界的机器人系统部署方面取得了重大进展。强化学习（RL）可以应用于许多问题，而不需要对系统进行任何建模或直觉，代价是高样本复杂性和无法证明有关学习策略的任何度量。另一方面，轨迹优化（TO）允许对生成的运动和轨迹进行稳定性和鲁棒性分析，但仅与通常过度简化的导出模型一样好，并且对于实时控制可能具有过于昂贵的计算时间。本文试图结合这两个领域的优点，同时通过以下方式减轻其缺点：（1）通过使用最优控制问题的现有知识来降低RL样本的复杂性，以及（2）提供对组合学习优化策略的到达时间的上限估计，通过使用TO作为最坏情况下的动作，允许在训练过程中的任何点进行在线策略部署。这种方法进行评估的汽车模型，适用于任何移动机器人系统。一个显示政策执行比较的视频可以在https://youtu.be/mv2xw83NyWU上找到。
2019-10-21 cs.LG cs.RO cs.SY
Combining imitation and deep reinforcement learning to accomplish human-level performance on a virtual foraging task
Boston University（波士顿大学）
我们开发了一个简单的框架，使用人类数据来学习生物启发的觅食政策。我们进行了一项实验，人类几乎沉浸在一个开放的野外觅食环境中，并接受训练以收集最高数量的奖励。马尔可夫决策过程（MDP）框架被引入到人类决策动态建模。然后，模仿学习（IL）的最大似然估计的基础上使用的训练神经网络（NN）映射人类的决策观察状态。结果表明，被动模仿的表现远远低于人类。我们通过强化学习（RL）使用策略上的近端策略优化（PPO）算法进一步改进了人类启发的策略，该算法比其他算法具有更好的稳定性，并且可以稳步改进IL预训练的策略。我们表明，IL和RL的组合可以匹配人类的结果，良好的性能强烈依赖于结合allocentric信息与自我中心的环境表示。
2022-12-06 cs.LG cs.SY eess.SY
PROTO: Iterative Policy Regularized Offline-to-Online Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
PROTO 通过在标准 RL 目标中加入迭代演化的正则化项，以信赖域式更新逐步放宽约束，实现稳定且高效的离线到在线强化学习微调，并可与任意离线预训练方法对接。
2023-05-25 cs.AI cs.LG cs.RO
Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows
KAIST（韩国科学技术院）
本文提出提案条件精炼流（PReFlow），结合评论家提案选择与条件精炼流，通过KL正则化目标优化策略提取，在50个OGBench任务上实现最优在线微调性能（91%）。
2026-10-02 cs.AI cs.LG cs.RO
Adversarially Regularized Policy Learning Guided by Trajectory Optimization
Georgia Institute of Technology（佐治亚理工学院）
结合轨迹优化与函数逼近（特别是神经网络）的最新进展显示了在机器人系统中学习用于不同任务的复杂控制策略的前景。尽管它们具有很大的灵活性，但用于参数化控制策略的大型神经网络带来了重大挑战。学习的神经控制策略往往过于复杂和非光滑，这很容易导致意外或发散的机器人运动。因此，它们在实践中往往产生较差的泛化性能。为了解决这个问题，我们提出了由轨迹优化（VERONICA）引导的主动正则化策略学习来学习平滑控制策略。具体而言，我们提出的方法控制平滑（局部Lipschitz连续性）的神经控制策略，稳定输出控制相对于最坏情况下的输入状态的扰动。我们的机器人操作实验表明，我们提出的方法不仅提高了样本的神经策略学习的效率，但也提高了对各种类型的干扰，包括传感器噪声，环境的不确定性和模型失配的政策的鲁棒性。
2022-04-05 cs.LG cs.RO
Near-Optimal Policy Optimization for Correlated Equilibrium in General-Sum Markov Games
Yale University（耶鲁大学）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文针对一般和马尔可夫博弈中的相关均衡计算问题，提出一种结合平滑值更新与乐观跟随正则化领导者算法的无耦合策略优化方法，将收敛速率提升至近最优水平。
2024-05-01 cs.GT cs.LG math.OC
Fast Offline Policy Optimization for Large Scale Recommendation
Criteo AI Lab（Criteo人工智能实验室）；CREST-ENSAE；IPP（法国高等科学研究院）
本文针对大规模推荐系统中离线策略优化因目录规模线性复杂度而难以扩展的问题，提出结合蒙特卡洛梯度估计、自归一化重要性采样和快速最大内积搜索的对数复杂度近似算法，在保持策略质量的同时实现数量级加速。
2023-05-27 cs.AI cs.IR cs.LG
Entropy-regularized Diffusion Policy with Q-Ensembles for Offline Reinforcement Learning
Department of Information Technology, Uppsala University（乌普萨拉大学信息技术系）
针对离线强化学习，提出基于均值回复SDE的熵正则化扩散策略，并利用Q-Ensembles下置信界抑制OOD价值误差，在D4RL多数任务上达到SOTA。
2025-01-08 cs.LG cs.SY eess.SY
Bayesian Optimization for Policy Search via Online-Offline Experimentation
Facebook（脸书）
在线现场实验是评估现实世界交互式机器学习系统变化的黄金标准。然而，我们探索复杂的多维策略空间的能力--比如在推荐和排名问题中发现的那些--往往受到可以同时运行的实验数量有限的限制。为了减轻这些限制，我们用离线模拟器增强在线实验，并应用多任务贝叶斯优化来调整实时机器学习系统。我们描述了在这些类型的应用程序中出现的实际问题，包括使用模拟器和多任务内核的假设所产生的偏见。我们测量的经验学习曲线，显示了大量的收益，包括数据有偏见的离线实验，并显示这些学习曲线是如何与多任务高斯过程推广的理论结果是一致的。我们发现，改进的内核推理是一个显着的驱动程序的多任务泛化。最后，我们展示了几个贝叶斯优化的例子，通过结合离线和在线实验，有效地调整了一个活的机器学习系统。
2019-04-29 cs.LG stat.ML
Imitation Learning of Robot Policies by Combining Language, Vision and Demonstration
Intel AI Lab（英特尔人工智能实验室）
在这项工作中，我们提出了一种新的端到端的模仿学习方法，结合自然语言，视觉和运动信息，产生一个抽象的任务表示，这反过来又是用来合成特定的运动控制器在运行时。这种多模式的方法能够推广到各种各样的环境条件，并允许最终用户通过口头沟通来指导机器人策略。我们经验验证我们的方法与广泛的一组模拟，并表明它实现了高的任务成功率在各种条件下，同时保持服从概率可解释性。
2019-11-26 cs.CL cs.CV cs.LG
The Price of Failure Risk: Clipped Barrier Policy Gradients with Convex Regularization
本文提出双重正则化强化学习框架，结合平均场理论与Wasserstein梯度流解决连续空间安全约束问题，并提供了可解性条件与指数收敛保证。
2026-10-30 cs.AI cs.LG math.OC
Constrained Policy Optimization via Sampling-Based Weight-Space Projection
Department of Mechanical Engineering, Seoul National University, Seoul, Korea（首尔国立大学机械工程系）
该研究提出了一种基于采样的权重空间投影方法SCPO，用于在不离开安全操作范围的情况下优化策略，通过在参数空间中直接强制安全约束，确保在训练过程中保持安全性和可行性，同时在约束控制任务中实现闭环稳定性。
2026-05-20 cs.LG cs.RO
Combined Peak Reduction and Self-Consumption Using Proximal Policy Optimization
KU Leuven（鲁汶大学）；Flemish Institute for Technological Research (VITO)（弗拉芒技术研究所（VITO））；EnergyVille（能源谷）
本研究针对居民需求响应中强化学习的数据效率问题，将领域知识融入结合迁移学习的改进PPO算法，在容量电价激励的削峰与自发自用场景中实现了比传统方法更优的成本削减效果。
2022-11-27 cs.LG cs.SY eess.SY
