PPO-UE: Proximal Policy Optimization via Uncertainty-Aware Exploration
Virginia Tech(弗吉尼亚理工大学);University of Oslo(奥斯陆大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of the District of Columbia(哥伦比亚特区大学)
近端策略优化(PPO)是一种非常流行的基于策略的深度强化学习(DRL)方法。然而,我们观察到PPO中的同质探索过程可能会在训练阶段导致意想不到的稳定性问题。为了解决这个问题,我们提出了PPO-UE,一个PPO的变种配备了自适应的不确定性感知探索(UE)的基础上的比例不确定性水平。所提出的PPO-UE被设计为以优化的比率不确定性水平来提高收敛速度和性能。通过广泛的灵敏度分析,通过改变比例的不确定性水平,我们提出的PPO-UE在Roboschool连续控制任务中大大优于基线PPO。
2022-12-13 cs.AI cs.LG
Equilibrium Selection in Multi-Agent Policy Gradients via Opponent-Aware Basin Entry
Bloomsbury Technology(布洛姆斯伯里技术);London School of Economics and Political Science(伦敦政治经济学院);University of Bristol(布里斯托大学);Johannes Kepler University Linz(林茨约翰尼斯·开普勒大学);Odesa Polytechnic National University(敖德萨国立技术大学)
本文研究了多智能体策略梯度方法在局部收敛到稳定纳什均衡时的均衡选择问题,提出通过对手感知的盆地入口概率机制来提升目标均衡集的进入概率,并通过实验验证了该机制在合作盆地中的有效性。
2026-05-18 cs.LG
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta(阿尔伯塔大学)
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题,提出价值感知重要性权重,在保证无偏估计的同时降低方差,并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
Uncertainty-Aware Policy Optimization: A Robust, Adaptive Trust Region Approach
Boston University(波士顿大学)
为了使强化学习技术在现实世界的决策过程中发挥作用,它们必须能够从有限的数据中产生强大的性能。深度策略优化方法在复杂任务上取得了令人印象深刻的结果,但它们在现实世界中的应用仍然有限,因为它们通常需要大量数据才能成功。当与小样本量相结合时,这些方法可能会导致不稳定的学习,因为它们依赖于基于高维样本的估计。在这项工作中,我们开发的技术来控制这些估计所引入的不确定性。我们利用这些技术提出了一种深度策略优化方法,旨在即使在数据稀缺的情况下也能产生稳定的性能。由此产生的算法,不确定性感知的信任域策略优化,生成强大的策略更新,以适应整个学习过程中存在的不确定性水平。
2020-12-19 cs.AI cs.LG stat.ML
SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration
Université de Montréal(蒙特利尔大学);Mila - Québec AI Institute(蒙特利尔人工智能研究所);Université Laval(拉瓦尔大学);IID - Institut Intelligence et Données(智能与数据研究所);LawZero;CIFAR AI Chair(CIFAR人工智能主席)
提出SHAPO算法,通过锐度感知策略更新隐式重加权梯度,放大罕见不安全动作的影响,抑制安全动作的贡献,从而在欠探索区域实现保守行为,提升安全性与任务性能。
2026-06-08 cs.AI cs.LG cs.RO
Diversity Actor-Critic: Sample-Aware Entropy Regularization for Sample-Efficient Exploration
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出了样本感知的策略熵正则化,以加强传统的策略熵正则化,以更好地探索。利用可从重放缓冲器获得的样本分布,所提出的样本感知熵正则化最大化来自重放缓冲器的策略动作分布和样本动作分布的加权和的熵,以用于样本高效探索。提出了一种基于样本感知的熵正则化的策略迭代目标函数的实用算法--多样性参与者-批评者(DAC)。数值结果表明,DAC显着优于现有的强化学习的最新算法。
2021-06-09 cs.AI cs.LG stat.ML
Semantic-aware Wasserstein Policy Regularization for Large Language Model Alignment
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
本文提出Wasserstein策略正则化方法,通过语义感知的Wasserstein距离改进大语言模型对齐效果,实验表明其优于传统KL散度方法。
2026-02-02 cs.AI cs.LG
Variance-Aware Off-Policy Evaluation with Linear Function Approximation
Yale University(耶鲁大学);University of California, Los Angeles(加州大学洛杉矶分校)
研究了基于线性函数逼近的强化学习中的离线策略评估(off-policy evaluation,OPE)问题,即基于行为策略收集的离线数据来估计目标策略的价值函数。我们建议将方差信息的价值函数,以提高样本效率的OPE。更具体地说,时间非齐次的情节线性马尔可夫决策过程(MDP),我们提出了一种算法,VA-OPE,它使用的估计方差的价值函数重新加权贝尔曼残差拟合Q-迭代。我们表明,我们的算法实现了更严格的误差界比最知名的结果。我们还提供了行为策略和目标策略之间的分布偏移的细粒度表征。大量的数值实验证实了我们的理论。
2022-01-04 cs.LG math.OC stat.ML
DeepSeekMath Meets Order Book: Group-Aware Policy Optimization for High-Frequency Directional Trading
Department of Computer Science(计算机科学系);Northwestern University(西北大学);School of Electrical and Computer Engineering(电气与计算机工程学院);Purdue University(普渡大学)
本文通过将基于订单流的状态模型与策略梯度方法结合,研究限价订单簿上的高频交易强化学习,提出组感知策略优化方法,在回测中优于基于价值的 Q-learning 基线。
2026-05-25 cs.CE cs.LG
Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward Decomposition
DCST, Tsinghua University(清华大学计算机科学与技术系);Tsinghua University(清华大学)
近年来,许多研究已经将强化学习应用于训练对话策略,并显示出很大的前景。一种常见的方法是采用用户模拟器来获得用于强化学习算法的大量模拟用户体验。然而,模拟真实的用户模拟器是具有挑战性的。基于规则的模拟器需要大量的领域专业知识来完成复杂的任务,而数据驱动的模拟器需要大量的数据,甚至不清楚如何评估模拟器。为了避免事先建立一个明确的用户模拟器,我们提出了多Agent对话策略学习,它把系统和用户作为对话代理。两个智能体相互作用,同时共同学习。该方法使用演员-评论家框架,以促进预训练和提高可扩展性。我们还提出了混合价值网络的角色感知的奖励分解,以整合面向任务的对话中的每个代理的角色特定的领域知识。实验结果表明,该方法可以成功地建立一个系统的政策和用户的政策,并通过会话交互的两个代理可以实现高的任务成功率。
2020-04-23 cs.CL cs.LG
Hierarchical Time-aware Bootstrapping for Off-Policy Subgoal Value Learning
针对离线策略分层强化学习中子目标重标记导致的价值更新偏差问题,提出HTB方法,通过时间感知引导、多步回报及非负残差约束,在AntFall任务上显著优于HIRO。
2026-10-06 cs.AI cs.LG
Explainable Reinforcement Learning via Physics-Aware Policy Distillation
研究针对安全关键领域中深度强化学习的黑箱问题,利用策略蒸馏框架,以高性能TD3为教师模型,基于浅层决策树生成可解释学生代理,通过特定方法生成数据集,实现性能与教师相当并保持系统稳定性和可解释性。
2026-07-28 cs.LG
Pessimistic Risk-Aware Policy Learning in Contextual Bandits
本文提出统一框架优化Lipschitz连续风险函数,涵盖均值-方差、熵风险等,通过新型经验集中不等式推导数据依赖的次优界,无须强叠加假设,达到最小最大最优。
2026-05-15 cs.LG stat.ML
Evaluation-Aware Reinforcement Learning
本文提出EvA-RL框架,通过在训练时考虑评估准确性,解决传统策略评估方法中高方差或偏倚问题,理论和实验表明其在评估精度与预期回报间取得平衡。
2026-03-20 cs.AI cs.LG
Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);JD Explore Academy(京东探索研究院)
在非结构化机器人任务中,学习风险意识策略是必不可少的,但却具有挑战性。安全的强化学习方法为解决这一问题开辟了新的可能性。然而,保守的策略更新使得难以在复杂的、采样昂贵的环境中实现足够的探索和期望的性能。在本文中,我们提出了一个双代理安全的强化学习策略组成的基线和安全代理。这种解耦的框架为基于RL的控制提供了高灵活性、数据效率和风险意识。具体地说,基线代理负责在标准RL设置下最大化奖励。因此,它与无约束优化、探索和开发的现成训练技术兼容。另一方面,安全代理模仿基线代理进行策略改进,并通过非策略RL调优来学习满足安全约束。与从头开始训练相比,安全策略校正需要显著减少的交互来获得接近最优的策略。双重策略可以通过共享重放缓冲区同步优化,或者利用预训练模型或基于非学习的控制器作为固定基线代理。实验结果表明,我们的方法可以学习可行的技能,没有先验知识,以及从预先训练的不安全的政策产生风险厌恶的同行。所提出的方法优于国家的最先进的安全RL算法在困难的机器人运动和操作任务方面的安全约束满足和样本效率。
2022-12-14 cs.LG cs.RO
PolicyEvol-Agent: Evolving Policy via Environment Perception and Self-Awareness with Theory of Mind
School of Computer Science University of Birmingham(计算机科学学院 英国伯明翰大学)
提出PolicyEvol-Agent框架,利用心智理论整合环境感知与自省,动态优化策略,在博弈模拟中超越强化学习与智能体方法,提升最终胜率。
2025-04-20 cs.AI cs.LG
MHPO: Modulated Hazard-aware Policy Optimization for Stable Reinforcement Learning
The University of Hong Kong(香港大学);Tencent Youtu Lab(腾讯优图实验室)
MHPO通过引入Log-Fidelity Modulator和Decoupled Hazard Penalty,实现对策略偏差的精细调控,提升强化学习的稳定性和性能。
2026-03-22 cs.AI cs.CL cs.LG
Boundary-aware Reinforcement Learning for Hypercube State Spaces via Deterministic Policy Gradient
Xidian University(西安电子科技大学);The Hong Kong Polytechnic University(香港理工大学);University of Science and Technology of China(中国科学技术大学)
针对超立方体反射状态动力学的强化学习,提出连续时间确定性策略梯度框架,通过诺伊曼边界条件感知方法降低边界残差并提升学习稳定性,在水库控制实验中验证有效性。
2026-10-08 cs.LG math.OC
TAPO: Transition-Aware Policy Optimization for LLM Agents
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Pengcheng Laboratory(鹏城实验室)
该研究提出TAPO框架,通过策略优化与过渡监督交替训练,增强LLM智能体对环境过渡的敏感性,作为轻量即插即用模块,在WebShop和ALFWorld实验中提升任务性能。
2026-07-31 cs.AI cs.LG
Enhancing PPO with Trajectory-Aware Hybrid Policies
Iowa State University(爱荷华州立大学);Translational AI Center(转化人工智能中心)
针对PPO高方差和高样本复杂度问题,提出HP3O算法,利用轨迹重放缓冲区结合FIFO策略和最佳回报轨迹更新策略,降低方差并保证策略改进。
2025-02-21 cs.LG
Provably Convergent Policy Optimization via Metric-aware Trust Region Methods
University of Washington(华盛顿大学);ETH Zrich(苏黎世联邦理工学院);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Wisconsin Institute for Discovery(威斯康星发现研究所)
本文提出基于Wasserstein和Sinkhorn信任域的策略优化方法WPO与SPO,通过拉格朗日对偶推导闭式更新,理论上证明了单调提升与全局收敛,并在实验中验证了其优于现有策略梯度方法的性能。
2023-06-25 cs.AI cs.LG math.OC
LSPO: Length-aware Dynamic Sampling for Policy Optimization in LLM Reasoning
University of Southern California(南加州大学);University of California, Irvine(加州大学尔湾分校)
针对LLM推理任务的RLVR训练优化问题,本文提出新型元RLVR算法LSPO,基于平均响应长度动态选择训练数据,经多模型和数据集验证可提升学习效果,消融实验也为后续研究提供了方向。
2025-10-01 cs.CL cs.LG
Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);Nvidia(英伟达);University of Toronto(多伦多大学);University of Sydney(悉尼大学);University of Washington(华盛顿大学)
传统的机器人方法依赖于精确的环境模型,如何执行任务的详细描述,以及强大的感知系统来跟踪当前状态。另一方面,强化学习方法可以直接从原始感官输入操作,只有一个奖励信号来描述任务,但样本效率极低且脆弱。在这项工作中,我们将基于模型的方法的优势与基于学习的方法的灵活性相结合,以获得一种通用方法,该方法能够克服机器人感知/驱动管道中的不准确性,同时需要与环境的最小交互。这是通过利用不确定性估计将空间划分为给定的基于模型的政策可靠的区域和可能存在缺陷或定义不明确的区域来实现的。在这些不确定的地区,我们表明,本地学习的政策可以直接与原始的感官输入。我们测试我们的算法,引导不确定性感知策略优化(GUAPO),在现实世界中的机器人执行钉插入。视频可在https://sites.google.com/view/guapo-rl上获得
2020-05-26 cs.AI cs.LG cs.RO
FAPO: Flawed-Aware Policy Optimization for Efficient and Reliable Reasoning
Soochow University(苏州大学);ByteDance Seed(字节跳动种子)
FAPO通过引入缺陷感知机制,优化策略以提升大语言模型在高效可靠推理中的性能,提高结果正确性与训练稳定性。
2026-02-27 cs.LG
Learning a Group-Aware Policy for Robot Navigation
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins University Applied Physics Lab(约翰斯·霍普金斯大学应用物理实验室);UC Berkeley(加州大学伯克利分校)
具有人类感知能力的机器人导航技术具有广泛的应用前景,在这些应用中,移动机器人可以为人类环境中的人们提供多方面的帮助。虽然先前的研究主要集中在将行人建模为独立的、有意图的个体,但人们是以群体的方式移动的;因此,移动机器人在人们周围导航时必须尊重人类群体。本文探讨了使用深度强化学习基于动态组形成的学习组感知导航策略。通过模拟实验,我们表明,与忽略人类群体的基线策略相比,群体感知策略实现了更好的机器人导航性能(例如,减少碰撞),最大限度地减少违反社会规范和不适,并减少机器人对行人的运动影响。我们的研究结果有助于社会导航和移动机器人融入人类环境的发展。
2022-07-29 cs.HC cs.LG cs.RO
Reachability-Aware Diffusion Policy Optimization
Bilkent University(比尔肯大学)
提出无模型的可达性感知扩散策略优化方法,结合预测性首次命中安全估计与累积成本预算反馈,学习折扣首次命中可达性值塑造奖励,通过加权去噪回归改进扩散策略,在十个连续控制安全任务中实现有竞争力的奖励-成本权衡,显著减少约束违反。
2026-10-06 cs.LG cs.RO
Bias-Aware Heapified Policy for Active Learning
National Tsing Hua University(国立清华大学);Umbo Computer Vision(Umbo计算机视觉公司)
由于高质量干净数据的昂贵和难以收集,基于学习的算法的数据效率越来越重要,为了用最少的样本数获得高的模型性能,主动学习是一种从原始数据集中查询最重要数据子集的技术。在主动学习领域,基于不确定性的启发式学习方法是一个主流的研究方向。最近,一些作品提出了应用策略强化学习(PRL)查询重要数据。由于PRL方法依赖于数据特征,而数据特征比人的先验知识更可靠,因此比启发式不确定性方法更具有普遍性。然而,将PRL应用于主动学习中存在两个问题--策略学习的样本效率低下和过度自信。更准确地说,策略学习的样本无效发生在一个大的动作空间内的采样,同时,类的不平衡会导致过度自信。本文提出了一种基于偏差感知的策略网络--堆化主动学习(HAL),该策略网络通过堆化结构防止过度自信,提高策略学习的样本效率,同时不忽略全局信息(整个未标记集的概览)。在我们的实验中,HAL在MNIST数据集和重复MNIST上的性能优于其他基线方法。最后但并非最不重要的是,我们研究了在MNIST数据集上学习的HAL策略的泛化,直接将其应用于MNIST-M。我们表明,代理可以推广和优于直接学习的政策下的约束标记集。
2019-11-18 cs.CV cs.IR cs.LG
Error-Aware Policy Learning: Zero-Shot Generalization in Partially Observable Dynamic Environments
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
仿真提供了一种安全有效的方法来生成用于学习复杂机器人任务的有用数据。然而,匹配仿真和真实世界的动态可能是相当具有挑战性的,特别是对于具有大量未观察或不可测量的参数的系统,这些参数可能存在于机器人动态本身或机器人与之交互的环境中。我们引入了一种新的方法来解决这样一个模拟到真实的问题,通过制定能够适应新环境的政策,在zero-shot的方式。我们的方法的关键是一个错误感知政策(EAP),明确意识到在培训过程中不可观察的因素的影响。EAP将目标环境中的预测未来状态误差作为输入,该预测未来状态误差由与EAP同时训练的误差预测函数提供。我们验证了我们的方法上训练,以帮助人类用户从外部推动恢复辅助行走设备。我们表明,一个训练有素的EAP髋关节扭矩辅助设备可以转移到不同的人类代理人看不见的生物力学特性。此外,我们表明,我们的方法可以应用于其他标准的RL控制任务。
2021-03-13 cs.LG cs.RO
Causal-aware Safe Policy Improvement for Task-oriented dialogue
Salesforce Research(赛富时研究院)
最近强化学习(RL)在解决复杂任务方面的成功通常归功于其探索和利用训练环境的能力。样本效率通常不是问题,因为便宜的模拟器可用于对策略上的数据进行采样。另一方面,面向任务的对话通常是从使用人类演示收集的离线数据中学习的。收集不同的演示并注释它们是昂贵的。不幸的是,使用在非政策数据上训练的RL方法容易出现偏差和泛化问题,这进一步加剧了人类响应的随机性和对话管理系统的非马尔可夫信念状态。为此,我们提出了一个面向任务的对话策略学习的批量强化学习框架:因果感知安全策略改进(CASPI)。这种方法保证了对话策略的性能,并根据人类响应背后的意图来学习塑造奖励,而不仅仅是模仿演示数据;这种与批量RL的结合有助于整体提高框架的样本效率。我们证明了这个框架的有效性对话上下文到文本生成和端到端的对话任务的Multiwoz2.0数据集。在这两种情况下,所提出的方法在这些指标上优于现有技术。在端到端的情况下,我们的方法只训练了10%的数据,在四个评估指标中有三个能够超过当前状态。
2021-03-10 cs.AI cs.CL cs.LG
ACE : Off-Policy Actor-Critic with Causality-Aware Entropy Regularization
Tsinghua University(清华大学);University of Maryland(马里兰大学);Shanghai Qi Zhi Institute(上海期智研究院);Beijing Technology and Businesses University(北京工商大学)
针对现有无模型RL忽略不同基础行为重要性差异的问题,提出带因果感知熵正则化的离策略ACE算法,结合休眠引导重置机制,在29项连续控制任务上性能显著优于基线,兼具有效性与高样本效率。
2024-11-04 cs.AI cs.LG
Neetyabhas: A Framework for Uncertainty-Aware Public Policy Optimization in Rational Agent-Based Models
ThoughtWorks
提出一种集成流行病测量和政策执行不确定性的分层强化学习框架,通过模拟个体行为与政策干预的交互,有效管理疫情并降低影响。
2026-06-03 cs.AI cs.LG cs.SI
Structured Role-Aware Policy Optimization for Multimodal Reasoning
School of Computing & Data Science, The University of Hong Kong(计算与数据科学学院,香港大学);School of Computing & Data Science and Institute of Data Science, The University of Hong Kong(计算与数据科学学院和数据科学研究所,香港大学)
本文提出结构化角色感知策略优化(SRPO),通过角色感知的token级信用分配提升多模态推理中的证据基础推理能力,无需外部奖励模型。
2026-11-20 cs.AI cs.LG
Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization
The Chinese University of Hong Kong(香港中文大学);South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学)
研究提出对比策略优化(CPO),利用参考引导与普通生成分布的令牌级对比分歧实现正确性感知优势塑造,解决零优势问题,在基准实验中显著优于基于熵的方法,平衡探索与利用达最佳性能。
2026-07-17 cs.AI cs.CL cs.LG
A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation
Huawei Canada(华为加拿大)
A-3PO通过近似近端策略优化方法,减少大语言模型异步训练中的计算开销,实现1.8倍的加速同时保持性能
2026-08-13 cs.AI cs.DC cs.LG
UCPO: Uncertainty-Aware Policy Optimization
针对现有强化学习范式在不确定性奖励下存在的优势偏差和过度自信问题,提出三元优势解耦和动态不确定性奖励调整机制,显著提升模型在知识边界外的可靠性。
2026-05-26 cs.AI cs.LG
TOM: Learning Policy-Aware Models for Model-Based Reinforcement Learning via Transition Occupancy Matching
University of Pennsylvania(宾夕法尼亚大学)
针对标准MBRL浪费模型容量拟合无关数据的问题,提出转移占用匹配(TOM)目标,通过重要性加权最大似然估计聚焦策略相关经验,兼容任意主干算法,在Mujoco任务上更快达到更高奖励。
2023-05-22 cs.AI cs.LG
HeaPA: Difficulty-Aware Heap Sampling and On-Policy Query Augmentation for LLM Reinforcement Learning
Stores Foundational AI, Amazon Inc.(亚马逊公司基础人工智能部);Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)
研究大语言模型强化学习中提示采样问题,提出HeaPA方法,通过难度感知堆采样和策略内查询增强,维持动态提示池,跟踪能力前沿,在多数据集和基准测试中提升准确率,减少计算量,尤其在中大型模型规模下效果显著。
2026-07-10 cs.CL cs.LG
A Structure-aware Online Learning Algorithm for Markov Decision Processes
IIT Bombay(孟买印度理工学院);IIT Kanpur(坎普尔印度理工学院)
为了克服动态规划(DP)方法在求解经典马尔可夫决策过程(MDP)问题时的维数灾难和建模灾难,强化学习(RL)算法受到广泛关注。本文考虑了一个无限期平均报酬MDP问题,在一定条件下证明了阈值策略的最优性。传统的RL技术在学习时没有利用最优策略的阈值性质。在本文中,我们提出了一种新的RL算法,利用已知的阈值结构的最优策略,同时学习,减少可行的政策空间。我们建立,该算法收敛到最优策略。它提供了一个显着的改进,在收敛速度和计算和存储复杂度比传统的RL算法。所提出的技术可以应用于各种各样的优化问题,包括节能数据传输和队列管理。我们展示了改进的收敛速度的算法比其他RL算法通过模拟。
2018-11-28 cs.LG stat.ML
Score-Aware Policy-Gradient and Performance Guarantees using Local Lyapunov Stability
LAAS–CNRS, Université de Toulouse, CNRS(LAAS–CNRS,图卢兹大学,CNRS);Eindhoven University of Technology(埃因霍温理工大学);LAAS-CNRS, IRIT, and Université de Toulouse(LAAS-CNRS,IRIT,图卢兹大学)
本文提出了适用于基于模型的强化学习的分数感知梯度估计器SAGE,无需值函数估计即可估计策略梯度,证明了其局部收敛性与遗憾界,实验显示其比actor-critic方法更快找到近优策略。
2025-10-29 cs.LG cs.PF math.OC
BCPPO: Bachelier-Inspired Constrained Proximal Policy Optimization for Tail-Risk-Aware Safe Reinforcement Learning
Southern University of Science and Technology(南方科技大学)
该研究提出BCPPO算法,通过带随机样本掩码的成本预测网络分歧结合巴舍利耶公式生成平滑惩罚,在175次运行的多任务测试中,其平均回报更高、平均CVaR更低,实现了奖励与安全的实用平衡。
2026-09-01 cs.AI cs.LG
VOI-aware MCTS
Ben-Gurion University of the Negev(本-古里安大学)
UCT是博弈和马尔可夫决策过程中的蒙特卡罗树搜索(MCTS)的一种最新算法,它基于多臂强盗问题(MAB)的一种最小化累积后悔的抽样策略UCB 1。然而,搜索与MAB的不同之处在于,在MCTS中,通常只有最后的“拉臂”(实际的移动选择)才能收集奖励,而不是所有的“拉臂”。在本文中,MCTS抽样政策的基础上的信息价值(VOI)估计推出的建议。在随机MAB实例和计算机Go上对策略进行实证评估并与UCB 1和UCT进行比较。
2012-07-24 cs.AI cs.LG
Faster Synchronous On-Policy RL via Straggler-Aware Group Sizing
University of Minnesota(明尼苏达大学);University of Waterloo(滑铁卢大学);Argonne National Laboratory(阿贡国家实验室)
提出动态组大小控制器SAGC,通过在线约束优化调整组大小,减少同步在线策略强化学习中的掉队者事件,提升墙钟效率并保持或改善训练奖励和模型质量。
2026-06-01 cs.AI cs.LG
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(美国本田研究所)
在多智能体环境中,单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题,专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难:相互适应次优行为,我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先,代理利用策略梯度算法来学习能够实现多个目标的策略。其次,代理学习修改器策略,以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Text-Aware Diffusion for Policy Learning
Brown University(布朗大学)
针对强化学习为新目标设计奖励函数困难的问题,提出TADPoLe方法,利用冻结的预训练文本条件扩散模型生成零样本密集奖励,在多种环境下无需演示和真实奖励即可学习符合文本要求且更自然的策略。
2024-10-31 cs.AI cs.CV cs.LG
Mitigating Distribution Shift in Model-based Offline RL via Shifts-aware Reward Learning
UCAS(中国科学技术大学)
本文提出一种基于偏移感知奖励学习的模型离线强化学习方法,通过统一概率推断框架分离模型偏差与策略偏移,缓解分布偏移并提升策略性能。
2025-10-26 cs.LG stat.ML
Mask-Aware Policy Gradients for Diffusion Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究针对强化学习扩展到MDLMs的难题,将MDLM生成形式化为两阶段动作MDP,使策略梯度分解为令牌项和掩码项,结合优化这两项在数学推理和编码基准测试中取得了最优成绩。
2026-07-17 cs.AI cs.CL cs.LG
STEP: Success-Rate-Aware Trajectory-Efficient Policy Optimization
MiLM Plus, Xiaomi Inc.(小米公司)
针对在线强化学习多轮交互中轨迹级优化的效率低、信号误导等问题,提出STEP框架,基于单任务成功率动态分配采样并执行步级优化,在OSWorld和AndroidWorld上提升了样本效率与训练稳定性。
2025-11-17 cs.AI cs.CL cs.LG
GIN: Graph-based Interaction-aware Constraint Policy Optimization for Autonomous Driving
Seoul National University(首尔国立大学)
将强化学习应用于自动驾驶会带来特殊的挑战,主要是由于动态变化的交通流量。为了应对这些挑战,有必要快速确定对周围车辆不断变化的意图的响应策略。提出了一种基于图的交互感知约束的安全驾驶策略优化方法。在这个框架中,运动预测和控制模块在共享包含社会背景的潜在表示的同时被训练。为了反映社会互动,我们以图形形式说明代理的运动,并使用图卷积网络过滤特征。这有助于保持相邻节点的时空局部性。此外,我们创建反馈回路,有效地结合这两个模块。因此,这种方法鼓励学习控制器免受动态风险的影响,并使运动预测对异常运动鲁棒。在实验中,我们建立了一个导航方案,包括各种情况下与CARLA,城市驾驶模拟器。与基线相比,实验显示了导航策略和运动预测的最新性能。
2022-08-24 cs.AI cs.LG cs.RO
Robust Risk-Aware Reinforcement Learning
University of Toronto(多伦多大学);Barclays Capital(巴克莱资本)
我们提出了一个强化学习(RL)的风险感知性能标准的鲁棒优化方法。为了让代理人表达各种各样的风险回报配置文件,我们评估的价值的政策使用等级依赖的预期效用(RDEU)。RDEU允许代理人寻求收益,同时保护自己免受下行风险。为了使最优策略对模型的不确定性具有鲁棒性,我们不是通过其分布来评估策略,而是通过位于其周围的Wasserstein球内的最坏可能分布来评估策略。因此,我们的问题表述可以被视为行动者/代理选择策略(外部问题),然后对手采取行动来恶化该策略的性能(内部问题)。我们制定明确的策略梯度公式的内部和外部的问题,并显示其有效性的三个典型的金融问题:稳健的投资组合配置,优化基准,统计套利。
2021-12-14 cs.LG q-fin.CP q-fin.PM
An Offline Risk-aware Policy Selection Method for Bayesian Markov Decision Processes
Natural Intelligence Toulouse Institute, University of Toulouse, France(图卢兹大学自然智能研究所);ISAE-SUPAERO, University of Toulouse, France(图卢兹大学ISAE-SUPAERO)
针对离线强化学习中模型不确定性导致策略风险高的问题,提出一种基于贝叶斯形式化框架的风险感知策略选择方法EvC,通过最大化贝叶斯后验下的风险感知目标来选择稳健策略。
2023-04-11 cs.AI cs.LG cs.SY
Efficient Morphology-Aware Policy Transfer to New Embodiments
本研究将形态感知预训练与参数高效微调结合,通过微调少于1%的参数即可提升策略性能,减少新形态下的样本需求。
2025-08-05 cs.LG
MetaAugment: Sample-Aware Data Augmentation Policy Learning
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
自动数据增强在图像识别中表现出优越的性能。现有的作品搜索的小规模的增强政策,而不考虑个别样本的变化,这可能是次优的。另一方面,对不同的样本采用不同的策略会大大增加计算成本。在本文中,我们学习一个样本感知的数据增强政策有效地制定它作为一个样本重新加权问题。具体地,增强策略网络将变换和对应的增强图像作为输入,并且输出权重以调整由任务网络计算的增强图像损失。在训练阶段,任务网络最小化增强训练图像的加权损失,而策略网络通过元学习最小化任务网络在验证集上的损失。我们从理论上证明了训练过程的收敛性,并进一步推导出精确的收敛速度。在广泛使用的基准测试中实现了卓越的性能,包括CIFAR-10/100,Omniglot和ImageNet。
2020-12-22 cs.LG
GUPO: Gradient Uncertainty-aware Policy Optimization for Post-Training Large Language Models
针对GRPO中组梯度冲突导致策略更新效果差的问题,提出GUPO方法,通过贝叶斯框架建模组梯度并结合狄利克雷公式校准梯度贡献,经多基准实验验证其有效性。
2026-08-19 cs.LG
Uncertainty-Aware Instance Reweighting for Off-Policy Learning
Bytedance Research(字节跳动研究院);ChongQing University(重庆大学);University of Virginia(弗吉尼亚大学);The Chinese University of Hong Kong(香港中文大学)
针对离策略学习中记录策略未知导致的高偏差与高方差问题,本文提出带收敛保证的不确定性感知逆倾向得分估计器UIPS,并在合成及真实推荐数据集上验证其样本效率优势。
2023-09-27 cs.AI cs.LG