Harnessing Bounded-Support Evolution Strategies for Policy Refinement
The University of Sydney（悉尼大学）；NVIDIA（NVIDIA公司）
针对在线策略RL改进机器人策略时梯度噪声大、信号弱的问题，提出TD-ES方法，通过有界三角噪声和中心秩有限差分估计器实现稳定无梯度更新，在两阶段流程中保留样本效率并提升成功率26.5%，降低方差。
2025-11-14 cs.AI cs.LG cs.RO
Refinement-Based Flow Policy Optimization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出基于细化的流策略优化（RFPO），通过Q引导样本细化与自目标流匹配交替训练，解决流策略在线强化学习中隐式分布采样难题，在连续控制与多模态分布任务上优于基线。
2026-09-29 cs.AI cs.LG
Adaptive Bias Generalized Rollout Policy Adaptation on the Flexible Job-Shop Scheduling Problem
Safran Electronics and Defense（萨弗兰电子与国防公司）；LAMSADE, Université Paris Dauphine-PSL（巴黎第十一大学LAMSADE）
针对NP难的柔性作业车间调度问题，提出一种基于广义嵌套滚动策略自适应的新型算法，实验表明其性能优于其他基于MCTS的方法，但大规模算例的最大完工时间仍与已知上界有差距。
2025-05-20 cs.AI
World Models for Policy Refinement in StarCraft II
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）
StarWM为《星际2》政策细化设计的世界模型，通过预测未来观察和结构化文本表示提升策略决策性能。
2026-08-27 cs.AI
Accelerating Policy Synthesis in Large-Scale MDPs via Hierarchical Adaptive Refinement
University of York（约克大学）；Cyprus University of Technology（塞浦路斯技术大学）
本文提出通过动态细化马尔可夫决策过程并迭代选择最脆弱区域来加速大规模MDP的策略合成，证明合成策略在标准假设下近优，实验证明在100万状态的MDP中相比PRISM提速达2倍。
2026-04-30 cs.AI cs.LO cs.SE
Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows
KAIST（韩国科学技术院）
本文提出提案条件精炼流（PReFlow），结合评论家提案选择与条件精炼流，通过KL正则化目标优化策略提取，在50个OGBench任务上实现最优在线微调性能（91%）。
2026-10-02 cs.AI cs.LG cs.RO
Policy Decorator: Model-Agnostic Online Refinement for Large Policy Model
UC San Diego（加利福尼亚大学圣迭戈分校）
本文提出Policy Decorator，一种模型无关的残差策略方法，通过在线交互优化大型模仿学习模型，在ManiSkill和Adroit基准上显著提升了策略性能并保持了平滑运动。
2024-12-18 cs.AI cs.LG cs.RO
Iterative Policy Refinement through Semantic Rollout Analysis
Carnegie Mellon University（卡内基梅隆大学）；Meta
提出闭环框架，利用LLM分析策略回滚的表格数据，迭代精化结构化策略，无需人工指令，在赛车和开门任务上性能提升最高15%，计算量减少75%。
2026-10-02 cs.AI cs.LG
Flexible Multitask Learning with Factorized Diffusion Policy
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）；Norwegian University of Science and Technology（挪威科学与技术大学）；Columbia University（哥伦比亚大学）
本文提出一种因子化扩散策略框架，通过将复杂动作分布分解为多个专用扩散模型，提升多任务学习的灵活性和适应性，实验证明其在仿真和现实机器人任务中表现优异。
2026-02-01 cs.AI cs.RO
MimicX: Policy-in-the-Loop Supervision Refinement for Video-Driven Humanoid Motion Tracking
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
MimicX提出策略在环监督细化框架，利用执行反馈定位失败并调整跟踪目标与重置课程，在视频驱动人形运动跟踪中降低25.7%误差并提升255.6%执行视界。
2026-10-08 cs.AI cs.RO
EvolveTrade: Experience-Driven Policy Refinement for Self-Evolving LLM Trading Agents
KAIST（韩国科学技术院）
EvolveTrade提出自进化框架，通过策略代理基于决策轨迹和投资组合反馈迭代优化交易代理的系统提示策略，在多个市场机制下提升夏普比率和累计收益，增强工具使用适应性。
2026-09-17 cs.AI cs.CL
OPDSearch+: On-Policy Distillation with RL Refinement for Search-Augmented Reasoning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Macau（澳门大学）；Wuhan University（武汉大学）；Georgia Institute of Technology（佐治亚理工学院）；Northwestern Polytechnical University（西北工业大学）；University of Hong Kong（香港大学）
OPDSearch+是无需教师微调的搜索增强推理蒸馏范式，利用冻结的现成指令模型分两阶段优化3B模型，在7个QA基准上优于所有3B RL基线，HotpotQA和2WikiMultihopQA分别提升13.1%、8.5%。
2026-08-26 cs.AI
An ASP Framework for the Refinement of Authorization and Obligation Policies
Miami University（迈阿密大学）
本文提出一个基于 Answer Set Programming 的框架，用于检测和细化 AOPL 语言编码的授权与义务策略中的不一致、定义不足及歧义问题。
2023-05-22 cs.AI cs.LO
FAR-Dex: Few-shot Data Augmentation and Adaptive Residual Policy Refinement for Dexterous Manipulation
FAR-Dex通过少样本数据增强和自适应残差策略细化，提升机械臂与手的协同精度，实现高成功率的灵巧操作任务。
2026-03-11 cs.AI cs.RO
Beyond KL Divergence: Policy Optimization with Flexible Bregman Divergences for LLM Reasoning
Lexsi Labs（Lexsi实验室）
本文提出GBMPO框架，通过灵活Bregman散度提升大语言模型在数学推理和代码生成任务中的性能。
2026-02-04 cs.AI cs.LG
PRISM: Personalized Refinement of Imitation Skills for Manipulation via Human Instructions
Eurecat, Centre Tecnològic Catalunya, Robotics & Automation Unit（Eurecat，加泰罗尼亚技术中心，机器人与自动化单位）
PRISM通过人类指令优化机器人操作中的模仿策略，提升任务执行的鲁棒性和数据效率。
2026-03-05 cs.AI cs.RO
LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation
Lehigh University（理海大学）
本文提出一种大语言模型引导的策略调制框架，通过LLM识别关键状态、提供动作建议并分配隐式奖励，无需额外训练或人工干预，在标准RL基准上超越最先进基线，有效解决训练瓶颈。
2025-05-27 cs.AI cs.LG
Simulation-Aware In-Context Policy Improvement for LLM-Aided Analog Layout Refinement
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对LLM辅助模拟版图优化的样本效率问题，提出感知仿真的LLM多智能体框架，通过上下文内策略改进，仅需数十次仿真即可提升后版图性能，优于生成器启发式规则与贝叶斯优化方法。
2026-08-17 cs.AI cs.RO
Direct Alignment of Language Models via Quality-Aware Self-Refinement
Hong Kong University of Science and Technology（香港科技大学）；LightSpeed Studios, Tencent（腾讯光速工作室）；Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, CAS（中国科学院香港创新研究院人工智能与机器人中心）
针对DPO忽略正负响应相对质量的问题，提出利用LLM内在知识设计精炼函数估计响应质量并自精炼损失函数，将其集成至DPO和IPO中，有效提升了微调模型的性能。
2024-05-31 cs.AI cs.CL
Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
Yale University（耶鲁大学）；University of Sydney（悉尼大学）
提出采样引导策略搜索（SGPS），结合基于采样的模型预测控制与一阶策略优化，加速视觉策略学习，并在模拟及真实Go2机器人上实现零样本迁移。
2026-09-18 cs.AI cs.LG cs.RO
World4RL: Diffusion World Models for Policy Refinement with Reinforcement Learning for Robotic Manipulation
The State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Zhongguancun Academy（中关村学院）；Beijing Zhongke Huiling Robot Technology Co（北京中科创联机器人技术有限公司）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
World4RL通过扩散世界模型提升机器人操作政策的精修效果，采用高保真模拟环境进行端到端政策优化，优于模仿学习及其他基线方法。
2026-03-19 cs.AI cs.RO
REPORT-OPS: Hybrid Evidence-Guided Reporting with Human-Supervised Refinement for HPC
NERSC, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Florida International University（佛罗里达国际大学）
该研究提出REPORT-OPS混合报告智能体，结合LLM与人工监督优化，在HPC报告任务中，其Pass@80达68.63%，证据门控大幅提升准确率，经多轮优化后性能显著改善。
2026-10-13 cs.AI
Don't Start from Scratch: Behavioral Refinement via Interpolant-based Policy Diffusion
National University of Singapore（新加坡国立大学）；Smart Systems Institute, NUS（新加坡国立大学智能系统研究所）
针对扩散模型用于模仿学习时因源分布为高斯噪声导致少扩散步、小数据下性能差的问题，提出基于随机插值框架的BRIDGER方法，可桥接任意策略，在仿真和真实机器人实验中性能优于现有最优扩散策略。
2024-07-11 cs.AI cs.LG cs.RO
Human-assisted Robotic Policy Refinement via Action Preference Optimization
Gaoling School of Artificial Intelligence, Renmin University of China, Beijing（中国人民大学北京校区人工智能学院）；Engineering Research Center of Next-Generation Intelligent Search（下一代智能搜索与推荐工程研究中心）；Beijing Key Laboratory of Research on Large Models（北京大型模型研究重点实验室）
针对VLA模型依赖离线演示、部署后难优化的问题，提出动作偏好优化方法APO，通过人机协作收集交互轨迹，结合自适应重加权算法与二元期望信号实现从失败中学习，在仿真与真实操作任务中展现更优泛化性与鲁棒性。
2025-10-30 cs.AI cs.RO
Self-Abstraction from Grounded Experience for Plan-Guided Policy Refinement
Salesforce AI Research（Salesforce人工智能研究）
本文提出SAGE框架，让LLM智能体从自身任务执行经验中归纳计划抽象并反馈为上下文指导，从而精化策略，在SWE-Bench Verified上显著提升代码修复性能。
2025-11-08 cs.AI cs.SE
Learning When to Refine: Long-Horizon Reinforcement Learning for Budgeted Neural-Operator PDE Solvers
National Research Tomsk State University（国立研究托木斯克理工大学）
针对预算型神经算子PDE求解器，提出滚动验证策略改进（RV-PI），通过长时程强化学习决定细化时机，在浅水波和Brusselator基准上分别提升5.37%和2.31%的轨迹误差性能。
2026-10-07 cs.AI cs.LG
Composable Action-Conditioned Predictors: Flexible Off-Policy Learning for Robot Navigation
Berkeley AI Research (BAIR)（伯克利人工智能研究院（BAIR））；University of California, Berkeley（加州大学伯克利分校）
通用智能机器人必须能够自主学习，并能够完成多项任务，以便部署在现实世界中。然而，标准的强化学习方法学习单独的任务特定策略，并假设每个任务的奖励函数是先验已知的。我们提出了一个框架，学习事件的线索，从政策外的数据，并可以灵活地结合这些事件线索在测试时完成不同的任务。这些事件线索标签不被假定为先验已知的，而是使用学习模型（例如计算机视觉检测器）来标记，然后使用动作条件预测模型及时“备份”。我们表明，一个模拟的机器人汽车和现实世界的钢筋混凝土汽车可以收集数据和训练完全自主没有任何人类提供的标签以外的那些需要训练的检测器，然后在测试时能够完成各种不同的任务。实验视频和代码可以在https://github.com/gkahn13/CAPs上找到
2018-10-16 cs.AI cs.LG cs.RO
Policy Abstraction and Nash Refinement in Tree-Exploiting PSRO
Michigan Tech Research Institute（密歇根理工研究所）；University of Michigan（密歇根大学）
本文改进 TE-PSRO，以 DRL 隐式策略表示可扩展经验博弈树，并用广义逆向归纳计算 SPE 指导探索，实验证明其较 Nash 均衡更快收敛且资源开销合理。
2025-02-15 cs.AI cs.GT
PIPPS: Flexible Model-Based Policy Search Robust to the Curse of Chaos
Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）；University of Cambridge（剑桥大学）；TU Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
以前，爆炸梯度问题被解释为深度学习和基于模型的强化学习的核心，因为它会导致数值问题和优化的不稳定性。我们在基于模型的强化学习中的实验表明，这个问题不仅仅是一个数值问题，它可能是由长链非线性计算的基本混沌性质引起的。不仅梯度的幅度变大，梯度的方向也变得基本上随机。我们表明，重新参数化梯度遭受的问题，而似然比梯度是强大的。利用我们的见解，我们开发了一个基于模型的策略搜索框架，概率推理基于粒子的策略搜索（PIPPS），这是很容易扩展的，并允许几乎任意的模型和政策，同时匹配以前的数据高效的学习算法的性能。最后，我们发明了总传播算法，它有效地计算在一个单一的向后传递过程中的所有路径导数深度的联合，自动给予更大的权重，以较低的方差估计，有时改善了重新参数化梯度的$10^6$倍。
2019-02-04 cs.AI cs.LG cs.RO
Flexible Attention-Based Multi-Policy Fusion for Efficient Deep Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
提出知识引导强化学习（KGRL）范式及知识包含注意力网络（KIAN），通过基于嵌入的注意力动作预测实现多知识策略的灵活融合，并解决熵不平衡问题，实验证明其高效且灵活。
2023-10-09 cs.AI cs.LG cs.RO
Sensory-Motor Control with Large Language Models via Iterative Policy Refinement
Federal University of Santa Catarina (UFSC)（圣卡塔琳娜联邦大学）；Institute of Cognitive Sciences and Technologies (ISTC-CNR)（认知科学与技术研究所）
本文提出通过迭代策略优化，利用大语言模型控制具身代理，结合符号知识与子符号感官运动数据实现高效控制。
2026-02-24 cs.AI cs.HC cs.LG
General Flexible $f$-divergence for Challenging Offline RL Datasets with Low Stochasticity and Diverse Behavior Policies
North Carolina State University（北卡罗来纳州立大学）
本文提出通用灵活的f-分歧度方法，用于解决低随机性和多样化行为策略的离线RL数据集问题，通过平衡RL目标与约束，提升算法性能。
2026-02-11 cs.AI cs.LG
Large Reward Models: Generalizable Online Robot Reward Generation with Vision-Language Models
USC Physical Superintelligence Lab（USC物理超智能实验室）；Toyota Research Institute（丰田研究院）
本文提出利用视觉-语言模型生成通用在线机器人奖励，通过零样本方式提升策略学习效率，实验显示在30次迭代内显著提高初始策略成功率。
2026-10-02 cs.AI cs.RO
Options, Not Clicks: Lattice Refinement for Consent-Driven MCP Authorization
University of California, Los Angeles（加州大学洛杉矶分校）；University of California, San Diego（加州大学圣地亚哥分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；University of California, Santa Barbara（加州大学圣芭芭拉分校）
本文提出Conleash，一种客户端中间件，通过风险晶格自动允许安全调用，提升MCP授权的安全性与用户信任。
2026-05-12 cs.AI cs.CR cs.SE
F4R: Failure-Driven Recognition, Reconstruction, Refinement, and Redeployment for Continual Robot Self-Improvement
Nanyang Technological University（南洋理工大学）；Xi’an Jiaotong University（西安交通大学）；Dexmal
F4R提出失败驱动的真实-仿真-真实闭环框架，通过自动识别、重建失败场景并强化学习精炼策略，实现机器人持续自我改进，在OOD条件下超越基线18.75个百分点。
2026-09-30 cs.AI cs.RO
Decision Stacks: Flexible Reinforcement Learning via Modular Generative Models
University of California Los Angeles（加州大学洛杉矶分校）
本文提出Decision Stacks框架，将目标条件策略智能体分解为三个可并行训练的生成模块，分别模拟观测、奖励和动作的时序演化，在多个MDP和POMDP离线策略优化任务中优于现有方法。
2023-10-29 cs.AI cs.LG
Learning to Explore with Meta-Policy Gradient
Baidu Research（百度研究院）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
包括深度Q学习和深度确定性策略梯度（DDPG）在内的离策略学习的性能关键取决于探索策略的选择。现有的探索方法大多基于向正在进行的参与者策略添加噪声，并且只能探索接近参与者策略指示的\emph{local}区域。在这项工作中，我们开发了一个简单的Meta策略梯度算法，使我们能够自适应地学习DDPG中的探索策略。我们的算法允许我们训练灵活的探索行为，是独立的演员的政策，产生一个\emph{global exploration}，显着加快学习过程。通过广泛的研究，我们表明，我们的方法显着提高了DDPG在各种强化学习任务的样本效率。
2018-03-26 cs.AI cs.LG
MENTOR: Reinforcement Learning via Flexible Teacher-Optimized Rewards for Tool-Use Distillation
Seoul National University of Science and Technology（首尔科学技术大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；LG CNS
提出MENTOR方法，通过灵活的教师优化奖励结构，平衡行为对齐与下游性能，提升小模型在工具使用任务中的域外泛化能力。
2026-08-28 cs.AI cs.CL
Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation
University of Verona（维罗纳大学）；Northeastern University（东北大学）
安全性对于在真实场景中部署深度强化学习（DRL）算法至关重要。最近，已经提出了验证方法，以允许量化违反DRL策略的输入输出关系（称为属性）的数量。然而，这些属性是硬编码的，需要任务级的知识，使得它们的应用在具有挑战性的安全关键任务中变得棘手。为此，我们引入了在线属性的收集和优化（CROP）框架，以在训练时设计属性。CROP采用成本信号来识别不安全的相互作用，并使用它们来塑造安全属性。因此，我们提出了一个细化策略，结合属性，类似的不安全的相互作用模型。我们的评估比较了使用标准硬编码属性和使用CROP生成的属性计算违规次数的好处。我们在几个机器人无地图导航任务中评估了我们的方法，并证明了使用CROP计算的违规度量比以前的安全DRL方法允许更高的回报和更低的违规。
2023-02-13 cs.AI cs.RO
EvaDrive: Evolutionary Adversarial Policy Optimization for End-to-End Autonomous Driving
针对自动驾驶中轨迹生成与评估孤立及多维偏好标量化偏差问题，提出多目标强化学习框架EvaDrive，通过多轮对抗博弈实现闭环协同演化，在NAVSIM和Bench2Drive基准上达到SOTA性能。
2025-08-14 cs.AI cs.LG
Formally Verified Approximate Policy Iteration
Technische Universität München（慕尼黑工业大学）；King’s College London（伦敦国王学院）
本文用 Isabelle/HOL 形式化验证因子 MDP 上的近似策略迭代算法，并将其精化为可执行实现，同时开发线性规划解认证软件以验证其实用性。
2024-06-11 cs.AI cs.LO
Evolved Policy Gradients
OpenAI；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
提出了一种基于梯度的强化学习（RL）算法的元学习方法。这个想法是发展一个可微的损失函数，这样一个代理，优化其政策，以尽量减少这种损失，将获得高回报。损失是通过代理的经验时间卷积参数化。由于这种损失在考虑代理历史的能力方面具有高度灵活性，因此它可以实现快速任务学习。实验结果表明，我们的进化策略梯度算法（EPG）实现了更快的学习在几个随机环境相比，现成的策略梯度方法。我们还证明了EPG的学习损失可以推广到分布测试时间任务，并表现出与其他流行的元学习算法有质的不同的行为。
2018-04-29 cs.AI cs.LG
Multi-Task Generative Adversarial Nets with Shared Memory for Cross-Domain Coordination Control
Institute of Automation, Chinese Academy（中国科学院自动化研究所）；FUJITSU（富士通）；China Academy of Telecommunication Research of MIIT（工业和信息化部电信研究院）
从大量的测量过程数据中生成顺序决策过程，充分利用这些在线或离线过程数据直接设计灵活的决策策略，并进行性能评估，是协同工厂自动化的未来研究方向。序贯决策过程面临的主要挑战是在线直接生成序贯决策策略，以及跨任务域的知识传递。在离散时间非线性系统中，大多数多任务策略生成算法都存在不能充分生成跨任务共享结构的问题。针对离散非线性系统，提出了一种多任务共享记忆生成对抗网络，该网络能够直接从所有任务的原始感知输入中生成顺序决策策略，并在线评估系统行为的性能。实验已经使用部署在中国潍柴动力智能工厂内的专业柔性制造测试平台进行。对三组离散时间非线性控制任务的仿真结果表明，该模型可以有效地提高任务的性能，并与其他相关任务相结合。
2018-07-01 cs.AI cs.DC cs.LG
