机器人 / 具身智能

Explainable Reinforcement Learning via Physics-Aware Policy Distillation

通过物理感知策略蒸馏实现可解释强化学习

Shaker Al-Tamari, Waled Kadour

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 研究针对安全关键领域中深度强化学习的黑箱问题，利用策略蒸馏框架，以高性能TD3为教师模型，基于浅层决策树生成可解释学生代理，通过特定方法生成数据集，实现性能与教师相当并保持系统稳定性和可解释性。

Comments 6 pages, 7 figures

Evaluating Fuzz Testing for Reinforcement Learning Agents

评估强化学习智能体的模糊测试

Zhibin Kang, Hanmo You, Dong Wang, Haiming Zheng, Junjie Chen

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 研究针对强化学习智能体模糊测试评估差异问题，通过在三种环境下统一配置对五种方法及随机测试进行基准测试，从多角度评估，揭示不同方法特点，表明模糊测试能提升智能体鲁棒性等，还给出可操作指导。

Continual-RL for Generalization in Autonomous Racing on the RoboRacer Platform

用于RoboRacer平台自主赛车中泛化的持续强化学习

Joel Siegert, Edoardo Ghignone, Michele Magno

机构 * Center for Project-Based Learning, D-ITET, ETH Zurich（基于项目的学习中心，分布式信息技术与电气工程学院，苏黎世联邦理工学院） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.RO

AI总结 针对现代机器人适应变化环境的挑战，提出基于持续反向传播的持续强化学习框架，仅用现实世界数据训练通用策略并微调超越经典控制器，还提出离线强化学习比较方法并进行模拟分析。

Comments 8 pages, conference

Constrained Reinforcement Learning Using Successor Representations

使用后继表示的约束强化学习

Michael Girstl, Alexander Mattick, Christopher Mutschler

机构 * Technical University of Darmstadt (TU Darmstadt)（达姆施塔特工业大学） ； Hessian Center for Artificial Intelligence (hessian.AI)（黑森州人工智能中心） ； Fraunhofer Institute for Integrated Circuits IIS, Fraunhofer IIS（弗劳恩霍夫集成电路研究所IIS） ； University of Technology Nuremberg (UTN)（纽伦堡工业大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.LG

AI总结 研究针对现实世界强化学习中策略难适应成本函数变化的问题，提出SafeDSR方法，通过引入可学习权重矩阵扩展深度后继表示到约束强化学习，能快速重训策略，在二维导航环境展示竞争力与灵活性。

Comments published in Transactions for Machine Learning Research 2026

Journal ref Michael Girstl, Alexander Mattick, & Christopher Mutschler (2026). Constrained Reinforcement Learning Using Successor Representations. Transactions on Machine Learning Research

Offline RL with Hierarchical Action Chunking

基于分层动作分块的离线强化学习

Ahad Jawaid

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.LG

AI总结 研究离线目标条件强化学习中扩展到长期任务的挑战，提出HiQC算法，结合高级潜在规划与低级动作分块，实现无偏k步价值备份，理论证明其价值误差界限更紧，实证表明在OGBench套件中性能最佳。

Comments RLC/RLJ 2026

HypEMBER: Hypernetwork-based Ensemble for Robust Policy Learning of Parametrized Dynamical Systems

HypEMBER：基于超网络的集成方法用于参数化动态系统的稳健策略学习

Nicolò Botteghi, Gabriele Pascali, Urban Fasel, Andrea Manzoni

机构 * MOX, Department of Mathematics Politecnico di Milano（米兰理工大学数学MOX系） ； Department of Aeronautics Imperial College London（伦敦帝国理工学院航空系） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.LG

AI总结 研究在测量和模型不确定下参数化动态系统的稳健控制，提出基于超网络与集成学习结合的HypEMBER框架，通过超网络表示策略和价值函数实现参数泛化，用逼近器集成量化不确定性，实验表明该框架能提升训练稳定性等，增强对不确定性的稳健性。

S3: Stable Subgoal Selection by Constraining Uncertainty of Coarse Dynamics in Hierarchical Reinforcement Learning

S3：通过约束分层强化学习中粗粒度动力学的不确定性进行稳定子目标选择

Kshitij Kumar Srivastava, Kshitij Jerath

机构 * University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.LG

AI总结 研究分层强化学习中高层智能体子目标选择问题，提出用粗粒度动力学提供动力学感知内在动机，通过最小化预测不确定性稳定高层策略，经实验验证该方法在非平稳长期环境中表现优于现有方法。

Comments Manuscript accepted to the Eighteenth Workshop on Adaptive and Learning Agents (ALA), at the 25th International Conference of Autonomous Agents and Multi Agent Systems 2026

Information-Based Exploration via Random Features for Reinforcement Learning

基于随机特征的强化学习信息探索

Waris Radji, Odalric-Ambrym Maillard

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.LG

AI总结 研究如何在强化学习中进行信息探索，提出基于贝叶斯核方法理论的随机特征信息增益（RFIG），用随机傅里叶特征近似信息增益，给出误差界并避免黑箱问题，实践细节使其可扩展到深度RL场景，实验显示其性能有竞争力且理论解释优。

Reinforcement Learning: From Algorithms To Foundation Models

强化学习：从算法到基础模型

Zihan Ding

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.AI

AI总结 本文从游戏算法和基础模型时代的RL两个视角展开研究，前者聚焦多智能体RL中相关概念的相互作用，后者利用生成和基础模型丰富序列决策，开发多种模型并进行相关研究，呈现RL在复杂序列域的统一视图，突出其连接多方面的作用。

Comments Princeton University PhD Thesis 2026

TraversRL: Traversable Pedestrian Pathway Generation With Reinforcement Learning

TraversRL：基于强化学习的可通行行人路径生成

Bin Han, Robert Wolfe, Bill Howe

机构 * University of Washington（华盛顿大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.CV

AI总结 研究旨在从航拍图像生成行人路径，核心方法是用TraversRL视觉条件模型，通过特定动作空间和奖励机制迭代生长路径网络，主要贡献是相比基线提升交并比与连通性指标，结合奖励生成更优网络，证明该建模方法的有效性。

Comments Accepted to ECCV 2026, main conference

Reward-Driven LLM Agent Workflows: Synthesizing POMDP Routing and Self-Correction for Autonomous Decision-Making

奖励驱动的大语言模型智能体工作流程：合成用于自主决策的部分可观测马尔可夫决策过程（POMDP）路由与自我修正

Amez Amanj Ali, Kuo-Kun Tseng

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI

AI总结 研究针对LLM智能体应用挑战，设计优化工作流程，合成多种AI范式，引入POMDP路由和自我修正奖励模型，整合多模态输入与强化学习原则，实验显示相比主流基线任务成功率等提升24.5%，为自主系统AI技术开发提供参考框架。

Comments 29 pages, 1 table, native TikZ/pgfplots diagrams. Code available at https://github.com/01Amez/RLAW_Implementation

When to Plan: Learning to Select Between Reactive Control and Deliberative Planning

何时进行规划：学习在反应式控制和审慎规划之间进行选择

Adam Labiosa, Josiah P. Hanna

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.AI

AI总结 研究智能体如何学习元推理能力，引入基于反应式策略不确定性得分分配计算的强化学习方法训练元推理策略，通过实证研究表明该设计能让元推理策略学会何时采用反应式策略，何时进行决策时规划，且能随反应式策略改进转向完全反应式控制。

Comments RLC 2026

ToolVerse: Unlocking Massive Environments and Long-Horizon Tasks for Agentic Reinforcement Learning

ToolVerse：为智能强化学习解锁大规模环境和长时任务

Shuaiyu Zhou, Fengpeng Yue, Zengjie Hu, Yuanzhe Shen, Chenyang Zhang, feng hong, Cao Liu, Ke Zeng

机构 * LongCat Interaction Team, Meituan（美团长猫互动团队） ； Peking University（北京大学） ； Fudan University（复旦大学） ； Wuhan University（武汉大学） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.AI

AI总结 研究针对LLM智能体在复杂环境中工具集成问题，提出ToolVerse框架。通过构建大规模训练环境、设计任务策略及提出新算法，经实验验证该框架能增强LLM长时工具使用能力，提升性能与推理能力。

Physics-enhanced reinforcement learning for real-time optimal control of dynamical systems

用于动态系统实时最优控制的物理增强强化学习

Matteo Tomasetto, Nicolò Botteghi, Gabriele Bruni, Andrea Manzoni

机构 * Politecnico di Milano（米兰理工大学） ； MOX - Department of Mathematics, Politecnico di Milano（米兰理工大学数学MOX系） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.LG

AI总结 研究针对高维和参数化动态系统控制，提出物理增强强化学习（PEARL）范式，利用其动力学可微性，采用演员-伴随算法，经实验验证该方法能减少环境交互、样本效率高、可泛化并能扩展到高维空间。

Reinforcement Learning for the Full Strawberry Harvesting Process: Obstacle Separation, Detachment, and Placement

用于完整草莓收获过程的强化学习：障碍物分离、采摘和放置

Changyou Miao, Teng Li, Ya Xiong

机构 * Beijing Academy of Agriculture and Forestry Sciences（北京市农林科学院） ； Huazhong Agricultural University（华中农业大学） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO

AI总结 针对机器人草莓采摘中复杂接触动力学问题，开发含启发式阶段协调的强化学习框架，通过共享策略、观察空间及分层架构实现任务，采用相关技术支持模拟到现实转移，实验验证了该方法在不同平台的有效性。

Comments Accepted to IROS 2026

Discriminative Barrier Functions for Safe Adversarial Imitation Learning from Observation

用于从观察中进行安全对抗模仿学习的判别障碍函数

Anubhav Vishwakarma, Bhaumik Mehta, Caleb Hsu, Byron Boots, Karen Leung, Tyler Han

机构 * University of Washington（华盛顿大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO

AI总结 研究针对逆强化学习不安全及控制障碍函数设计难的问题，通过将奖励函数候选限制在CBF空间，实现安全在线控制与经验改进，能从无标签观察中恢复障碍函数，模拟实验显示其安全性能提升，并研究了不同IRL方法的权衡。

Comments 20 pages, 5 figures

Vision-Based Obstacle Separation for Strawberry Harvesting in Clusters Using Hierarchical Reinforcement Learning

基于视觉的分层强化学习在成簇草莓采摘中的障碍物分离

Teng Li, Hanfei Shi, Chunjiang Zhao, Ya Xiong

机构 * The Intelligent Equipment Research Center, Beijing Academy of Agriculture and Forestry Sciences（北京市农林科学院智能装备研究中心） ； School of Intelligence Science and Technology, University of Science and Technology Beijing（北京科技大学智能科学与技术学院） ； Happy Elements Ltd.（乐元素科技有限公司） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO

AI总结 针对成簇草莓采摘中果实易被遮挡的问题，提出分层强化学习框架VGPA，集成视觉引导决策机制和PAES，将任务分解为两阶段。模拟实验策略成功率96.7%，模拟到现实转移实验成功率71.7% - 88.3%，优于直接采摘，验证了方法有效性、泛化能力和实际潜力。

Comments Accepted to IROS 2026

Learning More from Less: Reinforcement Learning from Hindsight

从更少中学习更多：事后诸葛亮式强化学习

Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Computing Research Lab（麻省理工学院-IBM计算研究实验室） ； Stanford University（斯坦福大学） ； University of California, San Diego（加利福尼亚大学圣地亚哥分校） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.LG

AI总结 研究针对强化学习用于视觉-语言-动作模型后期训练时样本效率低的问题，提出事后诸葛亮式学习方法，通过对失败轨迹重标记，让策略联合原始与重标记轨迹训练，在分布外任务上显著提升样本效率并优于基线。

WARP-RM: A Warp-Augmented Relative Progress Reward Model for Data Curation

WARP-RM: 一种用于数据筛选的扭曲增强相对进度奖励模型

Justin Yu, Andrew Goldberg, Kavish Kondap, Karim El-Refai, Ethan Ransing, Qianzhong Chen, Mac Schwager, Fred Shentu, Philipp Wu, Ken Goldberg

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； XDOF 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO

AI总结 提出WARP-RM，通过时间扭曲增强从成功演示中自监督学习密集相对进度信号，用于行为克隆中加权高优势动作块，在机器人叠衣任务中显著提升数据效率。

Diffusion-Guided Uncertainty-Aware Delayed Policy Optimization

扩散引导的不确定性感知延迟策略优化

Junqi Tu, Zejiao Liu, Fangfei Li, Yang Tang

机构 * The Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education, East China University of Science and Technology, Shanghai, China（能源化工过程智能制造重点实验室，教育部，东华大学，上海，中国） ； The School of Mathematics, East China University of Science and Technology, Shanghai, China（东华大学数学学院，上海，中国） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.AI

AI总结 针对现实环境强化学习因延迟反馈性能严重下降问题，提出DUPO方法。用扩散模型明确延迟状态与当前状态关系，利用差异估计加权延迟策略，实验表明该方法优于现有方法。

Comments Preprint; appendices included

High-Precision Formation Control for Heterogeneous Multi-Robot Systems via Hierarchical Hybrid Physics-Informed Deep Reinforcement Learning

基于分层混合物理信息深度强化学习的异构多机器人系统高精度编队控制

Yanzhou Li, Guangli Chen, Xiao-Meng Li, Wenjian Zhong, Yongkang Lu, Shenghuang He

机构 * Dongguan Key Laboratory of Intelligent Equipment and Smart Industry, School of Advanced Engineering, Great Bay University（东莞智能装备与智能产业重点实验室，大湾区大学先进工程学院） ； Technische Universität Dresden（德累斯顿工业大学） ； School of Mechanical and Electrical Engineering, Guangzhou University（广州大学机电工程学院） ； University of Science and Technology of China（中国科学技术大学） ； College of Computer Science, Dongguan University of Technology（东莞理工学院计算机科学与技术学院） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO

AI总结 针对异构多机器人系统编队控制问题，提出分层混合物理信息深度强化学习框架。上层用深度强化学习设计领导者导航策略网络，下层整合多种控制器构建编队控制策略网络，设计分层奖励函数训练跟随者，实验验证方法有效性。

Beyond Monotonic Progress: Retry-Supervised Value Learning for Robot Imitation

超越单调进展：面向机器人模仿的重试监督值学习

Xinyao Qin, Junjie Lu, Kaixin Wang, Chuheng Zhang, Sinjae Kang, Kimin Lee, Min Xu, Bin Liang, Jun Yang, Li Zhao

机构 * Tsinghua University（清华大学） ； University of Technology Sydney（技术科技大学） ； Microsoft Research Asia（微软亚洲研究院） ； KAIST（韩国科学技术院） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO

AI总结 针对机器人模仿学习中演示数据包含错误与修正行为的问题，提出ReTVL框架，利用重试事件作为稀疏监督学习对错误敏感的值函数，通过全局进度校准与局部偏好学习捕捉错误-恢复结构，优化下游行为克隆。

Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning

基于强化学习的视觉语言模型视觉接地自反思

Liyan Tang, Fangcong Yin, Greg Durrett

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； New York University（纽约大学） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.CV

AI总结 提出VRRL框架，通过随机掩码轨迹前缀和缓冲回滚机制，增强视觉语言模型在分布外场景下的视觉接地自反思能力，显著提升准确率。

VLM-AR3L: Vision-Language Models for Absolute and Relative Rewards in Reinforcement Learning

VLM-AR3L：用于强化学习中绝对和相对奖励的视觉-语言模型

Kuan-Chen Chen, Winston Chen, Wei-Fang Sun, Min-Chun Hu

机构 * National Tsing Hua University（国立清华大学） ； NVIDIA AI Technology Center (NVAITC)（英伟达AI技术中心） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO

AI总结 提出VLM-AR3L框架，利用视觉-语言模型从偏好标签中学习绝对和相对奖励，结合状态评估与比较监督，在多种基准任务中优于先前方法。

Comments Accepted at IJCAI 2026. Project website: https://vlm-ar3l.github.io/

AMBUSH: Collaborative Capture in Complex Environments with Neural Acceleration

AMBUSH：复杂环境下的协作捕获与神经加速

Junfeng Chen, YinHang Luo, Xinyi Wang, Junrui Li, Meng Guo

机构 * School of Advanced Manufacturing and Robotics, Peking University（北京大学先进制造与机器人学院） ； Distributed Autonomous Systems and Control Lab, University of Michigan（密歇根大学分布式自主系统与控制实验室） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO

AI总结 提出基于“伏击”策略的参数化方法，结合混合蒙特卡洛树搜索与神经加速，实现多个慢速追捕者在复杂环境中高效捕获快速逃逸者。

Distributed Multi Robot Lunar Cargo Transportation via Phase Decomposed Reinforcement Learning

基于相位分解强化学习的分布式多机器人月球货物运输

Ashutosh Mishra, Elian Neppel, Shreya Santra, Antoine Jonquières, Muhammad Athallah Naufal, Kentaro Uno, Kazuya Yoshida

机构 * Tohoku University（东北大学） ； École Centrale de Lille（里尔中央理工学院） ； Institut Teknologi Bandung（万隆理工学院） 纠错

专题命中 模仿学习与强化学习 ：robotic(abstract)；分类 cs.RO

AI总结 提出相位分解强化学习框架，将月球货物运输分解为提升、运输和放置三个阶段，分别优化联合状态策略，实现分布式机器人协同运输，仿真和硬件实验验证了可靠性。

Comments 8 pages, 9 Figures, Accepted at IROS2026

Learning to Throw: Agile and Accurate Cable-Suspended Payload Delivery with a Quadrotor

学习投掷：四旋翼飞行器实现灵活精确的缆绳悬挂载荷投送

Yifan Zhai, Elia Raimondi, Yunfan Ren, Ismail Geles, Yannick Armati, Jiaxu Xing, Davide Scaramuzza

机构 * Robotics and Perception Group, Department of Informatics, University of Zurich（苏黎世大学信息学系机器人感知组） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.RO

AI总结 提出一种混合仿真框架，结合高保真四旋翼模型和物理求解器模拟缆绳-载荷系统，通过深度强化学习训练策略，实现零样本部署下投掷误差降低50%、时间缩短30%。

ReWorld: Learning Better Representations for World Action Models

ReWorld：为世界动作模型学习更好的表示

Tianze Xia, Lijun Zhou, Kaixin Xiong, Jingfeng Yao, Yu Zhu, Zhenxin Zhu, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Haiyang Sun, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Xiaomi EV（小米汽车） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.CV

AI总结 提出ReWorld框架，通过优化中间表示（未来预测监督、跨模态对齐、难负样本监督）提升自动驾驶世界动作模型的规划性能，在nuScenes和NAVSIM上取得显著提升。

Comments 19 pages,3 figures

Revisiting Action Factorization for Complex Action Spaces

重新审视复杂动作空间的动作分解

Timothy Flavin, Sandip Sen

机构 * The University of Tulsa（塔尔萨大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(abstract)；分类 cs.LG

AI总结 本文对多种动作分解方法在PPO、SAC、DQN算法和离散、混合、连续动作空间上进行了横截面研究，提出了VDN-PPO和PPO-MIX，并发现分支决斗架构在计算和性能之间取得了最佳平衡。

Comments 53 Pages, 37 Figures, 6 Tables, Target Journal/Venue: ACM Transactions on Autonomous and Adaptive Systems TAAS

Beyond One-Size-Fits-All: Diagnosis-Driven Online Reinforcement Learning with Offline Priors

超越一刀切：基于诊断的在线强化学习与离线先验知识

Guozheng Ma, Lu Li, Zilin Wang, Pierre-Luc Bacon, Dacheng Tao

机构 * Nanyang Technical University（南洋理工大学） ； University of Oxford（牛津大学） 纠错

专题命中 模仿学习与强化学习 ：world model(abstract)；分类 cs.LG

AI总结 本文提出诊断驱动的张力管理框架，通过三种功能角色表征离线先验知识如何重塑在线优化，并展示跨领域证据，解决先验知识有效性随部署变化的问题。