机器人 / 具身智能

Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics

残差奖励模型：利用先验知识实现机器人领域高效的基于偏好的强化学习

Chenyang Cao, Miguel Rogel-García, Mohamed Nabail, Xueqian Wang, Nicholas Rhinehart

机构 * University of Toronto（多伦多大学） ； Tsinghua University（清华大学） 纠错

专题命中 模仿学习与强化学习 ：robotics(title)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

AI总结 本文提出残差奖励模型（RRM），将环境真实奖励拆分为先验奖励与学习奖励之和，可提升机器人领域基于偏好的强化学习的样本效率，在仿真与物理机器人实验中均优于基准方法。

Comments 25 pages, 15 figures

Arrive and Survive: Scaling Safe Goal-Conditioned Policy Learning from One-Bit Failure Signals

到达并生存：基于一位失败信号扩展安全目标条件策略学习

Guopeng Li, Yiyang Duan, Yiru Jiao, Chengcheng Xu

机构 * Southeast University（东南大学） ； Yinwang Intel. Tech. Co. Ltd.（银网智能科技有限公司） ； Lab（2030实验室） 纠错

专题命中 模仿学习与强化学习 ：navigation(abstract)；分类 cs.RO、cs.LG

AI总结 本文针对失败终止CRL的系统性偏差，提出Safe-CRL方法，仅用失败的一位信号，在12个机器人任务中提升了存活率与目标到达性能，完善了失败终止下的CRL理论。

Comments 21 pages, 14 figures, 5 tables, Code: this https URL (https://github.com/RomainLITUD/safe-crl)

Think3D: Thinking with Space for Spatial Reasoning

Think3D: 基于空间的思考以实现空间推理

Zaibin Zhang, Yuhan Wu, Lianjie Jia, Yifan Wang, Zhongbo Zhang, Yijiang Li, Binghao Ran, Fuxi Zhang, Zhuohan Sun, Yizhuang Peng, Zhenfei Yin, Lijun Wang, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of Oxford（牛津大学） 纠错

专题命中 模仿学习与强化学习 ：manipulation(abstract)；分类 cs.CV

AI总结 Think3D通过引入交互式3D推理框架，提升多模态代理的空间推理能力，实现在BLINK Multi-view和MindCube上的7.8%性能提升，并通过Think3D-RL优化小模型性能。