Learning Generalizable Skill Policy with Data-Efficient Unsupervised RL
Department of Computer Science and Engineering, Sungkyunkwan University（成均馆大学计算机科学与工程系）
提出GenDa框架，通过技能重标定缓解非平稳性，并引入互补信息瓶颈增强泛化性，实现数据高效且鲁棒的无监督强化学习预训练。
2026-07-02 cs.AI cs.LG
DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
UC San Diego（加州大学圣地亚哥分校）；HKUST（香港科技大学）
我们提出了一个模拟到真实的灵巧操作框架，可以推广到新的对象在现实世界中的同一类别。我们的框架的关键是训练的操作策略与点云输入和灵巧的手。我们提出了两种新技术来实现对多个对象的联合学习和模拟到真实的泛化：（i）使用想象的手部点云作为增强输入;（ii）设计新颖的基于接触的奖励。我们经验性地评估我们的方法，使用快板手抓住新的对象在模拟和现实世界中。据我们所知，这是第一个基于策略学习的框架，可以用灵巧的双手实现这样的泛化结果。我们的项目页面可以在https://yzqin.github.io/dexpoint上找到
2022-11-18 cs.CV cs.LG cs.RO
X-MOBILITY: End-To-End Generalizable Navigation via World Modeling
NVIDIA；UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）
本文提出端到端导航模型 X-Mobility，通过潜在状态自回归世界建模、多头解码器及世界模型与动作策略解耦，提升分布外泛化、零样本 Sim2Real 与跨具身迁移能力。
2025-07-22 cs.RO
UltraDP: Generalizable Carotid Ultrasound Scanning with Force-Aware Diffusion Policy
Department of Automation, Tsinghua University（自动化系，清华大学）；Department of Surgery, Chow Yuk Ho Technology Centre for Innovative Medicine, Li Ka Shing Institute of Health Science and Multi-scale Medical Robotics Center, The Chinese University of Hong Kong, Hong Kong（外科系，创新医学技术中心，利文斯科健康科学研究所及多尺度医学机器人中心，香港中文大学，香港）
UltraDP通过力感知扩散策略实现通用颈动脉超声扫描，利用多感官输入和混合控制器提高扫描成功率至95%。
2025-11-20 cs.RO
Uni-PNP: Unified Prehensile and Non-prehensile Policy Learning for Generalizable Object Pose Reaching
Peking University（北京大学）；Galbot；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Tsinghua University（清华大学）
Uni-PNP是一种统一策略，通过预训练几何编码器和两阶段强化学习，实现跨物体与夹具的抓持及非抓持操纵，在物体位姿到达任务上优于基准，且可迁移至真实场景。
2026-10-16 cs.RO
The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning
UC Berkeley（加州大学伯克利分校）；KAIST（韩国科学技术院）
本文提出 M3L 掩码多模态学习框架，在强化学习中联合训练视觉-触觉表征与策略，提升样本效率和跨任务泛化，并在三类机器人操控仿真中验证其优势。
2023-11-02 cs.AI cs.RO
Rubric-Grounded RL: Structured Judge Rewards for Generalizable Reasoning
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出基于评分标准的强化学习框架，通过LLM评判器生成多标准奖励，提升模型在通用推理任务中的表现。
2026-05-08 cs.AI
An Real-Sim-Real (RSR) Loop Framework for Generalizable Robotic Policy Transfer
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Beijing Jiaotong University（北京交通大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出基于可微仿真的 Real-Sim-Real 闭环框架，通过信息丰富的代价函数采集真实数据并迭代校准仿真参数，从而显著缩小 sim-to-real 差距并提升机器人策略的泛化性。
2026-10-01 cs.LG cs.RO
Learning Generalizable Pivoting Skills
UC Berkeley（加州大学伯克利分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Rutgers University（罗格斯大学）
针对机器人枢转操作技能泛化难的问题，提出含三步的学习框架：用RL学基准物体枢转策略、监督学习编码物体运动学特征、基于特征学习投影适配新任务，实现仅单张深度图的零样本 sim-to-real 迁移与多物体泛化。
2023-05-04 cs.RO
Learning to design without prior data: Discovering generalizable design strategies using deep learning and tree search
Carnegie Mellon University（卡内基梅隆大学）
自20世纪80年代以来，构建一个能够自主设计的人工智能智能体一直是一个目标。最近，深度学习已经显示出从大规模数据中学习的能力，从而使数据驱动设计取得了重大进展。然而，对先前数据的学习限制了我们只能解决以前已经解决的问题，并使数据驱动的学习偏向于现有的解决方案。设计代理的最终目标是能够在问题空间中学习可概括的设计行为，而无需之前看到它。在这项工作中，我们引入了一个自我学习的代理框架，实现这一目标。该框架将深度策略网络与一种新的树搜索算法相结合，其中树搜索探索问题空间，深度策略网络利用自我生成的经验进一步指导搜索。这个框架首先展示了在没有任何先验数据的情况下发现高性能生成策略的能力，其次，它说明了生成策略在各种看不见的边界条件下的zero-shot泛化。这项工作的有效性和多功能性的框架，通过解决多个版本的两个工程设计问题，而无需再培训。总的来说，本文提出了一种方法，在任意问题空间中自我学习高性能和可推广的问题解决行为，规避了对专家数据，现有解决方案和特定问题学习的需求。
2022-11-28 cs.AI cs.LG
Watch Less, Feel More: Sim-to-Real RL for Generalizable Articulated Object Manipulation via Motion Adaptation and Impedance Control
Peking University（北京大学）；Galbot
本文提出融合观测历史运动适应与可变阻抗控制的RL流程，通过低维视觉信息提取、域随机化和双重奖励实现零样本sim-to-real铰接物体操作，真实世界成功率达84%。
2025-02-20 cs.AI cs.LG cs.RO
InsertAnything: Generalizable Contact-Rich Precision Insertion from Simulation to Reality
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；PaXini AI Technology (Beijing) Co., Ltd.（北京他山科技有限公司）
提出一种完全在仿真中训练的强化学习框架，结合目标位姿和指尖力反馈，实现无需真实演示即可直接部署的高精度插入策略，在ManipulationNet基准上首次获得满分，并在跨任务中达到95%成功率。
2026-09-22 cs.RO
UniFolding: Towards Sample-efficient, Scalable, and Generalizable Robotic Garment Folding
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory, Pujiang Lab（上海人工智能实验室，浦江实验室）；University of New Hampshire（新罕布什尔大学）
本文提出 UniFolding 机器人系统，利用基于局部点云的 UFONet 统一展开与折叠策略，并通过离线VR示教和在线人在回路学习实现高效泛化。
2023-11-02 cs.AI cs.CV cs.RO
Bag All You Need: Learning a Generalizable Bagging Strategy for Heterogeneous Objects
Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究院）
针对异构刚性与可变形物体装袋难题，本文提出含重排与双臂提袋策略的学习型机器人系统，并在真实三臂平台和新物体上达到70%成功率，同时发布仿真基准。
2023-10-01 cs.RO
When Is Generalizable Reinforcement Learning Tractable?
Carnegie Mellon University（卡内基梅隆大学）
通过强化学习（RL）训练的智能体通常无法泛化到它们所训练的环境之外，即使在出现与训练环境相似的新场景时也是如此。我们研究了查询复杂性所需的训练RL代理，推广到多个环境。只有当环境在某种意义上相似或接近时，才有可能进行直观、易处理的概括。为了抓住这一点，我们引入了弱邻近，这是一种自然的结构条件，要求环境具有高度相似的过渡和奖励函数，并共享一个提供最佳价值的策略。尽管这样的共享结构，我们证明，听话的推广是不可能的最坏的情况下。即使当每个单独的环境可以有效地解决，以获得最佳的线性政策，当代理拥有一个生成模型，这仍然成立。我们的下限适用于更复杂的任务，表示学习的目的是有效的推广到多个环境。在积极的一面，我们引入强邻近，加强条件，我们证明是足够的有效推广。
2021-10-25 cs.AI cs.LG stat.ML
Efficient Policy Iteration for Robust Markov Decision Processes via Regularization
Technion（以色列理工学院）；National University of Singapore（新加坡国立大学）
鲁棒马尔可夫决策过程（MDP）提供了一个通用的框架来建模决策问题，其中系统动态变化或仅部分已知。一些\texttt{sa} -矩形鲁棒MDP的有效方法存在，使用其与奖励正则化MDP的等价性，可推广到在线设置。与\texttt{sa} -矩形鲁棒MDP相比，\texttt{s} -矩形鲁棒MDP限制较少，但更难以处理。有趣的是，最近的工作已经建立了\texttt{s} -矩形鲁棒MDP和策略正则化MDP之间的等价性。但是，我们没有一个明确的认识，利用这种等价性，做政策改进的步骤，以获得最佳的价值函数或政策。我们对贪婪/最优策略没有一个清晰的理解，除了它可以是随机的。不存在可以自然地推广到无模型设置的方法。我们展示了\texttt{s} -矩形$L_p$鲁棒MDP和策略正则化MDP之间的清晰和明确的等价性，这些MDP非常类似于在实践中广泛使用的策略熵正则化MDP。进一步，我们深入研究了策略改进步骤，具体推导了\texttt{s} -矩形$L_p$鲁棒MDP的最优鲁棒Bellman算子.我们发现，在\texttt{s} -矩形$L_p$鲁棒MDP中，贪婪/最优策略是阈值策略，其$k$值大于某个阈值，与其优势的$(p-1)$次幂成正比.此外，我们还证明了（\texttt{sa}和\texttt{s} -矩形）$L_p$鲁棒MDP的时间复杂度与非鲁棒MDP的时间复杂度相同。我们的工作极大地扩…
2022-10-05 cs.AI
PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs
针对现有组相对策略优化无法区分成功轨迹效率差异的问题，提出 PlanPO 方法，引入由粗到细的优势信号，在三类多轮基准上较 GRPO 平均提升 27.2%，且训练成本可忽略。
2026-08-19 cs.AI
Robo-ValueRL: Reliable Value Estimation for Offline-to-Online Reinforcement Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）；Beijing Forestry University（北京林业大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
研究离线到在线强化学习中价值函数可靠性对策略优化的影响，提出Robo-ValueRL框架，通过特定指标评估价值估计可靠性并用于策略预训练和在线改进，实验显示其能有效提升下游策略性能，突出价值引导数据利用对策略改进的重要性。
2026-07-14 cs.AI cs.RO
GLEAM: Learning Generalizable Exploration Policy for Active Mapping in Complex 3D Indoor Scenes
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对未知复杂室内场景主动建图的泛化难题，本文构建含1,152个场景的GLEAM-Bench，并提出融合语义表示、长期目标与随机策略的GLEAM探索策略，显著提升未见场景覆盖率与建图精度。
2025-09-29 cs.AI cs.CV cs.RO
ScissorBot: Learning Generalizable Scissor Skill for Paper Cutting via Simulation, Imitation, and Sim2Real
Peking University（北京大学）；Tsinghua University（清华大学）
针对可泛化机器人剪纸任务建模难的问题，提出ScissorBot方法，通过定制动作基元序列的模仿学习结合Sim2Real技术，在仿真与真实场景中性能均优于基线，达到人类单手操作水平。
2024-10-09 cs.RO
interwhen: A Generalizable Framework for Steering Reasoning Models with Test-time Verification
Microsoft Research（微软研究院）；IIT Bombay（印度理工学院班加罗尔分校）；Carnegie Mellon University（卡内基梅隆大学）；Arizona State University（亚利桑那州立大学）
interwhen提出一种单轨迹验证框架，通过反馈中间推理轨迹引导模型行为，解决验证状态获取和 verifier 缺乏的问题，提升推理代理的任务完成和政策合规性。
2026-05-13 cs.AI cs.LO
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University（北京大学）
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展，但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中，我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题，其中我们假设没有手工制作的密集奖励，而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题，我们确定了几个关键问题，可以失败的以前的模仿学习算法，并阻碍了推广到看不见的实例。然后，我们提出了几个一般的，但关键的技术，包括生成对抗性自我模仿学习从示范，渐进增长的学习，和实例平衡专家缓冲区，准确地指出和解决这些问题，可以受益于类别级操作策略学习，无论任务。我们在ManiSkill基准上的实验表明，所有任务都有显着的改进，我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
GALOIS: Boosting Deep Reinforcement Learning via Generalizable Logic Synthesis
Nanyang Technological University（南洋理工大学）；Tianjin University（天津大学）；University of Alberta（阿尔伯塔大学）
尽管在人类级别的控制问题中实现了卓越的性能，但与人类不同，深度强化学习（DRL）缺乏高阶智能（例如，逻辑推理和重用），因此在复杂问题的学习和概括方面，它的表现不如人类有效。以往的工作试图直接合成一个白盒逻辑程序作为DRL策略，体现逻辑驱动的行为。然而，大多数合成方法都是建立在命令式或声明式编程的基础上的，每种方法都有各自的局限性。前者忽略了综合过程中的因果逻辑，导致任务间的可概括性低。后者是严格的证明为基础的，因此无法合成程序与复杂的层次逻辑。在本文中，我们结合上述两种范式一起，提出了一种新的广义逻辑综合（GALOIS）框架综合层次和严格因果逻辑程序。GALOIS利用程序草图并定义了一种新的基于草图的混合程序语言来指导合成。在此基础上，GALOIS提出了一种基于草图的程序合成方法，用于自动生成具有可泛化和可解释因果逻辑的白盒程序。对具有复杂逻辑的各种决策任务的广泛评估表明，GALOIS在渐进性能、泛化能力和跨不同环境的知识重用性方面优于主流基线。
2022-05-27 cs.AI
GAPLE: Generalizable Approaching Policy LEarning for Robotic Object Searching in Indoor Environment
Arizona State University（亚利桑那州立大学）；Adobe Systems, Inc.（Adobe系统公司）
我们研究的问题，学习一个可推广的行动政策的智能代理，积极接近感兴趣的对象在室内环境中，仅仅从其视觉输入。虽然场景驱动或示意图驱动的视觉导航已被广泛研究，但先前的努力严重受限于泛化能力。本文首先论证了目标搜索任务是环境依赖的，而接近能力是一般的。为了学习一个可推广的接近策略，我们提出了一种新的解决方案，称为GAPLE，采用两个通道的视觉特征：深度和语义分割，作为输入的策略学习模块。对House3D数据集以及真实世界场景中的物理平台进行的实证研究验证了我们的假设，我们进一步提供了深入的定性分析。
2019-03-07 cs.CV cs.RO
The Synergy of LLMs & RL Unlocks Offline Learning of Generalizable Language-Conditioned Policies with Low-fidelity Data
University of Cambridge（剑桥大学）
本文提出TEDUO训练流程，利用LLM双重能力增强无标注离线数据并作为可泛化指令遵循智能体，在符号环境中实现超越传统RL和单独LLM的数据高效语言条件策略离线学习。
2025-06-06 cs.AI cs.CL
Learning Generalizable Agents via Saliency-Guided Features Decorrelation
Jilin University（吉林大学）；University of Maryland, College Park（马里兰大学帕克分校）；Lehigh University（理海大学）
针对视觉强化学习中状态变化导致的泛化难题，提出基于显著性图引导的样本重加权去相关方法SGFD，消除特征与决策间的虚假关联，显著提升对任务无关和任务相关变化的泛化性能。
2023-12-22 cs.AI
PAC-Bayesian Reinforcement Learning Trains Generalizable Policies
Université Claude Bernard Lyon 1, LIRIS, UMR CNRS 5205, France（里尔一大学，LIRIS，法国CNRS 5205）
提出一种新的 PAC-Bayesian 泛化界，通过链的混合时间显式考虑数据中的马尔可夫依赖性，并基于此设计 PB-SAC 算法以优化该界指导探索，在连续控制任务中提供有意义的置信度证书且保持竞争性能。
2026-05-28 cs.AI cs.LG stat.ML
Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种基于神经网络的机器人世界模型，通过双自回归机制和自监督训练实现鲁棒的长周期预测，从而提升机器人策略优化的效率和适应性。
2025-12-14 cs.AI cs.LG cs.RO
DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects
UC San Diego（加州大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
DexArt是一个物理模拟器中的灵巧操作基准，通过强化学习与3D表示学习，评估多指手对未见铰接物体的泛化操作能力。
2023-05-09 cs.CV cs.LG cs.RO
GraspLDP: Towards Generalizable Grasping Policy via Latent Diffusion
State Key Laboratory of Complex and Critical Software Environment（复杂与关键软件环境国家重点实验室）；School of Computer Science and Engineering（计算机科学与工程学院）
GraspLDP通过引入潜在扩散框架和抓取先验知识，提升了抓取策略的精度和泛化能力，实验表明其在动态抓取任务中表现优异。
2026-02-26 cs.CV cs.RO
Learning to Synthesize Programs as Interpretable and Generalizable Policies
University of Southern California（南加利福尼亚大学）；NAVER AI Lab（NAVER人工智能实验室）
最近，深度强化学习（DRL）方法在各种领域的任务上取得了令人印象深刻的性能。然而，使用DRL方法产生的神经网络策略不是人类可解释的，并且通常难以推广到新的场景。为了解决这些问题，以前的作品探索学习方案的政策，更可解释和结构化的泛化。然而，这些工作要么采用有限的策略表示（例如，决策树，状态机，或预定义的程序模板）或需要更强的监督（例如，输入/输出状态对或专家演示）。我们提出了一个框架，而不是学习合成一个程序，它详细说明了程序，以灵活和富有表现力的方式解决一个任务，完全从奖励信号。为了减轻学习组合程序从头开始诱导所需的代理行为的困难，我们建议首先学习一个程序嵌入空间，以无监督的方式不断参数化不同的行为，然后搜索学习的程序嵌入空间，以产生一个程序，最大化给定任务的回报。实验结果表明，所提出的框架不仅学习可靠地合成任务解决方案，但也优于DRL和程序合成基线，同时产生可解释的和更普遍的政策。我们还证明了所提出的两阶段学习方案的必要性，以及分析各种方法学习的程序嵌入。
2022-01-31 cs.AI cs.LG cs.PL
BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning
CMU（卡内基梅隆大学）；Caltech（加州理工学院）；MIT（麻省理工学院）；UChicago（芝加哥大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文针对离线MBRL中由潜在混杂因素导致的模型与策略目标不匹配问题，提出BECAUSE算法，通过为状态和动作捕获双线性因果表示以减少分布偏移影响，在18项任务中展现出更优的泛化性、鲁棒性及理论误差界限。
2025-03-03 cs.AI cs.LG
MoralReason: Generalizable Moral Decision Alignment For LLM Agents Using Reasoning-Level Reinforcement Learning
针对大语言模型智能体的分布外道德对齐难题，本文提出基于推理级强化学习的MoralReason方法，构建Moral-Reason-QA数据集并采用复合奖励的GRPO训练，实现了未见过场景下的道德决策对齐能力提升。
2025-11-15 cs.AI
Scenario-Agnostic Zero-Trust Defense with Explainable Threshold Policy: A Meta-Learning Approach
New York University（纽约大学）
日益增长的连接性和复杂的远程访问环境使传统的基于边界的网络防御变得脆弱。零信任成为一种很有前途的方法，提供防御策略的基础上以代理为中心的信任评估。然而，对代理人轨迹的有限观测带来了决策中的信息不对称。为了促进人类对策略和技术采用的理解，需要创建一个零信任防御，该防御可以向人类解释并适应不同的攻击场景。为此，我们提出了一种基于部分可观察马尔可夫决策过程（POMDP）和一阶元学习的不可知的零信任防御方法，只使用少数几个示例场景。该框架导致一个可解释的和可推广的信任阈值防御策略。为了解决经验安全数据集和现实之间的分布偏移，我们将模型扩展到一个鲁棒的零信任防御，最大限度地减少最坏情况下的损失。我们使用案例研究和现实世界的攻击来证实结果。
2023-03-06 cs.AI cs.CR
Deep Object-Centric Representations for Generalizable Robot Learning
UC Berkeley（加州大学伯克利分校）；OpenAI
复杂开放世界场景中的机器人操作需要可靠的物理操作技能和有效且可推广的感知。在本文中，我们提出了一种方法，其中通用预训练的视觉模型作为学习策略的感知系统的以对象为中心的先验。我们设计了一个对象级的注意力机制，可以用来确定相关的对象从一些轨迹或演示，然后立即将这些对象纳入一个学习的政策。任务无关的元注意力定位场景中可能的对象，任务特定的注意力识别哪些对象是预测的轨迹。任务特定的注意力的范围很容易调整，通过显示演示与干扰对象或不同的相关对象。我们的研究结果表明，这种方法表现出良好的泛化在对象实例使用很少的样本，并可用于学习各种操作任务，使用强化学习。
2017-09-26 cs.AI cs.CV cs.RO
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Causal Policy Learning in Reinforcement Learning: Backdoor-Adjusted Soft Actor-Critic
National University of Singapore（新加坡国立大学）；Trinity College Dublin, The University of Dublin（都柏林大学三一学院）
针对强化学习中隐藏混淆变量导致策略偏差的问题，本文提出DoSAC算法，通过可学习后门重构器从观测数据估计干预策略，在连续控制任务中提升了鲁棒性与泛化能力。
2025-06-05 cs.AI cs.LG
VIN-NBV: A View Introspection Network for Next-Best-View Selection
The University of North Carolina（北卡罗来纳大学）
针对现有NBV方法依赖覆盖最大化导致复杂场景重建质量差的问题，提出视角内省网络VIN预测潜在视角的相对重建改进，构建贪心策略直接优化重建质量，较覆盖准则提升30%重建质量，优于Scan-RL等方法40%。
2025-08-25 cs.CV cs.RO
Adaptive Vision-Language Grasping via Composable Foundation Priors and Generalizable Grasp Synthesis
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；KEENON Robotics Co., Ltd.（科语机器人有限公司）；Suzhou Silicon Era Intelligent Technology Co., Ltd.（苏州硅时代智能科技有限公司）；College of Materials, Xiamen University（厦门大学材料学院）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；ByteDance（字节跳动）；State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院通用人工智能国家重点实验室）；Hubei Automation Institute（湖北省自动化研究所）
本文提出AdaRoboVLG框架，通过解耦物理抓取合成与任务依赖理解，结合可组合基础先验实现自适应通用抓取，在仿真与真实实验中展现出高效学习、跨机械臂泛化及应对复杂环境的能力。
2026-10-01 cs.AI cs.CV cs.RO
NVSPolicy: Adaptive Novel-View Synthesis for Generalizable Language-Conditioned Policy Learning
College of Intelligence Science and Technology, National University of Defense Technology（智能科学与技术学院，国防科技大学）
本文提出 NVSPolicy，通过自适应新视角合成与循环一致 VAE 特征解耦增强语言条件层级策略，在 CALVIN 上达到 90.4% 平均成功率并验证真实机器人适用性。
2025-05-15 cs.CV cs.RO
FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis
CFCS, School of Computer Science, Peking University（计算机学院，北京大学）
本文提出一种合成服装数据集，通过关键点驱动的资产和演示合成，学习通用的服装折叠闭环策略，提升现实世界成功率25%。
2026-03-19 cs.CV cs.RO
Towards a Generalizable Bimanual Foundation Policy via Flow-based Video Prediction
Institute of Artificial intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）；Northwestern Polytechnical University（西北工业大学）；Hong Kong University of Science and Technology（香港科技大学）
针对双臂操作数据稀缺与泛化难的问题，提出基于光流的两阶段视频预测范式微调文本到视频模型，结合轻量级扩散策略生成动作，有效降低数据需求并提升双臂操作泛化能力。
2025-05-30 cs.CV cs.RO
Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation
Boston Dynamics AI Institute（波士顿动力人工智能研究所）；UC San Diego（加州大学圣迭戈分校）；Cornell University（康奈尔大学）
提出 GLIDE 框架，利用基于模型的运动规划在高保真仿真中生成大规模双臂接触操作演示，并训练任务条件化扩散策略，结合关键设计缩小仿真到现实差距，实现对多样未见物体的鲁棒泛化操作。
2025-02-14 cs.CV cs.LG cs.RO
GenDP: 3D Semantic Fields for Category-Level Generalizable Diffusion Policy
Columbia University（哥伦比亚大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Boston Dynamics AI Institute（波士顿动力人工智能研究所）
GenDP通过3D语义场为扩散策略引入显式几何与语义信息，利用基础视觉模型从多视角RGBD生成描述子场并与参考比较得到语义场，在八项类别级操作任务上将未见实例平均成功率从20%提升至93%。
2024-10-23 cs.CV cs.LG cs.RO
Learning Generalizable Dexterous Manipulation from Human Grasp Affordance
UC San Diego（加州大学圣地亚哥分校）
多指灵巧手操作是机器人领域最具挑战性的问题之一。虽然与强化学习相比，模仿学习的最新进展大大提高了样本效率，但由于专家演示有限，学习的策略很难推广到操纵新对象。在本文中，我们建议学习灵巧的操作，使用大规模的示范与不同的3D对象的类别，这是从人类掌握的启示模型。这将策略推广到同一类别内的新对象实例。为了训练的政策，我们提出了一个新的模仿学习目标与几何表示学习目标，使用我们的演示。通过在模拟中重新定位不同对象的实验，我们表明，我们的方法在操纵新对象时优于基线，具有很大的优势。我们还消融了3D对象表示学习的重要性，为操作。我们在项目网站https://kristery.github.io/ILAD/上提供了视频、代码和其他信息。
2022-06-29 cs.CV cs.LG cs.RO
Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation
Carnegie Mellon University（卡内基梅隆大学）；FAIR at Meta（Meta FAIR实验室）
本文提出 Track2Act，利用互联网视频学习目标条件点轨迹预测，并结合少量机器人演示训练的残差闭环策略，实现跨未见任务、物体和场景的零样本泛化操作。
2024-08-08 cs.CV cs.RO
Towards Generalizable Vision-Language Robotic Manipulation: A Benchmark and LLM-guided 3D Policy
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
本文提出GemBench基准评估视觉-语言机器人操作泛化能力，并引入利用3D信息的3D-LOTUS方法及结合LLM与VLM的3D-LOTUS++框架，在新颖任务上取得SOTA性能。
2025-03-01 cs.CV cs.RO
EgoBridge: Domain Adaptation for Generalizable Imitation from Egocentric Human Data
Georgia Institute of Technology（佐治亚理工学院）
EgoBridge通过基于最优传输的领域自适应联合训练框架，对齐人类与机器人策略潜在空间，在真实操作任务中实现44%的成功率提升，并泛化到新场景。
2025-09-23 cs.CV cs.LG cs.RO
Policy-as-Data: Learning Generalizable HOI Diffusion Models from Simulated Physics
Global College, Shanghai Jiao Tong University（上海交通大学致远学院）；Shanghai AI Laboratory（上海人工智能实验室）；Beihang University（北京航空航天大学）
提出利用物理模拟器中的强化学习策略生成任务导向数据，结合粗到细重定向流程弥合表示差距，训练扩散模型实现可泛化的人-物交互生成，在未见物体和长时域生成上表现优异。
2026-06-23 cs.CV
Generalizable Humanoid Manipulation with 3D Diffusion Policies
Stanford University（斯坦福大学）；Simon Fraser University（西蒙 Fraser大学）；UPenn（宾夕法尼亚大学）；UIUC（伊利诺伊大学香槟分校）；CMU（卡内基梅隆大学）
本研究构建了集成遥操作、25自由度人形平台与改进3D扩散策略的系统，仅用单场景数据即可实现多样环境下的自主操作。
2025-09-09 cs.CV cs.LG cs.RO
Adversarial Feature Training for Generalizable Robotic Visuomotor Control
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
深度强化学习（RL）通过学习将图像像素映射到动作输出的函数，实现了端到端的训练动作选择策略。然而，它的应用程序可视化机器人的政策培训受到限制，因为大规模的数据汇集的挑战时，与物理硬件。一个合适的视觉策略不仅应该在训练的任务设置中表现良好，而且还应该在各种任务中表现良好，包括被任务无关对象包围的不同视角的新对象。然而，对于机器人设置来说，在RL框架中充分收集交互式样本以很好地概括任务的新方面是不切实际的。在这项工作中，我们证明，通过使用对抗训练域转移，有可能训练基于RL框架的可视化策略，然后将获得的政策转移到其他新的任务域。我们建议利用深度RL功能来学习复杂的视觉技能，以实现简单的任务设置，然后利用迁移学习来推广到新的任务域，只提供目标域中任务的静态图像。我们评估我们的方法在两个真正的机器人任务，采摘和倾倒，并将其与一些先前的作品进行比较，证明其优越性。
2019-09-17 cs.CV cs.LG cs.RO
See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection
University of Haifa（海法大学）；CSAIL, MIT（MIT计算机科学与人工智能实验室）
通过随机补丁选择提升自动驾驶策略的鲁棒性和泛化能力，实现更高效且更稳健的端到端自动驾驶
2026-01-15 cs.CV cs.LG cs.RO
Generalizable Mixed-Precision Quantization via Attribution Rank Preservation
Tsinghua University（清华大学）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
在本文中，我们提出了一个可推广的混合精度量化（GMPQ）的有效推理方法。传统的方法需要数据集的一致性来进行位宽搜索和模型部署以保证策略的最优性，这导致在现实应用中具有挑战性的大规模数据集上的搜索成本很高。相反，我们的GMPQ搜索的混合量化政策，可以推广到大规模的数据集，只有少量的数据，使搜索成本显着降低，而性能下降。具体来说，我们观察到，正确定位网络属性是跨不同数据分布进行准确可视化分析的一般能力。因此，尽管追求更高的模型精度和复杂性，我们保持属性之间的排名一致性的量化模型和他们的全精度同行通过有效的容量感知属性模仿可推广的混合精度量化策略搜索。大量的实验表明，我们的方法获得了竞争力的准确性和复杂性的权衡相比，最先进的混合精度网络，显着降低搜索成本。该代码可在https://github.com/ZiweiWangTHU/GMPQ.git上获得。
2021-08-05 cs.CV
FUNCanon: Learning Pose-Aware Action Primitives via Functional Object Canonicalization for Generalizable Robotic Manipulation
TAMS (Technical Aspects of Multimodal Systems), Department of Informatics, University of Hamburg（汉堡大学信息学院TAMS（多模态系统技术））；Technical University of Munich（慕尼黑技术大学）；Agile Robots SE（敏捷机器人有限公司）
本文提出FUNCanon框架，通过功能对象规范化学习姿态感知的动作原语，以实现通用的机器人操作，该方法将长周期操作任务分解为由主体、动词和对象定义的动作片段，从而提升策略的可组合性和可重用性。
2026-05-17 cs.AI cs.CV cs.RO
