Effective Tuning Strategies for Generalist Robot Manipulation Policies
University of Adelaide(阿德莱德大学);Commonwealth Scientific and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织(CSIRO));Shanghai Jiao Tong University(上海交通大学);TikTok
本文实证研究 GMPs 在低数据新场景中的微调设计,系统比较动作空间、策略头、监督信号和可训练参数,给出实用指南并建立新基线。
2024-10-02 cs.LG cs.RO
RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots
The University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA Research(英伟达研究院)
本文提出大规模仿真框架RoboCasa,通过丰富厨房场景3D资产与生成式AI工具,结合人类演示与自动化轨迹生成扩充数据集,支持100项任务评估,验证了合成数据在模仿学习中的规模化趋势及向真实世界迁移的潜力。
2024-06-04 cs.AI cs.LG cs.RO
Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
University of Freiburg(弗赖堡大学);Technical University of Munich(慕尼黑工业大学)
该研究提出D2R方法,利用世界模型引导通用机器人策略学习新任务时避免灾难性遗忘,在CALVIN、LIBERO及真实Franka机器人任务中均实现性能提升。
2026-10-12 cs.CV cs.LG cs.RO
SPACE: Enabling Learning from Cross-Robot Data Toward Generalist Policies
KAIST(韩国科学技术院);Config;Yonsei University(延世大学)
提出SPACE框架,通过笛卡尔状态增量作为通用动作表示,结合动作适配器处理机器人动力学差异,实现跨本体和硬件的策略学习,显著优于直接预测控制命令的方法。
2026-06-24 cs.RO
DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos
NVIDIA;HKUST(香港科技大学);UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学);KAIST(韩国科学技术院);UofT(多伦多大学);UCSD(加州大学圣地亚哥分校);UT Austin(德克萨斯大学奥斯汀分校)
DreamDojo通过大规模人类视频学习通用机器人世界模型,解决动作标签稀缺问题,实现高精度物理理解和实时交互。
2026-02-06 cs.AI cs.CV cs.LG
Demonstration-Free Success-Probability Reward Learning for Generalist Robot Policies
Tsinghua University(清华大学);Yuanxing Robotics(元星机器人公司);Pengcheng Laboratory(鹏城实验室)
提出无演示奖励学习范式,通过自举从稀疏任务结果学习成功概率,并引入RLER框架随策略进化调整奖励,显著提升机器人策略性能。
2026-09-29 cs.AI cs.LG cs.RO
AnyCar to Anywhere: Learning Universal Dynamics Model for Agile and Adaptive Mobility
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
提出基于transformer的通用动力学模型AnyCar,通过统一多模拟器数据与真实世界微调,实现多种轮式机器人在复杂环境下的敏捷自适应控制,结合MPC性能比专用模型提升达54%。
2024-09-24 cs.RO
Robot Learning: A Tutorial
本教程综述现代机器人学习,从强化学习与行为克隆基础,到语言条件通才模型,提供lerobot实现示例,旨在赋能研究与实践。
2025-10-14 cs.LG cs.RO
STRAP: Robot Sub-Trajectory Retrieval for Augmented Policy Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington(保罗·G·艾伦计算机科学与工程学院,华盛顿大学);Robot Learning Lab, Bosch Center for Artificial Intelligence(机器人学习实验室,博世人工智能中心);Robotics Institute, Carnegie Mellon University(机器人研究所,卡内基梅隆大学)
本文提出 STRAP 方法,通过预训练视觉基础模型和动态时间规整在子轨迹粒度上检索相关数据,以解决通用策略在单任务上因负迁移而性能不佳的问题,并在仿真和真实实验中验证了其在数据利用、泛化和鲁棒控制策略学习上的优势。
2025-08-18 cs.LG cs.RO cs.SY
Robotic Offline RL from Internet Videos via Value-Function Pre-Training
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
本文提出V-PTR系统,通过时序差分学习在互联网视频上预训练价值函数,再结合机器人离线RL,显著提升真实机器人操作任务的性能与泛化能力。
2023-09-22 cs.CV cs.LG cs.RO
Imitation Learning with Precisely Labeled Human Demonstrations
Yilong Song
针对现有利用人类演示的方法在精确动作推断等方面的挑战,本研究通过为手持夹具分配独特易分割颜色,结合RANSAC和ICP配准方法实现精确末端执行器位姿估计,提升了策略性能。
2025-04-18 cs.AI cs.RO
RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies
RoboArena通过分布式众包评估,实现了对通用机器人策略在现实世界中的可扩展、可靠评估,优于传统集中化方法。
2025-11-29 cs.LG cs.RO
IGen: Scalable Data Generation for Robot Learning from Open-World Images
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The University of Hong Kong(香港大学);Beijing University of Chemical Technology(北京化工大学);Shanghai Jiao Tong University(上海交通大学);Shenzhen University of Infomation Technology(深圳信息大学)
本文提出IGen框架,通过开放世界图像生成高质量的视觉-运动数据,验证了其在机器人学习中的有效性。
2026-04-15 cs.RO
Embodiment-conditioned Generalist Control for Multirotor Aerial Robots
Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU), Trondheim, Norway(挪威科技大学工程控制论系)
提出一种通用位置控制策略,通过物理具身描述符(质量与惯性归一化控制分配矩阵)实现单一网络权重控制任意多旋翼构型,采用PPO训练,五分钟后零样本迁移至真实世界。
2026-06-09 cs.LG cs.RO
DexHub and DART: Towards Internet Scale Robot Data Collection
Improbable AI Lab(不可想象人工智能实验室)
本文提出基于云仿真和增强现实的众包遥操作平台 DART,以提升数据采集效率并降低疲劳,其采集数据存入 DexHub 数据库,训练策略可迁移至现实且鲁棒。
2024-11-04 cs.RO
RLDG: Robotic Generalist Policy Distillation via Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
针对机器人通用策略训练数据质量限制性能的问题,提出RLDG方法,用强化学习生成高质量数据微调通用策略,在真实精密操作任务中成功率最高提升40%且泛化性更好,为开发兼具灵活性与高性能的机器人系统提供新路径。
2024-12-13 cs.AI cs.LG cs.RO
From Experts to a Generalist: Toward General Whole-Body Control for Humanoid Robots
Peking University(北京大学);BeingBeyond
针对人形机器人全身控制泛化难的问题,提出结合运动聚类与仿真到现实迁移的BumbleBee框架,经多组专家策略训练蒸馏为通用控制器,实现了当前最优的通用全身控制效果。
2025-09-02 cs.LG cs.RO
Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出价值引导策略转向(V-GPS),通过离线强化学习学到的价值函数对通才机器人策略的动作重新排序,无需微调即可提升多种策略在12个任务上的性能。
2025-02-24 cs.LG cs.RO
VioLA: Learning Generalist Humanoid Control Policies from Human Data
ETH Zürich(苏黎世联邦理工学院);MPI-IS(马克斯·普朗克智能系统研究所);University of Tuebingen(蒂宾根大学);ELLIS Institute(欧洲学习与智能系统研究所);Vesoma(维索马公司)
VioLA是一种从人类数据学习的通用人形机器人控制策略,通过预测运动潜变量解决动作空间耦合与演示稀缺问题,零样本实现高成功率的运动与操作任务,且方法可适配多种模型主干。
2026-10-09 cs.LG cs.RO
RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots
The University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA Research(NVIDIA研究)
RoboCasa365通过大规模仿真框架提供多样化任务和环境,用于训练和评估通用机器人,分析任务多样性、数据集规模和环境变化对泛化的影响。
2026-03-04 cs.AI cs.LG cs.RO
PianoMime: Learning a Generalist, Dexterous Piano Player from Internet Demonstrations
TU Munich(慕尼黑工业大学);TU Darmstadt(达姆施塔特工业大学);UC Berkeley(加州大学伯克利分校)
PianoMime是一个利用互联网视频演示训练通用型钢琴演奏智能体的框架,通过数据准备、策略学习和策略蒸馏三个阶段,使智能体能够演奏任意歌曲,并在未见歌曲上达到56%的F1分数。
2024-07-25 cs.AI cs.CV cs.RO
GRoQ-LoCO: Generalist and Robot-agnostic Quadruped Locomotion Control using Offline Datasets
Indian Institute of Science(印度科学研究院)
提出GRoQ-LoCO,一个基于注意力且与机器人无关的框架,利用离线数据集在多个四足机器人上训练通用运动策略,实现零样本跨机器人迁移,并已在Unitree Go1和Stoch 5上验证。
2025-05-24 cs.AI cs.LG cs.RO
Active Real-World Factor-Based Evaluation for Generalist Robot Policies
University of Minnesota Twin Cities(明尼苏达大学双城分校)
研究通用机器人策略评估难题,提出主动评估框架,将策略评估当作顺序实验设计问题,通过拟合概率替代模型、自适应选评估配置,高效表征策略行为并识别易失败区域,相比随机测试节省大量试验次数。
2026-07-17 cs.LG cs.RO
CoMo: Learning Continuous Latent Motion from Internet Videos for Scalable Robot Learning
Nanjing University(南京大学);Shanghai AI Lab(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);Fudan University(复旦大学);Tongji University(同济大学)
提出CoMo方法,通过早期时间差分和时序对比学习从互联网视频中学习连续潜在运动,避免离散化信息损失,实现零样本泛化生成伪动作标签,联合训练策略在仿真和真实实验中表现优异。
2026-06-19 cs.CV cs.RO
Learning to Act While Waiting: RL Finetuning of Generalist Robot Policies Under Inference Latency
Siemens(西门子);UC Berkeley(加州大学伯克利分校);Microsoft(微软);ETH Zurich(苏黎世联邦理工学院)
本研究针对通用机器人策略因推理延迟破坏马尔可夫假设导致标准RL失效的问题,提出ARLI框架,通过状态增强等设计实现延迟下的RL微调,在模拟及真实任务中表现优异。
2026-08-27 cs.LG cs.RO
InterMimicGen: Scaling Humanoid Loco-Manipulation through Self-Evolving Motion Imitation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-尚佩恩分校);NVIDIA(英伟达)
InterMimicGen提出自进化运动模仿框架,通过数据飞轮将稀疏人-物交互演示扩展为多样化机器人参考,训练通用跟踪器并提升移动操作能力,实现向真实机器人的迁移。
2026-10-06 cs.CV cs.GR cs.RO
Towards Generalist Robots: A Promising Paradigm via Generative Simulation
CMU(卡内基梅隆大学);Columbia University(哥伦比亚大学);University of Maryland(马里兰大学);MIT(麻省理工学院);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文提出通过生成式模拟范式,利用大规模基础模型自动生成多样化任务、场景和训练数据,以扩展低级技能学习,最终构建赋能通用机器人的基础模型。
2023-08-30 cs.AI cs.LG cs.RO
Generalist Robot Manipulation beyond Action Labeled Data
ETH Zurich, Switzerland(苏黎世联邦理工学院,瑞士)
提出利用无动作标签视频(含人类和机器人)提取3D点云,经自监督动力学预测器对齐动作,提升通用机器人策略的开放词汇性能并实现无需动作标签的新任务学习。
2025-09-24 cs.RO
RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation
Google DeepMind(谷歌DeepMind)
RoboCat是一种多本体、多任务的视觉目标条件化决策变换器,利用异构机器人经验实现零样本及少量示例适应新任务,并通过自生成数据支持自主改进循环,在模拟和真实机器人上验证了跨任务迁移与高效适应能力。
2023-12-22 cs.LG cs.RO
Improving Robotic Generalist Policies via Flow Reversal Steering
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
提出流反转引导(FRS)方法,通过逆向流策略找到次优动作的潜在噪声并映射到通用策略的动作模式,提升零样本控制、行为克隆和强化学习效果。
2026-06-15 cs.RO
Embodiment-Aware Generalist Specialist Distillation for Unified Humanoid Whole-Body Control
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室)
EAGLE通过通用-专家蒸馏框架实现多形态人形机器人统一控制,提升跨形态迁移能力和复杂行为执行。
2026-02-27 cs.AI cs.LG cs.RO
OmniGuide: Universal Spatial Guidance Fields for Enhancing Generalist Robot Policies
University of Pennsylvania(宾夕法尼亚大学)
OMNIGUIDE通过整合多种引导源提升通用机器人策略在复杂任务中的性能
2026-11-03 cs.LG cs.RO
Acrobotics: A Generalist Approach to Quadrupedal Robots' Parkour
Dynamic Robot Systems Group (DRS), University of Oxford(动态机器人系统组(DRS),牛津大学)
提出一种用于四足机器人的通用强化学习算法,在动态运动场景下,其策略性能媲美混合专家方法训练的最先进专家策略,且训练智能体数量仅需25%。
2025-09-14 cs.RO
GR00T N1: An Open Foundation Model for Generalist Humanoid Robots
NVIDIA(英伟达)
GR00T N1是面向人形机器人的开放基础模型,采用双系统VLA架构,通过异构数据训练,在仿真基准上超越最先进基线,并在真实机器人上实现高效双臂操作。
2025-03-27 cs.AI cs.LG cs.RO
Learning While Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies
Shanghai Innovation Institute(上海创新研究院);AGIBOT Finch;Columbia University(哥伦比亚大学)
提出LWD框架,通过机群规模的离线到在线强化学习,结合分布式隐式价值学习与伴随匹配Q学习,持续后训练通用视觉-语言-动作策略,在16台双臂机器人上实现95%平均成功率。
2026-09-17 cs.RO
Initiation Safety: A Missing Dimension in Generalist-Robot Safety
探讨通用机器人安全中缺失的启动授权维度,通过在人形机器人上实施PAS等方法进行研究,并提出包含三个条件的用户研究,涉及多方面开放性问题。
2026-07-16 cs.HC cs.RO
Adapting Generalist Robot Policies with Semantic Reinforcement Learning
U.C. Berkeley(加州大学伯克利分校)
提出语义动作强化学习(SARL),通过在线交互优化语言提示空间,利用通用策略的预训练技能解决复杂长时任务,显著优于现有方法。
2026-07-01 cs.RO
MAESTRO: Orchestrating Robotics Modules with Coding Agents for Zero-Shot Generalist Robots
本研究提出Maestro系统,以VLM编码智能体动态组合感知、规划、控制模块生成可编程策略,在零样本操作任务上超越现有VLA模型,且具备高扩展性与适配性。
2026-11-03 cs.AI cs.RO
FIERCE: From Generalist Robot Policies to Fast Specialists via Progress-Failure Feedback
Nanyang Technological University(南洋理工大学);Guangzhou Cloudbutterfly Technology Co., Ltd.(广州云蝶科技有限公司)
FIERCE框架利用通用策略初始化,通过统一的进展-失败评估器提供反馈,在有限交互下精炼紧凑专家策略,无需模拟器或密集奖励,在模拟和真实接触任务中验证了高效性与部署成本。
2026-09-17 cs.RO
RoboWorld: Fast and Reliable Neural Simulators for Generalist Robot Policy Evaluation
KAIST(韩国科学技术院);Config
提出RoboWorld自动化评估流程,结合快速自回归视频世界模型和任务进度感知视觉语言模型评分,通过Step Forcing减少训练-测试不匹配,实现与真实世界评估高度一致。
2026-07-16 cs.RO
AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Real World
UC Berkeley(加州大学伯克利分校);NVIDIA(英伟达公司)
针对真实世界机器人策略评估成本高、难以规模化的问题,提出 AutoEval 系统,通过自动成功检测与场景重置实现全天候自主评估,结果与人工评估高度一致,并公开了多个测试场景。
2025-04-02 cs.AI cs.RO
Rethinking Safety for Generalist Robots
Stanford University(斯坦福大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);NVIDIA Research(英伟达研究院);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出通用机器人需从传统物理安全转向具身AI安全,涵盖情境、意图等风险,并给出分类学与全栈研究议程以指导安全部署。
2026-09-09 cs.RO cs.SY eess.SY
Beyond Sight: Finetuning Generalist Robot Policies with Heterogeneous Sensors via Language Grounding
Berkeley AI Research (BAIR)(伯克利人工智能研究院(BAIR));UC Berkeley(加州大学伯克利分校)
针对通用机器人策略仅依赖视觉和本体感觉的局限,提出FuSe方法,以自然语言为跨模态接地,结合多模态对比损失与语言生成损失,微调异构传感器下的策略,零样本完成多模态推理任务,真实实验成功率较基线提升超20%。
2025-01-14 cs.AI cs.RO
SeeQ: Training Generalist Value Functions for Long-Horizon Robotic Manipulation
Carnegie Mellon University(卡内基梅隆大学)
SeeQ通过预测当前子任务的Q值来缩短信用分配跨度,利用离线数据中的子任务标注训练,并在测试时自回归预测子任务,从而提升长时程机器人操作策略的性能。
2026-09-29 cs.RO
Validating Generalist Robots with Situation Calculus and STL Falsification
Key Laboratory of Software System, ISCAS, China(软件系统重点实验室,中国);Carl von Ossietzky Universität Oldenburg, Germany(奥尔登堡卡尔·冯·奥西特齐大学,德国)
本文提出结合情况演算和STL反例检验的两层框架,用于验证通用机器人,通过抽象推理和具体模拟揭示失败案例,提升机器人自主性验证效果。
2026-01-06 cs.AI cs.RO
Towards Massive Interaction with Generalist Robotics: A Systematic Review of XR-enabled Remote Human-Robot Interaction Systems
The Hong Kong Polytechnic University(香港理工大学);The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州))
该综述基于PRISMA方法系统回顾了100篇论文,总结了AR、VR、MR等扩展现实技术在远程人机交互中的应用、用户体验增强及交互设计,并指出了未来研究方向。
2024-03-26 cs.HC cs.RO
Hydra-0: Action Flow for Generalist World Modeling and Control
NVIDIA(英伟达);Brown University(布朗大学);Columbia University(哥伦比亚大学);Harvard University(哈佛大学)
本研究提出Hydra-0通用世界模型,以动作流为条件实现跨实体、任务等的通用建模控制,在RoboLab基准获高相关性,还涌现出逆模式,可助力机器人控制。
2026-08-19 cs.RO
An Augmented Reality Brain-Robot Interface for Generalist Robot Arm Manipulation
Araya Inc.(Araya公司)
提出结合眼动追踪与运动想象脑电的增强现实脑机接口,实现通用机器人臂的直观操控,通过18人实验验证了多步骤日常任务的有效性和良好可用性。
2026-06-16 cs.HC cs.RO
Shortcut Learning in Generalist Robot Policies: The Role of Dataset Diversity and Fragmentation
UESTC
本文揭示了通用机器人策略泛化能力受限的根源是捷径学习,指出数据集多样性不足与碎片化是主因,并证明数据增强策略能有效缓解该问题并提升策略泛化能力。
2025-08-08 cs.AI cs.CV cs.RO
TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies
University of Maryland, College Park(马里兰大学 College Park 分校);Microsoft Research(微软研究院);Capital One
本文提出视觉轨迹提示方法,通过在15万条操作轨迹数据集上微调OpenVLA得到TraceVLA模型,显著提升机器人策略的时空感知能力,在仿真和真实机器人任务中均优于基线并具备良好泛化性。
2025-06-05 cs.AI cs.RO
A Taxonomy for Evaluating Generalist Robot Manipulation Policies
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
本文提出STAR-Gen分类,旨在系统化评估机器人操作策略的泛化能力,通过视觉、语义和行为三个维度,结合现实案例研究揭示泛化评估的挑战与改进方向。
2026-02-05 cs.AI cs.LG cs.RO
HaWMPO: Hallucination-Aware World Model-based Policy Optimization for Generalist Robot Policy
Joy Future Academy, JD(京东探索研究院);School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
HaWMPO提出幻觉感知世界模型策略优化方法,通过估计生成图像可靠性并抑制不可靠动作,提升VLA策略在长期任务中的成功率,在LIBERO和真实机器人上取得显著提升。
2026-09-10 cs.RO
The Evaluation Cost of Task Specialization in Evolutionary Multi-Robot Systems
University of Konstanz(康斯坦茨大学);Centre for the Advanced Study of Collective Behaviour(集体行为高级研究中心);Department of Computer and Information Science(计算机与信息科学系);University of Technology Nuremberg(纽伦堡工业大学);Department of Computer Science and Artificial Intelligence(计算机科学与人工智能系)
研究在进化多机器人系统中,任务专业化与通用行为相比所需的评估预算成本,发现随着系统规模增大,更少的预算即可使专业化表现优于通用化。
2026-06-24 cs.RO
Addressing the Orchestration Gap in Generalist Robots via Physical Agency
Princeton University(普林斯顿大学);Together AI(联合人工智能)
研究通用机器人行动推理问题,提出将相关能力分解为语言条件策略/控制智能体与高级智能体管理器/编排器,构建物理智能体编排器Pigey,经评估其在模拟和实际任务中性能显著提升,缩小了编排差距。
2026-07-27 cs.RO