Composable Geometric Motion Policies using Multi-Task Pullback Bundle Dynamical Systems
Stanford University(斯坦福大学)
尽管在快速反应规划和控制方面进行了数十年的工作,但在非欧几里德流形上开发反应运动策略和执行约束同时避免不期望的潜在函数局部极小值方面仍然存在挑战。这项工作提出了一个原则性的方法,设计和融合所需的机器人任务行为到一个稳定的机器人运动策略,利用非欧几里德流形,这是普遍存在于机器人配置和任务空间的几何结构。我们的拉回束动力系统(PBDS)框架驱动所需的任务行为,并优先任务使用单独的位置相关和位置/速度相关的黎曼度量,分别,从而简化了单个任务的设计和模块化的任务组成。对于强制约束,我们提供了一类基于度量的任务,通过只对目标区域吸引力施加非冲突的潜在函数来消除局部极小值。我们还提供了一个几何优化问题,结合任务的启发黎曼运动策略(RMP),减少到一个简单的最小二乘问题,我们表明,我们的方法是几何定义良好。我们展示了PBDS框架上的领域$\mathbb S^2$和在300-500赫兹的机械臂,我们提供了任务设计指导和一个开源的Julia库实现。总体而言,这项工作提出了一个快速,易于使用的框架,用于生成运动策略,而不会在一般流形上出现不必要的潜在函数局部极小值。
2021-03-25 cs.RO
Hybrid Diffusion Policies with Projective Geometric Algebra for Efficient Robot Manipulation Learning
Department of Computer Science, Yale University(计算机科学系,耶鲁大学);Department of Computer and Information Science, University of Pennsylvania(计算机与信息科学系,宾夕法尼亚大学);Department of Electrical and Systems Engineering, University of Pennsylvania(电气与系统工程系,宾夕法尼亚大学)
本文提出hPGA-DP混合扩散策略,利用投影几何代数提升机器人操作学习的效率和性能
2026-03-07 cs.RO
Geometric Fabrics: a Safe Guiding Medium for Policy Learning
Nvidia(英伟达);University of Toronto(多伦多大学)
本文提出几何织物框架,通过人工二阶动力学形成行为动力学,为强化学习策略提供安全引导的动作空间,并在高自由度机器人手立方体手中重定向任务中验证其有效性。
2024-05-03 cs.RO
23 DoF Grasping Policies from a Raw Point Cloud
School of Computing and the Robotics Center, University of Utah(犹他大学计算与机器人中心);NVIDIA(英伟达)
本文提出神经几何织物策略,从单相机部分点云直接预测23自由度抓取轨迹,并与几何织物运动规划器结合实现稳定抓取,验证了对新物体的泛化能力。
2024-11-21 cs.RO
Safe and Steerable Geometric Motion Policies for Robotic Dexterous Manipulation
Computer Science Department, Stanford University(斯坦福大学计算机科学系);Laboratory of Signals and Systems, University of Paris-Saclay, CNRS, CentraleSupélec(巴黎-萨克雷大学信号实验室,CNRS,CentraleSupélec);Toyota Research Institute(丰田研究院)
本研究提出SafePBDS框架,通过几何一致的方法计算最优且可证明安全的配置流形加速度,以实现机器人灵巧操作中的目标和约束的持续协调,并在模拟和Franka Panda-Allegro手平台上验证了其在灵巧抓取和手部重定向中的高效规划和安全保障。
2026-05-20 cs.RO
Geometric Fabrics for the Acceleration-based Design of Robotic Motion
NVIDIA(英伟达);Georgia Tech(佐治亚理工学院);University of Washington(华盛顿大学)
本文介绍了务实的设计和构造的几何织物塑造一个机器人的任务无关的名义行为,捕捉行为组件,如避障,联合限制避免,冗余解决方案,全球导航系统,等几何织物构成了最具体的体现一个新的数学公式反应的行为称为优化织物。Fabrics概括了最近关于黎曼运动策略(RMP)的工作;它们增加了可证明的稳定性保证并提高了设计一致性,同时促进了模块化设计的直观的基于加速的原则,使RMP成功。我们描述了一套数学建模工具,从业者可以在实践中使用,并演示了如何通过构建行为层来降低系统复杂性,以及如何使用这些工具来设计强大的,强泛化的,解决实际问题的政策,人们希望在行业应用中找到。我们的系统表现出智能的全局导航行为,完全表示为可证明的稳定结构,零规划或状态机治理。
2021-06-25 cs.RO
DexRepNet++: Learning Dexterous Robotic Manipulation with Geometric and Spatial Hand-Object Representations
IEEE Publication Technology Group(IEEE出版技术组)
DexRepNet++通过几何和空间手-物体表示提升机器人灵巧操作的泛化能力和效率。
2026-02-25 cs.RO
A Reachability-based Safety Certificate for Dynamical System Motion Policies
University of Pennsylvania(宾夕法尼亚大学)
本研究提出一种基于后向可达管的值函数作为安全证书,用于动力系统运动策略,在无控制输入和稳定性条件下简化可达性计算,并在多种DS构造及Franka机械臂上验证其有效性,同时避免CBF方法的鞍点问题。
2026-10-01 cs.RO
PathTime-VLA: Path-Time Decoupling for Factorized Post-Training of Vision-Language-Action Policies
Zhejiang University(浙江大学)
该研究提出PathTime-VLA,通过路径-时间解耦优化VLA策略,经分阶段后训练后,在三项任务中成功率优于基线,且成功试验平均完成时间缩短39%-52%。
2026-10-09 cs.RO
Contextual Reinforcement Learning of Visuo-tactile Multi-fingered Grasping Policies
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);University of Utah(犹他大学)
使用仿真来训练机器人操作策略,可以安全地生成几乎无限数量的训练数据。迄今为止,使用模拟的主要挑战之一是弥合现实差距,以便在模拟中训练的政策可以在现实世界中部署。我们探讨现实的差距,学习的背景下,多指机器人抓取的政策。我们提出了一个抓取物体的触觉(GOAT)机器人手的方法,学习克服现实差距的问题。在我们的方法中,我们使用人手运动演示初始化和减少搜索空间的学习。我们将我们的策略与感兴趣的对象的边界长方体尺寸相结合,这使得该策略能够比直接使用图像或点云更灵活地表示。利用手中的指尖触摸传感器允许该策略克服由粗糙限界框引入的几何信息的减少以及姿态估计不确定性。我们展示了我们的学习策略在没有任何微调的情况下成功地在真实机器人上运行,从而弥合了现实差距。
2019-11-24 cs.RO
Fast Non-Parametric Heteroscedastic Imitation Learning With Geometric Priors
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心);University of Leeds(利兹大学)
本文提出一种利用几何先验的非参数异方差模仿学习方法,在数据稀缺下实现快速适应,支持流形输入输出,更新快于3毫秒,并在真实机器人任务中验证。
2026-11-16 cs.RO
Riemannian Motion Policies
NVIDIA(英伟达);Max Planck for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们介绍了黎曼运动策略(RMP),一个新的数学对象的模块化运动生成。RMP是一个二阶动力系统(加速度场或运动策略),与相应的黎曼度量耦合。运动策略将位置和速度映射到加速度,而度量捕获对策略重要的空间方向。我们表明,RMP提供了一个简单而方便的方法,结合多个运动策略,并将这些政策从一个空间(如任务空间)到另一个(如配置空间)的几何一致的方式。我们推导出的这些组合和变换的算子可证明是最优的,具有线性特性,使其不可知的应用程序的顺序,并强烈类似于机器学习文献中流行的自然梯度的协变变换。RMP框架使得能够融合来自不同运动生成范例的运动策略,诸如动态系统、动态运动基元(DMP)、最优控制、操作空间控制、非线性反应控制器、运动优化和模型预测控制(MPC),从而统一来自文献的这些不同技术。RMP易于实现和操作,便于控制器设计,简化了关节限制的处理,并澄清了一些关于运动生成方法的适当融合(例如将局部反应策略纳入长期优化器)的未决问题。我们证明了模拟和真实机器人上的RMP的有效性,包括它们自然和有效地解决以前由更复杂的规划者处理的复杂碰撞避免问题的能力。
2018-07-25 cs.RO
Automated Creation of Digital Cousins for Robust Policy Learning
Stanford University(斯坦福大学);Institute for Human-Centered AI (HAI), Stanford University(斯坦福大学以人为本人工智能研究院(HAI))
本文提出数字表亲概念及自动创建方法,通过生成保留几何与语义可供性的相似虚拟场景训练机器人策略,实现零样本仿真到真实迁移并显著优于数字孪生训练效果。
2024-10-19 cs.RO
AnyViewDex: View-Invariant Dexterous Manipulation from RGB Observations
Robotics Research Center, IIIT-H(IIIT-H机器人研究中心);Veermata Jijabai Technological Institute Mumbai(孟买维尔马塔·吉贾拜技术学院);Indian Institute of Science Education and Research Bhopal(印度科学教育与研究学院博帕尔分校)
提出AnyViewDex,通过仿真中结合多视角对比对齐与3D几何监督,实现仅用单目RGB零样本的视角不变灵巧操作,硬件实验验证了其有效性。
2026-09-18 cs.RO
EquiContact: A Hierarchical SE(3) Vision-to-Force Equivariant Framework for Spatially Generalizable Contact-rich Tasks
EquiContact通过分层策略和等价性设计,实现空间通用的接触密集任务视觉到力控制。
2026-11-02 cs.RO
ExAug: Robot-Conditioned Navigation Policies via Geometric Experience Augmentation
UC Berkeley(加州大学伯克利分校);Toyota Motor North America(丰田汽车北美公司)
机器学习技术依赖于大型且多样化的数据集进行泛化。计算机视觉、自然语言处理和其他应用程序通常可以重用公共数据集来训练许多不同的模型。然而,由于物理配置的差异,利用公共数据集在新的机器人平台或新的任务上训练机器人控制策略是具有挑战性的。在这项工作中,我们提出了一个新的框架,ExAug,以增强不同环境中多个数据集的不同机器人平台的经验。ExAug利用了一个简单的原则:通过以点云的形式提取3D信息,我们可以创建更复杂和结构化的增强,利用生成合成图像和几何感知惩罚,这将适用于不同机器人的相同情况,具有不同的大小,转弯半径和摄像头放置。在两个新的机器人平台上,三个不同的摄像头在室内和室外环境中的障碍物的训练政策进行评估。
2022-10-14 cs.AI cs.CV cs.LG
Code as Policies: Language Model Programs for Embodied Control
Robotics at Google(谷歌机器人部门)
本文提出“代码即策略”方法,利用大语言模型根据自然语言指令生成机器人策略代码,通过分层代码生成提示实现空间推理、指令泛化与行为常识,并在多个真实机器人平台上验证了反应式与航路点式策略。
2023-05-25 cs.RO
End-to-end Decentralized Multi-robot Navigation in Unknown Complex Environments via Deep Reinforcement Learning
Sun Yat-sen University(中山大学)
本文提出了一种基于深度强化学习(DRL)的机器人团队导航方法,通过未知的复杂环境,机器人团队的几何质心旨在到达目标位置,同时避免碰撞并保持连通性。分散的机器人级别的政策是使用集中学习和分散执行的机制。所提出的方法可以得到端到端的政策,映射到机器人的速度控制命令的原始激光雷达测量,而无需构建障碍物地图。仿真和室内真实无人地面车辆(UGV)实验结果验证了该方法的有效性。
2019-07-03 cs.RO
Precise Aggressive Aerial Maneuvers with Sensorimotor Policies
Institute of Cyber-Systems and Control, College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院工业控制技术研究所);Huzhou Institute of Zhejiang University(浙江大学湖州研究院);Differential Robotics Technology Co., Ltd.(微分机器人技术有限公司)
本文提出了一种基于强化学习的传感器运动政策,用于实现四旋翼无人机在狭窄间隙中精确激进的空中动作,通过模拟训练和仿真到现实的设计,实现了低空隙和高重复性的导航能力。
2026-04-08 cs.RO
Beyond Imitation: Reinforcement Learning Fine-Tuning for Adaptive Diffusion Navigation Policies
Nanyang Technological University, Singapore(南洋理工大学,新加坡);A*STAR, Singapore(A*STAR,新加坡);National University of Singapore, Singapore(新加坡国立大学)
本文提出一种针对扩散导航的强化学习微调框架,通过Group Relative Policy Optimization提升策略适应性,在Isaac Sim中提升成功率和SPL,减少碰撞,展示出更强的零样本迁移能力和安全泛化能力。
2026-03-13 cs.RO
Spline Policy: A Structured Representation for Robot Policies
École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院(EPFL));Idiap Research Institute(Idiap研究 institute)
提出样条策略(SP),用样条参数替代动作块,保留策略主干,支持连续轨迹解码、时域重采样、参数空间编辑及下游控制,并具有局部修正机制。
2026-08-04 cs.RO
GaussFly: Contrastive Reinforcement Learning for Visuomotor Policies in 3D Gaussian Fields
School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航空航天工程学院);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);College of Design and Engineering, National University of Singapore(新加坡国立大学设计与工程学院);College of Automation Engineering, Nanjing University of Aeronautics and Astronautics(南京航空航天大学自动化学院)
本文提出GaussFly框架,通过实-仿-实范式解耦表征学习与策略优化,利用3D高斯点划法重建场景并采用对比学习提取鲁棒特征,提升视觉-运动策略的样本效率和实境迁移能力。
2026-04-06 cs.RO
Geometry-Aware Motion Latents for Learning Robust Manipulation Policies
Department of Computer Science, The University of Hong Kong(香港大学计算机科学系)
研究如何学习机器人操纵的运动潜变量,核心方法是通过预测点云在操纵过程中的演变来学习离散运动潜码,贡献是仅用单视图RGB-D输入达先进性能,验证几何预测是关键,且潜码有有效运动抽象能力。
2026-07-07 cs.AI cs.RO
Adaptive Information Gathering via Imitation Learning
The Robotics Institute Carnegie Mellon University(卡内基梅隆大学机器人研究所);Microsoft Research(微软研究院)
在自适应信息收集问题中,需要一种策略来使用迄今为止获得的测量历史来选择信息丰富的感测位置。虽然有大量的先前工作调查有效的实际近似使用香农熵的变体,这种政策的效力在很大程度上取决于对象在世界上的几何分布。另一方面,采用在线POMDP求解器的原则性方法由于需要从世界地图的后验分布中在线明确采样而变得不切实际。我们提出了一种新的数据驱动的模仿学习框架,有效地训练信息收集政策。该策略模仿了一个千里眼的预言机--一个在训练时间具有关于世界地图的全部知识并且可以计算出最大信息量的感测位置的预言机。我们分析了习得的策略,表明离线模仿千里眼预言隐含地等效于在线预言执行结合后验抽样。这一观察使我们能够获得强大的近最优保证信息收集问题具有自适应子模块化属性。正如在一系列2D和3D探索问题上所展示的那样,经过训练的策略在两个方面都是最好的-它们适应不同的世界地图分布,同时计算成本低廉。
2017-05-22 cs.RO
Conditional Trajectory Peaks: Single-Pass Multimodal Policies over Action Chunks
Magiclab Robotics Technology Co., Ltd.(魔法实验室机器人科技有限公司);Southeast University(东南大学)
提出条件轨迹峰值(CTP)单遍策略框架,联合预测动作块候选、概率质量和轨迹尺度,实现多模态行为与闭环一致性,并在多个基准和真实实验中取得高效推理与高成功率。
2026-10-06 cs.RO
Learning Navigation from Multimodal Demonstrations with Geometric Candidate Modes
The Ohio State University(俄亥俄州立大学)
该研究针对离线导航演示多模态导致行为克隆路径不安全的问题,提出分层神经网络策略,从局部几何计算候选模式,仿真测试成功率超95%且可迁移至双足机器人。
2026-10-15 cs.RO
Phase-Conditioned Affordance Fields for SE(3)-Equivariant Visuomotor Policies
该研究针对现有SE(3)等变视觉运动策略的全局假设缺陷,提出相位条件化affordance场,提升了多任务下的策略成功率与鲁棒性。
2026-10-14 cs.AI cs.RO
Sensor-Layout-Agnostic Navigation via Geometric Observation Canonicalization
Norwegian Institute of Science and Technology(挪威科技大学)
提出一种具身感知导航策略,通过将任意深度传感器数据反投影到统一球面图像,实现跨相机布局的零样本泛化,成功率随覆盖提升至95%。
2026-10-07 cs.RO
Imagine2Act: Leveraging Object-Action Motion Consistency from Imagined Goals for Robotic Manipulation
CFCS, School of Computer Science, Peking University(计算机学院,北京大学);PrimeBot;AGIBOT
提出Imagine2Act框架,通过生成想象目标点云并引入物体-动作一致性策略,将语义和几何约束融入策略学习,解决高精度物体重排任务。
2026-09-24 cs.RO
MotionVLA: Injecting Geometric Motion into Vision-Language-Action Model
Huazhong University of Science and Technology(华中科技大学);D-Robotics(大疆机器人);Wuhan University(武汉大学)
提出MotionVLA,通过运动历史接口将过去视频窗口转换为紧凑的连续轨迹场令牌,解决长程操作中的几何漂移和时间线索碎片化问题,提升动作平滑性和执行效率。
2026-06-06 cs.RO
Scouting the Dynamics Gap: Test-Time Policy Adaptation via Action-Outcome Feedback
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
针对预训练机器人策略在部署时需适应未知动力学的问题,提出SCOUT元学习框架,通过共享信念潜空间耦合动作预测与前向模型,利用动作-结果反馈在线更新信念,加速模拟及现实中的自适应。
2026-09-30 cs.RO
ShapeGen: Robotic Data Generation for Category-Level Manipulation
Tsinghua University(清华大学)
本文提出ShapeGen,一种无需模拟器的3D数据生成方法,通过形状库构建和功能感知生成提升机器人在类别级操作中的几何多样性适应能力。
2026-04-16 cs.RO
PRISM: Personalized Robotic Dataset Generation via Image-based Scene and Motion Synthesis
Kyung Hee University(庆熙大学)
针对大规模预训练模型在特定环境泛化有限的问题,提出PRISM端到端管道,从单张图像和自然语言指令生成个性化机器人数据集,构建场景并合成演示,实验表明其效果良好。
2026-07-07 cs.RO
Novel Demonstration Generation with Gaussian Splatting Enables Robust One-Shot Manipulation
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学)
针对遥操作演示学习视觉运动策略的数据挑战,本文提出RoboSplat方法,通过3D高斯溅射重建场景并直接操作3D高斯生成多样化真实演示,显著提升策略泛化能力,在单样本设置中成功率达87.8%。
2025-04-17 cs.RO
Meta-Policy Learning over Plan Ensembles for Robust Articulated Object Manipulation
Rice University(莱斯大学);NVIDIA Research(英伟达研究院)
本文提出利用几何模型驱动规划器构建路径策略混合体,并学习任务特定元策略,在7自由度Franka-Emika机器人推门任务中实现少数据、抗模型不确定性的鲁棒操作。
2023-07-08 cs.RO
EquiForm: Noise-Robust SE(3)-Equivariant Policy Learning from 3D Point Clouds
School of Industrial Engineering, Purdue University(工业工程学院,普渡大学)
EquiForm通过引入噪声鲁棒的几何去噪模块和对比等价对齐目标,提升基于3D点云的政策学习在噪声和遮挡下的鲁棒性与泛化能力。
2026-01-24 cs.RO
MATCH POLICY: A Simple Pipeline from Point Cloud Registration to Manipulation Policies
Khoury College of Computer Science, Northeastern University(东北大学科里计算机科学学院);Worcester Polytechnic Institute(伍斯特理工学院)
提出MATCH POLICY流水线,将抓取与放置目标配准到存储演示中,把动作推断转化为点云配准任务,无需训练即可实现高精度操作策略,在RLBench基准和真实机器人上均达到最先进性能。
2025-03-03 cs.CV cs.RO
Learning Cross-hand Policies for High-DOF Reaching and Grasping
National University of Defense Technology(国防科技大学);Shenzhen University(深圳大学);Hunan University(湖南大学)
本文提出一种两阶段统一策略学习方法,通过夹爪无关的关键点位移预测与夹爪特定的关节控制适应,结合transformer网络实现抓取策略在不同灵巧夹爪间的迁移,显著优于基线方法。
2025-02-02 cs.GR cs.RO
GeoAAC: Geometry-Based Adaptive Action Chunking from Denoising Trajectories in VLA Policies
Tongji University(同济大学);The Hong Kong Polytechnic University(香港理工大学);University of Electronic Science and Technology of China(电子科技大学)
针对VLA策略中固定动作视界无法适应任务阶段变化的问题,提出基于Flow Matching去噪轨迹几何的自适应动作分块方法GeoAAC,无需额外训练即可调整视界,在仿真和真实任务中显著提升成功率。
2026-09-18 cs.AI cs.LG cs.RO
Efficient Representations of Object Geometry for Reinforcement Learning of Interactive Grasping Policies
University of Bonn(波恩大学)
抓取不同形状和大小的物体--人类的一项基本的、毫不费力的技能--仍然是机器人领域一项具有挑战性的任务。虽然基于模型的方法可以预测已知对象模型的稳定抓取配置,但它们很难推广到新对象,并且通常以非交互式开环方式操作。在这项工作中,我们提出了一个强化学习框架,学习各种几何形状不同的现实世界中的对象的交互式抓取不断控制拟人化的机器人手。我们探索对象几何形状的几种显式表示作为策略的输入。此外,我们建议通过签署的距离隐式地告知政策,并表明这是自然适合引导搜索通过一个形状的奖励组件。最后,我们证明了所提出的框架是能够学习,即使在更具挑战性的条件下,如有针对性地抓住从一个杂乱的箱。在这种情况下,必要的预抓取行为,如对象重新定位和利用环境约束。学习互动政策的视频可在https://maltemosbach.github上获得。io/geometry_aware_grassing_policies。
2022-11-20 cs.AI cs.LG cs.RO
Riemannian Flow Matching Policy for Robot Motion Learning
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院人形机器人与智能系统研究所);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出Riemannian Flow Matching Policies (RFMP),一种用于学习机器人视觉运动策略的新模型,利用流匹配方法高效编码高维多模态分布并具备几何感知能力,实验表明相比Diffusion Policies,它能生成更平滑的动作轨迹且推理时间显著降低。
2024-08-27 cs.LG cs.RO
Fast and Robust Visuomotor Riemannian Flow Matching Policy
Bosch Center for Artificial Intelligence(博世人工智能中心);Division of Robotics, Perception, and Learning, KTH Royal Institute of Technology(机器人、感知与学习 division,皇家理工学院);Computer Science Department of the Technische Universität Darmstadt(达姆施塔特技术大学计算机科学系)
本文提出黎曼流匹配策略(RFMP)及其稳定变体SRFMP,利用流匹配的快速推理与黎曼几何约束,在十个模拟和真实任务上超越扩散策略和一致性策略。
2025-08-07 cs.LG cs.RO
ForeAct3D: Policy-Grounded Future World Modeling for VLA Policies
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Cisco(思科)
ForeAct3D通过策略接地未来世界建模,利用可学习几何查询和物理一致性约束,在VLA策略中实现语义3D场景预测,无需推理时预测,显著提升LIBERO、CALVIN及真实操作任务性能。
2026-10-12 cs.CV cs.RO
Geometric Fabrics: Generalizing Classical Mechanics to Capture the Physics of Behavior
NVIDIA(英伟达);Georgia Tech(佐治亚理工学院);University of Washington(华盛顿大学)
经典机械系统是几何控制的能量成形方法中控制器设计的核心。然而,它们的表现力受到仅位置度量以及度量与几何之间的密切联系的限制。最近关于黎曼运动策略(RMP)的工作表明,摆脱这些限制会产生强大的设计工具,但以牺牲理论稳定性保证为代价。在这项工作中,我们将经典力学推广到我们所说的几何结构,其表现力和理论使系统的设计在实践中优于RMP。几何织物严格地概括了经典力学,形成了一种新的行为物理学,首先将它们概括为芬斯勒几何,然后明确地弯曲它们以塑造它们的行为,同时保持稳定性。我们开发的织物的理论,并提出了一系列的控制实验,检查其理论性能和一组机器人系统实验显示出改进的性能超过一个精心设计的和硬化的实施RMP,我们目前的国家的最先进的控制器设计。
2022-01-18 cs.RO cs.SY eess.SY
Identifying Expert Behavior in Offline Training Datasets Improves Behavioral Cloning of Robotic Manipulation Policies
University College Dublin(都柏林大学);CeADAR - Ireland’s Centre for Applied AI(CeADAR——爱尔兰应用人工智能中心);Dublin City University(都柏林城市大学)
本文针对混合离线数据集中专家数据无标签导致行为克隆性能下降的问题,提出基于半监督学习的专家行为识别分类器,并结合几何对称数据增强,在 RRC III 竞赛中取得最优成绩。
2023-09-21 cs.LG cs.RO
HIGenNTO: Scalable Humanoid Interaction Generation via Noise-Space Trajectory Optimization
HIGenNTO通过优化预训练运动模型的噪声,在稀疏约束下生成可执行的人形交互运动,并支持编码智能体编写任务,实现从高层描述到物理交互的可扩展路径。
2026-09-22 cs.AI cs.RO
DeciCAD: Harness-Grounded Learning of Action Policies for CAD Agents
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
该研究针对CAD领域提出DeciCAD工具集,结合SFT与在线RL优化动作策略,在四个CAD基准上实现最优F1与IoU,同时大幅减少模型输出令牌,验证了工具集决策空间对智能体学习的关键作用。
2026-10-16 cs.AI cs.CL cs.LG
Tactical Reward Shaping: Bypassing Reinforcement Learning with Strategy-Based Goals
ShanghaiTech University(上海科技大学)
深度强化学习(DRL)已经显示出其有前途的能力,可以直接从试错中学习最优策略。然而,如果奖励函数定义的学习目标“不是最佳”,学习可能会受到阻碍。我们证明,通过以一种反直觉但智能的方式设置竞争的目标/目标,而不是通过许多小时的DRL模拟来尝试解决方案,可以快速收敛到一个获胜的策略。ICRA-DJI RoboMaster AI Challenge是一款在部分可观察环境中进行机器人之间合作和竞争的游戏,与Counter-Strike游戏非常相似。与传统的游戏方法不同,奖励是在赢得比赛或击中敌人时给予的,我们的DRL算法在处于几何战略优势时奖励我们的机器人,这隐含地增加了获胜的机会。此外,我们使用深度Q学习(DQL)来生成移动的多智能体路径,通过避免碰撞来改善两个机器人之间的合作。最后,我们实现了一个变种A* 算法与DQL相同的隐式几何目标和比较结果。我们的结论是,一个良好的设定的目标可以提出问题的需要学习算法,与几何为基础的搜索优于DQL在许多数量级。
2019-10-08 cs.AI cs.RO
Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task Learning
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑);Carnegie Mellon University(卡内基梅隆大学)
对任意物体的灵巧操作是人类的基本日常任务,对自主机器人系统来说是一个巨大的挑战。虽然使用强化学习的数据驱动方法可以开发出发现控制单个对象的行为的专业策略,但它们通常对看不见的对象表现出很差的泛化能力。在这项工作中,我们表明,通过现有的强化学习算法学习的政策实际上可以是通才时,结合多任务学习和精心选择的对象表示。我们表明,一个单一的通才政策可以执行手操纵超过100几何不同的现实世界中的对象,并推广到新的对象看不见的形状或大小。有趣的是,我们发现,使用对象点云表示的多任务学习不仅泛化更好,而且在训练和保持测试对象上的性能甚至优于单对象专家策略。视频结果请访问https://huangwl18.github.io/geometry-dex
2021-11-04 cs.AI cs.CV cs.LG
ZeroMimic: Distilling Robotic Manipulation Skills from Web Videos
University of Pennsylvania(宾夕法尼亚大学)
提出 ZeroMimic 系统,通过蒸馏网络人类视频数据集生成可立即部署的图像目标条件化机器人操作技能策略,无需特定机器人示范,在多种真实与模拟环境中展现出色泛化能力。
2025-03-31 cs.CV cs.LG cs.RO
Deep Equivariant Multi-Agent Control Barrier Functions
GRASP Lab, Department of Electrical & Systems Engineering, University of Pennsylvania(宾夕法尼亚大学电气与系统工程系GRASP实验室);Department of Computer Science, University of Southern California(南加州大学计算机科学系)
针对学习型多智能体安全方法忽视几何结构的问题,提出融合对称性的分布式等变 CBF 与群模块化网络,实现数据高效、可扩展并可零样本泛化的安全集群控制。
2025-06-09 cs.MA cs.RO cs.SY
Geometric Action Model for Robot Policy Learning
KAIST AI(韩国科学技术院人工智能学院);ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
提出几何动作模型(GAM),通过重用预训练几何基础模型(GFM)作为共享骨干,实现语言条件下的操作策略,在仿真和真实机器人任务中优于现有方法。
2026-06-24 cs.CV cs.LG cs.RO