HOI-Retarget: Contact-Centric Retargeting for Human-Object Interaction
ETH Zürich（苏黎世联邦理工学院）
提出接触中心的重定向方法HOI-Retarget，通过窗口化轨迹优化将人-物交互迁移到类人机器人，实现大规模运动数据生成，并支持跨尺寸增强、单目视频接触吸收及多机器人协作。
2026-09-29 cs.RO
WorldContact: A Contact-Centric World Model for Scalable Robot Learning
University of British Columbia（不列颠哥伦比亚大学）；Westlake University（西湖大学）；Style3D Research（Style3D研究院）
WorldContact是一种接触中心世界模型，从少量高质量轨迹生成训练数据，以10倍速度模拟购物袋操作，将策略微调后的真实提袋成功率从65%提升至95%。
2026-09-18 cs.RO
Improving Robot-Centric Learning from Demonstration via Personalized Embeddings
示教学习（LfD）技术寻求使新手用户能够在现实世界中教机器人新的任务。然而，先前的工作表明，以机器人为中心的LfD方法，如数据集聚合（Dagger），在人类教师中表现不佳。Dagger需要一个人类演示者提供纠正反馈给学习者，无论是实时的，这可能会导致性能下降，由于次优的人类标签，或在事后的方式是时间密集型的，往往是不可行的。为了解决这个问题，我们提出了互信息驱动的Meta-从演示示教学习（MIND MELD），其元学习从低质量的人类标签到预测的地面真实标签的映射，从而改进用于基于Dagger的训练的先前LfD方法的性能。改进次优反馈的方法的关键是通过变分推理实现互信息最大化。我们的方法通过变分推理学习一个有意义的，个性化的嵌入，它通知从人类提供的标签到预测的地面真实标签的映射。我们在合成域和人类受试者实验中展示了我们的框架，说明我们的方法在人类演示者提供的纠正标签上提高了63%。
2021-10-07 cs.RO
FUNCTO: Function-Centric One-Shot Imitation Learning for Tool Manipulation
Southern University of Science and Technology（南方科技大学）；National University of Singapore（新加坡国立大学）；Smart Systems Institute, National University of Singapore（新加坡国立大学智能系统研究院）
针对现有一次性模仿学习方法难以将工具操作技能泛化到同功能新工具的问题，提出以3D功能关键点建立功能对应关系的FUNCTO方法，经真实机器人实验验证其泛化性能更优。
2025-02-21 cs.CV cs.RO
Residual Robot Learning for Object-Centric Probabilistic Movement Primitives
Technische Universität Darmstadt（达姆施塔特工业大学）
希望未来的机器人能够快速学习新任务，并使学习到的技能适应不断变化的环境。为此，ProbabilityMovement Primitives（ProMPs）已被证明是一个很有前途的框架，可以从演示轨迹的分布中学习可推广的轨迹生成器。然而，在实际应用中，需要高精度的对象的操纵，ProMP的准确性往往是不够的，特别是当他们学习carnival空间从外部观察和执行有限的控制器增益。因此，我们建议将ProMPs与最近引入的残差强化学习（RRL）相结合，以解决任务执行过程中位置和方向的校正问题。特别是，我们学习一个标称ProMP轨迹与软演员批评顶部的残差，并将示范的变化作为决策变量，以减少RRL的搜索空间。作为一个概念证明，我们评估我们提出的方法上的3D块插入任务与7自由度弗兰卡Panda机器人。实验结果表明，机器人成功地学习完成插入，这是不可能的，以前使用基本的ProMP。
2022-03-08 cs.RO
Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization
BeingBeyond Team（BeingBeyond 团队）
Being-H0.5通过以人为本的学习范式和统一动作空间，实现了在不同机器人平台间的跨躯体泛化，结合混合流框架和流形保持门控，达到模拟和现实中的高性能表现。
2026-01-19 cs.RO
Human2Dex: Dexterous Robot Learning from Wrist-Centric Human Demonstrations
Beijing Academy of Artificial Intelligence（北京人工智能研究院）
Human2Dex以手腕为中心的人类演示为可复用接口，通过适配与GPIR实现跨灵巧手学习，在6个任务中较Human-Raw大幅提升成功率，验证了该方法的有效性。
2026-10-12 cs.RO
Object-centric 3D Motion Field for Robot Learning from Human Videos
BAIR, UC Berkeley EECS（伯克利大学电子工程与计算机科学系）；Google DeepMind（谷歌DeepMind）
本文提出以对象为中心的三维运动场作为动作表示，并设计去噪估计器和密集预测架构，从人类视频中提取动作以实现机器人零样本控制，显著降低运动估计误差并提升任务成功率。
2025-06-04 cs.AI cs.CV cs.LG
Revisiting the Adversarial Robustness-Accuracy Tradeoff in Robot Learning
Massachusetts Institute of Technology（麻省理工学院）；Institute of Science and Technology Austria (IST Austria)（奥地利科学技术研究所（IST Austria））
对抗训练（即，在对抗性扰动的输入数据上训练）是一种用于使神经网络在推理期间对潜在的对抗攻击具有鲁棒性的充分研究的方法。然而，改进的鲁棒性并不是免费的，而是伴随着整体模型精度和性能的下降。最近的研究表明，在实际的机器人学习应用中，对抗性训练的效果不会造成公平的权衡，而是在整体机器人性能方面造成净损失。本文通过系统地分析鲁棒训练方法和理论与对抗性机器人学习的最新进展，重新审视了机器人学习中的鲁棒性-准确性权衡，是否能够使对抗性训练适合于现实世界的机器人应用。我们评估了三种不同的机器人学习任务，从高保真环境中的自动驾驶到移动机器人导航和手势识别。我们的研究结果表明，虽然这些技术在相对规模上对权衡进行了渐进式改进，但对抗性训练对标称精度的负面影响仍然超过了一个数量级的鲁棒性改进。我们的结论是，虽然正在发生的进展，进一步的进步，强大的学习方法是必要的，然后才能在实践中受益的机器人学习任务。
2023-01-25 cs.CV cs.LG cs.RO
Hand-centric Human-to-Robot Trajectory Transfer from Video Demonstrations via Object Category-agnostic Temporal Localization
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
提出HOWTransfer框架，通过接触定位从人类视频中提取接触感知的机器人轨迹，无需物体特定描述，在多样化操作任务中实现86%的成功率。
2026-09-22 cs.RO
ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation
Shanghai Jiao Tong University（上海交通大学）
针对接触密集型操作中力相关技能学习不足的问题，提出以力为中心的ForceMimic系统，包含力捕捉演示收集系统与混合力-运动模仿学习算法，在蔬菜削皮任务中使成功率相对提升54.5%。
2025-03-03 cs.RO
Quality over Quantity: Demonstration Curation via Influence Functions for Data-Centric Robot Learning
KAIST（韩国科学技术院）；University of California, Berkeley（加州大学伯克利分校）；New York University（纽约大学）
本文提出 QoQ 方法，通过影响函数识别高质量演示数据，提升机器人学习性能。
2026-03-10 cs.LG cs.RO
iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks
Stanford University（斯坦福大学）
通过使用仿真环境来开发和训练机器人学习方法，最近对具身人工智能的研究得到了推动。然而，模拟的使用已经将注意力转移到只需要机器人模拟器可以模拟的任务上：运动和物理接触。我们提出了iGibson 2.0，一个开源的模拟环境，通过三个关键的创新，支持更多样化的家庭任务的模拟。首先，iGibson 2.0支持对象状态，包括温度、湿度水平、清洁度水平以及切换和切片状态，这是覆盖更广泛任务所必需的。其次，iGibson 2.0实现了一组谓词逻辑函数，将模拟器状态映射到Cooked或Soaked等逻辑状态。此外，给定一个逻辑状态，iGibson 2.0可以采样满足它的有效物理状态。该功能可以生成潜在的无限任务实例，只需用户付出最少的努力。采样机制允许我们的场景在语义上有意义的位置更密集地填充小对象。第三，iGibson 2.0包括一个虚拟现实（VR）界面，使人类沉浸在其场景中以收集演示。因此，我们可以收集人类对这些新型任务的演示，并将其用于模仿学习。我们评估了iGibson 2.0的新功能，使机器人学习的新任务，希望展示这种新的模拟器的潜力，以支持新的研究体现人工智能。iGibson 2.0及其新数据集可在http://svl.stanford.edu/igibson/上公开获取。
2021-11-03 cs.AI cs.CV cs.LG
Towards the Safety of Human-in-the-Loop Robotics: Challenges and Opportunities for Safety Assurance of Robotic Co-Workers
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）；Avian Technologies Ltd（Avian Technologies有限公司）
在机器人从演示中学习的灵活制造环境中，人类-机器人合作团队的成功在很大程度上取决于机器人的正确和安全操作。如何实现这一目标是一个挑战，需要解决技术和以人为本的研究问题。在本文中，我们讨论了安全保证的最新技术水平，这一领域现有的和新兴的标准，以及在学习机器的背景下安全保证新方法的需求。然后，我们专注于机器人从演示示教学习，这些技术带来的挑战，安全保证，并指出机会，集成到算法的安全考虑“通过设计”。最后，从以人为本的角度来看，我们规定，为了实现高水平的安全性和最终的信任，机器人同事必须满足与之合作的人类的固有期望。我们的目标是激发对人在环机器人安全方面的讨论，并促进多学科合作，以解决所确定的研究挑战。
2014-06-04 cs.LG cs.RO
SAGCI-System: Towards Sample-Efficient, Generalizable, Compositional, and Incremental Robot Learning
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
建造通用机器人以在人类水平的物理世界中的各种环境中执行各种任务是极具挑战性的。它要求机器人学习是样本有效的、可推广的、组合的和增量的。在这项工作中，我们介绍了一个系统的学习框架，称为SAGCI系统实现上述四个要求。我们的系统首先采取的原始点云收集的相机安装在机器人的手腕作为输入，并产生初始建模的周围环境表示为一个文件的统一机器人描述格式（URDF）。我们的系统采用了学习增强微分模拟加载URDF。然后，机器人利用交互式感知与环境进行交互，以在线验证和修改URDF。利用微分模拟，我们提出了一个基于模型的学习算法结合以对象为中心和以机器人为中心的阶段，有效地产生政策，以完成操作任务。我们应用我们的系统来执行关节对象操作任务，无论是在模拟和现实世界中。大量的实验证明了我们提出的学习框架的有效性。补充材料和视频可在https://sites.google.com/view/egci上获得。
2022-03-02 cs.AI cs.CV cs.LG
NVIDIA Isaac Sim: Enabling Scalable, GPU-Accelerated Simulation for Robotics
School of Computer Science and Engineering, The University of New South Wales（新南威尔士大学计算机科学与工程学院）；NVIDIA USA（NVIDIA美国公司）
本文系统综述了NVIDIA Isaac Sim的架构、应用模式及局限性，重点分析其GPU加速在大规模并行训练、合成数据生成和物理精确建模方面的优势，并探讨了未来方向。
2026-06-02 cs.RO
The Shortcomings of Force-from-Motion in Robot Learning
University of Zurich (UZH)（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Volkswagen Group（大众集团）；ELTE University Budapest（布达佩斯厄特沃什·罗兰大学）
本文指出当前机器人学习以运动为中心的动作空间缺乏对物理交互的显式控制，并倡导采用更显式表达交互的动作空间。
2024-07-03 cs.AI cs.LG cs.RO
Disentangled Object-Centric Image Representation for Robotic Manipulation
NAVER LABS Europe（NAVER LABS欧洲）
针对对象中心方法在多物体场景中学习操作技能的困难，本文提出 DOCIR 解耦框架，分别表示目标物、障碍物和机器人本体，实现拾取放置任务的最优性能与零样本真机迁移。
2025-03-14 cs.CV cs.RO
OCRA: Object-Centric Learning with 3D and Tactile Priors for Human-to-Robot Action Transfer
OCRA通过结合3D和触觉先验，利用多视角视频和先进模型重建物体中心3D点云，生成稳健的机器人操作动作，实验表明其在视觉和视觉-触觉任务中优于现有方法。
2026-03-15 cs.CV cs.RO
VLMs Can Describe, But Not Measure: Object-Centric Scene Understanding for Robotic Manipulation
University of Trento（特伦托大学）；Mondragón University（蒙德拉贡大学）
本文提出一种VLM驱动的模块化感知框架，通过对象级分割、语义标注与深度结合，在151个桌面场景上显著提升定位与深度估计，并集成于机器人任务规划。
2026-09-24 cs.CV cs.RO
ARMBench: An Object-centric Benchmark Dataset for Robotic Manipulation
Amazon Robotics（亚马逊机器人公司）；Rutgers University（罗格斯大学）
本文介绍了Amazon Robotic Manipulation Benchmark（ARMBench），这是一个大规模的、以对象为中心的基准数据集，用于在仓库环境中进行机器人操作。现代仓库中的操作自动化需要机器人机械手来处理各种各样的对象，非结构化存储和动态变化的库存。这样的设置对在操纵期间感知对象的身份、物理特性和状态提出了挑战。用于机器人操作的现有数据集考虑有限的对象集合或利用3D模型来生成合成场景，在捕获各种对象属性、杂波和交互方面具有限制。我们提出了一个大规模的数据集，收集在亚马逊仓库使用机器人机械手执行对象从容器与异构内容分离。ARMBench包含图像、视频和元数据，对应于190K+唯一对象上的235K+拾取和放置活动。数据在不同的操作阶段被捕获，即，预拾取、转移期间和放置之后。基准任务提出凭借高质量的注释和基线性能评估提出了三个视觉感知的挑战，即1）在混乱中的对象分割，2）对象识别，和3）缺陷检测。ARMBench可以在http://armbench.com上访问
2023-03-29 cs.CV cs.RO
RoboMatrix: A Skill-centric Hierarchical Framework for Scalable Robot Task Planning and Execution in Open-World
Waseda University（早稻田大学）；Beijing Institute of Technology（北京理工大学）；The Chinese University of Hong Kong（香港中文大学）；MEGVII Technology（旷视科技）；Chinese Academy of Sciences（中国科学院）
RoboMatrix提出技能中心化层次框架，利用LLM分解任务和统一VLA模型，通过技能组合实现开放世界未见任务规划执行，成功率较任务中心化基线提升50%。
2025-03-25 cs.CV cs.RO
VizFlyt: Perception-centric Pedagogical Framework For Autonomous Aerial Robots
Worcester Polytechnic Institute（伍斯特理工学院）
本文提出VizFlyt，一个面向空中机器人课程的开源、以感知为中心的硬件在环照片级真实感测试框架，利用外部定位位姿和3D Gaussian Splatting生成实时视觉传感器，实现超100Hz更新率，支持无风险测试自主算法，并验证了其有效性。
2025-04-01 cs.CV cs.RO
Hand2Robot: Object-Centric 4D Hand Reconstruction from Human Demonstrations for Robotics
ShanghaiTech University（上海科技大学）；InstAdapt；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
Hand2Robot是面向机器人的以物体为中心的4D手部重建框架，通过优化手-物交互与动作重定向生成机器人动作监督，可补充机器人数据以提升目标任务策略性能。
2026-10-14 cs.CV cs.RO
Fiducial Exoskeletons: Image-Centric Robot State Estimation
USC Physical Superintelligence (PSI) Lab（USC物理超智能实验室）；Toyota Research Institute（丰田研究院）
标志式外骨骼通过单图像推断实现机器人状态估计，简化设置并提升校准与控制性能。
2026-01-12 cs.CV cs.RO
Object-Centric Instruction Augmentation for Robotic Manipulation
School of Computer Science, East China Normal University（华东师范大学计算机科学学院）；Midea Group（美的集团）；Department of Mathematics, School of Science, Shanghai University（上海大学理学院数学系）
针对机器人操作中位置信息利用不足的问题，提出OCI框架，通过MLLM为指令融入物体位置线索，并复用预训练MLLM特征，提升模仿策略性能。
2024-02-01 cs.CV cs.RO
Recasting Generic Pretrained Vision Transformers As Object-Centric Scene Encoders For Manipulation Policies
University of Pennsylvania（宾夕法尼亚大学）
提出SOFT方法，通过包装预训练视觉Transformer，从注意力中提取对象中心嵌入，无需额外训练即可显著提升机器人操作策略性能，接近专用机器人表示。
2024-05-24 cs.CV cs.RO
SlotVLA: Towards Modeling of Object-Relation Representations in Robotic Manipulation
University of Arkansas（亚拉巴马大学）；FPT Software AI Center（FPT软件人工智能中心）；University of Stuttgart（斯图加特大学）；Aalborg University（奥尔堡大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Liverpool（利物浦大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；Max Planck Research School for Intelligent Systems（马克斯·普朗克智能系统研究学校）
SlotVLA通过引入LIBERO+数据集和基于槽注意力的框架，实现高效且可解释的机器人操作中物体-关系表示建模。
2026-10-02 cs.CV cs.RO
ICGNet: A Unified Approach for Instance-Centric Grasping
ETH Zürich（苏黎世联邦理工学院）；Texas A&M University（德克萨斯农工大学）
针对杂乱场景中抓取检测缺乏实例级组合理解的问题，提出端到端 ICGNet，从单视角点云生成实例中心表示并联合完成物体重建与抓取检测，在合成基准和真实清理任务中优于现有方法。
2024-05-09 cs.CV cs.RO
ManipLLM: Embodied Multimodal Large Language Model for Object-Centric Robotic Manipulation
Peking University（北京大学）
ManipLLM利用多模态大语言模型的推理能力，通过微调适配器实现对象中心机器人操作，提升泛化性和稳定性，并在模拟和真实环境中验证了有效性。
2023-12-24 cs.CV cs.RO
Zero-shot Object-Centric Instruction Following: Integrating Foundation Models with Traditional Navigation
Robotics and AI Institute（机器人与人工智能研究所）；Simon Fraser University（西蒙弗雷泽大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Michigan（密歇根大学）
本文提出零样本方法 LIFGIF，将自然语言指令落地到因子图地图中并支持建图过程中的导航，同时发布 OC-VLN 数据集，在仿真和真实 Spot 机器人上均验证了其优于现有基线的指令跟随性能。
2025-05-07 cs.CV cs.RO
Multi-Type Activity Recognition in Robot-Centric Scenarios
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Indiana University（印第安纳大学）
活动识别在机器人与人类交互、监视或协助人类的场景中非常有用。在过去的几年里，许多类型的活动-单一的行动，两个人的互动或以自我为中心的活动，仅举几例-已经被分析了。虽然传统方法单独处理这些类型的活动，但自主机器人应该能够检测和识别多种类型的活动，以有效地完成其任务。我们提出了一种方法，本质上是能够检测和识别不同类型的活动发生顺序或并发。我们提出了一个新的统一的描述符，称为关系历史图像（RHI），它可以从所有的活动类型，我们感兴趣的。然后，我们制定了一个优化程序来检测和识别不同类型的活动。我们将我们的方法应用于从以机器人为中心的角度记录的新数据集，并与多个基线相比系统地评估其质量。最后，我们展示了RHI描述符在公开数据集上进行广泛比较的有效性。
2016-04-12 cs.CV
Rethinking Progression of Memory State in Robotic Manipulation: An Object-Centric Perspective
本文提出Embodied-SlotSSM框架，用于解决机器人操作中非马尔可夫推理问题，通过槽位状态空间建模和关系编码器实现时间可扩展的视觉-语言-动作推理。
2025-11-28 cs.CV cs.RO
Human-Centric Transferable Tactile Pre-Training for Dexterous Robotic Manipulation
Peking University（北京大学）；BeingBeyond；Tsinghua University（清华大学）
提出H-Tac大规模触觉-动作数据集和可迁移触觉预训练（TTP）系统，通过统一触觉与动作空间弥合人机差距，利用触觉专家预测未来触觉以建模接触动力学，显著提升灵巧操作的泛化与精细控制能力。
2026-07-02 cs.CV cs.RO
Decoupled Object-Centric Video Understanding for Generating Robotic Manipulation Commands
School of Information Science, Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学信息科学学院）；University of Engineering and Technology, Vietnam National University（越南国立大学工程与技术大学）；Department of Robotics, Hanyang University（汉阳大学机器人学系）
提出解耦动作识别与对象选择的框架，通过TSM分类动作和对象选择算法识别任务相关对象，结合VLM生成精确指令，在Something-Something V2上显著提升性能。
2026-06-16 cs.CV cs.RO
HumanNet: Scaling Human-centric Video Learning to One Million Hours
Peking University（北京大学）
HumanNet通过构建大规模人类活动视频数据集，探索以人为中心的视频在扩展具身基础模型中的潜力，展示其在动作生成和人机转移中的优势。
2026-05-07 cs.CV cs.RO
Revisiting Audio-Visual Segmentation with Vision-Centric Transformer
Hefei University of Technology（合肥工业大学）；Chinese Academy of Sciences（中国科学院）；Beihang University（北航）；Sangfor Technologies（深信服技术）
针对现有以音频为中心的Transformer在视听分割中存在的感知模糊和视觉细节丢失问题，提出以视觉为中心的VCT框架及PPQG模块，利用视觉派生查询聚合视听信息，在AVSBench数据集上取得最优性能。
2025-06-30 cs.CV
A Survey of Embodied Learning for Object-Centric Robotic Manipulation
The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
该综述系统梳理了面向以物体为中心的机器人操作的具身学习领域最新进展，将现有工作分为具身感知、策略、任务导向学习三大分支，同时讨论了数据集、挑战与未来方向，并上线了相关项目。
2024-08-21 cs.AI cs.CV cs.LG
Mask2IV: Interaction-Centric Video Generation via Mask Trajectories
Mask2IV通过遮罩轨迹实现以交互为中心的视频生成，提供灵活的交互控制和高真实感的视频生成。
2025-11-21 cs.CV cs.RO
SlotDiT: Object-Centric Representations for Diffusion Transformers
University of Bonn（波恩大学）
SlotDiT提出以对象为中心的槽作为扩散Transformer的潜在表示，用于文本引导的机器人视频生成，在保持生成质量的同时提升任务完成率并降低计算成本。
2026-09-16 cs.CV cs.RO
Grounding Actions in Camera Space: Observation-Centric Vision-Language-Action Policy
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Shanghai AI Lab（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；Nanjing University（南京大学）；Tsinghua University（清华大学）
针对VLA模型中观测与动作空间不一致导致的跨视角泛化难题，本文提出以观测为中心的OC-VLA框架，通过相机外参将动作预测统一到相机坐标系，以即插即用方式提升收敛速度、任务成功率与跨视角泛化能力。
2025-08-18 cs.CV cs.RO
RynnVLA-001: Using Human Demonstrations to Improve Robot Manipulation
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；Hupan Lab（虎扑实验室）
本文提出RynnVLA-001，通过两阶段人类演示视频预训练和ActionVAE压缩动作表示，为VLA模型提供更有效的初始化，在机器人操作任务上超越现有基线。
2025-09-18 cs.CV cs.RO
Learning Dexterous Grasping with Object-Centric Visual Affordances
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究院）
灵巧的机器人手因其敏捷性和类似人类的形态而吸引人，但其高度的自由度使得学习操纵具有挑战性。我们介绍了一种学习灵巧抓取的方法。我们的关键思想是将以对象为中心的视觉启示模型嵌入到深度强化学习循环中，以学习有利于人们喜欢的相同对象区域的抓取策略。与从人类演示轨迹（例如，用手套捕获的手关节序列），所提出的先验是以对象为中心的和基于图像的，允许代理在策略学习期间为未看到的对象预期有用的示能表示区域。我们用一个30自由度的五指机器人手模拟器在来自两个数据集的40个物体上展示了我们的想法，在那里它成功有效地学习了稳定功能抓握的策略。我们的负担能力指导策略明显更有效，更好地推广到新对象，训练速度比基线快3倍，并且对噪声传感器读数和驱动更鲁棒。我们的工作为操纵代理人提供了一个步骤，通过观察人们如何使用物体来学习，而不需要有关人体的状态和动作信息。项目网址：http://vision.cs.utexas.edu/projects/graff-dexterous-affordance-grasp
2021-06-16 cs.CV cs.RO
PVRA: A Pointwise Key-point Voting Framework for Robotic Assembly
Tampere University（坦佩雷大学）
本研究针对机器人自主渐进式装配的感知需求，提出基于3D关键点的模块化学习框架PVRA，在装配位姿估计数据集上训练后，与以物体为中心的基线及增强指标对比验证了其有效性。
2026-08-21 cs.CV cs.RO
Revisiting Salient Object Detection from an Observer-Centric Perspective
Dalian University of Technology（大连理工大学）
本文提出OC-SOD方法，通过考虑观察者偏好和意图，实现个性化显著性预测，并构建首个OC-SOD数据集和代理基线。
2026-02-06 cs.AI cs.CV
ParticleSplat: Self-supervised Object-centric Latent Particle Splatting
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
ParticleSplat提出一种自监督的以对象为中心的3D潜在粒子泼溅方法，通过将多视图编码为3D高斯粒子来克服DLP的2D限制，实现无监督对象掩码和可控3D编辑，并提升机器人操作性能。
2026-09-18 cs.CV cs.RO
Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models
针对VLA模型数据扩展的瓶颈，提出以表示为中心的持续预训练方法VLAct，在多具身机器人数据上训练后，在多项基准任务中超越现有工业级系统，在未见具身迁移任务中仅用20%数据即优于全数据基线，为VLA进展提供新方向。
2026-10-07 cs.CV cs.RO
PlaySlot: Learning Inverse Latent Dynamics for Controllable Object-Centric Video Prediction and Planning
Autonomous Intelligent Systems, Computer Science Institute VI – Intelligent Systems（智能系统）；Robotics, Center for Robotics（机器人学）；the Lamarr Institute for Machine Learning（拉马尔机器学习研究所）；Artificial Intelligence, University of Bonn, Germany（人工智能，波恩大学，德国）
针对现有视频预测方法依赖精确动作标注、难以利用无标注视频的问题，提出以对象为中心的PlaySlot模型，可从无标注视频推断对象表征与潜在动作，生成多类未来场景，在视频预测任务上优于基线，还能高效学习机器人行为。
2025-05-21 cs.CV cs.RO
Revisiting the Necessity of Lengthy Chain-of-Thought in Vision-centric Reasoning Generalization
Renmin University of China（中国人民大学）
本文研究了不同链式推理设计对视觉推理泛化能力的影响，发现简洁的链式推理在不同迷宫规模中表现最佳，提出'短即长'效应。
2025-11-27 cs.AI cs.CV
MaskPlanner: Learning-Based Object-Centric Motion Generation from 3D Point Clouds
Politecnico di Torino（都灵理工大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出MaskPlanner，一种基于深度学习的对象中心运动生成方法，从三维点云直接预测路径段并推断路径掩码，在机器人喷涂中实现99%以上覆盖且可直接执行，减少工程开销。
2025-02-26 cs.CV cs.RO
Scene Editing as Teleoperation: A Case Study in 6DoF Kit Assembly
Samsung AI Center NY（三星纽约人工智能中心）；Columbia University（哥伦比亚大学）
机器人遥操作的研究一直围绕着动作规范-从连续的关节控制到离散的末端执行器位姿控制。然而，这些以机器人为中心的界面通常需要具有广泛机器人专业知识的熟练操作员。为了使遥操作访问非专家用户，我们提出了框架“场景编辑遥操作”（SEaT），其中的关键思想是将传统的“以机器人为中心”的界面转换为“以场景为中心”的界面-而不是控制机器人，用户专注于指定任务的目标，通过操纵现实世界的对象的数字孪生。因此，用户可以在没有机器人硬件的任何专业知识的情况下执行遥操作。为了实现这一目标，我们利用一个类别不可知的场景完成算法，将现实世界的工作空间（未知对象）转化为可操作的虚拟场景表示和动作捕捉算法，在生成机器人的行动计划之前细化用户输入。为了训练算法，我们程序化地生成了一个大规模的、多样化的套件组装数据集，该数据集包含模仿真实世界的对象套件任务的对象套件对。我们在模拟和真实世界的系统上的实验表明，我们的框架提高了6DoF套件装配任务的效率和成功率。一项用户研究表明，SEaT框架参与者实现了更高的任务成功率，并报告了较低的主观工作量相比，替代机器人为中心的界面。视频可以在https://www.youtube.com/watch?上找到v=-NdR3mkPbQQ。
2022-12-02 cs.AI cs.CV cs.HC
FindAnything: Open-Vocabulary and Object-Centric Mapping for Robot Exploration in Any Environment
Technical University of Munich（技术大学慕尼黑）；School of Computation, Information and Technology（计算、信息与技术学院）；ETH Zurich（苏黎世联邦理工学院）；Department of Computing（计算学院）；Imperial College London（伦敦帝国理工学院）；University of Patras（帕特拉大学）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
FindAnything通过整合视觉语言信息，实现了大规模未知环境中高效、内存友好的开放词汇映射，适用于机器人探索任务。
2026-03-06 cs.AI cs.CV cs.RO
Object Pose Estimation in Robotics Revisited
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
机器人中基于视觉的物体抓取和操作需要准确估计物体的6D位姿。6D位姿估计在计算机视觉领域受到了极大的关注，并且已经提出了多个数据集和评估度量。然而，现有的度量标准测量两个几何表面对齐的程度-地面实况与估计的姿态-这并不直接测量机器人在给定估计的情况下执行任务的程度。在这项工作中，我们提出了一个概率度量，直接衡量成功的机器人任务。评估度量基于从真实物理设置的样本估计的非参数概率密度。在姿态评估阶段期间，不需要物理设置。在受控实验中验证了该评价指标，并介绍了一种新的工业零件位姿估计数据集。与零件的实验结果证实，建议的评价指标更好地反映了机器人的真实性能比现有的指标。
2020-05-21 cs.CV
SORNet: Spatial Object-Centric Representations for Sequential Manipulation
University of Washington（华盛顿大学）；NVIDIA（英伟达）
顺序操作任务要求机器人感知环境的状态，并计划导致期望的目标状态的动作序列。在这些任务中，从原始传感器输入中推理对象实体之间的空间关系的能力是至关重要的，以便确定任务何时完成以及可以执行哪些动作。在这项工作中，我们提出了SORNet（空间对象为中心的表示网络），一个框架，用于学习对象为中心的表示从RGB图像条件的一组对象查询，表示为图像补丁称为规范对象视图。由于每个对象只有一个规范视图，并且没有注释，SORNet将zero-shot推广到在训练期间形状和纹理都不可见的对象实体。我们评估SORNet在各种空间推理任务，如空间关系分类和相对方向回归在复杂的桌面操作场景，并显示SORNet显着优于基线，包括国家的最先进的表示学习技术。我们还演示了应用程序的表示学习SORNet上的视觉伺服和任务规划的顺序操作的一个真正的机器人。
2022-09-14 cs.CV cs.LG cs.RO
