Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation
Carnegie Mellon University(卡内基梅隆大学);FAIR at Meta(Meta FAIR实验室)
本文提出 Track2Act,利用互联网视频学习目标条件点轨迹预测,并结合少量机器人演示训练的残差闭环策略,实现跨未见任务、物体和场景的零样本泛化操作。
2024-08-08 cs.CV cs.RO
Generalizable Robotic Insertion with World Models
NVIDIA(英伟达);University of California San Diego(加利福尼亚大学圣迭戈分校);University of Southern California(南加利福尼亚大学)
提出基于世界模型的通用机器人插入框架,融合本体感觉与视觉,在90个任务上训练,零样本成功率56%,远超基线,且具可扩展性与微调优势。
2026-09-24 cs.CV cs.LG cs.RO
ManiVideo: Generating Hand-Object Manipulation Video with Dexterous and Generalizable Grasping
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Normal University(北京师范大学)
ManiVideo提出多层遮挡表示并嵌入UNet,结合Objaverse数据集与创新训练策略,实现了3D一致且具备泛化抓取能力的双手手-物操作视频生成,优于现有SOTA方法。
2024-12-18 cs.CV
Towards Generalizable Robotic Manipulation in Dynamic Environments
Huazhong University of Science and Technology(华中科技大学);Huawei Technologies Co. Ltd(华为技术有限公司)
本文提出DOMINO数据集与基准,通过实验评估现有VLA模型,提出PUMA架构提升动态感知能力,实现动态任务中的高成功率。
2026-07-01 cs.CV cs.RO
O$^3$Afford: One-Shot 3D Object-to-Object Affordance Grounding for Generalizable Robotic Manipulation
University of Virginia(弗吉尼亚大学)
提出一次性三维物体到物体可供性定位方法O$^3$Afford,结合视觉基础模型语义特征与点云几何表示,并集成大语言模型,显著提升机器人操作的准确性和泛化能力。
2025-09-07 cs.CV cs.RO
ImaginationPolicy: Towards Generalizable, Precise and Reliable End-to-End Policy for Robotic Manipulation
Dekun Lu ∗ , Wei Gao ∗ and Kui Jia ∗(作者)
本文提出ImaginationPolicy,采用移动有向关键点链(CoMOK)作为端到端动作表示,实现可泛化、亚厘米精度且可靠的多任务机器人操作策略,经仿真与硬件实验验证。
2025-09-25 cs.AI cs.LG cs.RO
Learning Geometrically-Grounded Amodal 3D Representations for View-Generalizable Robotic Manipulation
Tongji University(同济大学);The University of Hong Kong(香港大学)
本文提出MethodName框架,通过单视角3D预训练和多步蒸馏实现机器人操作的视图通用性,实验显示其在成功率和视图泛化能力上优于现有方法。
2026-09-29 cs.RO
TableVerse: A Large-scale Tabletop Dataset with Real-world Grounded Layouts for Generalizable Manipulation
ByteDance(字节跳动)
研究针对可泛化机器人操作策略受数据限制的问题,提出TableVerse全自动Real2Sim管道,能将无脚本互联网媒体处理成高保真桌面环境,还集成轨迹生成框架,构建了TableVerse-100K数据集,为相关研究提供数据基础。
2026-07-24 cs.RO
VICX: Generalizable Robot Manipulation via Video Generation and In-Context Operator Network
National University of Singapore(新加坡国立大学)
提出VICX框架,利用冻结视频生成模型生成视觉计划,并通过视频到轨迹的上下文操作网络(V2T-ICON)将其映射为机器人可执行轨迹,实现跨任务、跨本体泛化。
2026-06-11 cs.RO
Praxis: Distilling Physical Interaction Priors from Egocentric Videos for Generalizable Whole-Body Manipulation
Praxis通过从一次性自我中心视频中提炼物理交互先验,结合闭环姿态校准和在线感知,实现移动人形全身操作的空间、视觉及跨物体泛化,并抵抗外部干扰。
2026-09-28 cs.RO
RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation
University of Southern California(南加州大学);Peking University(北京大学);Stanford University(斯坦福大学)
本文提出 RAM 框架,通过从多源演示构建可供性记忆并分层检索、将域外2D可供性零样本迁移为域内3D可执行可供性,实现跨物体、环境和具身形态的机器人操作泛化。
2024-07-05 cs.CV cs.RO
DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Laboratory(上海人工智能实验室);UC San Diego(加利福尼亚大学圣迭戈分校)
针对从人类参考开发灵巧操作可泛化神经跟踪控制器的挑战,提出收集大规模机器人跟踪演示并结合强化学习、模仿学习和同伦优化的方法,提升控制器性能与泛化性,在仿真和现实中取得优于基线的结果。
2025-02-13 cs.AI cs.CV cs.LG
RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation
本研究提出RoboReact框架,通过生成自我中心视频并结合视觉语言引导的闭环控制,实现人形机器人全身操控技能的通用获取,可在多样场景中稳健执行。
2026-08-06 cs.RO
H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation
针对机器人操作模仿学习的高质量演示数据稀缺问题,本文提出H-RDT框架,通过两阶段训练利用人类操作数据增强双臂机器人操作能力,在仿真和真实实验中均优于现有方法。
2025-08-01 cs.CV cs.LG cs.RO
Towards Generalizable Vision-Language Robotic Manipulation: A Benchmark and LLM-guided 3D Policy
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文提出GemBench基准评估视觉-语言机器人操作泛化能力,并引入利用3D信息的3D-LOTUS方法及结合LLM与VLM的3D-LOTUS++框架,在新颖任务上取得SOTA性能。
2025-03-01 cs.CV cs.RO
Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations
Stanford University(斯坦福大学)
本文提出用未标注的眼在手上人类视频扩充机器人模仿数据,并借助部分可观测性与固定图像掩码缩小域差距,在8项真实任务上平均绝对提升成功率58%。
2023-07-12 cs.AI cs.LG cs.RO
Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints
CLAP通过任务分解、VLM微调和3D感知表示,提升机器人操作在新指令和环境下的泛化能力,实现更高的样本效率和操作精度。
2026-02-21 cs.RO
DSPv2: Improved Dense Policy for Effective and Generalizable Whole-body Mobile Manipulation
The University of Hong Kong(香港大学);Astribot;Xidian University(西安电子科技大学);Tsinghua University(清华大学)
DSPv2通过融合3D空间与多视角2D语义特征,并扩展密集策略范式,实现了全身移动操作的有效学习与泛化,性能显著优于现有方法。
2025-09-26 cs.RO
VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation
Technical University of Munich(慕尼黑工业大学);ETH Zürich(苏黎世联邦理工学院);Microsoft(微软公司)
VidBot利用野外人类视频学习3D可供性,通过从粗到细的模型生成交互轨迹,实现零样本机器人操作,在13个任务中显著优于现有方法。
2025-03-27 cs.CV cs.RO
Programmatically Grounded, Compositionally Generalizable Robotic Manipulation
Tsinghua University(清华大学);MIT(麻省理工学院);Stanford University(斯坦福大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院)
针对传统预训练-微调流程整合视觉-语言模型时动作与视觉信息纠缠、泛化性差的问题,提出模块化框架ProgramPort,通过语义解析生成可执行程序解耦动作与感知,提升机器人操作的零样本和组合泛化能力。
2023-04-26 cs.AI cs.CV cs.RO
TASTE-Rob: Advancing Video Generation of Task-Oriented Hand-Object Interaction for Generalizable Robotic Manipulation
SSE, CUHKSZ(CUHKSZ系统科学系);FNii, CUHKSZ(CUHKSZ功能神经信息研究所)
本文构建含100,856个对齐语言指令的第一视角手-物交互视频数据集 TASTE-Rob,并结合VDM微调和三阶段手部姿势精修流程,提升面向机器人模仿学习的可泛化操作视频生成质量。
2025-06-06 cs.CV cs.RO
GT-VLA: Target-Conditioned Trace Guidance for Generalizable Robotic Manipulation
GT-VLA提出目标条件化轨迹引导框架,结合通用VLM常识与VLA控制,通过轨迹条件化动作生成提升机器人操作在未见任务和长时程场景中的泛化能力。
2026-09-29 cs.LG cs.RO
FUNCanon: Learning Pose-Aware Action Primitives via Functional Object Canonicalization for Generalizable Robotic Manipulation
TAMS (Technical Aspects of Multimodal Systems), Department of Informatics, University of Hamburg(汉堡大学信息学院TAMS(多模态系统技术));Technical University of Munich(慕尼黑技术大学);Agile Robots SE(敏捷机器人有限公司)
本文提出FUNCanon框架,通过功能对象规范化学习姿态感知的动作原语,以实现通用的机器人操作,该方法将长周期操作任务分解为由主体、动词和对象定义的动作片段,从而提升策略的可组合性和可重用性。
2026-05-17 cs.AI cs.CV cs.RO
The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning
UC Berkeley(加州大学伯克利分校);KAIST(韩国科学技术院)
本文提出 M3L 掩码多模态学习框架,在强化学习中联合训练视觉-触觉表征与策略,提升样本效率和跨任务泛化,并在三类机器人操控仿真中验证其优势。
2023-11-02 cs.AI cs.RO
Towards Learning a Generalizable 3D Scene Representation from 2D Observations
University of Hamburg - Department of Informatics(汉堡大学信息学院);ZAL Center of Applied Aeronautical Research(应用航空研究中心);Hamburger Informatik Technologie-Center e.V. (HITeC)(汉堡信息科技中心(HITeC))
本文提出了一种通用神经辐射场方法,通过第一人称机器人观测学习3D场景表示,实现了对未见场景的泛化能力,并在真实场景中验证了其高精度的3D重建性能。
2026-02-11 cs.CV cs.RO
VLBiMan: Vision-Language Anchored One-Shot Demonstration Enables Generalizable Bimanual Robotic Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
VLBiMan通过任务感知分解从单个示例中提取可重用技能,实现双臂机器人操作的通用化,减少演示需求并增强跨平台适应性。
2026-05-01 cs.RO
AFFORD2ACT: How Far Can Sparse Keypoints Go for Robot Manipulation?
Department of Computer Science, University of Maryland, College Park, MD, USA(马里兰大学计算机科学系,College Park, MD, USA)
本文提出 AFFORD2ACT 框架,通过文本提示和单张图像生成最小化语义 2D 关键点,实现轻量级机器人操作,提升数据效率和泛化能力。
2026-10-22 cs.AI cs.RO
YOR: Your Own Mobile Manipulator for Generalizable Robotics
New York University(纽约大学);University of California, Berkeley(加州大学伯克利分校);City University of New York(纽约城市大学)
YOR是一款低成本、模块化的移动机械臂,通过集成 omnidirectional 基底、可伸缩垂直提升装置和双臂夹具,实现全身移动和操作,为移动操作研究提供经济高效的解决方案。
2026-02-11 cs.LG cs.RO
Skill-Aware Diffusion for Generalizable Robotic Manipulation
School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学);Department of Computer Science, The University of Manchester(计算机科学系,曼彻斯特大学)
SADiff通过整合技能层面信息提升机器人操作的泛化能力,引入IsaacSkill数据集进行评估与迁移。
2026-10-14 cs.RO
MyoDex: A Generalizable Prior for Dexterous Manipulation
FAIR, Meta AI(Meta AI 基础人工智能研究团队);CMU(卡内基梅隆大学)
本研究提出MyoDex,一种基于多任务学习的可泛化操作先验,通过生理学真实的人类手部模型MyoHand隐式捕获任务无关的行为先验,使智能体能够快速获取新灵巧行为,在少样本泛化和未见任务迁移上显著优于基线方法。
2023-09-06 cs.AI cs.RO
WM-Craftnet: World Synesthesia Model for Generalizable and Robust Dexterous In-Hand Manipulation
Sharpa Robotics(夏普机器人公司)
提出WM-Craftnet,利用世界联觉模型作为循环任务上下文,结合触觉与深度重建,提升灵巧手内操作的泛化性和鲁棒性,支持多物体及仿真到现实迁移。
2026-09-09 cs.RO
H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models
该研究推出H2R-Bench基准测试,评估视频世界模型跨实体将人类操作视频转为机器人操作视频的能力,发现现有模型在实体一致性等方面存在局限,为相关模型评估提供诊断框架。
2026-08-14 cs.CV cs.RO
GENMANIP: LLM-driven Simulation for Generalizable Instruction-Following Manipulation
Shanghai AI Laboratory(上海人工智能实验室);Xi’an Jiaotong University(西安交通大学);Zhejiang University(浙江大学);Nanjing University(南京大学)
针对机器人操作泛化难、现有仿真平台支持不足的问题,研究推出GenManip仿真平台与GenManip-Bench基准,实验表明带基础模型的模块化策略泛化效果优于数据增强的端到端策略。
2025-06-12 cs.RO
Zero-Shot Robot Manipulation from Passive Human Videos
Carnegie Mellon University(卡内基梅隆大学);Meta AI
我们是否可以仅仅通过观看人类在不同的非结构化环境中执行任意任务的视频来学习机器人操作的日常任务?与广泛采用的学习特定任务的行为或直接模仿人类视频的策略不同,我们开发了一个框架,用于从人类视频中提取与代理无关的动作表示,然后将其映射到代理的实施例中。我们的框架是基于预测合理的人手轨迹给定的初始图像的场景。在对来自互联网的不同人类视频集训练此预测模型后,在对机器人的实施例进行适当变换后,我们将训练模型zero-shot部署为物理机器人操作任务。这个简单的策略使我们能够解决粗略的操作任务,如打开和关闭抽屉,推动和工具使用,而无需访问任何域内机器人操作轨迹。我们的实际部署结果为动作预测信息建立了一个强大的基线,这些信息可以从人类活动的各种任意视频中获取,并可用于在看不见的场景中进行zero-shot机器人操作。
2023-02-03 cs.LG cs.RO
CAGE: Causal Attention Enables Data-Efficient Generalizable Robotic Manipulation
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出 CAGE 机器人操作策略,融合 DINOv2、LoRA、因果 Perceiver 与扩散动作头,仅用 50 个演示即可显著提升视觉变化下的泛化与任务表现。
2024-12-06 cs.RO
OmniD: Generalizable Robot Manipulation Policy via Image-Based BEV Representation
Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心)
针对视觉运动策略过拟合及多视角融合困难问题,提出OmniD框架,通过可变形注意力生成器将多视角图像合成为统一BEV表示,在分布外和小样本场景下显著提升机器人操作泛化性能。
2025-08-16 cs.RO
Learning to Scaffold the Development of Robotic Manipulation Skills
Stanford Artificial Intelligence Lab (SAIL)(斯坦福人工智能实验室(SAIL));Stanford University(斯坦福大学)
学习接触丰富的机器人操作技能是一个具有挑战性的问题,由于状态和动作空间的高维性,以及噪声传感器和不准确的电机控制的不确定性。为了对抗这些因素并实现更强大的操纵,人类积极利用环境中的接触约束。通过采用类似的策略,机器人也可以实现更强大的操作。在本文中,我们使机器人能够自主修改其环境,从而发现如何减轻操作技能的学习。具体来说,我们为机器人提供了固定装置,它可以自由地放置在环境中。这些固定装置提供了限制机器人动作结果的硬约束。因此,他们从感知、运动控制和支架操作技能学习中汲取不确定性。我们提出了一个学习系统,包括两个学习循环。在外部循环中,机器人将夹具定位在工作空间中。在内部循环中,机器人学习操作技能,并在固定次数的情节后,将奖励返回到外部循环。因此,机器人被激励放置固定装置,使得内环快速实现高回报。我们展示了我们的框架在模拟和现实世界中的三个任务:钉插入,扳手操作和浅深度插入。我们表明,操纵技能的学习是显着加快通过这种方式的脚手架。
2020-10-05 cs.AI cs.CV cs.LG
Grasp-Then-Plan with Failure Attribution: A Closed Two-Stage Framework for Precise and Generalizable Robotic Manipulation
School of Computer Science and Engineering, Southeast University, China(东南大学计算机科学与工程学院)
提出GTP-FA框架,通过任务导向的两阶段抓取-规划流程和失败归因模型,在抓取和规划模块中分别注入任务先验和风险惩罚以及针对高风险初始状态进行数据收集和微调,显著提升机器人操作任务的成功率。
2026-10-28 cs.AI cs.RO
Spatially Generalizable Mobile Manipulation via Adaptive Experience Selection and Dynamic Imagination
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);Xiangjiang Laboratory(湘江实验室);School of Artificial Intelligence, Anhui University(安徽大学人工智能学院)
本文提出基于自适应经验选择和动态想象的移动操作方法,提升技能学习效率和空间泛化能力。
2026-01-21 cs.RO
RoboPilot: Generalizable Dynamic Robotic Manipulation with Dual-thinking Modes
Microsoft, Denmark(微软公司,丹麦);Technical University of Denmark(丹麦技术大学);University of California, Los Angeles(加州大学洛杉矶分校)
针对现有机器人开环操作方法鲁棒性差、误差累积的问题,提出具备快慢双思维切换的闭环框架RoboPilot,结合基元动作、反馈重规划与思维链推理,在含21项任务的基准上任务成功率超SOTA基线25.9%,真实工业部署验证了鲁棒性。
2026-10-08 cs.AI cs.RO
AffordDP: Generalizable Diffusion Policy with Transferable Affordance
ShanghaiTech University(上海科技大学)
针对扩散策略在机器人操作中跨域泛化能力弱的问题,提出融合可迁移可供性的AffordDP方法,通过3D接触信息建模可供性、结合视觉基础模型与点云配准实现迁移,并在扩散采样中加入引导,在仿真与真实场景中均优于现有方法,实现对未见物体实例和类别的泛化操作。
2025-03-20 cs.RO
VideoVLA: Video Generators Can Be Generalizable Robot Manipulators
IAIR, Xi’an Jiaotong University(人工智能研究院、西安交通大学);Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
VideoVLA通过将视频生成模型转化为机器人VLA操作器,实现了动作与视觉后果的双预测,提升机器人操作的泛化能力。
2025-12-07 cs.AI cs.CV cs.RO
Improved Learning of Robot Manipulation Tasks via Tactile Intrinsic Motivation
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们解决了机器人操作任务的深度强化学习探索的挑战。在稀疏目标设置中,智能体在随机实现目标之前不会收到任何正反馈,这对于较长的控制序列变得不可行。受儿童中观察到的基于触摸的探索的启发,我们基于机器人的力传感器和鼓励物理交互的操纵对象之间的力的总和来制定内在奖励。此外,我们引入接触优先经验重放,采样方案,优先接触丰富的插曲和过渡。我们表明,我们的解决方案加速了探索,并优于三个基本的机器人操作基准的最先进的方法。
2021-02-22 cs.AI cs.LG cs.RO
ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training
Joy Future Academy(京东探索研究院)
ZimaBlue是一种可扩展框架,通过三阶段训练课程和异步快慢双系统架构,从大规模视频学习可泛化的世界动作模型,在真实机器人零样本评估中使成功率从36.1%提升至77.8%,在多基准测试中表现强劲。
2026-09-02 cs.CV
Versatile and Generalizable Manipulation via Goal-Conditioned Reinforcement Learning with Grounded Object Detection
Digital Technologies, National Research Council of Canada(加拿大国家研究理事会数字技术部门);University of Alberta(阿尔伯塔大学);Amii Edmonton, Canada(埃德蒙顿阿米人工智能研究所)
本研究提出将预训练目标检测模型集成到 Goal-Conditioned Reinforcement Learning 中,通过基于掩码的目标条件提供与目标无关的线索,使机器人具备通用且可泛化的到达和抓取能力,在模拟任务中对分布内外目标均保持约90%的成功率并加速收敛。
2025-07-14 cs.RO
RGMP: Recurrent Geometric-prior Multimodal Policy for Generalizable Humanoid Robot Manipulation
RGMP通过结合几何-语义推理与递归高斯适应,实现了高效的人形机器人多模态操作控制。
2025-12-24 cs.RO
Interpreting Behaviors and Geometric Constraints as Knowledge Graphs for Robot Manipulation Control
Department of Computing Science, University of Alberta(计算科学系,阿尔伯塔大学)
本文提出利用机器人知识图谱统一行为树与几何约束,将操作控制概念化为语义事件,以实现可解释的机器人操作控制。
2025-10-07 cs.RO
OmniDexGrasp: Generalizable Dexterous Grasping via Foundation Model and Force Feedback
School of Computer Science and Engineering, Sun Yat-sen University, China(计算机科学与工程学院,中山大学)
针对现有灵巧抓取泛化性差的问题,提出OmniDexGrasp框架,结合基础模型生成人类抓取图像、迁移策略及力反馈自适应抓取,实现多样用户提示、灵巧手和任务的通用抓取,并在仿真和真实机器人上验证了有效性。
2025-10-27 cs.RO
Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks
JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学)
针对双臂移动机器人家务操作数据匮乏问题,提出BRMData数据集,涵盖10项多样化家务任务并引入操作效率评分MES指标,以推动双臂移动操作技术发展。
2024-06-06 cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation
Anhui University(安徽大学);University of Science and Technology of China(中国科学技术大学);iFLYTEK(科大讯飞)
提出GEAR-VLA框架,通过粗到细的动作学习、语义对齐的3D集成和具身规范化,学习统一的几何感知动作表示,实现跨物体、背景和机器人的泛化操作。
2026-06-11 cs.AI cs.RO
Sim-and-Human Co-training for Data-Efficient and Scene-Generalizable Bimanual Manipulation
University of Electronic Science and Technology of China(电子科学与技术大学);Southwest Jiaotong University(西南交通大学);Tongji University(同济大学);Shanghai Innovation Institute(上海创新研究院)
SimHum通过结合仿真数据和人类数据,实现了数据高效且可泛化的机器人操作,实验表明其在现实任务中表现优于基线方法。
2026-09-18 cs.AI cs.RO
Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA
Osaka University(大阪大学);Waseda University(早稻田大学);Kyoto University(京都大学)
提出了一种基于FPGA的神经网络的人形机器人柔性物体操作系统。虽然使用机器人操纵柔性物体吸引了越来越多的关注,因为这些任务是我们日常生活中的基本和必不可少的活动,但直到最近才在深度神经网络的帮助下付诸实践。然而,这样的系统依赖于GPU加速器,其不能被实施到空间有限的机器人身体中。虽然现场可编程门阵列(FPGA)被认为是节能的并且适合于嵌入式系统,但是由于FPGA具有有限的片上存储器,因此模型大小应该被大幅减小。为此,我们提出了“部分”二进制化深度卷积自动编码器技术,其中只有编码器部分被二进制化以压缩模型大小,而不会降低推理精度。在Xilinx ZCU 102上实现的模型实现了每秒41.1帧,功耗为3.1 W,{ \awano {,分别相当于在Core i7 6700 K和RTX 2080 Ti上实现的系统的10倍和3.7倍改进。
2021-07-01 cs.RO
UniDomain: Pretraining a Unified PDDL Domain from Real-World Demonstrations for Generalizable Robot Task Planning
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
UniDomain通过预训练统一的PDDL领域,结合机器人操作演示,实现可泛化的任务规划,实验显示其在零样本情况下任务成功率和计划优化度显著提升。
2026-04-20 cs.RO