Student-Informed Teacher Training
University of Zurich（苏黎世大学）
针对特权模仿学习中师生不对称导致学生难以模仿的问题，提出联合训练框架，通过动作差异惩罚项和师生对齐步骤，使教师学习可被学生模仿的行为，并在迷宫导航及四旋翼飞行和操作任务中验证有效性。
2025-02-27 cs.LG cs.RO
Combined Task and Action Learning from Human Demonstrations for Mobile Manipulation Applications
University of Freiburg（弗莱堡大学）
示教学习是向机器人传递知识的一种很有前途的范例。然而，直接从人类教师学习移动操作任务是一个复杂的问题，因为它需要学习模型的总体任务目标和基本的行动。此外，从少量的演示中学习通常会导致教师意图的模糊性，这使得致力于将任务推广到新环境的一个模型具有挑战性。在本文中，我们提出了一种方法来学习灵活的移动操作动作模型和任务目标表示教师演示。我们的动作模型使机器人能够考虑每个动作的不同可能结果，并生成实现这些结果的可行轨迹。因此，我们利用基于蒙特卡罗树搜索的概率框架来计算在新设置中模仿教师意图的可行动作序列，而不需要教师指定明确的目标状态。我们证明了我们的方法在现实世界中进行的复杂任务的有效性。
2019-08-25 cs.RO
Acoustic-driven millimetric helical robot: ultrasonic synergistic manipulation in confined fluidic environment
Zhejiang University（浙江大学）；Huzhou Institute of Zhejiang University（浙江大学湖州研究院）；Huzhou Normal University（湖州师范学院）；Huzhou Vocational and Technical College（湖州职业技术学院）
该研究提出协调多声场方法，利用声辐射力与声流协同实现毫米级螺旋机器人在受限流体环境的可控运动，提升了操控性，为相关生物医学应用提供支撑。
2026-08-07 cs.RO
Active Acoustic Sensing for Robot Manipulation
University of Southern California（南加州大学）
提出一种用于机器人操作的主动声学感知方法，通过振动执行器与压电麦克风捕捉物体共振特性，为物体识别与位姿估计等下游任务提供基础。
2023-08-03 cs.RO
VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation
NVIDIA；CMU（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；CUHK（香港中文大学）
VIRAL通过大规模仿真训练并零样本部署，实现双足机器人在现实中的自主移动- manipulation能力，无需现实微调。
2025-11-27 cs.RO
Decentralized LLM-Driven Coordination of Acoustic Robots for Contactless Object Manipulation
Department of Computer Science, University College London（计算机科学系，伦敦大学学院）；Department of Artificial Intelligence, University of Malaya（人工智能系，马来大学）
提出一种去中心化框架，利用Whisper语音识别和LLM语义解析将自然语言指令转换为多机器人任务计划，实现声学机器人的非接触式物体操控，实验验证了顺序、并行和同步协作任务的有效性。
2026-05-28 cs.RO
DreamMimic: Learning Visuomotor Whole-Body Loco-Manipulation via World Model
Tsinghua University（清华大学）
DreamMimic 框架通过世界模型辅助蒸馏，将特权教师策略提炼为基于视觉的人形机器人控制器，引入 PCG 平衡引导与探索，在 OMOMO 和 BEHAVE 上提升了视觉移动操作性能。
2026-08-25 cs.RO
HULK: Learning Whole-Body Forceful Loco-Manipulation for Humanoids
University of Michigan（密歇根大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Amazon（亚马逊）；California Institute of Technology（加州理工学院）
针对人形机器人搬运重物时的全身强力交互难题，提出HULK框架，结合MPC引导强化学习与捕获点控制障碍函数训练双教师策略并蒸馏为单一策略，显著降低跟踪误差和DCM偏移，并在仿真和Unitree G1上验证了有效性。
2026-10-08 cs.LG cs.RO
Correct Me if I am Wrong: Interactive Learning for Robotic Manipulation
University of Freiburg（弗赖堡大学）
从视觉观察中学习解决复杂的操作任务是现实世界机器人学习的主要挑战。尽管深度强化学习算法最近在这方面取得了令人印象深刻的结果，但它们仍然需要大量耗时的试错迭代。在这项工作中，我们认为有前途的替代范式的交互式学习中，一个人类教师提供反馈的政策在执行过程中，而不是模仿学习，使用预先收集的数据集完美的演示。我们提出的CEILing（纠正和评价的互动学习）框架结合了纠正和评价的反馈，从教师训练的随机政策，在异步的方式，并采用了一个专门的机制来权衡人类的更正与机器人自己的经验。我们在广泛的模拟和真实世界的实验中展示了我们的框架所获得的结果，以证明CEILing可以在不到一个小时的真实世界训练中直接从原始图像有效地解决复杂的机器人操作任务。
2022-01-19 cs.RO
How to Spend Your Robot Time: Bridging Kickstarting and Offline Reinforcement Learning for Vision-based Robotic Manipulation
DeepMind（深度思维）
强化学习（RL）已被证明是有效的学习控制经验。然而，RL通常需要与环境进行大量的在线交互。这限制了它对现实世界的适用性，例如在机器人技术中，这种交互是昂贵的。在这项工作中，我们研究的方法，以尽量减少在线互动的目标任务，通过重用一个次优的政策，我们可能会访问，例如从相关的先前任务的培训，或在模拟。为此，我们开发了两种RL算法，不仅可以使用教师策略的动作分布，还可以使用这些策略在手头任务上收集的数据来加快训练速度。我们进行了一个彻底的实验研究，如何使用次优教师在一个具有挑战性的机器人操作基准基于视觉的堆叠与不同的对象。我们将我们的方法与离线，在线，离线到在线和kickstarting RL算法进行比较。通过这样做，我们发现，对教师和学生的数据进行训练，可以在有限的数据预算下实现最佳性能。我们研究如何最好地分配有限的数据预算-目标任务-教师和学生之间的政策，并报告实验使用不同的预算，两个教师不同程度的次优，和五个堆叠任务，需要一套不同的行为。我们在模拟和现实世界中的分析表明，我们的方法在数据预算中是最好的，而当提供足够的数据时，教师推出的标准离线RL是令人惊讶的有效。
2022-05-06 cs.LG cs.RO
What is the Better Curriculum: Controller-Shaped Grasping Behavior for Contact Force-Sensitive Manipulation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对力敏感操作中手动数据收集困难的问题，提出用25 Hz触觉反射控制器作为教师生成示范，训练无触觉策略，在ACT上实现95%稳定抓取，并揭示扰动抑制仍依赖控制器。
2026-09-23 cs.RO
VE2VF: Vision-Enabled to Vision-Free Distillation via Real-world Reinforcement Learning for Robust Contact-Rich Manipulation
Autonomous Systems, Technische Universitaet Wien (TU Wien)（自动系统，维也纳技术大学）；Institute of Robotics and Mechatronics (DLR)（机器人与机电研究所）
提出一种人在环强化学习框架，通过教师-学生蒸馏将视觉使能策略的知识迁移到仅依赖本体感知的无视觉策略，在真实世界训练中实现鲁棒泛化，无需域随机化或数据增强。
2026-10-06 cs.RO
Hierarchical Audio-Visual-Proprioceptive Fusion for Precise Robotic Manipulation
Harbin Institute of Technology, China（哈尔滨工业大学）；Nanyang Technological University, Singapore（南洋理工大学）
本文提出层次化多模态融合框架，通过整合音频、视觉和本体感知信息，提升机器人精确操作性能。
2026-02-14 cs.AI cs.RO
HANDOFF: Humanoid Agentic Task-Space Whole-Body Control via Distilled Complementary Teachers
California Institute of Technology（加州理工学院）；The Institute for Human & Machine Cognition（人机认知研究院）
提出HANDOFF框架，通过多教师KL蒸馏和上下文门控机制，将全身运动跟踪、行走和跌倒恢复三个专家策略融合为混合专家学生策略，实现基于紧凑显式接口的全身控制，在Unitree G1上达到先进的速度跟踪性能并扩展了操作工作空间。
2026-09-30 cs.AI cs.LG cs.RO
AffordVLA: Injecting Affordance Representations into Vision-Language-Action Models via Implicit Feature Alignment
Grasp Lab, School of Mechanical Engineering of Zhejiang University（浙大机械工程学院抓取实验室）
本文提出 AffordVLA 框架，通过隐式特征对齐将以操作为中心的 affordance 表示注入到视觉-语言-动作模型中，以提升动作准确性，实验表明其在仿真和现实中的表现优于现有方法。
2026-05-17 cs.RO
Robot-DIFT: Correspondence-Sensitive Diffusion Features for Contact-Rich Robot Manipulation
TU Darmstadt（图宾根大学）；KIT（卡尔斯鲁厄理工学院）；FZI（弗劳恩霍夫研究所）；Hessian.AI（黑森人工智能公司）；Robotics Institute Germany（德国机器人研究所）；Honda Research Institute Europe GmbH（本田欧洲研究院）
提出Robot-DIFT，通过流形蒸馏将扩散模型转化为确定性学生网络，结合空间-语义特征金字塔网络，为接触敏感任务提供实时对应敏感特征，在多个基准上超越现有方法。
2026-06-08 cs.RO
Prompt-responsive Object Retrieval with Memory-augmented Student-Teacher Learning
Autonomous Intelligent Systems Group, University of Bonn, Germany（波恩大学自主智能系统小组）；Lamarr Institute for ML and AI, Bonn, Germany（贝勒人工智能与机器学习研究所）
本文提出记忆增强师生学习框架，将SAM 2可提示基础模型与强化学习结合，利用不完美检测的时间序列进行隐式状态估计，使机器人能够根据用户提示在杂乱场景中完成灵巧抓取任务。
2025-05-04 cs.AI cs.LG cs.RO
Automated Noncontact Trapping of Moving Micro-particle with Ultrasonic Phased Array System and Microscopic Vision
ShanghaiTech University（上海科技大学）
非接触式粒子操控技术将人类的分析能力扩展到微纳尺度，极大地推动了材料科学和生命科学的发展。虽然通过电场，磁场和光场的NPM已经取得了巨大的成功，但从机器人的角度来看，它仍然是劳动密集型操作，因为在早期准备阶段必须有专业的人工协助。因此，开发移动颗粒的自动非接触式捕获是值得的，特别是对于颗粒样品稀少、易碎或接触敏感的应用。利用最新的动态声场调制技术，特别是利用声操作从微米级到亚厘米级的巨大可扩展性，本文提出了一种利用超声相控阵系统和显微视觉对运动微粒进行自动非接触捕获的方法。本论文的主要贡献是首次实现了基于机器人技术的声NPM场运动微粒捕获的全自动化。即利用双目显微视觉系统观察和预测颗粒的运动状态，并以此为依据计算和生成声捕获区，实现对颗粒的捕获和稳定保持。解决了非接触机器人末端执行器的手眼关系问题。实验证明了这项工作的有效性。
2022-08-22 cs.RO
Listen Before Act: Audio-Conditioned Robot Manipulation with ListenVLA
针对现有VLA模型未充分利用听觉线索的问题，提出基于GR00T N1.7的ListenVLA策略，引入音频-动作绑定目标并构建LIBERO-Audio基准，在多任务上取得优异操纵性能。
2026-10-14 cs.RO
Learning Robot Manipulation from Cross-Morphology Demonstration
Robotic Embedded Systems Laboratory（机器人嵌入式系统实验室）；University of Southern California（南加州大学）
本文提出模仿学习中的形态适应框架MAIL，利用形态显著不同的智能体的次优演示训练机器人视觉控制策略，在刚体与布料操作任务中相比基线提升最高24%，并成功部署到真实Franka Panda机器人。
2023-10-30 cs.LG cs.RO
GeoLAM: Learning Geometry-Grounded Latent Actions from Unlabeled Human Videos
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Fudan University（复旦大学）
GeoLAM从无标注人类视频中学习几何基础的潜在动作，结合几何特征与4D教师监督，提升机器人操作性能。
2026-09-16 cs.CV cs.RO
Learning Diverse Bimanual Dexterous Manipulation Skills from Human Demonstrations
School of Computer Science（计算机学院）；Peking University（北京大学）；BAAI（北京智源人工智能研究院）
本文提出BiDexHD框架，通过从现有双手数据集自动构建任务并结合教师-学生策略学习，在TACO数据集141个任务上实现了74.59%的已训练任务完成率和51.07%的零样本泛化能力，推动了通用双手灵巧操作技能的学习。
2024-10-03 cs.LG cs.RO
Contact-less manipulation of millimeter-scale objects via ultrasonic levitation
Paul G. Allen School of Computer Science and Engineering（保罗·G·艾伦计算机科学与工程学院）
虽然通用机器人操纵器在操纵各种物体方面变得越来越有能力，但它们操纵毫米级物体的能力通常非常有限。另一方面，超声波悬浮装置已被证明可以悬浮大范围的小物体，从聚苯乙烯球到生物体。通过控制声力场，超声悬浮装置可以补偿机器人操作器的定位不确定性，并控制施加在目标物体上的抓持力。声悬浮装置的材料不可知性和它们灵巧地操纵毫米级物体的能力使它们成为通用机器人的抓取模式。在这项工作中，我们提出了一种超声波，非接触式操作设备，可以连接到任何通用机械臂或由任何通用机械臂拾取，使毫米级的操作，很少或没有修改机器人本身。该装置能够在声反射表面上执行第一个相位控制拾取动作。通过将机械手放置在目标物体周围，机械手可以抓住尺寸小于机器人定位不确定性的物体，在机器人移动过程中捕获物体以抵抗气流，并灵巧地握住小而脆弱的物体，如花蕾。由于基于超声的夹具的非接触性质，定位成观察圆柱体的相机可以在没有遮挡的情况下检查物体，从而促进准确的视觉特征提取。
2020-02-20 cs.RO cs.SY eess.SY
ForeTime-VLA: Causal Future-Token Distillation from a World Action Model for Conveyor-Belt Manipulation
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Hangzhou Yunshenchu Technology Co., Ltd. (DEEP Robotics)（杭州云深处科技有限公司（深地机器人））
该研究提出ForeTime-VLA策略，通过从冻结Fast-WAM教师模型蒸馏因果未来令牌，在传送带操控任务上降低了MAE和L2误差，提升了抓取成功率，验证了该方法的有效性。
2026-08-25 cs.AI cs.RO
