Feel the Force: Contact-Driven Learning from Humans
New York University(纽约大学);UC Berkeley(加州大学伯克利分校);New York University Shanghai(纽约大学上海分校)
本文提出FeelTheForce系统,通过触觉手套采集人类接触力并结合视觉手部姿态估计训练闭环策略,将其迁移到Franka Panda机器人上实现力敏感操作,在5项任务中取得77%成功率。
2025-06-02 cs.AI cs.RO
Walk along: An Experiment on Controlling the Mobile Robot 'Spot' with Voice and Gestures
Delft University of Technology(代尔夫特理工大学)
本研究通过218人实验比较语音与手势控制Spot机器人,发现语音控制配合随行行走最直观高效,并指出优化手势设计可提升手势控制效果。
2025-04-14 cs.HC cs.RO
SLAC: Safe and Efficient Real-Robot Reinforcement Learning via Unsupervised Simulation Pre-Training
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能);Amazon Robotics(亚马逊机器人技术)
研究旨在解决高自由度机器人强化学习难题,提出SLAC方法,利用低保真模拟器预训练潜在动作空间,通过定制无监督方法训练并用于新型离策略算法,在双手移动操纵任务中达领先性能,高效学习复杂任务。
2026-07-20 cs.AI cs.LG cs.RO
Motion Tracks: A Unified Representation for Human-Robot Transfer in Few-Shot Imitation Learning
本文提出将动作表示为图像上的短时程2D轨迹(motion tracks),实现跨本体的人机迁移,仅需少量人类视频和机器人演示即可训练策略,在4个真实任务中达到86.5%的成功率。
2025-10-10 cs.AI cs.LG cs.RO
Visual Language Maps for Robot Navigation
University of Freiburg(弗赖堡大学);Google Research(谷歌研究院);University of Technology Nuremberg(纽伦堡工业大学)
可以使用在互联网规模数据上预训练的现成视觉语言模型(例如,图像字幕)。虽然这对于将图像匹配到对象目标的自然语言描述是有用的,但是它仍然与映射环境的过程不相交,因此它缺乏经典几何地图的空间精度。为了解决这个问题,我们提出了VLMaps,这是一种空间地图表示,它直接将预先训练的视觉语言特征与物理世界的3D重建融合在一起。VLMaps可以使用标准的探索方法从机器人上的视频源自主构建,并支持地图的自然语言索引,而无需额外的标记数据。具体地,当与大语言模型(LLM)结合时,VLMaps可以用于(i)将自然语言命令翻译成开放词汇导航目标的序列(其超出先前的工作,可以通过构造而空间化,例如,“在沙发和电视之间”或“椅子右边三米”),以及(ii)可以在具有不同实施例的多个机器人之间共享,以在运行中生成新的障碍物地图(通过使用障碍物类别的列表)。在模拟和真实世界环境中进行的大量实验表明,VLMaps能够根据比现有方法更复杂的语言指令进行导航。视频可在https://vlmaps.github.io上获得。
2023-03-08 cs.AI cs.CL cs.CV
Genetic Algorithm Based System for Path Planning with Unmanned Aerial Vehicles Swarms in Cell-Grid Environments
University of A Coruna(拉科鲁尼亚大学);Faculty of Computer Science(计算机学院);CITIC
针对含固定障碍物环境中的多无人机全覆盖路径规划问题,提出一种基于遗传算法的进化计算系统,可在无目标点和额外先验信息下最小化飞行时间与资源消耗。
2024-12-04 cs.AI cs.RO
A Comprehensive Review of Generative Physical Artificial Intelligence
Qualcomm Research(高通研究院);University of the Cumberlands(坎伯兰大学);BITS-Pilani(皮拉尼比尔拉理工学院);National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
本综述系统分类并分析了生成式物理人工智能的五种方法,探讨其互补关系,并总结了在自动驾驶、工业自动化等领域的性能提升与未来研究方向。
2026-09-17 cs.AI cs.CL cs.CV
Improving the Resilience of Quadrotors in Underground Environments by Combining Learning-based and Safety Controllers
Stanford Intelligent Systems Laboratory, Department of Aeronautics and Astronautics, Stanford University(斯坦福大学航空航天系)
本研究通过结合学习型和安全控制器,提高四旋翼在地下环境中的鲁棒性,实现任务完成与碰撞避免的平衡。
2025-09-02 cs.AI cs.RO cs.SY
GainAdaptor: Learning Quadrupedal Locomotion with Dual Actors for Adaptable and Energy-Efficient Walking on Various Terrains
Seoul National University of Science and Technology(首尔科学技术大学)
针对传统DRL足式机器人位置控制中PD增益人工调试限制适应性与效率的问题,提出带双智能体的GainAdaptor框架,可动态自适应调节PD增益,在Unitree Go1机器人上验证了多地形下的运动性能与能效提升。
2024-12-12 cs.LG cs.RO
Open-World Drone Active Tracking with Goal-Centered Rewards
South China University of Technology(华南理工大学);Institute for Super Robotics (Huangpu)(超机器人研究所);Pazhou Laboratory(琶洲实验室);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education(大数据与智能机器人重点实验室);Peng Cheng Laboratory(鹏城实验室);Sun Yat-sen University(中山大学);Harbin Engineering University(哈尔滨工程大学)
针对开放世界无人机视觉主动跟踪缺乏统一基准、环境干扰多的难题,提出首个开放世界空对地跟踪基准DAT及带目标中心奖励和课程训练策略的GC-VAT强化学习方法,仿真跟踪成功率达约72%。
2025-10-22 cs.AI cs.RO
Robot Self-Improvement via Human-Video Dynamics Models
ETH Zurich(苏黎世联邦理工学院);Technical University of Munich(慕尼黑工业大学);Microsoft(微软);MCML(慕尼黑机器学习中心)
提出DGAC方法,利用人类视频学习跨本体的动作、动力学和价值表征,使机器人能从自身失败中自主改进,在7个真实操作任务中将成功率从40%提升至81%。
2026-06-23 cs.CV cs.RO
ASPIRE: Agentic /Skills Discovery for Robotics
NVIDIA(英伟达);UMich(密歇根大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学)
提出ASPIRE系统,通过闭环执行、技能库积累和进化搜索,自主编写和优化机器人控制程序,在扰动、多机器人协作和长时域任务上显著超越现有方法,并实现零样本泛化与仿真到现实的技能迁移。
2026-10-22 cs.AI cs.MA cs.RO
An LLM-enabled Multi-Agent Autonomous Mechatronics Design Framework
Imperial College London(帝国理工学院伦敦分校);Univeristy of Aberdeen(阿伯丁大学)
本文提出一个基于LLM的多智能体机电一体化设计框架,通过语言驱动和人类反馈,实现自主生成功能原型,并在水质监测任务中成功开发自主船,展示了自动化工程设计的潜力。
2025-04-20 cs.AI cs.RO
RACAS: Controlling Diverse Robots With a Single Agentic System
Center of Excellence in Generative AI, King Abdullah University of Science and Technology (KAUST), Saudi Arabia(沙特王国科学与技术大学生成人工智能卓越中心);Dalle Molle Institute for Artificial Intelligence Research (IDSIA), Switzerland(人工智能研究达勒莫利 institute);Università della Svizzera italiana (USI), Switzerland(瑞士意大利大学);Scuola universitaria professionale della Svizzera italiana (SUPSI), Switzerland(瑞士意大利专业大学);Robotics, Intelligent Systems, and Control Lab, King Abdullah University of Science and Technology (KAUST), Saudi Arabia(机器人、智能系统与控制实验室,沙特王国科学与技术大学(KAUST));Department of Process Control, AGH University of Krakow, Poland(波兰克拉科夫AGH大学过程控制系)
RACAS通过单一代理系统实现跨平台机器人控制,无需修改代码或模型,有效降低机器人原型开发难度。
2026-03-11 cs.AI cs.CL cs.LG
SensorPerch: Sense Wherever and Whenever it Matters
Cornell University(康奈尔大学)
针对机器人感知视角受限问题,提出SensorPerch,通过将传感器视为独立实体实现主动感知。它由可重构传感器平台和视角选择框架组成,能按需构建与任务相关的视角。在对象耦合和策略耦合感知任务中验证了该范式的有效性。
2026-11-04 cs.RO
Seed2Scale: A Self-Evolving Data Engine with Parallel Worlds Expansion for Scalable Robot Learning
ZTE Corporation(中兴通讯公司)
Seed2Scale通过小到大模型协同和多模态评估,实现具身AI的自我进化数据引擎,显著提升性能并提供可扩展的开发路径
2026-10-09 cs.RO
Dynamic Autonomous Surface Vehicle Controls Under Changing Environmental Forces
Dartmouth College(达特茅斯学院);University of South Carolina(南卡罗来纳大学)
导航、搜索和监测诸如港口、三角洲、支流和河流等动态海洋环境的能力对人类操作和自主操作的水面车辆提出了若干挑战。当面对大覆盖区域、受干扰的环境和潜在的不适合居住的情况时,人类数据汇集和监测是过度繁重和不一致的。相比之下,同样的任务可以通过配置并能够在这种环境中精确机动的自主水面车辆(ASV)来实现。在沿海和移动水域完成精确机动的两个动力因素是海流和风。在这项工作中,我们提出了新的和廉价的方法来感测这些外力,以及在这种外力的存在下精确控制ASV的方法。由此产生的平台能够部署测深和水质监测传感器。在当地湖泊和河流中的实验结果证明了所提出的方法的可行性。
2019-08-07 cs.RO
AnyCar to Anywhere: Learning Universal Dynamics Model for Agile and Adaptive Mobility
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
提出基于transformer的通用动力学模型AnyCar,通过统一多模拟器数据与真实世界微调,实现多种轮式机器人在复杂环境下的敏捷自适应控制,结合MPC性能比专用模型提升达54%。
2024-09-24 cs.RO
Agent-Based Emulation for Deploying Robot Swarm Behaviors
George Mason University(乔治梅森大学);University of Utah(犹他大学)
本文提出基于智能体的具身建模与仿真方法,通过低保真轻量级仿真指导物理实验,在简单机器人群体中重现已知行为并发现新的涌现行为。
2024-10-21 cs.RO cs.SY eess.SY
Kinema4D: Kinematic 4D World Modeling for Spatiotemporal Embodied Simulation
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);SSE, CUHKSZ(香港中文大学深圳校区SSE)
本文提出Kinema4D,一种基于动作条件的4D生成机器人模拟器,通过精确的4D机器人控制表示和环境反应的生成建模,实现了高精度的空间时间交互模拟,并首次展示零样本迁移能力。
2026-03-17 cs.CV cs.RO
Self-assembling Modular Aerial Robot for Versatile Aerial Tasks
Department of Mechanical Engineering, The University of Tokyo(东京大学机械工程系);Department of Mechano Informatics, The University of Tokyo(东京大学机械信息学系)
本文提出了一种自组装模块化空中机器人LEGION,通过飞行中自组装实现协同操作,结合灵活 maneuverability 和可重构性,实现了从被动观察者到主动参与者转变,拓展了空中物理交互的范围。
2026-05-19 cs.RO
HI-DWA: Human-Influenced Dynamic Window Approach for Shared Control of a Telepresence Robot
University of Oulu(奥卢大学)
本文考虑的问题,使用户修改的遥现机器人的路径。机器人能够自主导航到用户预定义的目标,但用户可能仍然想要修改路径,例如,远离其他人,或者更接近她想在路上看到的地标。我们提出了人为影响的动态窗口方法(HI-DWA),一个共享的控制方法,旨在基于动态窗口方法(DWA),允许用户影响的控制输入给机器人的远程呈现机器人。为了验证所提出的方法,我们在虚拟现实(VR)中进行了用户研究(N=32),比较HI-DWA与自主导航和手动控制之间的切换,用于控制在虚拟环境中移动的模拟临场感机器人。结果表明,用户使用HI-DWA控制器更快地达到了他们的目标,并发现它更容易使用。这两种方法的偏好是平分的。定性分析显示,参与者更喜欢在两种模式之间切换的一个主要原因是控制感。我们还分析了不同的输入方法,操纵杆和手势,对偏好和感知工作量的影响。
2022-07-25 cs.HC cs.MM cs.RO
SimEX: Simulation-Integrated Robotics AutoResearch
Amazon FAR (Frontier AI & Robotics)(亚马逊前沿人工智能与机器人部门);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学)
SimEX通过紧密集成仿真实验,使编码智能体无需演示即可高效获取真实机器人操作技能,仅需10分钟真实交互,显著降低实验成本并提升安全性。
2026-10-01 cs.AI cs.LG cs.RO
Self-organizing Nervous Systems for Robot Swarms
Université Libre de Bruxelles(布鲁塞尔自由大学);University of Southern Denmark(南丹麦大学)
提出自组织神经系统SoNS,通过动态多层级层级让机器人群体在局部集中协调与自组织优势间取得平衡,并在真实异构空地群体和250机器人仿真中验证其性能与容错性。
2024-01-23 cs.RO
Gemini Robotics: Bringing AI into the Physical World
Google DeepMind(谷歌DeepMind)
本报告介绍基于Gemini 2.0的Gemini Robotics系列,包括VLA通用模型及具身推理模型,实现直接控制机器人、适应新任务与本体,并讨论安全考量,推动通用机器人发展。
2025-03-25 cs.RO