MOSAIC: Skill-Centric Manipulation Planning with Physics Simulation
Robotics Institute, School of Computer Science(机器人研究所、计算机科学学院)
研究用预定义技能规划长期操作运动的问题,核心方法是利用物理模拟估计技能执行结果,贡献是引入MOSAIC方法,通过两个互补技能家族有效发现基于物理的解决方案。
2026-07-07 cs.AI cs.RO
Inline Memory Meets Reusable Skills: Memory-centric Framework for Vision-Language-Action Model
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室)
针对VLA模型适配低效与灾难性遗忘问题,提出记忆中心框架Optimus-R,通过内联记忆接口、查询-技能记忆库及桥接-适配机制实现数据高效技能学习,实验验证其有效性。
2026-10-01 cs.CV cs.RO
RoboMatrix: A Skill-centric Hierarchical Framework for Scalable Robot Task Planning and Execution in Open-World
Waseda University(早稻田大学);Beijing Institute of Technology(北京理工大学);The Chinese University of Hong Kong(香港中文大学);MEGVII Technology(旷视科技);Chinese Academy of Sciences(中国科学院)
RoboMatrix提出技能中心化层次框架,利用LLM分解任务和统一VLA模型,通过技能组合实现开放世界未见任务规划执行,成功率较任务中心化基线提升50%。
2025-03-25 cs.CV cs.RO
Generalizable Hierarchical Skill Learning via Object-Centric Representation
Northeastern University(东北大学);Stanford University(斯坦福大学)
提出GSL框架,通过对象中心技能连接高层VLM与低层策略,分解演示为可迁移技能原语,显著提升机器人操作的泛化与样本效率,仿真和真实实验中均以极少数据超越基线。
2025-10-24 cs.AI cs.RO
Autonomous Integration and Improvement of Robotic Assembly using Skill Graph Representations
Department of Electrical and Computer Engineering, Carnegie Mellon University(卡内基梅隆大学电气与计算机工程系);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出基于技能图表示的机器人装配系统自主集成与持续改进框架,通过语义级规划与执行接口实现系统配置、执行、评估与学习的统一,提升装配系统的适应性与可重用性。
2026-03-13 cs.RO
DexSkills: Skill Segmentation Using Haptic Data for Learning Autonomous Long-Horizon Robotic Manipulation Tasks
University of Edinburgh(爱丁堡大学);Queen Mary University of London(伦敦玛丽女王大学);Amazon Transportation Services(亚马逊运输服务公司);University College London(伦敦大学学院)
DexSkills提出一种基于触觉数据的监督学习框架,将长时程灵巧操作任务分解为可复用原始技能并实现机器人一次性自主执行。
2024-05-06 cs.RO
Skill Learning by Autonomous Robotic Playing using Active Learning and Creativity
University of Innsbruck(因斯布鲁克大学);Max Planck Institute for Physics Munich(慕尼黑马克斯·普朗克物理学研究所);University of Konstanz(康斯坦茨大学)
我们对待的问题,自主收购的操作技能,解决问题的策略最初只适用于范围狭窄的情况。我们建议通过自主玩对象来扩展可解决情况的范围。通过应用先前训练的技能和行为,机器人学习如何准备已经知道成功策略的情况。在自主游戏期间收集的信息还用于学习环境模型。这种模式被用于主动学习和创造性地产生新的准备行为。我们将我们的方法应用于各种不同的操作任务,例如书抓取,通过选择不同的抓取策略抓取不同大小的物体,放置在货架上,以及塔拆卸。我们表明,创造性的行为生成机制,使机器人解决以前无法解决的任务,例如塔拆卸。我们使用在真实世界的实验中获得的成功统计数据来模拟我们的系统的收敛行为。实验表明,在书本抓取场景中,主动学习可以将学习速度提高9%左右。
2017-06-26 cs.RO
Disentangled Object-Centric Image Representation for Robotic Manipulation
NAVER LABS Europe(NAVER LABS欧洲)
针对对象中心方法在多物体场景中学习操作技能的困难,本文提出 DOCIR 解耦框架,分别表示目标物、障碍物和机器人本体,实现拾取放置任务的最优性能与零样本真机迁移。
2025-03-14 cs.CV cs.RO
Uni-Skill: Building Self-Evolving Skill Repository for Generalizable Robotic Manipulation
Key Laboratory of AI Safety of CAS(中国科学院人工智能安全重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
Uni-Skill通过自演化技能库提升机器人操作的通用性与适应性,实现高效技能检索与少样本推理。
2026-03-03 cs.LG cs.RO
Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon Reasoning
Google Research(谷歌研究院);Berkeley AI Research(伯克利人工智能研究院);UC Berkeley(加州大学伯克利分校)
强化学习可以训练有效执行复杂任务的策略。然而,对于长时间任务,这些方法的性能随着时间的推移而下降,通常需要推理和链接较低级别的技能。分层强化学习旨在通过提供一个作为动作抽象的低级技能库来实现这一点。层次结构还可以通过抽象空间状态来进一步改进这一点。我们认为,一个合适的状态抽象应该取决于可用的较低级别的政策的能力。我们提出了值函数空间:一个简单的方法,通过使用对应于每个较低级别的技能的价值函数产生这样的表示。这些价值函数捕捉场景的启示,从而形成一个表示,压缩抽象任务相关的信息和鲁棒地忽略干扰。迷宫解决和机器人操作任务的实证评估表明,我们的方法提高了长期的性能,并使更好的zero-shot泛化比替代模型的无模型和基于模型的方法。
2022-03-29 cs.AI cs.LG cs.RO
DreamControl-v2: Simpler and Scalable Autonomous Humanoid Skills via Trainable Guided Diffusion Priors
General Robotics, USA(美国通用机器人公司);Brown University, USA(美国布朗大学);University of California, Berkeley, USA(美国加州大学伯克利分校)
本文提出改进的DreamControl框架,通过在人形机器人运动空间中训练引导扩散模型,整合多样化的人类和机器人数据集,提升技能范围和自动化程度,验证了生成参考轨迹的扩展性对下游RL策略的重要性。
2026-03-31 cs.RO
Query-Centric Diffusion Policy for Generalizable Robotic Assembly
Department of Mechanical Engineering, Carnegie Mellon University(机械工程系,卡内基梅隆大学)
针对机器人装配中高层规划与低层控制不匹配的问题,提出以查询为中心的扩散策略QDP,利用物体、接触点和技能查询引导低层策略,在FurnitureBench上显著提升技能精度与长时程成功率。
2025-09-23 cs.LG cs.RO
A Capability and Skill Model for Heterogeneous Autonomous Robots
Helmut-Schmidt-University(赫尔穆特·施密特大学)
异构自主机器人团队变得越来越重要,因为他们促进各种复杂的任务。对于这样的异构机器人,目前没有一致的方式来描述每个机器人提供的功能。在制造领域,能力建模被认为是一种很有前途的方法,语义模型的功能提供不同的机器。本文研究了如何将能力模型从制造业扩展到自主机器人领域,并提出了一种建立能力模型的方法。
2023-02-09 cs.AI cs.RO
Track-centric Iterative Learning for Global Trajectory Optimization in Autonomous Racing
本文提出了一种以赛道为中心的迭代学习框架,通过小波变换和贝叶斯优化优化完整赛程轨迹,实现实时动态更新和圈速提升。
2026-01-28 cs.RO
Growable and Interpretable Neural Control with Online Continual Learning for Autonomous Lifelong Locomotion Learning Machines
Embodied AI and Neurorobotics Laboratory, SDU Biorobotics, The Mærsk Mc-Kinney Møller Institute, The University of Southern Denmark, Odense, Denmark(具身体验人工智能与神经机器人实验室,SDU生物机器人学,马士克麦金尼·莫勒研究所,南丹麦大学,丹麦欧登塞);Bio-Inspired Robotics and Neural Engineering Laboratory, School of Information Science and Technology, Vidyasirimedhi Institute of Science and Technology, Rayong, Thailand(生物启发机器人与神经工程实验室,信息科学与技术学院,维达西里梅迪科技研究所,泰国拉耶昂)
提出可解释、可生长的在线持续学习框架GOLLUM,通过神经发生、参数迁移与技能组合,使六足机器人在一小时内无干预习得多种运动技能并避免遗忘。
2025-05-17 cs.RO
Towards Human-Centric Autonomous Driving: A Fast-Slow Architecture Integrating Large Language Model Guidance with Reinforcement Learning
College of Transportation, Tongji University(同济大学交通学院)
针对自动驾驶难以适配用户偏好的问题,提出LLM解析高层指令、RL负责实时控制的快-慢决策框架,降低碰撞率并提升行为与用户偏好的一致性。
2025-05-11 cs.RO
Grid-Centric Traffic Scenario Perception for Autonomous Driving: A Comprehensive Review
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与 mobility学院);Kargobot Inc.(卡戈机器人公司);DiDi Chuxing(滴滴出行)
本文系统综述了自动驾驶中网格中心感知技术,梳理了从2D BEV网格、3D占用到4D占用预测的发展脉络,并总结了标签高效学习、系统集成及未来趋势。
2024-06-09 cs.CV cs.RO
Toward the Cognitive--Physical Limits of Embodied Intelligence through a World-Model-Centric Autonomous Racing Agent
K2 Holding, L.L.C(K2控股有限责任公司)
该研究提出以世界模型为中心的自主赛车智能体,结合实车与模拟实验,探索具身智能的认知-物理极限,提升了交互成功率与泛化能力,为安全部署提供边界感知方法。
2026-08-12 cs.RO
Autonomous Generation of Sub-goals for Lifelong Learning in Robots
CITIC research center(CITIC研究中心);Universidade da Coruña(拉科鲁尼亚大学)
针对机器人终身学习中需自主生成子目标的问题,提出结合自上而下内在动机推导与自下而上显化潜在关系的双子路径方法,可提升机器人目标发现、技能泛化及无显式奖励下的环境适应能力。
2025-03-24 cs.RO
Video2Sim2Real: Full-Stack Autonomous Dexterous Skill Acquisition from a Single Human Video
Georgia Institute of Technology(佐治亚理工学院);University of Pennsylvania(宾夕法尼亚大学);Toyota Research Institute(丰田研究所);Carnegie Mellon University(卡内基梅隆大学)
提出Video2Sim2Real框架,从单个人类操作视频中重建数字孪生并提取运动先验,通过物体关键帧优化机器人配置,结合残差强化学习与碰撞感知规划,实现从仿真到真实世界的灵巧技能迁移。
2026-06-07 cs.RO
Deep Object-Centric Policies for Autonomous Driving
University of California, Berkeley(加州大学伯克利分校);Nanjing University(南京大学)
虽然以端到端的方式学习视觉技能很有吸引力,但深度神经网络通常无法解释,并且以令人惊讶的方式失败。对于自动驾驶等机器人任务,明确表示对象的模型可能对新场景更具鲁棒性,并提供直观的可视化。我们描述了一个分类的“以对象为中心”的模型,利用对象实例和端到端的学习。在侠盗猎车手V模拟器中,我们证明了以对象为中心的模型在其他车辆和行人的场景中优于对象不可知的方法,即使使用不完美的检测器。我们还通过对Berkeley DeepDrive Video数据集进行评估,证明了我们的架构在现实环境中表现良好,其中以对象为中心的模型在低数据制度中优于对象不可知模型。
2019-03-01 cs.AI cs.CV cs.RO
UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Google DeepMind(谷歌DeepMind)
本研究提出UMI-on-Legs框架,结合真实UMI手持夹爪采集的任务操作数据与仿真训练的四足全身控制器,通过末端轨迹衔接两类策略,实现多类操作任务超70%成功率,并验证了固定臂预训练策略向四足系统的零样本跨本体部署。
2024-07-14 cs.RO
SkiNet, A Petri Net Generation Tool for the Verification of Skillset-based Autonomous Systems
ONERA(法国航空航天实验室);Université de Toulouse(图卢兹大学);LIRMM(法国计算机科学、机器人学与微电子实验室);Univ. Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心);Univ. de Montpellier(蒙彼利埃大学)
在动态和远程环境中,对自治系统的高度自治和鲁棒性的需求推动了开发人员提出新的软件架构。一种常见的架构风格是将机器人系统的能力总结为基本动作(称为技能),在此基础上实现技能管理层以构建、测试和控制功能层。然而,目前可用的验证工具只提供任务特定的验证或验证的模型,不复制系统的实际执行,这使得它很难确保其鲁棒性的意外事件。为此,一个工具,SkiNet,已经开发到一个Petri网模型的技能和他们处理的资源的状态机行为的系统的技能为基础的架构转换。Petri网允许使用模型检查,如线性时态逻辑(LTL)或计算树逻辑(CTL),供用户分析和验证系统的模型。
2022-09-28 cs.FL cs.RO
Data-Centric Evolution in Autonomous Driving: A Comprehensive Survey of Big Data System, Data Mining, and Closed-Loop Technologies
University of New South Wales(新南威尔士大学);CSIRO(澳大利亚联邦科学与工业研究组织);BYD(比亚迪);University of Notre Dame(圣母大学);The University of Sydney(悉尼大学);South China University of Technology(华南理工大学)
该综述聚焦以数据为中心的自动驾驶技术,梳理了代际里程碑式自动驾驶数据集分类,系统综述产业前沿闭环大数据流水线,并探讨未来方向与挑战,填补相关领域系统性研究空白。
2024-01-26 cs.CV cs.RO
Learning Autonomous Ultrasound via Latent Task Representation and Robotic Skills Adaptation
Wuhan University(武汉大学);Hospital of Wuhan University(武汉大学医院)
本文提出潜在任务表示与机器人技能自适应方法,通过自监督概率模型融合多模态超声技能,实现自主超声检查并适应不同患者,实验验证其性能显著优于先前方法。
2023-07-25 cs.AI cs.RO
Skill-Space Shooting for Autonomous Robot Policy Improvement
Tsinghua University(清华大学);UC Berkeley(加州大学伯克利分校);Shanghai Qi Zhi Institute(上海期智研究院)
提出技能空间射击方法,利用基础模型指导通过可重用技能探索修正,将成功试验转化为策略改进,实现自主机器人在任务内和跨任务的可扩展、可泛化策略提升。
2026-09-30 cs.AI cs.LG cs.RO
Boosting Offline Reinforcement Learning for Autonomous Driving with Hierarchical Latent Skills
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai Jiao Tong University(上海交通大学);QCraft Inc(轻舟智航公司)
本文提出一种基于分层潜在技能的框架,通过变分自编码器学习驾驶技能并作为动作,增强离线强化学习在自动驾驶中的长时域规划能力,在CARLA上优于强基线。
2023-11-17 cs.AI cs.RO
FeaXDrive: Feasibility-aware Trajectory-Centric Diffusion Planning for End-to-End Autonomous Driving
College of Automotive and Energy Engineering, Tongji University(同济大学汽车与能源工程学院);College of Transportation Engineering, Tongji University(同济大学交通工程学院);School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航空航天工程学院)
FeaXDrive通过轨迹导向的扩散规划方法,提升自动驾驶中轨迹空间的可行性建模,改进轨迹几何和运动学可行性,增强可行驶区域一致性,实验表明其在NAVSIM基准上表现优异。
2026-04-30 cs.LG cs.RO
Efficient Reinforcement Learning for Autonomous Driving with Parameterized Skills and Priors
University of Toronto(多伦多大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院);McGill University(麦吉尔大学)
针对自动驾驶在交互式密集交通中学习效率低的问题,提出ASAP-RL算法,通过参数化运动技能和双重初始化利用专家先验,在稀疏奖励下实现更高学习效率和更好驾驶性能。
2023-05-08 cs.AI cs.LG cs.RO
Autonomous Improvement of Instruction Following Skills via Foundation Models
UC Berkeley(加州大学伯克利分校)
提出一种利用视觉语言模型和任务分解方法,使机器人从自主收集的数据中无需人类监督即可提升指令跟随能力,实验显示在未见环境中性能提升2倍。
2024-10-15 cs.AI cs.RO
Semi-Autonomous Teleoperation via Learning Non-Prehensile Manipulation Skills
Korea University(高丽大学);Chung-ang University(中央大学)
在本文中,我们提出了一个半自主的遥操作框架的拾取和放置任务,使用RGB-D传感器。特别是,我们假设目标物体位于一个杂乱的环境中,其中两个灵活的把握和非灵活的操作相结合,有效的遥操作。一个基于语义的强化学习被用于学习非易失性操作,以重新安排的对象,使直接抓取。从杂乱环境的深度图像和目标对象的位置,学习的策略可以为人类操作员提供多个非易失性操纵选项。我们仔细设计了一个奖励函数的重新安排任务的政策是在模拟环境中训练。然后,训练的策略被转移到现实世界中,并在一些现实世界的实验中与不同数量的对象进行评估,我们表明,所提出的方法优于手动键盘控制的抓持持续时间。
2022-05-25 cs.AI cs.RO
LAAIR: A Layered Architecture for Autonomous Interactive Robots
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学)
在开发通用机器人时,总体软件架构会极大地影响完成各种任务的难易程度。在20世纪90年代,创建统一的机器人系统的最初努力导致了混合架构,强调了一个层次结构,其中深思熟虑的计划指导反应技能的使用。然而,从那时起,机器人可用的低水平技能(包括操纵和感知)取得了重大进展,使其在现实世界中完成更多任务成为可能。因此,人们重新乐观地认为,机器人将能够执行广泛的任务,同时保持对人类操作员的响应能力。然而,传统混合架构中的顶层旨在实现长期目标,在目标驱动的执行过程中,很难对人类交互做出快速反应。为了减轻这一困难,我们提出了一种新的架构,支持这样的过渡,通过添加一个顶级的反应模块,它具有灵活的访问反应技能和审议控制模块。为了验证这种架构,我们提出了一个案例研究,它的应用程序在国内服务机器人平台。
2018-11-09 cs.RO
VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous Driving
CUHK-Shenzhen(香港中文大学(深圳));SSE(深圳大学);HKUST(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
VisionPAD提出基于3D高斯泼溅的自监督预训练范式,通过体素速度估计与多帧光度一致性增强运动与几何感知,显著提升自动驾驶3D检测、占用与地图分割性能。
2025-05-22 cs.CV cs.LG cs.RO
TrafficSignBench: Rule-Centric Closed-Loop Evaluation of Traffic-Sign Compliance in Autonomous Driving
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);FusionBrain Lab(FusionBrain实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院);HSE University(高等经济大学);Innopolis University(因诺波利斯大学);NUST MISIS(国立研究型技术大学莫斯科国立钢铁合金学院)
针对现有自动驾驶评估忽视交通规则合规性的问题,提出以交通标志为中心的基准TrafficSignBench,通过34种规则和5,800个场景评估规划器,并利用约束生成轨迹以提升合规性。
2026-10-01 cs.CV cs.RO
Autonomous skill discovery with Quality-Diversity and Unsupervised Descriptors
Imperial College London(帝国理工学院)
质量多样性优化是一种新的优化算法家族,它不是搜索单个最优解来解决任务,而是搜索大量的解决方案,这些解决方案都以不同的方式解决任务。这种方法对于学习机器人中的行为库特别有前途,因为这种行为的多样性使机器人变得更加多才多艺和有弹性。然而,这些算法需要用户手动定义行为描述符,用于确定两个解决方案是不同还是相似。行为描述符的选择是至关重要的,因为它完全改变了算法推导的解决方案类型。在本文中,我们介绍了一种新的方法来自动定义这个描述符相结合的质量多样性算法与无监督降维算法。这种方法使机器人能够在与环境交互的同时自主发现其能力范围。两个实验场景的结果表明,机器人可以自主发现大范围的可能的行为,没有任何先验知识的形态和环境。此外,这些行为被认为类似于使用领域知识的手工解决方案,并且比使用现有的无监督方法时更加多样化。
2019-05-28 cs.NE cs.RO
Perception-to-Pursuit: Track-Centric Temporal Reasoning for Open-World Drone Detection and Autonomous Chasing
Sithara Inc.(Sithara公司)
P2P通过轨迹为中心的时序推理框架,提升了无人机轨迹预测精度和追捕可行性,实现了准确的预测与可操作的追捕规划。
2026-02-19 cs.CV cs.RO
Adaptive Decision Making at the Intersection for Autonomous Vehicles Based on Skill Discovery
Beijing Institute of Technology(北京理工大学)
在城市环境中,复杂和不确定的交叉口场景对自动驾驶具有挑战性。为了确保安全性,开发一个能够处理与其他车辆交互的自适应决策系统至关重要。手动设计的基于模型的方法在常见情况下是可靠的。但在不确定环境中,它们是不可靠的,因此提出了基于学习的方法,特别是强化学习(RL)方法。然而,当前的RL方法需要重新训练时,场景发生变化。换句话说,目前的RL方法不能重用积累的知识。当新的场景出现时,他们会忘记所学的知识。为了解决这个问题,我们提出了一个分层的框架,可以自主积累和重用知识。该方法结合了运动基元(MP)和分层强化学习(HRL)的思想。它将复杂问题分解为多个基本子任务,以降低难度。基于CARLA仿真器,在一个具有挑战性的交叉口场景中对所提出的方法和其他基线方法进行了测试。交叉口场景包含三个不同的子任务,可以反映实际交通流的复杂性和不确定性。经过离线学习和测试,该方法被证明是所有方法中性能最好的。
2022-07-24 cs.AI cs.RO
SEAL: Towards Safe Autonomous Driving via Skill-Enabled Adversary Learning for Closed-Loop Scenario Generation
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学系)
针对现有自动驾驶场景生成方法对抗行为不真实的问题,提出SEAL,利用学习目标函数和类人对抗技能进行场景扰动,有效提升了场景真实性与自车任务成功率。
2025-07-14 cs.AI cs.LG cs.RO
ARO: Large Language Model Supervised Robotics Text2Skill Autonomous Learning
National University of Singapore(新加坡国立大学);Microsoft Research(微软研究院)
本文提出ARO框架,利用大规模语言模型替代人类参与机器人技能学习的奖励函数设计与性能评估,实现无需人工干预的完全自主技能学习,并分析了其在任务理解和优化稳定性上的局限。
2024-03-23 cs.AI cs.RO
Causality-Aware End-to-End Autonomous Driving via Ego-Centric Joint Scene Modeling
Korea University(韩国大学);Kakao Mobility
本文提出CaAD框架,通过共享潜在场景表示捕捉车辆与周围代理之间的因果依赖关系,以提高端到端自动驾驶的闭环规划性能。
2026-05-19 cs.AI cs.RO
From Steering to Pedalling: Do Autonomous Driving VLMs Generalize to Cyclist-Assistive Spatial Perception and Planning?
本文提出CyclingVQA基准,评估自动驾驶VLMs在骑行辅助场景中的感知与推理能力,发现现有模型在骑行特定交通提示理解上存在不足,需进一步改进。
2026-02-11 cs.CV cs.RO
Human-Centric Autonomous Systems With LLMs for User Command Reasoning
KTH Royal Institute of Technology(KTH皇家理工学院);Scania AB(斯堪尼亚公司)
本文提出利用大型语言模型从车内用户命令中推理系统需求,通过少样本多变量二元分类实验验证其有效性,并公开代码与模型。
2023-12-19 cs.AI cs.CL cs.RO
VizFlyt: Perception-centric Pedagogical Framework For Autonomous Aerial Robots
Worcester Polytechnic Institute(伍斯特理工学院)
本文提出VizFlyt,一个面向空中机器人课程的开源、以感知为中心的硬件在环照片级真实感测试框架,利用外部定位位姿和3D Gaussian Splatting生成实时视觉传感器,实现超100Hz更新率,支持无风险测试自主算法,并验证了其有效性。
2025-04-01 cs.CV cs.RO
Autonomous Goal Exploration using Learned Goal Spaces for Visuomotor Skill Acquisition in Robots
Inria(法国国家信息与自动化研究所);Ensta-ParisTech(巴黎高等先进技术学院)
自动和有效地发现技能,没有监督,长寿的自主智能体,仍然是人工智能的挑战。内在动机目标探索过程为学习代理提供了一种人类启发的机制,以顺序选择要实现的目标。这种方法为终身学习问题提供了一个新的视角,在模拟和现实世界的实验中都取得了可喜的成果。直到最近,这些算法还局限于实验者知识的领域,因为智能体使用的目标空间是建立在工程特征提取器上的。深度表示学习的最新进展,使设计这些特征提取器的新方法成为可能,直接使用代理经验。最近的工作表明,这些方法在简单但具有挑战性的模拟领域的潜力。在本文中,我们提出了最近的结果,显示了这些原则在现实世界的机器人设置中的适用性,其中一个6关节机器人手臂通过在从过去经验中学习的空间中选择目标来学习操纵竞技场内的球。
2019-06-10 cs.AI cs.LG cs.NE
RiskWorld: Object-Centric Latent World Modeling for Autonomous Driving Risk Identification
提出 RiskWorld 模型,以对象为中心的潜在世界建模,结合预训练视频表示与自车-对象历史,在 RiskBench 上实现 63.0% F1 和 2.1% 误报率,可有效识别自动驾驶风险。
2026-08-25 cs.LG cs.RO
Ego-centric Learning of Communicative World Models for Autonomous Driving
Department of Electrical and Computer Engineering, University of California, Davis(电气与计算机工程系,加州大学戴维斯分校)
针对 MARL 的部分可观测性、非平稳性及通信开销问题,提出 CALL 通信世界模型,通过低维潜在表示共享与自我中心学习提升预测和规划,并在 CARLA 上验证性能增益。
2025-06-09 cs.AI cs.RO
FUNCTO: Function-Centric One-Shot Imitation Learning for Tool Manipulation
Southern University of Science and Technology(南方科技大学);National University of Singapore(新加坡国立大学);Smart Systems Institute, National University of Singapore(新加坡国立大学智能系统研究院)
针对现有一次性模仿学习方法难以将工具操作技能泛化到同功能新工具的问题,提出以3D功能关键点建立功能对应关系的FUNCTO方法,经真实机器人实验验证其泛化性能更优。
2025-02-21 cs.CV cs.RO
AerialClaw: An Open-Source Framework for LLM-Driven Autonomous Aerial Agents
Xidian University(西安电子科技大学);Xi'an University of Architecture and Technology(西安建筑科技大学)
提出AerialClaw开源框架,采用模块化脑-技能-运行时架构,使基于LLM的智能体能够理解自然语言任务、调用空中技能、闭环决策,提升无人机系统的灵活性、可复现性和可扩展性。
2026-06-11 cs.CV cs.RO
Specification mining and automated task planning for autonomous robots based on a graph-based spatial temporal logic
University of Notre Dame(圣母大学)
我们的目标是使自主机器人能够从演示视频中学习新技能,并使用这些新学到的技能来完成重要的高级任务。开发这种自主机器人的目标涉及到知识表示、规范挖掘和自动任务规划。对于知识表示,我们使用基于图的时空逻辑(GSTL)来捕获演示视频所演示的相关技能的时空信息。我们设计了一个规范挖掘算法,通过归纳构造空间项和时间公式,从演示视频中生成一组参数化的GSTL公式。从规范挖掘得到的参数化GSTL公式作为域理论,用于自主机器人的自动任务规划。提出了一种基于GSTL的自动任务规划方法,其中提出者用于生成有序动作,验证者用于生成可执行的任务计划。文中以表格设置为例说明了本文的主要思想。
2020-07-16 cs.AI cs.RO cs.SY
GaussianAD: Gaussian-Centric End-to-End Autonomous Driving
Tsinghua University(清华大学);Li Auto(理想汽车);Peking University(北京大学)
针对自动驾驶决策中场景表示全面性与效率难以兼顾的问题,提出以3D语义高斯体为核心的端到端GaussianAD框架,兼顾场景描述的全面性与稀疏高效性,在nuScenes数据集多项任务上验证了有效性。
2024-12-13 cs.AI cs.CV cs.LG
Towards Human-Like Trajectory Prediction for Autonomous Driving: A Behavior-Centric Approach
State Key Laboratory of Internet of Things for Smart City and Department of Computer and Information Science, University of Macau(物联网智能城市国家重点实验室和澳门大学计算机与信息科学系);State Key Laboratory of Internet of Things for Smart City and Departments of Civil and Environmental Engineering and Computer and Information Science, University of Macau(物联网智能城市国家重点实验室和澳门大学土木与环境工程系、计算机与信息科学系);Department of Civil and Environmental Engineering, University of Hawaii at Manoa(夏威夷大学马诺阿分校土木与环境工程系);School of Vehicle and Mobility, Tsinghua University, Beijing, China(清华大学车辆与移动技术学院)
本研究提出了一种结合行为感知模块和动态中心性度量的轨迹预测模型 HiT,通过动态框架捕捉交通参与者间的直接与间接交互,在多个真实数据集上表现优于顶尖模型,尤其在激进驾驶场景中突出,提升了自动驾驶的安全性和效率。
2025-05-27 cs.AI cs.RO
Reactive Robot-Centric Safety for Autonomous Navigation in Constrained and Dynamic Environments
Department of Computer Science, Electrical and Space Engineering(计算机科学与电气与空间工程系)
本文提出一种基于3D激光雷达感知的复合控制屏障函数安全过滤器,用于实时保障自主机器人在受限动态环境中的安全导航,通过现场实验验证其在复杂环境下的可靠性。
2026-05-15 cs.RO cs.SY eess.SY
Towards General and Autonomous Learning of Core Skills: A Case Study in Locomotion
DeepMind;TU Darmstadt(达姆施塔特工业大学)
现代强化学习(RL)算法有望直接从原始感觉输入解决困难的运动控制问题。它们的吸引力部分是因为它们可以代表一种通用的方法,即使在人类专家难以或昂贵的情况下,也可以通过合理设置的奖励和最小的先验知识来学习解决方案。然而,为了让RL真正实现这一承诺,我们需要算法和学习设置,这些算法和学习设置可以在最小的问题特定调整或工程的情况下解决广泛的问题。在本文中,我们研究这种思想的一般性在运动域。我们开发了一个学习框架,可以学习复杂的运动行为的广泛的足式机器人,如两足动物,三足动物,四足动物和六足动物,包括轮式变种。我们的学习框架依赖于一个数据高效的、非策略的多任务RL算法和一小组在机器人之间语义相同的奖励函数。为了强调该方法的普遍适用性,我们在实验中保持超参数设置和奖励定义不变,并完全依赖于板载传感。对于九种不同类型的机器人,包括现实世界中的四足机器人,我们证明了相同的算法可以快速学习不同的和可重复使用的运动技能,而无需任何平台特定的调整或额外的仪器的学习设置。
2020-08-06 cs.AI cs.LG cs.RO
Mining the Long Tail: A Comparative Study of Data-Centric Criticality Metrics for Robust Offline Reinforcement Learning in Autonomous Motion Planning
Independent Researcher(独立研究者)
本研究针对自动驾驶离线强化学习中的长尾数据不平衡问题,系统比较了六种关键性加权数据筛选策略,发现基于模型不确定性的非均匀采样能将碰撞率降至5.5%,并揭示了时间步与场景级加权在安全性与规划上的权衡。
2025-09-16 cs.AI cs.LG cs.RO