FormulaZero: Distributionally Robust Online Adaptation via Offline Population Synthesis
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院)
平衡性能和安全性对于在多智能体环境中部署自动驾驶汽车至关重要。特别是,自动驾驶赛车是一个惩罚安全但保守的政策的领域,突出了对稳健,适应性策略的需求。目前的方法要么简化了对其他代理人的假设,要么缺乏强大的在线适应机制。这项工作使算法的贡献,这两个挑战。首先,为了生成一个现实的,多样化的对手,我们开发了一种新的方法,自我发挥的基础上复制交换马尔可夫链蒙特卡罗。其次,我们提出了一个分布式鲁棒的强盗优化过程,自适应调整风险规避相对于对手的行为信念的不确定性。当在实时运动规划中近似这些计算时,我们严格量化了性能和鲁棒性的权衡,并且我们在自动驾驶汽车上实验性地展示了我们的方法,这些自动驾驶汽车可以达到与一级方程式赛车相当的缩放速度。
2020-08-22 cs.LG cs.MA cs.RO
FRAME: Fast and Robust Autonomous 3D point cloud Map-merging for Egocentric multi-robot exploration
Luleå University of Technology(吕勒奥理工大学);Jet Propulsion Laboratory(喷气推进实验室);California Institute of Technology(加州理工学院)
本文提出了一种独立于初始猜测的3D点云地图合并框架FRAME,利用位置识别描述符进行快速区域重叠估计,并结合Fast-GICP算法实现精细对齐,有效解决了异构多机器人探索中的地图集成问题。
2023-01-24 cs.CV cs.RO
Learning Interpretable End-to-End Vision-Based Motion Planning for Autonomous Driving with Optical Flow Distillation
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
最近,基于深度学习的方法在自动驾驶方面取得了令人印象深刻的性能。然而,端到端的基于视觉的方法通常具有有限的可解释性,使得深度网络的行为难以解释。因此,其潜在的应用在实践中可能受到限制。为了解决这个问题,我们提出了一个可解释的端到端的基于视觉的自动驾驶运动规划方法,简称为IVMP。给定一组过去的环绕视图图像,我们的IVMP首先预测鸟瞰图空间中的未来自我中心语义地图,然后将其用于规划自动驾驶车辆的轨迹。预测的未来语义地图不仅提供了有用的可解释信息,还允许我们的运动规划模块处理概率较低的对象,从而提高自动驾驶的安全性。此外,我们还开发了一个光流蒸馏范例,它可以有效地提高网络,同时仍然保持其实时性能。在nuScenes数据集和闭环仿真上进行的大量实验表明,我们的IVMP在模仿人类驾驶员方面的成功率明显高于最先进的方法。我们的项目页面可以在www.example.com上找到。
2021-04-18 cs.CV cs.RO
LLA-MPC: Fast Adaptive Control for Autonomous Racing
Electrical & Computer Engineering Department, Carnegie Mellon University(卡内基梅隆大学电气与计算机工程系);School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院);Mechanical Engineering Department, Carnegie Mellon University(卡内基梅隆大学机械工程系);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
LLA-MPC是一种无需学习的实时自适应模型预测控制框架,通过回看与前瞻机制快速应对轮胎-路面变化,在多种赛车场景中优于现有方法,适用于多路面高速自动驾驶赛车。
2025-05-26 cs.RO cs.SY eess.SY
EgoBridge: Domain Adaptation for Generalizable Imitation from Egocentric Human Data
Georgia Institute of Technology(佐治亚理工学院)
EgoBridge通过基于最优传输的领域自适应联合训练框架,对齐人类与机器人策略潜在空间,在真实操作任务中实现44%的成功率提升,并泛化到新场景。
2025-09-23 cs.CV cs.LG cs.RO
Breaking Task Impasses Quickly: Adaptive Neuro-Symbolic Learning for Open-World Robotics
Human-Robot Interaction Lab, Tufts University(塔夫茨大学人机交互实验室)
本文提出了一种自适应神经符号学习框架,通过整合符号学习与强化学习,提升机器人在开放世界中的快速适应能力与鲁棒性。
2026-01-01 cs.AI cs.RO
Driving Everywhere with Large Language Model Policy Adaptation
NVIDIA(英伟达);University of Southern California(南加利福尼亚大学);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
针对自动驾驶汽车难以适配不同地区交通规则的问题,提出LLaDA工具,借助大语言模型的零样本泛化能力解读当地交规,适配驾驶任务与运动规划,经用户研究和真实数据集验证效果优于基线方法。
2024-04-10 cs.AI cs.CL cs.RO
Motion planning for off-road autonomous driving based on human-like cognition and weight adaptation
School of Mechanical Engineering, Beijing Institute of Technology(北京理工大学机械工程学院)
针对越野自动驾驶中固定代价函数难以适应复杂地形的问题,提出基于类人认知与权重自适应的运动规划器,通过构建多层地图并利用CNN-LSTM学习人类驾驶轨迹,生成高适应性、稳定且高效的轨迹。
2024-04-27 cs.AI cs.LG cs.RO
Vision-State Fusion: Improving Deep Neural Networks for Autonomous Robotics
Dalle Molle Institute for Artificial Intelligence(达勒·莫勒人工智能研究所);ETH Zürich(苏黎世联邦理工学院);Integrated Systems Laboratory(集成系统实验室)
本文提出视觉-状态融合方法,首次将机器人状态引入非自我中心中介任务,以极小计算成本提升CNN三维姿态估计回归性能,并通过机械臂、袖珍UAV等场景及闭环飞行验证其有效性。
2024-03-20 cs.RO
Non-Overlap-Aware Egocentric Pose Estimation for Collaborative Perception in Connected Autonomy
NCSU(北卡罗来纳州立大学);North Carolina State University(北卡罗来纳州立大学);Department of Computer Science(计算机科学系);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
本文提出NOPE方法,通过分层图匹配与位置感知交叉注意力图学习,在通信带宽约束下实现多机器人非重叠感知的自我中心位姿估计,并在仿真和真实场景中取得最先进性能。
2025-07-18 cs.RO
Act, Sense, Act: Learning Active Perception from Large-Scale Egocentric Human Data
School of Artificial Intelligence, Shanghai Jiao Tong University(人工智能学院,上海交通大学)
研究如何让机器人在无约束环境中实现可泛化操作,提出CoMe - VLA框架,利用大规模人类自我中心数据学习主动感知,集成认知辅助头和双轨记忆系统,经三个阶段训练模型,实验证明该方法在多场景长期任务中有强鲁棒性和适应性。
2026-07-13 cs.RO
Runtime Architecture and Task Plan Co-Adaptation for Autonomous Robots with Metaplan
Delft University of Technology(代尔夫特理工大学)
针对真实世界中自主机器人的不确定性应对需求,提出可跨域复用的Metaplan框架,结合机器人与环境模型及PDDL规划器实现架构与任务计划的运行时协同自适应,并通过两类无人载具验证其有效性与可复用性。
2023-12-16 cs.RO
EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data
NVIDIA;University of California, Berkeley(加州大学伯克利分校);University of Maryland(马里兰大学)
EgoScale通过大规模视点人类数据训练视觉语言动作模型,实现高效的灵巧操作转移,提升机器人任务成功率54%。
2026-02-18 cs.RO
Learning Semantic Traversability with Egocentric Video and Automated Annotation Strategy
KAIST(韩国科学技术院);Neuromeka(纽罗梅卡公司)
本文提出利用行人第一人称视频和基于图像分割基础模型的自动化标注策略训练语义可通行性估计器,在多个国家和城市的实验中验证了其高可扩展性、泛化能力及在真实机器人导航中的高精度和轻量适用性。
2024-09-28 cs.AI cs.RO
Continual Adaptation for Autonomous Driving with the Mixture of Progressive Experts Network
School of Automotive Studies, Tongji University(同济大学汽车学院);College of Mechanical and Vehicle Engineering, Chongqing University(重庆大学机械与车辆工程学院);Frontiers Science Center for Intelligent Autonomous Systems(智能自主系统前沿科学中心);Clean Energy Automotive Engineering Center, Tongji University(同济大学清洁能源汽车工程中心)
针对现有自动驾驶方法适应能力不足的问题,本文提出动态渐进优化框架及渐进专家混合(MoPE)网络,通过选择性激活专家模型并渐进优化架构,在复杂城市道路环境中性能较行为克隆方法提升7.8%。
2025-02-17 cs.RO
CALI: Coarse-to-Fine ALIgnments Based Unsupervised Domain Adaptation of Traversability Prediction for Deployable Autonomous Navigation
可通过性预测是自主导航的基本感知能力。不同领域数据的多样性对感知模型的预测性能造成了显著的差距。在这项工作中,我们努力减少差距,提出了一种新的粗到细的无监督领域自适应(UDA)模型- CALI。我们的目标是以高数据效率传输感知模型,消除昂贵的数据标记,并提高泛化能力,从容易获得的源域的适应过程中,各种具有挑战性的目标域。我们证明了粗对准和精对准的组合可以是彼此有益的,并进一步设计了先粗后精的对准过程。本文将理论分析和算法设计结合起来,建立了一个高效、稳定的UDA模型。我们在几个具有挑战性的领域自适应设置中显示了我们提出的模型在多个基线上的优势。为了进一步验证我们的模型的有效性,我们将我们的感知模型与视觉规划器相结合,构建了一个导航系统,并在没有标记数据的复杂自然环境中展示了我们的模型的高可靠性。
2022-04-20 cs.RO
Unsupervised Emergence of Egocentric Spatial Structure from Sensorimotor Prediction
SoftBank Robotics Europe(软银机器人欧洲公司)
尽管它在机器人应用中无处不在,空间知识的性质和机制,其出现在自主智能体仍然知之甚少。最近的理论工作表明,欧几里得空间结构诱导代理的原始感觉运动经验的不变量。我们假设,捕捉这些不变量是有益的感觉运动预测,并在一定的探索条件下,捕捉外部空间的结构的运动表征应该出现作为学习的副产品,以预测未来的感官体验。我们提出了一个简单的感觉运动预测方案,将其应用于不同的代理和类型的探索,并评估这些假设的相关性。我们表明,一个天真的代理可以捕获的拓扑结构和度量规则的传感器的位置在一个自我中心的空间框架,没有任何先验知识,也没有多余的监督。
2019-09-17 cs.AI cs.LG cs.RO
In-N-On: Scaling Egocentric Manipulation with in-the-wild and on-task Data
UC San Diego(加州大学圣迭戈分校)
本文提出In-N-On方法,通过结合野外和任务数据,扩展眼动操控策略,实现语言指令跟随、少样本学习和鲁棒性提升。
2025-11-19 cs.AI cs.CV cs.RO
Efficient Policy Adaptation with Contrastive Prompt Ensemble for Embodied Agents
Sungkyunkwan University(成均馆大学)
提出对比提示集成(ConPE)框架,利用预训练视觉-语言模型和对比学习的视觉提示,实现具身智能体对未知视觉观测的零样本快速政策自适应,并在导航、操作和驾驶任务中超越现有方法。
2024-12-16 cs.AI cs.CV cs.RO
JRDB: A Dataset and Benchmark of Egocentric Robot Visual Perception of Humans in Built Environments
Stanford University(斯坦福大学);Monash University(莫纳什大学)
我们提出了JRDB,一个新的自我中心的数据集收集从我们的社会移动操纵器JackRabbot。该数据集包括64分钟的带注释的多模态传感器数据,包括15 fps的立体圆柱形360 $^\circ$ RGB视频、来自两个Velodyne 16激光雷达的3D点云、来自两个Sick激光雷达的线3D点云、音频信号、30 fps的RGB-D视频、来自鱼眼相机的360 $^\circ$球形图像和来自机器人车轮的编码器值。我们的数据集融合了来自传统上代表性不足的场景的数据,如室内环境和行人区域,所有这些都是从机器人的自我角度来看的,包括静止和导航。该数据集已被注释为超过230万个边界框,分布在5个单独的相机上,以及场景中所有人周围的180万个相关3D长方体,总计超过3500个时间一致的轨迹。结合我们的数据集和注释,我们推出了2D和3D人物检测和跟踪的基准和指标。有了这个数据集,我们计划在未来扩展更多类型的注释,我们希望为以自我为中心的机器人视觉,自主导航以及人类环境中社交机器人的所有感知任务领域的研究提供新的数据源和测试平台。
2021-04-24 cs.CV cs.RO
KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration
Gamma Robotics(伽马机器人公司);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI));Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
本文提出KODA方法,将人类第一人称演示转换为人形机器人全身VLA训练数据,在Unitree G1的四个任务上,两种控制器下对应指标分别提升45.0和46.25个百分点,具备扩展潜力。
2026-10-16 cs.RO
DR-VLA: Learning Human-Like Quadruped Navigation from Egocentric Web Videos via Domain-Invariant Scene Representations
本文提出DR-VLA框架,通过域不变场景表示迁移人类导航经验,结合EgoLynx数据集与QNS指标,在四足机器人导航任务上提升性能,且可适配自动驾驶场景。
2026-10-14 cs.RO
TPT-Bench: A Large-Scale, Long-Term and Robot-Egocentric Dataset for Benchmarking Target Person Tracking
Robotics and Computer Vision Laboratory, Southern University of Science and Technology, Shenzhen, China(机器人与计算机视觉实验室,南方科技大学,深圳,中国);Human-Robot Interfaces and Interaction Laboratory, Italian Institute of Technology, Geona, Italy(人机交互实验室,意大利理工学院,Geona,意大利);Robotics Perception and Intelligence Laboratory, Southern University of Science and Technology, Shenzhen, China(机器人感知与智能实验室,南方科技大学,深圳,中国);Chen Kar-Shun Robotics Institute, Hong Kong University of Science and Technology, Hong Kong SAR, China(陈卡尔顺机器人研究所,香港科技大学,香港特别行政区,中国)
本文提出TPT-Bench,一个大规模、长期、机器人自我中心的数据集,用于在拥挤非结构化环境中基准测试目标人物跟踪,并分析现有SOTA方法的局限性。
2025-07-09 cs.RO
Domain Adaptation Using Adversarial Learning for Autonomous Navigation
Seoul National University(首尔国立大学)
自主导航已经成为越来越受欢迎的机器学习应用。深度学习的最新进展也极大地改善了自主导航。然而,现有的户外自主导航依赖于各种昂贵的传感器或大量的真实标记数据,这些数据难以获取并且有时是错误的。本研究的目的是训练自主导航模型,使用模拟器(而不是真正的标记数据)和廉价的单目摄像机。为了充分利用模拟器,我们提出的方法是基于领域自适应与对抗学习。具体来说,我们提出了我们的模型,其中1)生成器中的膨胀残余块,2)循环损失,3)风格损失,以提高对抗学习性能,以获得令人满意的领域自适应。此外,我们进行了理论分析,支持我们提出的方法的理由。我们提出了经验的结果,在室外课程的导航与各种路口使用商业无线电控制的汽车。我们观察到,我们提出的方法允许我们通过生成具有逼真纹理的图像来学习有利的导航模型。据我们所知,这是第一个将领域自适应与对抗学习应用于真实户外环境中的自主导航的工作。我们提出的方法也可以应用于精确的图像生成或其他机器人任务。
2018-05-22 cs.CV cs.RO
Real-Time Fully Unsupervised Domain Adaptation for Lane Detection in Autonomous Driving
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Georgia Institute of Technology(佐治亚理工学院)
提出一种仅调整批归一化参数的轻量级完全无监督实时自适应方法,用于自动驾驶车道线检测,在Nvidia Jetson Orin上以30 FPS运行,准确率与最先进半监督算法相当。
2023-06-29 cs.CV cs.RO
ARMADA: Autonomous Online Failure Detection and Human Shared Control Empower Scalable Real-world Deployment and Adaptation
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Noematrix Ltd.(诺玛特公司)
针对预训练策略缺域内数据表现差、人在回路系统需全程监控的问题,提出带FLOAT自主在线故障检测的ARMADA多机器人共享控制系统,可按需请求人类干预,在真实任务中实现高检测精度、成功率提升与干预率下降,助力可扩展部署与快速适配。
2026-10-14 cs.RO
Navigation-Oriented Scene Understanding for Robotic Autonomy: Learning to Segment Driveability in Egocentric Images
Aalborg University(奥尔堡大学)
这项工作解决了室外机器人导航的场景理解,仅依赖于车载摄像机捕获的图像。传统的视觉场景理解基于特定的描述类别来解释环境。然而,这样的表示是不能直接解释的决策和约束机器人操作到一个特定的域。因此,我们建议分段自我中心的图像直接在机器人如何可以在他们导航,并定制的学习问题,自主导航任务。围绕图像分割网络,我们提出了一个通用的启示,包括3个驾驶性能水平,可广泛适用于城市和越野场景。通过使用软序数标签对这些级别进行编码,我们在学习过程中结合了类间距离,与标准的“硬”独热标签相比,这改善了分割。此外,我们提出了一种面向导航的像素级损失加权方法,该方法赋予安全关键区域更高的重要性。我们评估了我们的方法对大规模的公共图像分割数据集,从阳光明媚的城市街道到积雪的森林小径。在跨数据集泛化实验中,我们表明,我们的启示学习方案可以应用于各种数据集的混合,并与通用的单数据集分割相比,提高了在看不见的环境中的驾驶性能估计。
2022-01-23 cs.CV cs.RO
Important Object Identification with Semi-Supervised Learning for Autonomous Driving
Honda Research Institute(本田研究院);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
场景中重要对象的准确识别是智能代理(例如,自动驾驶车辆)在复杂和动态环境中导航。大多数现有方法试图采用注意力机制来经由各种任务(例如,轨迹预测),其不强制对重要性估计的直接监督。相比之下,我们以明确的方式处理这个任务,并将其表述为二元分类(“重要”或“不重要”)问题。我们提出了一种新的方法,重要的对象识别在以自我为中心的驾驶场景中的对象的关系推理。此外,由于人类的注释是有限的和昂贵的获得,我们提出了一个半监督学习管道,使模型能够学习无限的未标记的数据。此外,我们建议利用自我车辆行为预测的辅助任务,以进一步提高重要性估计的准确性。所提出的方法进行评估的公共自我中心驾驶数据集(H3D)收集在复杂的交通场景。详细的烧蚀研究进行,以证明每个模型组件和培训策略的有效性。我们的方法也大大优于基于规则的基线。
2022-03-05 cs.AI cs.CV cs.LG
Autonomous Exploration and Mapping for Mobile Robots via Cumulative Curriculum Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
深度强化学习(Deep Reinforcement Learning,DRL)已广泛应用于自主探索和地图绘制任务中,但通常面临采样效率、对未知地图大小的适应性差以及模拟速度慢等挑战。为了加快收敛速度,我们将课程学习(CL)与DRL相结合,首先提出了累积课程强化学习(CCRL)训练框架,以缓解一般CL面临的灾难性遗忘问题。此外,我们提出了一种新的状态表示,它考虑了局部自我中心地图和全球勘探地图调整到固定的维度,以便灵活地适应各种大小和形状的环境。此外,为了促进DRL模型的快速训练,我们开发了一个轻量级的基于网格的模拟器,与流行的机器人仿真平台(如Gazebo)相比,它可以大大加快仿真速度。基于定制的模拟器,进行了综合实验,结果表明,与一般CL和无课程的DRL模型相比,CCRL框架不仅缓解了灾难性遗忘问题,而且提高了样本效率和DRL模型的泛化能力。我们的代码可在https://github.com/BeamanLi/CCRL_Exploration上获得。
2023-02-25 cs.RO
Self-Supervised Traversability Learning with Online Prototype Adaptation for Off-Road Autonomous Driving
College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学学院)
针对越野自动驾驶地形可通行性分析的数据集稀缺、标注成本高、实时性要求严等挑战,提出基于自监督学习的新方法,以BEV表示为输入,通过在线原型自适应消除手动标注需求,降低计算负担,实车实验验证其实时性与规划兼容性。
2025-04-16 cs.RO
REAL: Resilience and Adaptation using Large Language Models on Autonomous Aerial Robots
MIT(麻省理工学院)
本文提出REAL方法,将大语言模型集成到自主空中机器人的任务规划与控制回路中,利用其先验知识、自然语言理解和推理能力提升机器人在控制器参数误差、未建模动力学及危险场景下的韧性与自适应能力。
2023-11-02 cs.RO
Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation
HKUST (GZ)(香港科技大学(广州));Primatix;ETH Zurich(苏黎世联邦理工学院);University of Oxford(牛津大学);HKUST(香港科技大学);University of St. Gallen(圣加仑大学)
该研究提出P³-WAM统一世界动作模型,通过三种互补模式实现自我中心灵巧操作,经统一训练后在多任务上优于专门基线,提升了规划等能力。
2026-10-23 cs.CV cs.RO
Ego-Dynamics-Augmented World Model for Autonomous Driving with Zero-Shot Cross-Embodiment Adaptation
School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与宇航工程学院);Collaborative Initiative, Interdisciplinary Graduate Programme, Nanyang Technological University(南洋理工大学跨学科研究生项目合作计划);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
研究针对自动驾驶中基于世界模型的强化学习问题,提出DynaDreamer方法,通过增强自我动力学先验改进世界模型,减少自我运动建模负担,实现零样本跨底盘自适应,实验证明该方法显著提升驾驶任务成功率。
2026-09-14 cs.RO
Learning Autonomous Ultrasound via Latent Task Representation and Robotic Skills Adaptation
Wuhan University(武汉大学);Hospital of Wuhan University(武汉大学医院)
本文提出潜在任务表示与机器人技能自适应方法,通过自监督概率模型融合多模态超声技能,实现自主超声检查并适应不同患者,实验验证其性能显著优于先前方法。
2023-07-25 cs.AI cs.RO
Adaptation Strategy for a Distributed Autonomous UAV Formation in Case of Aircraft Loss
Ufa State Aviation Technical University(乌法国立航空技术大学)
针对无人机编队中单个代理丢失导致的动力学负面影响,提出一种减少剩余代理间相互作用的自适应算法,经全非线性模型仿真验证,完全消除了编队最终巡航速度的增加。
2022-08-04 cs.RO cs.SY eess.SY
Meta-Learning Online Dynamics Model Adaptation in Off-Road Autonomous Driving
Jet Propulsion Laboratory, California Institute of Technology(喷气推进实验室、加州理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Georgia Institute of Technology(佐治亚理工学院)
针对高速越野自动驾驶中地形-车辆相互作用建模困难的问题,提出结合卡尔曼滤波在线自适应与元学习参数的框架,通过离线优化基函数与自适应参数,实现实时动力学模型调整,实验证明其在预测精度、性能与安全性上优于基线方法。
2025-04-23 cs.LG cs.RO cs.SY
Assessing Pedestrian Behavior Around Autonomous Cleaning Robots in Public Spaces: Findings from a Field Observation
Ulm University(乌尔姆大学);Johannes-Gutenberg University of Mainz(约翰内斯·古腾堡-美因茨大学)
本研究通过实地观察498名行人,发现行人分心与否对绕行自主清洁机器人的行为无显著影响,而机器人类型和运动模式显著影响横向避让次数与距离,为公共空间人机交互设计提供实证依据。
2025-08-19 cs.RO
MVAdapt: Zero-Shot Multi-Vehicle Adaptation for End-to-End Autonomous Driving
Interdisciplinary Program in AI, Seoul National University(人工智能交叉学科项目,首尔国立大学)
MVAdapt通过结合冻结的TransFuser++场景编码器和轻量级物理编码器,提出了一种基于物理条件的多车辆端到端自动驾驶适应框架,实现了对不同车辆的零样本转移和少量样本校准。
2026-04-13 cs.AI cs.RO
Face versus Body Tracking for Human-Robot Interaction: An Egocentric Dataset
Furhat Robotics;University of Naples Federico II(那不勒斯费德里科二世大学);Division of Speech, Music and Hearing, KTH Royal Institute of Technology(语音、音乐和听觉研究所,皇家理工学院)
针对社交机器人自我中心视角下频繁身份切换问题,提出一个自定义标注的自我中心数据集,通过系统评估检测误差、对比面部与身体跟踪,并分析扩展空间记忆和外观重识别的影响,最终优化管道将身份切换减少49%。
2026-06-24 cs.CV cs.HC cs.RO
TinyCenterSpeed: Efficient Center-Based Object Detection for Autonomous Racing
University of Twente(特文特大学);Wright State University(莱特州立大学)
本文提出TinyCenterSpeed,通过精简CenterPoint并结合外部TPU,在1:10自动驾驶赛车平台上实现实时多对手检测与速度估计,性能较现有SotA提升最高61.38%,推理仅7.88毫秒。
2025-04-11 cs.RO
Machine Learning Meets Quantitative Planning: Enabling Self-Adaptation in Autonomous Robots
University of South Carolina, USA(南卡罗来纳大学);University of York, UK(约克大学);Carnegie Mellon University, USA(卡内基梅隆大学)
现代网络物理系统(例如,机器人系统)通常由物理和软件组件组成,其特性可能随时间而改变。在设计时所做的关于系统各部分的假设在运行时间可能不成立,特别是当系统部署很长时间时(例如,几十年)。自适应的目的是找到系统的重新配置,以处理这种运行时的不一致性。Plastics可以用来在这样一个不断发展的背景下找到和制定最佳的重新配置。然而,对于高度可配置的系统,由于适应空间的大小,这种规划变得棘手。为了克服这一挑战,在本文中,我们探讨了一种方法,(a)使用机器学习找到帕累托最优配置,而不需要探索每一个配置和(b)限制搜索空间这样的配置,使规划易于处理。我们探讨这一点的背景下,需要考虑任务的及时性和能源消耗的机器人任务。一项独立的评估表明,我们的方法在不确定和敌对的环境中产生了高质量的适应计划。
2019-03-10 cs.AI cs.RO
dARt Vinci: Egocentric Data Collection for Surgical Robot Learning at Scale
Johns Hopkins University(约翰斯·霍普金斯大学);University of Arkansas(阿肯色大学)
针对手术机器人学习中的数据稀缺问题,本文提出基于AR手部追踪与物理仿真的数据采集平台dARt Vinci,无需实体机器人即可高效采集遥操作数据,数据吞吐量提升41%、存储体积缩小400倍以上。
2025-03-07 cs.AI cs.RO
Soft Actor-Critic-based Control Barrier Adaptation for Robust Autonomous Navigation in Unknown Environments
University of Virginia(弗吉尼亚大学)
本文提出基于Soft Actor-Critic的策略在运行时自适应调整控制屏障函数参数,以解决自主导航中安全约束过保守或过宽松导致的死锁与碰撞问题,并通过仿真与物理实验验证其安全且非保守的导航效果。
2025-03-11 cs.LG cs.RO
Formally Guaranteed Control Adaptation for ODD-Resilient Autonomous Systems
Department of Computer Science, University of York(约克大学计算机科学系);Cyprus University of Technology(塞浦路斯理工大学)
本文提出一种方法,通过动态扩展系统状态能力,提供形式保证,以提高自主系统在ODD外场景下的可靠性。
2026-04-08 cs.LO cs.RO cs.SE
VertiAdaptor: Online Kinodynamics Adaptation for Vertically Challenging Terrain
George Mason University(乔治梅森大学)
提出VertiAdaptor在线自适应框架,通过函数编码器融合高程与语义嵌入,实现地形感知的运动学动力学建模与规划,在仿真和实物平台上预测精度提升23.9%,自适应速度提高5倍。
2026-07-01 cs.RO
Model-Based Policy Adaptation for Closed-Loop End-to-End Autonomous Driving
CMU(卡内基梅隆大学);Stanford(斯坦福大学);NVIDIA(英伟达)
本文提出基于模型的策略适应框架,通过生成反事实轨迹和训练Q值模型提升自动驾驶在闭环环境中的鲁棒性和安全性。
2025-11-26 cs.AI cs.RO
Saliency-Guided Domain Adaptation for Left-Hand Driving in Autonomous Steering
Centre for Accident Research and Road Safety-Queensland, Queensland University of Technology(昆士兰事故研究与道路安全中心、昆士兰理工大学);QUT Centre for Robotics and School of Electrical Engineering and Computer Science, Queensland University of Technology(昆士兰大学机器人中心及电气工程与计算机科学学院、昆士兰理工大学)
本文提出利用翻转数据预训练结合微调的方法,将PilotNet模型适应至左行驾驶条件,显著降低了预测误差并增强了对左侧线索的注意力,且在ResNet上验证了该适应趋势。
2025-11-03 cs.CV cs.RO
What Does It Take For A Generalist Robot Policy To Adapt Using Minimal Data?
Carnegie Mellon University(卡内基梅隆大学)
本文提出MiDAS算法,结合离线行为克隆与在线强化学习,实现机器人策略仅用1次演示即可完成任务适配,性能优于基线且能泛化,为机器人自主学习提供可行方案。
2026-10-23 cs.LG cs.RO
Robust RL with LLM-Driven Data Synthesis and Policy Adaptation for Autonomous Driving
University of Liverpool(利物浦大学);University of Warwick(华威大学);Southeast University(东南大学)
本文提出RAPID框架,通过LLM驾驶智能体合成数据、鲁棒蒸馏和混合策略适配器训练强化学习智能体,在保持适应性的同时实现高效鲁棒的实时自动驾驶决策。
2024-10-20 cs.AI cs.RO
Pixel to Elevation: Learning to Predict Elevation Maps at Long Range using Images for Autonomous Offroad Navigation
NASA Jet Propulsion Laboratory, California Institute of Technology(美国国家航空航天局喷气推进实验室、加州理工学院);Field AI
针对长程越野导航中 LiDAR 测量稀疏的问题,提出一种基于 transformer 的方法,利用车载自中心图像实时预测长程地形高程地图,并通过大量实验验证了其优于基线模型的准确性与适用性。
2024-04-20 cs.CV cs.LG cs.RO
Humanoid-VLA: Towards Universal Humanoid Control with Visual Integration
University of YYY(YYY大学);Institute of WWW(WWW研究院);Westlake University(西湖大学);Zhejiang University(浙江大学)
针对人形机器人控制框架依赖反应式机制、缺自主交互能力的问题,提出整合语言、第一视角视觉与运动控制的Humanoid-VLA框架,通过预对齐、视频微调及自监督数据增强,实现更强的通用类人控制与交互能力。
2025-02-21 cs.CV cs.RO
Prompt-Driven Domain Adaptation for End-to-End Autonomous Driving via In-Context RL
针对端到端自动驾驶域适应难题,提出基于上下文强化学习的推理阶段少样本提示驱动域适应方法,无需更新参数或额外采集目标域数据,在CARLA恶劣天气闭环驾驶场景中性能优于现有基线。
2025-11-16 cs.LG cs.RO
EDEN: Entorhinal Driven Egocentric Navigation Toward Robotic Deployment
Johns Hopkins Whiting School of Engineering(约翰霍普金斯大学惠廷工程学院);DEVCOM United States Army Research Laboratory(美国陆军研究实验室)
本文提出受内嗅皮层启发的导航框架 EDEN,通过网格细胞编码器将自我中心运动转化为周期性空间编码,并结合 PPO 强化学习,在 MiniWorld 和 Gazebo 中实现了高效可靠的自主导航,简单场景成功率 99%,复杂场景超过 94%。
2025-06-03 cs.AI cs.RO
FRAME: A Modular Framework for Autonomous Map Merging: Advancements in the Field
Luleå University of Technology(吕勒奥理工大学);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
本文提出FRAME框架,利用地点识别和学习描述符高效检测地图重叠,结合GICP算法实现3D点云地图融合,提升了多机器人探索中的处理速度、精度与鲁棒性。
2024-08-28 cs.CV cs.RO