EMMA: Enhancing Robotic Control Robustness through a Generative Visual Model
EMMA通过生成性视觉迁移框架提升机器人操作的泛化能力,结合生成数据引擎与高效训练流程,实现多视角一致性和几何精度的提升,实验证明其在零样本场景下的显著性能提升。
2026-10-21 cs.AI cs.RO
PoseDiff: A Unified Diffusion Model Bridging Robot Pose Estimation and Video-to-Action Control
PoseDiff是一种统一机器人位姿估计与控制的条件扩散模型,通过单张RGB图像映射结构化状态并扩展至视频到动作的逆动力学,在DREAM和Libero-Object任务上实现了高效且最先进的性能。
2025-10-30 cs.AI cs.RO
DREAM Lite: Simplifying Robot Assisted Therapy for ASD
SoftBank Robotics Europe(软银机器人欧洲公司);Babes-Bolyai University(巴比什-博雅伊大学)
机器人辅助治疗(RAT)已成功用于改善自闭症谱系障碍(ASD)儿童的社交技能。DREAM项目探索如何在用于控制机器人代理的supervisedautonomy框架内向ASD儿童提供有效的RAT干预,这可以减轻提供此类干预的临床医生的负担。在本文中,我们描述了如何在现实生活中使用的实验协议,开发和广泛测试的梦想项目,以及他们的部署和临床医生进行的新的生态研究验证。
2021-04-16 cs.RO
Genetic algorithm for robotic telescope scheduling
Universidad de Granada(格拉纳达大学)
这项工作的灵感来自作者的经验与望远镜调度。作者长期的目标是开发和进一步扩展软件的自治天文台。该软件将为用户提供拍摄夜空科学图像所需的所有设施,与其他自主天文台合作,甚至更多。该作品展示了如何遗传算法可以用于调度的一个单一的天文台,以及网络的观测站。
2010-01-31 astro-ph.IM cs.AI
Learning Real-World Robot Policies by Dreaming
School of Informatics, Computing, and Engineering(信息学、计算与工程学院);Indiana University Bloomington(印第安纳大学伯明顿分校)
学习直接基于图像控制机器人是机器人技术的主要挑战。然而,许多现有的强化学习方法需要迭代地获得数百万个机器人样本来学习策略,这可能花费大量时间。在本文中,我们专注于学习一个现实的世界模型捕捉动态的场景变化的机器人动作的条件。我们的做梦模型可以模拟相当于来自实际环境的一系列图像的样本,技术上是通过学习一个动作条件化的未来表征/场景回归。这允许代理学习动作策略(即,通过与梦想模型而不是现实世界进行交互。我们通过实验证实,我们的梦想模型能够让机器人学习转移到现实世界的政策。
2019-08-01 cs.CV cs.RO stat.ML
DREAM: Decentralized Reinforcement Learning for Exploration and Efficient Energy Management in Multi-Robot Systems
Purdue University(普渡大学)
提出 DREAM 去中心化强化学习框架,结合作业范围估计、能耗模型与图神经网络优化多机器人探索和目标分配,在仿真中较基线提升约 25%。
2023-09-29 cs.AI cs.MA cs.RO
DreamFormer: Dream Imitation with a Transformer World Model for Language-Conditioned Robotic Manipulation
University of Hamburg(汉堡大学);Aswan University(阿斯旺大学);University of Southampton(南安普顿大学)
DreamFormer利用Transformer世界模型在潜在想象中模仿专家演示,实现语言条件机器人操作,在CALVIN基准上超越现有方法,并显著提升零样本迁移性能。
2026-10-06 cs.RO
Dexterity from Smart Lenses: Multi-Fingered Robot Manipulation with In-the-Wild Human Demonstrations
New York University(纽约大学);Meta
本文提出AINA框架,通过智能眼镜采集真实世界人类示范数据,实现多指机器人操控策略的学习,无需依赖传统机器人数据。
2025-11-20 cs.AI cs.LG cs.RO
Grounded-Dreamer: Robot Learning from World Model Synthetic Data with Physical Grounding
Peking University(北京大学);Lightwheel(光速);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
Grounded-Dreamer框架结合生成式视频模型与仿真物理引擎,从少量真实图像合成带物理 grounding 的机器人操纵数据,无需人类远程操作,可高效训练机器人操纵策略,实验验证其效果显著。
2026-10-12 cs.RO
Integrating Learning-Based Manipulation and Physics-Based Locomotion for Whole-Body Badminton Robot Control
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);DeepCode Robotics(DeepCode机器人公司);Department of Sports, Shanghai Jiao Tong University(上海交通大学体育学院)
本文提出用于敏捷羽毛球机器人的混合控制系统Hamlet,通过基于模型的底盘移动与物理信息的“IL+RL”机械臂策略训练框架,降低训练复杂度并保障稳定性,实现对发球机94.5%和人类90.7%的击球成功率。
2025-04-27 cs.AI cs.LG cs.RO
Enabling 24-hour Agricultural Robotics: Unsupervised Day-to-Night Cross-Modal Image Translation for Nighttime Visual Navigation
LaSER Lab, Kennesaw State University(激光实验室,肯尼索州立大学);Lincoln Institute for Agri-Food Technology, University of Lincoln(林肯农业食品技术研究所,林肯大学)
该研究针对农业机器人夜间视觉导航中大规模标注图像数据集难获取的问题,提出无监督图像翻译框架,整合CLIP模型并引入可见性掩码,复用白天语义标签训练模型,经实验验证提升了图像质量和下游语义分割性能。
2026-07-15 cs.AI cs.CV cs.RO
LTM: Latent Transition Based In-Context Memory for Vision-Language-Action Models
Beihang University(北京航空航天大学);BAAI(北京智源人工智能研究院)
该研究针对机器人操作需记忆不可见交互的问题,提出LTM模型,通过隐式转换存储历史信息,在多个基准测试中表现优异,可扩展至大规模演示,适配受限记忆预算,提升真实机器人计数成功率。
2026-10-16 cs.AI cs.RO
Learning Task-Invariant Properties via Dreamer: Enabling Efficient Policy Transfer for Quadruped Robots
Shenzhen University(深圳大学);Peng Cheng Laboratory(鹏城实验室)
本文提出DreamTIP框架,通过在Dreamer世界模型中引入任务不变属性学习,提升仿真到现实的迁移能力,实验表明其在复杂地形任务中表现优异,性能提升显著。
2026-04-03 cs.RO
NightOwl: Robotic Platform for Wheeled Service Robot
Universitas Gadjah Mada(加札马达大学)
NightOwl是专为轮式服务机器人设计的机器人平台。机器人以全方位的方式自主导航,并配备了激光雷达来感知周围区域。该平台本身是使用机器人操作系统(ROS)构建的,并使用两种不同的程序设计语言(C++和Python)编写。NightOwl由几个模块化程序组成,即硬件控制器、光探测和测距(LIDAR)、同时定位与地图构建(SLAM)、世界模型、路径规划、机器人控制、通信和行为。这些程序并行运行并相互通信以共享各种信息。本文从输入、处理和输出三个方面阐述了模块化程序的作用。此外,NightOwl还提供Gazebo和RViz中的可视化模拟。Gazebo将其环境中的机器人可视化。来自LIDAR的传感器数据和来自SLAM的结果将通过RViz可视化。
2020-11-18 cs.RO
V-Dreamer: Automating Robotic Simulation and Trajectory Synthesis via Video Generation Priors
Nanjing University(南京大学);Northwestern Polytechnical University(西北工业大学)
V-Dreamer通过视频生成先验自动构建仿真环境和可执行轨迹,利用大语言模型和3D生成模型生成物理合理的3D场景,并通过Sim-to-Gen模块实现高效轨迹合成。
2026-03-19 cs.RO
Do Rigid-Body Simulators Dream of Soft Robots? Learning Contact-Rich Manipulation for Tendon-Driven Continuum Robots
University of Toronto(多伦多大学)
针对肌腱驱动连续体机器人缺乏接触丰富操作模拟基础设施的问题,提出基于连续介质力学的离散化方法,将软体机器人原生集成到MuJoCo中,实现仿真到真实世界的零样本迁移。
2026-06-23 cs.RO
What do we learn about development from baby robots?
Inria(法国国家信息与自动化研究所)
了解婴儿的发展是当代科学最大的科学挑战之一。一个很大的困难来源于这样一个事实,即婴儿技能的发展是多个时空尺度上多种机制相互作用的结果。“先天”或“后天”的概念不再是更充分的解释工具,这要求从还原论转向系统解释。为了应对这一挑战,建造和试验机器人来模拟成长中的婴儿大脑和身体至关重要。在感觉运动,认知和社会发展中的模式形成的系统解释,被视为一个复杂的动力系统,需要使用基于数学,算法和机器人的正式模型。使用这些模型制定关于发展的假设,并通过实验进行探索,使我们能够详细考虑许多机制和参数之间的相互作用。这补充了心理学和神经科学中传统的实验方法,在这些方法中,只能同时研究少数变量。此外,机器人的使用特别重要。物理定律在我们周围的无机世界中产生了自发的模式。它们还强烈地影响生活,特别是通过其(变化的)身体与物理环境的相互作用来限制和指导婴儿的发展。能够将身体视为一个实验变量,可以系统地改变以研究对技能形成的影响,这一直是许多发展科学家的梦想。这在今天的发展机器人技术中已经成为可能。
2015-01-20 cs.AI cs.CY
DREAM Architecture: a Developmental Approach to Open-Ended Learning in Robotics
CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);U2IS(U2IS实验室);INRIA Flowers(法国国家信息与自动化研究所Flowers团队);ENSTA(法国国立高等先进技术学院);Institut Polytechnique Paris(巴黎理工学院);University of Edinburgh(爱丁堡大学)
机器人仍然局限于受控条件,机器人设计师知道足够的细节,赋予机器人适当的模型或行为。学习算法增加了一些灵活性,能够发现适当的行为,给出一些演示或奖励,以通过强化学习算法指导其探索。强化学习算法依赖于定义可达行为的状态和动作空间的定义。它们的适应能力关键取决于这些空间的表示:小而离散的空间导致快速学习,而大而连续的空间具有挑战性,要么需要很长的训练期,要么阻止机器人收敛到适当的行为。除了政策执行的操作周期和学习周期,它的工作在一个较慢的时间尺度,以获得新的政策,我们介绍了重新描述周期,第三个周期工作在一个更慢的时间尺度,以生成或适应所需的表示机器人,它的环境和任务。我们介绍了这个周期所提出的挑战,我们提出了梦想(自主机器中的经验延迟重构),一个发展的认知架构,以逐步引导这个重新描述过程,建立新的状态表示与适当的动机,并跨域或任务,甚至跨机器人转移所获得的知识。我们描述了迄今为止用这种方法获得的结果,并最终讨论了它在神经科学中提出的问题。
2020-05-13 cs.AI cs.LG cs.NE
NVIDIA Cosmos-H-Dreams: Real-Time Generative Physics Simulation for Surgical Robotics
该研究提出Cosmos-H-Dreams系统,结合生成模型与蒸馏技术实现实时外科机器人仿真,支持多控制器驱动,为外科教育等提供开放基础。
2026-08-28 cs.RO
Dream-Tac: A Unified Tactile World Action Model for Contact-Rich Robot Manipulation
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学);Nanjing University(南京大学);State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(北京大学计算机学院多媒体信息处理国家重点实验室)
提出Dream-Tac统一触觉世界动作模型,通过接触门控视觉-触觉融合和接触感知注意力偏置,联合建模动作、未来视觉观察和触觉动态,在六项接触丰富操作任务中平均动作准确率提升31.7%。
2026-06-07 cs.RO
X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model
Institute for AI Industry Research (AIR) Tsinghua University(人工智能产业研究院(AIR)清华大学);Shanghai AI Lab(上海人工智能实验室);Peking University(北京大学)
提出基于流匹配的跨本体视觉-语言-动作模型 X-VLA,通过引入本体特定的软提示嵌入有效利用异构机器人数据,在多项模拟和真实机器人基准上实现 SOTA 性能。
2025-10-11 cs.AI cs.CV cs.RO
Marvin: an Innovative Omni-Directional Robotic Assistant for Domestic Environments
Politecnico di Torino(都灵理工大学)
人口老龄化和流行病最近表明,老年人在家中与世隔绝,因此需要可靠的辅助人员。机器人助手是国内福利创新的新前沿,老年人监测是机器人可以为集体福祉提供的服务之一。尽管有这些新兴的需求,但在机器人助手的实际领域中,没有平台能够成功地将杂乱的家庭空间中的可靠移动性与用于感知和交互的轻量级离线人工智能(AI)解决方案结合起来。在这项工作中,我们介绍了Marvin,这是我们开发的一种新型辅助机器人平台,采用基于模块化层的架构,将灵活的机械设计与尖端的AI融合在一起,用于感知和语音控制。我们专注于三个目标服务功能的马文的设计:老年人和行动不便的主题,远程存在和连接,夜间援助的监测。与以前的作品相比,我们提出了一个微小的全向平台,它可以实现敏捷的移动性和有效的避障。此外,我们设计了一个可控的定位设备,它可以很容易地允许用户访问接口的连接和扩展的摄像头传感器的视觉范围。尽管如此,我们还是仔细考虑了云服务上的私人数据汇集所带来的隐私问题,这是基于人工智能的商业助理的一个关键方面。为此,我们演示了如何采用轻量级的视觉感知和语音命令的深度学习解决方案,在机器人的嵌入式硬件上完全离线运行。
2022-07-14 cs.AI cs.RO cs.SY
DREAM: Decentralized Real-time Asynchronous Probabilistic Trajectory Planning for Collision-free Multi-Robot Navigation in Cluttered Environments
NVIDIA(英伟达);University of Southern California(南加州大学);Amazon(亚马逊)
针对含交互动态障碍的杂乱环境,本文提出DREAM去中心化异步概率多机器人轨迹规划器,仿真和真实四旋翼实验表明其显著提升成功率并降低规划耗时。
2024-05-20 cs.RO
Say, Dream, and Act: Learning Video World Models for Instruction-Driven Robot Manipulation
Fudan University(复旦大学)
本文提出一种视频条件动作框架,通过生成稳健的视频模型和对抗性蒸馏,提升机器人操作中的预测能力和空间准确性。
2026-02-11 cs.RO
DREAM: Deployment-Time Demonstration Generation via Real-to-Sim for Scalable Policy Adaptation
The University of Tokyo(东京大学)
本研究提出DREAM框架,可无需人类演示生成VLA微调数据,经实机实验验证其能降低新工作空间的数据收集成本并提升操纵任务成功率。
2026-09-01 cs.RO
A Mobile Robotic Personal Nightstand with Integrated Perceptual Processes
Clemson University(克莱姆森大学)
我们提出了一个智能交互式床头柜安装在移动机器人,以帮助老年人在他们的家中使用物理,触觉和视觉感知。我们展示了三种不同的传感模式的集成,用于控制安装在床头柜上的机器人的导航在受限的环境中的通用客厅住房的一个单一的需要帮助和监测的个人老化。安装在房间天花板上的摄像头可以从上到下观察障碍物、人和床头柜。安装在个人的床架下方的压力传感器提供对个人状态的物理感知。床头柜上的一个近距离红外传感器作为一个触觉界面,与Wii Nunchuck(任天堂)一起控制床头柜上的日常操作。来自这三种模式的智能相结合,使路径规划的床头柜接近个人。随着越来越多的人选择留在家中的老年人越来越重视辅助技术,我们展示了如何将泛在智能带入家庭,以帮助监控和提供护理。我们的方法通过无缝集成嵌入环境结构中的不同传感器,朝着实现普遍智能迈出了一步。
2013-10-13 cs.RO
An Engineer's Nightmare: 102 Years of Critical Robotics
Cornell University(康奈尔大学)
一个批判性的和重新配置的HRI可能会关注艺术,自捷克艺术家卡雷尔·卡佩克(Karel Capek)1921年批判性的机器人劳动寓言以来,机器人的另一段历史已经展开,机器人这个词在现代用法中被创造出来。本文探讨了几个向量,艺术家创造的机器人,无论是物理的和想象的,提供了明显的对比,机器人像往常一样,并提供方向,这些更解放的堂兄弟可能是有用的HRI领域。
2022-05-09 cs.HC cs.RO
Dream to Manipulate: Compositional World Models Empowering Robot Imitation Learning with Imagination
University of Padova(帕多瓦大学);Politecnico of Torino(都灵理工大学);University of Amsterdam(阿姆斯特丹大学);Archimedes/Athena RC(阿基米德/雅典娜研究中心)
本文提出 DreMa,将机器人世界模型构建为可学习的数字孪生,结合 Gaussian Splatting 与物理模拟器实现组合式想象,并通过等变变换扩充演示数据,显著提升模仿学习的样本效率与泛化能力,在 Franka Emika Panda 机器人上实现单样本策略学习。
2025-03-10 cs.CV cs.RO
2D Visual Place Recognition for Domestic Service Robots at Night
家用服务机器人,如割草机和真空清洁机器人,是当今存在的最多的消费机器人。虽然早期版本采用随机探索,但大多数主要制造商最近部署的系统都使用了基于距离的视觉传感器和用户放置的信标,使机器人能够进行地图和定位。然而,主动测距和视觉感测解决方案具有侵入性、昂贵或仅提供环境的1D扫描的缺点,而对信标放置的要求施加了其他实际限制。在本文中,我们提出了一个被动的和潜在的廉价的基于视觉的解决方案,在夜间的2D定位,结合容易获得的白天地图与低分辨率对比度归一化图像匹配算法,图像序列为基础的匹配在二维空间,地方匹配插值和传统的低光摄像机技术的最新进展。在家庭草坪和休息室的一系列实验中,我们证明了所提出的方法能够在夜间进行2D定位,并分析了不同里程计噪音水平、位置匹配插值和序列匹配长度对性能的影响。最后,我们对新的低光相机技术进行了基准测试,并展示了它如何在只有无月天空照亮的环境中实现强大的位置识别,从而提高了即使在最黑暗的夜晚也能够应用所有传统视觉算法的诱人可能性。
2016-05-25 cs.CV cs.RO
A Non-iterative Spatio-temporal Multi-task Assignments based Collision-free Trajectories for Music Playing Robots
Indian institute of Science(印度科学学院);National Institute of Technology, Tiruchirappalli(蒂鲁吉拉伯利国家理工学院)
在本文中,一个非迭代时空多任务分配方法被用于演奏钢琴音乐的机器人团队。本文考虑了钢琴演奏问题,其中的算法需要计算的轨迹为一个动态大小的机器人团队谁将发挥的音符,通过在各自的特定时间与音符相关联的特定位置旅行。基于时空多任务分配问题(DREAM)的两步动态资源分配,已被实现分配机器人演奏音乐的曲调。该算法在第一步中计算播放音乐所需的机器人数量。在第二步中,为更新后的机器人团队计算最佳分配,使团队行进的总距离最小化。即使对于单个可行轨迹,如果机器人遇到碰撞,多机器人执行也可能失败。由于将利用一些时间来解决此冲突,机器人可能无法按时到达所需位置。本文分析并证明了,如果机器人在凸区域内运行,DREAM方法的解决方案提供了无碰撞的轨迹。DREAM方法的工作已经在使用ROS2操作的Gazebo中的高保真模拟的帮助下进行了说明。结果清楚地表明,DREAM方法计算所需的机器人数量,并在最多两个步骤中将多个任务分配给机器人。机器人演奏音乐的模拟,使用计算分配,在所附的视频中演示。视频链接:\url{https://youtu.be/XToicNm-CO8}
2023-02-17 cs.MA cs.RO cs.SY
GRUtopia: Dream General Robots in a City at Scale
OpenRobotLab, Shanghai AI Laboratory(上海人工智能实验室OpenRobotLab);Nanjing University(南京大学);The Chinese University of Hong Kong(香港中文大学);Xidian University(西安电子科技大学);Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);Tsinghua University(清华大学)
GRUtopia项目构建了首个城市级可交互3D模拟社会,包含10万场景的GRScenes、LLM驱动的NPC系统GRResidents及面向腿式机器人的基准GRBench,旨在通过Sim2Real扩展具身AI学习并缓解数据稀缺。
2024-07-15 cs.CV cs.RO
World Models Dream of Success: Diagnosing and Repairing Failure Insensitivity in Robot World Models
Colorado School of Mines(科罗拉多矿业大学);Northeastern University(东北大学);Institute for Creative Technologies, University of Southern California(南加州大学创意技术研究所);North Carolina State University(北卡罗来纳州立大学)
针对机器人世界模型对失败不敏感的问题,提出CureWM方法,利用执行验证的反事实失败数据微调模型,显著降低乐观预测并提升成功-失败区分能力。
2026-10-08 cs.RO
Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
University of Freiburg(弗赖堡大学);Technical University of Munich(慕尼黑工业大学)
该研究提出D2R方法,利用世界模型引导通用机器人策略学习新任务时避免灾难性遗忘,在CALVIN、LIBERO及真实Franka机器人任务中均实现性能提升。
2026-10-12 cs.CV cs.LG cs.RO
Grasp as You Dream: Imitating Functional Grasping from Generated Human Demonstrations
Department of Robotics, Perception and Learning, KTH Royal Institute of Technology(KTH皇家理工学院机器人、感知与学习系);Shenzhen Key Laboratory of Robotics and Computer Vision, Southern University of Science and Technology(南方科技大学深圳市机器人视觉与感知重点实验室)
本文提出GraspDreamer方法,利用视觉生成模型合成的人类示范实现零样本功能抓取,通过隐含的通用先验知识和动作优化,提升数据效率和泛化能力。
2026-04-08 cs.RO
EM-Fall: Embodied mmWave Sensing for Day-and-Night Fall Detection on Humanoid Robots
MARS Lab(MARS实验室);NTU(南洋理工大学);IOT Lab(物联网实验室)
提出EM-Fall框架,将毫米波感知与移动人形机器人结合,通过主动调整视角实现跨房间遮挡下的跌倒检测,并设计轻量时序模型处理宠物干扰和多径效应,在8个真实环境中验证了鲁棒性。
2026-06-09 cs.RO
Dream to Fly: Model-Based Reinforcement Learning for Vision-Based Drone Flight
Robotics and Perception Group, Department of Informatics, University of Zurich(苏黎世大学信息学系机器人感知组)
本文提出基于模型的强化学习方法,通过像素观测实现无人机敏捷飞行,展示了在模拟和真实世界中的高效表现,推动了基于像素的自主飞行技术发展。
2026-04-10 cs.RO
Dreamitate: Real-World Visuomotor Policy Learning via Video Generation
Columbia University(哥伦比亚大学);Toyota Research Institute(丰田研究所);Stanford University(斯坦福大学)
针对机器人操作策略泛化难题,提出Dreamitate框架,通过在人类演示上微调预训练视频扩散模型,以生成的任务执行视频直接控制机器人,在四项任务上实现了比现有行为克隆方法更优的泛化性能。
2024-06-24 cs.CV cs.RO
DreamWaQ++: Obstacle-Aware Quadrupedal Locomotion With Resilient Multi-Modal Reinforcement Learning
Urban Robotics Lab., School of Electrical Engineering, KAIST(韩国科学技术院电子工程系城市机器人实验室);KRAFTON(KRAFTON公司);URobotics(URobotics公司);Laboratory for Information and Decision Systems (LIDS), MIT(麻省理工学院信息与决策系统实验室)
DreamWaQ++通过鲁棒多模强化学习融合本体和外源感觉,实现四足机器人在复杂环境中的鲁棒运动控制与敏捷性能。
2026-02-26 cs.RO cs.SY eess.SY
BEVIO: Efficient Bird's-Eye-View based Sparse-Update Visual-Inertial Odometry for Lunar Day-Night Navigation
Jet Propulsion Laboratory, California Institute of Technology(喷气推进实验室,加州理工学院);Autonomous Robots Lab at the Norwegian University of Science and Technology(挪威科学技术大学自主机器人实验室)
提出一种基于鸟瞰图的图像匹配方案,在极低视觉更新率下实现可靠的视觉-惯性里程计,适用于资源受限的月球车昼夜导航。
2026-05-30 cs.RO
Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback
Autonomous Systems Lab (ASL), Institute for Electrical Engineering in Medicine, University of Lübeck(自主系统实验室(ASL)、医学电气工程学院、吕贝克大学)
本文提出一种基于世界模型反馈的在线持续强化学习方法,通过检测分布外事件自动触发微调,实现机器人智能体在运行过程中的自适应能力。
2026-03-04 cs.AI cs.RO
MATrack: Efficient Multiscale Adaptive Tracker for Real-Time Nighttime UAV Operations
Nanyang Technological University(南洋理工大学)
针对夜间无人机跟踪中低光、杂乱背景和视角变化导致的漂移问题,提出MATrack多尺度自适应系统,通过三个核心模块协同工作,在UAVDark135上精度、归一化精度和AUC分别提升5.9%、5.4%和4.2%,并保持81 FPS实时速度。
2025-10-24 cs.CV cs.RO
Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments
Australian National University(澳大利亚国立大学);University of Adelaide(阿德莱德大学);Queensland University of Technology(昆士兰科技大学);Macquarie University(麦考瑞大学)
在《杰森一家》(Jetsons)系列卡通片想象由一群细心的机器人助手充当媒介的休闲生活之前,一个能够进行自然语言教学的机器人一直是一个梦想。这是一个仍然顽固遥远的梦想。然而,视觉和语言方法的最新进展在密切相关的领域取得了令人难以置信的进展。这一点很重要,因为机器人根据它所看到的内容解释自然语言导航指令是在执行类似于视觉问答的视觉和语言过程。这两个任务都可以被解释为基于视觉的序列到序列翻译问题,并且许多相同的方法都适用。为了实现和鼓励视觉和语言方法的应用,以解释视觉接地导航指令的问题,我们提出了Matterport 3D模拟器-一个大规模的强化学习环境的基础上真正的图像。使用这个模拟器,它可以在未来支持一系列具体的视觉和语言任务,我们提供了第一个基准数据集的视觉接地自然语言导航在真实的建筑物-房间到房间(R2 R)数据集。
2018-04-05 cs.AI cs.CL cs.CV
Learning Tactile Insertion in the Real World
Technical University of Darmstadt(达姆施塔特工业大学)
本文提出利用 Dreamer-v3 强化学习直接从触觉传感器读数学习端到端控制策略,并在 Franka Research 3 机器人上构建可自主复位的真实实验平台,初步验证触觉反馈能提升部分可观测插入任务性能。
2024-07-31 cs.RO
Automatic Environment Shaping is the Next Frontier in RL
Massachusetts Institute of Technology(麻省理工学院)
本文指出强化学习在机器人任务中受限于人工环境设置瓶颈,主张应将算法改进聚焦于自动塑造训练环境(包括观测、动作、奖励和模拟动力学),以实现 RL 向多样化任务的规模化扩展。
2024-07-23 cs.AI cs.LG cs.RO
SABER: A Scalable Action-Based Embodied Dataset for Real-World VLA Adaptation
DreamVu
SABER通过高保真零售机器人动作数据集提升真实世界零售任务的机器人性能,采用多流动作表示方法,实现29.3%的成功率,优于微调基线。
2026-05-10 cs.CV cs.RO
SeqNetVLAD vs PointNetVLAD: Image Sequence vs 3D Point Clouds for Day-Night Place Recognition
Queensland University of Technology(昆士兰科技大学);QUT Centre for Robotics(昆士兰科技大学机器人中心)
位置识别是移动机器人定位和导航的关键能力。基于图像或视觉位置识别(VPR)是一个具有挑战性的问题,因为场景外观和摄像机视角可以显着改变时,地方重新访问。与传统的序列分数聚合或基于单个图像的技术相比,最近基于“顺序表示”的VPR方法已经显示出有希望的结果。在这些努力的同时,随着基于深度学习的点云处理的进步,也在探索基于3D点云的地点识别。然而,一个关键的问题仍然存在:是一个明确的3D结构为基础的地方表示总是优于一个隐式的“空间”表示的RGB图像序列的基础上,可以固有地学习场景结构。在这个扩展的摘要中,我们试图通过考虑类似的“度量跨度”来表示位置来比较这两种方法。我们比较了基于3D点云的方法(PointNetVLAD)与基于图像序列的方法(SeqNet等),并展示了基于图像序列的技术方法,甚至可以超越基于点云的方法在给定的度量范围内所实现的性能。这些性能变化可以归因于输入传感器的数据丰富度以及移动机器人的数据积累策略的差异。虽然对于这两种不同的模式来说,完美的苹果对苹果的比较可能是不可行的,但所提出的比较朝着回答有关空间表征的更深层次问题的方向迈出了一步,这些问题与自动驾驶和增强/虚拟现实等几个应用有关。源代码可在https://github.com/oravus/seqNet公开获取。
2021-06-22 cs.AI cs.CV cs.IR
Learning Actionable Manipulation Recovery via Counterfactual Failure Synthesis
Texas A&M University(德克萨斯A&M大学);University of Minnesota(明尼苏达大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Abaka AI(Abaka人工智能);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出Dream2Fix框架,通过生成反事实失败场景数据提升机器人故障恢复能力,实现高精度的故障诊断与轨迹修正。
2026-03-13 cs.CV cs.RO
BuFF: Burst Feature Finder for Light-Constrained 3D Reconstruction
Australian Centre for Field Robotics(澳大利亚野外机器人中心);School of Aerospace, Mechanical and Mechatronic Engineering(航空航天、机械与机电工程学院);The University of Sydney(悉尼大学);Sydney Institute for Robotics and Intelligent Systems(悉尼机器人与智能系统研究所)
使用传统视觉相机在夜间操作的机器人由于噪声受限的图像而面临重建的重大挑战。以前的工作已经证明,突发成像技术可以用来部分克服这个问题。在本文中,我们开发了一种新的特征检测器,直接对图像突发进行操作,从而在极低光照条件下增强基于视觉的重建。我们的方法发现关键点定义明确的规模和明显的运动在每个突发联合搜索在一个多尺度和多运动空间。由于我们在图像具有较高信噪比的阶段描述这些特征,因此检测到的特征在传统的噪声图像和突发合并图像上比现有技术更准确,并且表现出高精度,召回率和匹配性能。我们展示了改进的特征性能和相机姿态估计,并在具有挑战性的光约束场景中使用我们的特征检测器展示了改进的运动结构性能。我们的功能查找器为机器人在低光场景和包括夜间操作在内的应用中操作迈出了重要的一步。
2022-09-20 cs.CV cs.RO
Nautilus: From One Prompt to Plug-and-Play Robot Learning
TU Darmstadt(图宾根大学);KIT(卡尔斯鲁厄理工学院);FZI(弗劳恩霍夫研究所);Robotics Institute Germany(德国机器人研究所);Honda Research Institute Europe(本田欧洲研究院)
Nautilus通过单个提示生成可复现、评估、微调和部署的机器人学习工作流程,提供即插即用的代理技能集和统一接口,减少跨家族验证的工程负担。
2026-07-29 cs.RO
SDSS-V Algorithms: Fast, Collision-Free Trajectory Planning for Heavily Overlapping Robotic Fiber Positioners
University of Washington(华盛顿大学);New York University(纽约大学);Swiss Federal Institute of Technology in Lausanne (EPFL)(洛桑联邦理工学院(EPFL));École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));Carnegie Institution for Science(卡内基科学研究所);Ohio State University(俄亥俄州立大学)
机器人光纤定位器(RFP)阵列在宽视场大规模复用光谱测量仪器中被大量采用。RFP阵列通过在字段和曝光之间快速重新配置,减少了夜间运营开销。与类似的仪器相比,SDSS-V选择了一种非常密集的RFP包装方案,在该方案中,现场的任何一点通常都可以由三个或更多的机器人访问。这种设计提供了目标分配的灵活性。然而,无碰撞轨迹规划的任务尤其具有挑战性。我们提出了两个多代理分布式控制策略,是非常有效的,计算成本低廉的确定无冲突路径的RFP在严重重叠的重叠重叠。我们证明,如果在初始状态和最终状态之间插入“折叠”状态(其中所有机器人手臂都缩回并以格子状方向对齐),则可以有效地找到两个任意机器人配置之间的重新配置路径。虽然是为SDSS-V开发的,但我们描述的方法是通用的,因此适用于广泛的RFP设计和布局。机器人光纤定位器技术继续快速发展,在不久的将来,超密集封装的RFP设计可能是可行的。我们的算法特别能够在非常拥挤的环境中的路由路径,在那里我们看到有效的结果,即使在政权显着拥挤比SDSS-V RFP设计。
2020-12-08 astro-ph.IM cs.RO
A Dynamic Heterogeneous Team-based Non-iterative Approach for Online Pick-up and Just-In-Time Delivery Problems
Indian Institute of Science(印度科学学院)
本文提出一种基于动态异构团队的非迭代方法,通过改进DREAM框架求解在线取货与准时送达的时空多任务分配问题,在保证任务可行性的同时实现最优资源利用,并经仿真与硬件实验验证其可扩展性。
2023-04-14 cs.MA cs.RO cs.SY
Emotional Speech Synthesis for Companion Robot to Imitate Professional Caregiver Speech
Hitachi, Ltd.(日立制作所);University of Tsukuba(筑波大学)
本文提出一种由语音情感识别器自动提取情感向量并驱动合成器的情感语音合成方法,使陪伴机器人能模仿专业护理人员语音,主观评估显示其可在清晨和深夜分别让老年人更有活力、更平静。
2021-09-27 cs.RO eess.AS
OctoSense: Self-Supervised Learning for Multimodal Robot Perception
提出OctoSense传感器平台和数据集,通过“晚融合”掩码自编码器实现多模态自监督学习,在多种退化条件下鲁棒预测光流、深度、语义分割和自运动。
2026-06-26 cs.CV cs.RO