BEHAVIOR in Habitat 2.0: Simulator-Independent Logical Task Description for Benchmarking Embodied AI Agents
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
机器人擅长在仓库和工厂等受控环境中执行重复性和精度敏感的任务，但尚未扩展到具体的人工智能智能体，以帮助完成家务。受到基准测试在计算机视觉和自然语言处理等AI领域发挥的催化作用的启发，社区正在为具体化的AI寻找新的基准测试。嵌入式AI基准测试中的先前工作使用不同的形式主义定义任务，通常特定于一个环境，模拟器或领域，因此很难开发通用和可比的解决方案。在这项工作中，我们将行为活动的一个子集带入Habitat 2.0，以受益于其快速的模拟速度，作为展示在逻辑空间中定义的活动适应不同模拟器的容易性的第一步。
2022-06-13 cs.AI cs.CV cs.RO
Habitat: A Platform for Embodied AI Research
Facebook AI Research（脸书人工智能研究院）；Simon Fraser University（西蒙弗雷泽大学）；Facebook Reality Labs（脸书现实实验室）；Georgia Institute of Technology（佐治亚理工学院）；Intel Labs（英特尔实验室）；UC Berkeley（加州大学伯克利分校）
我们介绍了Habitat，一个研究嵌入式人工智能（AI）的平台。Habitat能够在高效的逼真3D仿真中训练具体的代理（虚拟机器人）。具体来说，Habitat包括：（i）Mixat-Sim：一个灵活的，高性能的3D模拟器，具有可配置的代理，传感器和通用3D数据集处理。Materat-Sim速度很快--当从Matterport 3D渲染场景时，它可以在单线程运行时达到每秒数千帧（fps），并且可以在单个GPU上达到超过10，000 fps的多进程。(ii)Apriat-API：一个模块化的高级库，用于嵌入式AI算法的端到端开发-定义任务（例如，导航、指令遵循、问答）、配置、训练和基准测试具体化代理。这些大规模的工程贡献使我们能够回答科学问题，需要实验，直到现在不切实际或“只是”不切实际。具体而言，在点目标导航的上下文中：（1）我们重新审视了最近两项工作中的学习和SLAM方法之间的比较，并找到了相反结论的证据-如果将学习扩展到比以前的调查更多的经验数量级，则学习优于SLAM，以及（2）我们进行了第一次跨数据集泛化实验{训练，测试} x {Matterport 3D，Gibson}，并发现只有具有深度（D）传感器的智能体才能在数据集上泛化。我们希望我们的开源平台和这些发现将推动嵌入式AI的研究。
2019-11-25 cs.AI cs.CL cs.CV
ECHO: Embodied Camera Observations of Human Object Carrying
University of Colorado Boulder（科罗拉多大学博尔德分校）；Lockheed Martin（洛克希德·马丁公司）；Carnegie Mellon University（卡内基梅隆大学）
提出上下文物体放置基准任务及ECHO合成数据集，通过RGB-D扫描与人类携带行为记录，验证联合推理场景、活动与上下文对预测物体目的地至关重要。
2026-10-08 cs.CV cs.RO
Personalized Route Recommendation Based on User Habits for Vehicle Navigation
Toyota Motor Engineering & Manufacturing (China) Co., Ltd.（丰田汽车工程与制造（中国）有限公司）；NavInfo Co., Ltd.（四维图新科技股份有限公司）
本文提出基于用户历史导航数据的个性化路线推荐方法，通过构建DCR模型整合DCN-v2和LSTM学习路线排序分数，显著降低了平均不一致率并提升了推荐准确性。
2024-09-21 cs.RO
Explore until Confident: Efficient Exploration for Embodied Question Answering
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）
本文提出结合 VLM 视觉提示语义建图与保形预测置信度校准的 EQA 高效探索框架，并构建基于 HM3D 的新数据集，仿真和真实实验均验证其性能与效率提升。
2024-07-07 cs.AI cs.CV cs.LG
Sim2Real Predictivity: Does Evaluation in Simulation Predict Real-World Performance?
University of Twente（特文特大学）；Wright State University（莱特州立大学）
模拟的进步是否转化为机器人的进步？如果一种方法在模拟中优于另一种方法，那么这种趋势在机器人上保持的可能性有多大？我们研究这个问题体现PointGoal导航，开发工程工具和研究范式评估模拟器的sim 2 real预测。首先，我们开发了一个库，用于在模拟代理和机器人上无缝执行相同的代码，将模拟训练的代理转移到LoCoBot平台，只需更改一行代码。其次，我们调查的sim 2 real的预测性，PointGoal导航的Mexicat-Sim。我们对物理实验室空间进行3D扫描以创建虚拟化副本，并在现实和模拟中对9种不同的模型进行并行测试。我们提出了一个新的度量标准，称为模拟与真实相关系数（SRCC）量化预测。我们发现，用于CVPR 19挑战的人居署SRCC较低（成功指标为0.18），这表明在这种基于模拟器的挑战中，性能差异在物理部署后不会持续存在。这一差距在很大程度上是由于人工智能智能体学习利用模拟器的缺陷，滥用碰撞动力学沿着墙壁“滑动”，导致通过其他不可导航空间的捷径。当然，这样的漏洞在现实世界中是行不通的。我们的实验表明，有可能调整仿真参数，以提高sim 2 real的预测性（例如，提高$SRCC_{Succ}$从0.18到0.844），增加信心，在仿真比较将转化为部署的系统在现实中。
2020-08-17 cs.AI cs.CV cs.LG
Personalized Embodied Navigation for Portable Object Finding
University of Maryland, College Park（马里兰大学学院公园分校）；University of Central Florida（中央佛罗里达大学）
本文提出了一种面向动态环境的个性化习惯学习方法，通过引入Transit-Aware Planning算法提升便携物品寻找的性能，在模拟和现实环境中均取得显著效果。
2026-04-21 cs.CV cs.RO
On Embodied Visual Navigation in Real Environments Through Habitat
OrangeDev s.r.l., Firenze, Italy（OrangeDev s.r.l.，意大利佛罗伦萨）；Cognitive Robotics and Social Sensing LaboratoryICAR-CNR, Palermo, Italy（意大利帕勒莫ICAR-CNR认知机器人与社会感知实验室）
基于深度学习的视觉导航模型在通过强化学习对大量视觉观察进行训练时，可以学习有效的策略。不幸的是，在现实世界中收集所需的经验需要部署机器人平台，这是昂贵和耗时的。为了解决这一问题，已经提出了几个仿真平台，以有效地训练虚拟环境中的视觉导航策略。尽管它们提供了优势，但模拟器在外观和物理动力学方面呈现出有限的现实主义，导致导航策略在现实世界中无法推广。在本文中，我们提出了一个工具的基础上的栖息地模拟器，利用现实世界的环境中的图像，连同传感器和执行器的噪声模型，以产生更逼真的导航情节。我们进行了一系列的实验，以评估这些政策的能力，推广使用虚拟和现实世界的图像，以及观察与无监督的领域自适应方法转换。我们还评估了传感器和驱动噪声对导航性能的影响，并研究了它是否允许学习更强大的导航策略。我们表明，我们的工具可以有效地帮助训练和评估导航政策的真实世界的观察，而无需在现实世界中运行的导航peptides。
2020-10-26 cs.CV cs.LG cs.RO
Mimir: A Neuro-Symbolic Memory System with Dynamic Grounding for Embodied Agents in Interactive Environments
本文提出Mimir，一种分离世界与任务记忆并具备动态grounding的神经符号记忆系统，在EB-ALFRED、EB-Habitat等具身任务中显著提升了智能体的长程执行成功率。
2026-08-06 cs.RO
Habitat-Web: Learning Embodied Object-Search Strategies from Human Demonstrations at Scale
Georgia Institute of Technology（佐治亚理工学院）；Meta AI Research（Meta人工智能研究院）
我们提出了一个大规模的研究，模仿人类演示的任务，需要一个虚拟机器人在新的环境中搜索对象-（1）ObjectGoal导航（例如“找到并去椅子”）和（2）挑选和放置（例如“找到杯子，挑选杯子，找到柜台，把杯子放在柜台上”）。首先，我们开发了一个虚拟远程操作数据收集基础设施-将在Web浏览器中运行的Habitat模拟器连接到Amazon Mechanical Turk，允许远程用户安全地大规模远程操作虚拟机器人。我们收集了80 k的ObjectNav演示和12 k的Pick&Place演示，这比模拟或真实机器人上现有的人类演示数据集大一个数量级。其次，我们试图回答这个问题--大规模模仿学习（IL）（迄今为止还不可能）与强化学习（RL）（目前的现状）相比如何？在ObjectNav上，我们发现使用70 k人类演示的IL（没有铃铛或哨子）优于使用240 k代理收集轨迹的RL。IL训练的代理展示了有效的对象搜索行为-它窥视房间，检查角落的小对象，在适当的位置转弯以获得全景-这些都没有被RL代理突出显示，并且通过RL诱导这些行为将需要繁琐的奖励工程。最后，准确度与训练数据大小图显示了有希望的缩放行为，表明简单地收集更多的演示可能会进一步推进最新技术。在Pick&Place上，比较更加明显- IL代理在使用9.5k人类演示进行训练时，在具有新对象容器位置的剧集上实现了${\sim}$ 18%的成功率…
2022-04-08 cs.AI cs.CV cs.RO
FUSE: Active Functional Affordance Grounding through Adaptive Semantic-Geometric Evidence Acquisition
该研究提出主动功能可供性接地任务，构建FUSE框架结合不确定性驱动探索与摊销规划器，基于Habitat基准验证其在非神示接地中性能最优且计算量降低1.33倍。
2026-08-14 cs.CV cs.RO
Deploying Foundation Models for Embodied Navigation
University of Maryland, College Park（马里兰大学帕克分校）
针对基础模型在具身导航部署中的训练偏差和上下文长度限制，提出TAP和MemCtrl方法，分别提升个性化目标寻找18%和长任务性能20%。
2026-09-23 cs.RO
Habitat-GS: A High-Fidelity Navigation Simulator with Dynamic Gaussian Splatting
Zhejiang University（浙江大学）；Peking University（北京大学）；XGRIDS；UDeer AI；Shenzhen University（深圳大学）
本文提出Habitat-GS，通过整合3D高斯点云渲染和可驾驶高斯化身，提升导航仿真的视觉真实性和动态人类建模能力，实验表明其在跨领域泛化和人类感知导航中表现优异。
2026-09-15 cs.CV cs.RO
Interactive Semantic Map Representation for Skill-based Visual Object Navigation
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Artificial Intelligence Research Institute（人工智能研究院）；Federal Research Center for Computer Science and Control of Russian Academy of Sciences（俄罗斯科学院联邦计算机科学与控制研究中心）
针对移动机器人视觉目标导航任务，提出一种交互构建的场景语义地图表示，集成到SkillTron导航方法中，在Habitat环境中实验验证其导航性能优于现有最优方法。
2023-11-07 cs.CV cs.RO
Image-based Navigation in Real-World Environments via Multiple Mid-level Representations: Fusion Models, Benchmark and Efficient Evaluation
University of Catania（卡塔尼亚大学）；OrangeDev s.r.l.（OrangeDev有限公司）；Next Vision s.r.l.（Next Vision有限公司）；ICAR-CNR（意大利国家研究委员会智能计算与自动化研究所）
针对仿真训练的导航模型真实世界迁移难问题，本研究提出组合多种中层视觉表示的深度学习导航架构基准，搭配仿真内高效验证工具，证实多模态输入可提升导航性能且验证工具能有效预估真实表现。
2023-10-04 cs.CV cs.RO
OptiSight: Bridging Semantic Reasoning and Geometric Control for Embodied Navigation
Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（机器人学与工业信息研究所（西班牙国家研究委员会-加泰罗尼亚理工大学））
本研究提出OptiSight混合框架，结合VLM推理与确定性视觉伺服，在8GB VRAM预算下，于AI Habitat中实现了多种室内场景下的可靠零样本具身导航。
2026-08-25 cs.CV cs.RO
Guide-LLM: An Embodied LLM Agent and Text-Based Topological Map for Robotic Guidance of People with Visual Impairments
Guide Dogs New South Wales / Australian Capital Territory（新南威尔士州/澳大利亚首都领地导盲犬协会）
本文提出Guide-LLM，一种结合基于文本拓扑地图的具身LLM智能体，通过全局路径规划、危险检测和个性化偏好，为视障人士提供高效自适应的室内导航辅助。
2025-03-11 cs.AI cs.CL cs.RO
ProcTHOR: Large-Scale Embodied AI Using Procedural Generation
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
海量数据集和高容量模型推动了计算机视觉和自然语言理解领域的许多最新进展。这项工作提供了一个平台，使类似的成功故事在人工智能。我们提出了Proc thor，一个程序化生成人工智能环境的框架。Proc THOR使我们能够采样任意大的数据集的多样性，交互式，可定制的，和性能的虚拟环境，训练和评估体现代理跨导航，交互和操纵任务。我们通过10，000个生成房屋的样本和一个简单的神经模型展示了Procthor的力量和潜力。在Proc THOR上仅使用RGB图像训练的模型，没有显式映射，也没有人工任务监督，在6个具体的AI基准中产生了最先进的结果，用于导航，重排和手臂操作，包括目前正在运行的Habitat 2022，AI 2-THOR Rearrangement 2022和RoboTHOR挑战。我们还在这些基准测试中展示了强大的0-shot结果，通过在Procthor上进行预训练，而没有对下游基准测试进行微调，通常击败了之前访问下游训练数据的最先进的系统。
2022-06-14 cs.AI cs.CV cs.RO
Exploiting Proximity-Aware Tasks for Embodied Social Navigation
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会（FBK））；Simon Fraser University（西蒙弗雷泽大学）
学习如何在封闭和空间受限的室内环境中在人类之间导航，是体现智能体融入我们社会所需的关键能力。在本文中，我们提出了一个端到端的架构，利用邻近感知任务（称为风险和邻近罗盘）注入到强化学习导航策略的能力，推断常识的社会行为。为此，我们的任务利用了当前和未来碰撞危险的概念。此外，我们提出了一个评估协议，专门设计的社会导航任务在模拟环境中。这样做是为了通过分析人机空间交互的最小单元（称为相遇）来捕获策略的细粒度特征和特性。我们在Gibson4+和Matterport3D数据集上验证了我们的方法。
2023-03-10 cs.AI cs.CV cs.LG
ImagineNav: Prompting Vision-Language Models as Embodied Navigator through Scene Imagination
School of Automation（自动化学院）；Southeast University（东南大学）
本文提出ImagineNav框架，通过让视觉语言模型想象未来观测图像，将复杂导航规划转化为最佳视角选择问题，在无图条件下高效完成视觉导航任务。
2024-10-13 cs.RO
Habitat 2.0: Training Home Assistants to Rearrange their Habitat
Georgia Tech（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）；Simon Fraser University（西蒙弗雷泽大学）；Intel Research（英特尔研究院）；UC Berkeley（加州大学伯克利分校）
我们介绍人居2.0（H2.0），一个模拟平台，用于训练虚拟机器人在交互式3D环境和复杂的物理启用的情况。我们为嵌入式AI堆栈的各个层面做出全面贡献-数据，模拟和基准测试任务。具体而言，我们提出：（i）复制CAD：一个艺术家创作的，注释的，可重新配置的公寓3D数据集（匹配真实空间）与铰接对象（ii）H2.0：一个高性能的物理3D模拟器，速度超过每秒25，000个模拟步骤（850倍实时）在8 GPU节点上，代表100倍的速度比以前的工作;和，（iii）家庭助理基准（HAB）：一套辅助机器人的常见任务（整理房子，准备杂货，摆桌子），测试一系列移动操作能力。这些大规模的工程贡献使我们能够系统地比较大规模的深度强化学习（RL）和长期结构化任务中的经典感知-计划-行动（SPA）管道，重点是对新对象，容器和布局的泛化。我们发现，（1）平面RL政策的斗争HAB相比，分层的;（2）具有独立技能的层次结构遭受“交接问题”，（3）SPA管道比RL政策更脆弱。
2022-07-01 cs.LG cs.RO
Personalizing User Engagement Dynamics in a Non-Verbal Communication Game for Cerebral Palsy
University of Southern California（南加州大学）；University of California, Irvine（加州大学欧文分校）
患有脑瘫（CP）的儿童和成人可能会因其运动障碍的症状而出现不自主的上肢运动，导致与看护人和同龄人沟通困难。我们描述了一个社会辅助机器人可以帮助个人与CP练习非语言交际手势使用一个积极的矫形器在一对一的数字猜游戏。我们进行了用户研究和数据汇集与参与者CP，我们发现，参与者更喜欢一个具体的机器人在基于屏幕的代理，我们使用的参与者数据训练个性化的参与者参与动态模型，可用于选择个性化的机器人动作。我们的工作突出了个性化模型在CP用户与社交辅助机器人的互动中的优势，并为该领域未来的工作提供了设计见解。
2021-07-15 cs.RO
Human Centric Embodied Intelligence for Soft Wearable Robotics
本综述提出以人为中心的具身智能（HCEI）概念，引入感知-认知-执行-增强（PCAA）框架，整合多领域进展以指导软质可穿戴机器人向个性化、可预测的以人为中心方向发展。
2026-08-05 cs.RO
Drive My Way: Preference Alignment of Vision-Language-Action Model for Personalized Driving
University of California, Riverside（加州大学河滨分校）；University of Michigan（密歇根大学）
本文提出Drive My Way框架，通过学习用户驾驶习惯和自然语言指令，实现个性化驾驶，提升对用户意图的适应能力。
2026-03-26 cs.AI cs.CV cs.LG
VER: Scaling On-Policy RL Leads to the Emergence of Navigation in Embodied Rearrangement
Georgia Institute of Technology（佐治亚理工学院）；Meta AI；Google Atlanta（谷歌亚特兰大）
我们提出了可变体验推出（VER），这是一种在异构环境（不同的环境需要非常不同的时间来生成推出）中有效地扩展批量策略强化学习的技术，用于驻留在许多机器上的许多GPU。VER结合了同步和异步策略RL方法（分别为SyncOnRL和AsyncOnRL）的优点，并模糊了它们之间的界限。VER从策略经验中学习（如SyncOnRL），并且没有同步点（如AsyncOnRL）。VER在逼真的3D仿真环境中的广泛的具身导航和移动操作任务中导致显著和一致的加速。具体而言，对于Habitat 1.0中的PointGoal导航和ObjectGoal导航，VER比DD-PPO（当前最先进的分布式SyncOnRL）快60 - 100%（1.6 - 2倍加速），具有类似的样本效率。对于移动操作任务（打开冰箱/橱柜，拾取/放置物体），Habitat 2.0 VER在1个GPU上比DD-PPO快150%（2.5倍加速），在8个GPU上比DD-PPO快170%（2.7倍加速）。与SampleFactory（目前最先进的AsyncOnRL）相比，VER在1个GPU上的速度与其相当，在8个GPU上的速度快70%（1.7倍加速），具有更好的样本效率。我们利用这些加速来训练连锁技能，以完成家庭助理基准（HAB）中的GeometricGoal重排任务。我们发现，在表面上不需要导航的技能中，导航出现了令人惊讶的现象。具体来说，拾取…
2022-10-11 cs.AI cs.CV cs.LG
An Interactive Augmented Reality Interface for Personalized Proxemics Modeling
University of Southern California（南加州大学）
本文提出一种基于增强现实界面和主动迁移学习的个性化 proxemics 建模方法，通过两项用户研究验证其有效性，微调使测试误差平均降低26.97%，并获老年用户好评。
2024-08-06 cs.RO
BrainMem: Brain-Inspired Evolving Memory for Embodied Agent Task Planning
Nanyang Technological University, Singapore（南洋理工大学，新加坡）；Tianjin University, Tianjin, China（天津大学，天津，中国）
本文提出BrainMem，一种无训练的分层记忆系统，通过构建知识图谱和符号指南，提升具身智能在复杂环境中的任务规划能力，尤其在长周期和空间复杂任务中表现突出。
2026-03-12 cs.AI cs.CV cs.MA
Knowledge-driven Scene Priors for Semantic Audio-Visual Embodied Navigation
Tufts University（塔夫茨大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Carnegie Mellon University（卡内基梅隆大学）
对于具身导航代理来说，对看不见的上下文的概括仍然是一个挑战。在语义视听导航（SAVi）任务的背景下，概括的概念应该包括概括到看不见的室内视觉场景以及概括到听不见的声音对象。然而，以前的SAVi任务定义不包括真正新颖的发声对象的评价条件，而不是诉诸于评价代理人对未知的声音剪辑的已知对象，同时，以前的SAVi方法不包括明确的机制，将领域知识的对象和区域语义。这些弱点限制了发展和评估模型的能力，以概括他们的经验教训。在这项工作中，我们介绍了使用知识驱动的场景先验的语义视听具身导航任务：我们结合语义信息从我们的新的知识图谱，编码对象区域关系，空间知识从双图编码器网络，和背景知识从一系列的预训练任务-所有在一个强化学习框架内的视听导航。我们还定义了一个新的视听导航子任务，代理评估新的发声对象，而不是闻所未闻的剪辑已知的对象。我们在SoundSpaces任务下，在Monclerat-Matterport 3D模拟环境中，在对看不见的区域和新颖的探测对象的概括中显示了强基线的改进。
2022-12-21 cs.AI cs.CV cs.RO
MemCtrl: Using MLLMs as Active Memory Controllers on Embodied Agents
University of Maryland, College Park（马里兰大学 College Park分校）
MemCtrl 通过使用 MLLMs 的可训练内存头 μ 实现在线内存修剪，提升具身智能体在复杂指令下的任务完成能力。
2026-01-28 cs.AI cs.RO
STAGE: STyle-controllable Action GEneration for personalized autonomous driving
Northwestern Polytechnical University（西北工业大学）；School of Astronautics（航天学院）；Research Center for Intelligent Robotics（智能机器人研究中心）；National Key Laboratory of Aerospace Flight Dynamics（航空航天飞行动力学重点实验室）
本文针对自动驾驶系统难以匹配用户个性化驾驶风格的问题，提出STAGE风格可控动作生成方法，通过模仿学习与偏好学习实现风格控制，实验验证其风格对齐与安全性能。
2026-08-03 cs.HC cs.RO
Out of the Box: Embodied Navigation in the Real World
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
由于强大的仿真平台以及室内和真实感环境的3D数据的可用性，人工智能的研究领域在视觉导航和探索方面取得了实质性进展。这两个因素为能够实现近乎完美的PointGoal导航的新一代智能代理打开了大门。然而，这种架构通常使用数百万（如果不是数十亿）帧进行训练，并在模拟中进行测试。伴随着巨大的热情，这些结果产生了一个问题：有多少研究人员将有效地从这些进步中受益？在这项工作中，我们详细介绍了如何将模拟中获得的知识转移到现实世界中。为此，我们描述了建筑差异，损害的Sim2Real适应能力的模型训练的栖息地模拟器，并提出了一种新的解决方案，针对部署在现实世界的场景。然后，我们将模型部署在LoCoBot上，LoCoBot是一款配备单个英特尔实感摄像头的低成本机器人。与以往的工作不同，我们的测试场景是不可用的模拟代理。环境也是事先无法访问的代理，所以它不能指望场景特定的语义先验。通过这种方式，我们重现了一个研究小组（可能来自其他领域）需要采用代理视觉导航功能作为服务的设置。我们的实验表明，它是可以实现令人满意的结果时，部署所获得的模型在现实世界中。我们的代码和模型可以在https://github.com/aimagelab/LoCoNav上找到。
2021-05-12 cs.AI cs.CV cs.RO
Spot the Difference: A Novel Task for Embodied Agents in Changing Environments
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）
针对现有具身AI任务设定脱离实际的问题，提出“找出差异”新任务与配套数据集、探索策略，利用环境先验知识更快识别场景变化，性能优于现有SOTA模型。
2022-04-18 cs.AI cs.CV cs.RO
Personalized Robotic Object Rearrangement from Scene Context
Georgia Institute of Technology（佐治亚理工学院）
提出了PARSEC基准和基于LLM的ContextSortLM模型，通过利用多场景上下文学习用户偏好，解决了部分布置环境中物体多有效放置位置的个性化重排问题。
2025-06-26 cs.AI cs.RO
When Replanning Becomes the Bottleneck: Budgeted Replanning for Embodied Agents
针对具身智能体重规划延迟超标的瓶颈问题，提出搭载E-RECAP渐进式token剪枝方法的BRACE控制器，通过预算控制循环减少token消耗、降低SLO违反率，在多平台任务中提升了重规划的实时性与成功率。
2026-08-04 cs.AI cs.LG cs.RO
Insect-inspired Visual Point-goal Navigation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出了一种基于昆虫大脑结构的新型视觉点目标导航模型，通过模拟昆虫的联想学习和路径整合能力，实现高效导航。
2026-07-07 cs.AI cs.RO
Personalized Instance-based Navigation Toward User-Specific Objects in Realistic Environments
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）
提出个性化实例导航 PIN 任务及 PInNED 数据集，让智能体依据参考图像和文本描述在同类多实例中找到用户特定物体，并评估现有导航方法的局限。
2025-02-19 cs.CV cs.RO
Observe, Share, or Predict? Disentangling Partner Information in Embodied Multi-Agent Collaboration
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
该研究基于Habitat的PARTNR基准，探究具身多智能体协作中观察伙伴状态、交换对象知识、预测伙伴动作对任务的影响，发现OAS提升任务质量、KE提升效率、OANA多降低成功率。
2026-10-14 cs.AI cs.RO
Learning to navigate efficiently and precisely in real environments
Naver Labs Europe（Naver欧洲实验室）
本文通过在修改版 Habitat 中辨识并仿真真实机器人动力学与低级控制器、加入里程计和定位噪声，训练直接输出离散速度指令的端到端导航智能体，显著提升真实场景中的性能与鲁棒性。
2024-01-25 cs.CV cs.RO
BEyond observation: an approach for ObjectNav
Federal University of Paraná（巴拉那联邦大学）
随着自动化的兴起，无人驾驶汽车成为商业产品和科学研究的热门话题。它构成了机器人的多学科领域，包括嵌入式系统，控制理论，路径规划，同时定位与地图构建（SLAM），场景重建和模式识别。在这项工作中，我们提出了我们的探索性研究如何传感器数据融合和国家的最先进的机器学习算法可以执行的嵌入式人工智能（E-AI）的任务，称为视觉语义导航。这个任务，a.k.a对象目标导航（ObjectNav）包括自主导航使用自我中心的视觉观察，以达到一个对象属于目标语义类，而无需事先了解的环境。我们的方法在Habitat Challenge 2021 ObjectNav的迷你版阶段和测试标准阶段获得第四名。
2021-06-21 cs.CV cs.RO
Long-HOT: A Modular Hierarchical Approach for Long-Horizon Object Transport
UC San Diego（加州大学圣地亚哥分校）；NEC Labs America（NEC美国实验室）；University of Pennsylvania（宾夕法尼亚大学）
我们提出了一个新的对象运输任务和一个新的模块化框架，时间扩展导航解决了长期的体现探索和导航的关键挑战。我们的第一个贡献是设计了一个新的长热环境，专注于深度探索和长期规划，其中代理需要有效地找到并拾取目标对象进行和下降在目标位置，负载约束和可选的访问容器，如果它找到一个。此外，我们提出了一个模块化的分层传输策略（HTP），建立一个拓扑图的场景进行探索的帮助下，加权边界。我们的分层方法使用组合的运动规划算法，以达到点目标内探索的位置和对象的导航政策，在未知的位置移动到语义目标。在我们提出的Habitat运输任务和MultiOn基准上的实验表明，我们的方法显着优于基线和以前的工作。此外，我们通过仅在任务的简单版本上进行训练来证明对更困难的运输场景的有意义的泛化，从而验证了我们的模块化方法对长时间运输的有效性。
2022-10-28 cs.CV cs.RO
Auxiliary Tasks Speed Up Learning PointGoal Navigation
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
PointGoal导航是一个具体的任务，需要代理导航到一个看不见的环境中的指定点。Wijmans等人表明，这个任务是可以解决的，但他们的方法在计算上是禁止的，需要25亿帧和180 GPU天。在这项工作中，我们开发了一种方法来显着提高样本和时间效率，在学习PointNav使用自我监督的辅助任务（例如，预测两个自我中心的观察之间采取的行动，预测两个观察之间的距离从轨迹等）。我们发现，天真地结合多个辅助任务提高了样本效率，但只提供超过一个点的边际收益。为了克服这一点，我们使用注意力来结合从各个辅助任务中学习到的表征。我们最好的代理速度是之前最先进的DD-PPO的5.5倍，达到40 M帧的性能，并将DD-PPO在40 M帧的性能提高了0.16 SPL。我们的代码可在https://github.com/joel99/habitat-pointnav-aux上公开获取。
2020-11-04 cs.CV cs.LG cs.RO
Semantic Environment Atlas for Object-Goal Navigation
Seoul National University（首尔大学）；ASRI（先进科学技术研究院）
本文提出语义环境地图集（SEA），通过构建捕获地点与物体关系的语义图地图来增强具身智能体视觉导航能力，并在目标对象导航任务中取得39.0%的成功率，较SOTA提升12.4%。
2024-10-05 cs.AI cs.RO
SemNav: A Model-Based Planner for Zero-Shot Object Goal Navigation Using Vision-Foundation Models
George Mason University（乔治·马歇尔大学）
本文提出SemNav框架，将视觉基础模型的感知能力与基于模型的规划器结合，通过前沿探索实现长时程决策，在HM3D数据集上取得了零样本物体目标导航的最先进性能。
2025-06-04 cs.AI cs.RO
Instance-aware Exploration-Verification-Exploitation for Instance ImageGoal Navigation
Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
针对实例图像目标导航中易受干扰物影响的问题，提出模仿人类“靠近确认”行为的IEVE模块化导航框架，通过主动切换探索、验证和利用动作提升决策能力，在HM3D-SEM数据集上成功率显著超越现有最先进方法。
2024-03-22 cs.CV cs.RO
Promptable Behaviors: Personalizing Multi-Objective Rewards from Human Preferences
Allen Institute for AI（艾伦人工智能研究所）；Massachusetts Institute of Technology（麻省理工学院）；Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
针对具身AI中机器人行为适配多样人类偏好的难题，提出Promptable Behaviors框架，用多目标强化学习训练通用策略，通过三类交互推断偏好，在导航任务中验证了个性化效果。
2023-12-14 cs.AI cs.CV cs.RO
