EmbodiedSmith: Scaling Embodied Data through Recursive Self-Improvement Flywheel in Simulation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Xiaomi Robotics(小米机器人);Southeastern University(东南大学);Tsinghua University(清华大学);Zhejiang University(浙江大学);Westlake University(西湖大学);Symbiosis Robotics(共生机器人);Peking University(北京大学);Xi’an Jiaotong University(西安交通大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
EmbodiedSmith通过递归自我改进循环统一场景与任务生成,扩展具身数据,支持多种机器人形态,实验证明其提升数据质量、多样性与泛化能力。
2026-10-07 cs.CV cs.RO
Commonsense Scene Semantics for Cognitive Robotics: Towards Grounding Embodied Visuo-Locomotive Interactions
University of Bremen(不来梅大学);Örebro University(厄勒布鲁大学)
我们提出了一个常识性的,定性的模型体现视觉空间和机车互动的语义基础。其主要贡献是将低级视觉处理与植根于人工智能的以人为本的空间和运动表示相结合的综合方法。我们展示了实际的适用性,涉及对象的相互作用和室内运动的例子。
2017-09-15 cs.AI cs.CV cs.RO
Embodied Scene Understanding for Vision Language Models via MetaVQA
University of California, Los Angeles(加州大学洛杉矶分校)
针对视觉语言模型缺乏具身场景理解评估基准的问题,提出MetaVQA综合基准,通过自动生成的交通场景问答对微调模型,提升其空间推理与安全驾驶能力,且具备仿真到真实的强迁移性。
2025-01-15 cs.CV cs.RO
From Scan to Action: Leveraging Realistic Scans for Embodied Scene Understanding
INSAIT
本文提出基于USD的统一标注集成方法以整合真实3D场景扫描,并通过LLM场景编辑和机器人仿真验证其有效性。
2025-07-23 cs.CV cs.RO
GaussianVLM: Scene-centric 3D Vision-Language Models using Language-aligned Gaussian Splats for Embodied Reasoning and Beyond
ETH Zurich(苏黎世联邦理工学院);TU Munich(慕尼黑技术大学)
本文提出GaussianVLM,通过将语言特征嵌入三维高斯泼溅场景并利用双重稀疏化器生成任务感知令牌,构建了首个基于高斯泼溅的三维视觉-语言模型,在域外设置中将先前三维VLM性能提升五倍。
2025-07-01 cs.CV cs.RO
PhyScene: Physically Interactable 3D Scene Synthesis for Embodied AI
State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院(BIGAI))
针对现有场景合成方法忽略物理合理性与交互性的问题,提出PhyScene方法,结合条件扩散模型与物理交互引导机制生成可交互3D场景,性能优于现有方法,可推动具身AI研究。
2024-07-10 cs.AI cs.CV cs.LG
Nav-R1: Reasoning and Navigation in Embodied Scenes
Shanghai University of Engineering Science(上海工程技术大学);Peking University(北京大学)
针对具身导航中推理不稳定与延迟平衡问题,提出具身基础模型Nav-R1,通过构建CoT数据集、GRPO强化学习框架及Fast-in-Slow范式,显著提升了导航与推理性能。
2025-09-13 cs.CV cs.RO
Continuous Scene Representations for Embodied AI
Columbia University(哥伦比亚大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
我们提出了连续场景表示(CSR),一个场景表示由一个具体的代理在一个空间内导航,对象和它们的关系是由连续值嵌入建模。我们的方法捕获对象之间的功能关系,将它们组成一个图形结构上的飞行,并位于一个具体的代理内的表示。我们的关键见解是在潜在空间中嵌入对象之间的成对关系。与离散关系相比,这允许更丰富的表示(例如,[support]、[next-to])通常用于构建场景表示。CSR可以在智能体在场景中移动时跟踪对象,相应地更新表示,并检测房间配置的变化。使用CSR,我们在视觉房间重新布置的具有挑战性的下游任务中表现优于最先进的方法,而无需任何任务特定的培训。此外,我们展示了学习的嵌入捕获场景的显著空间细节,并显示出对现实世界数据的适用性。一个总结视频和代码可在https://prior.allenai.org/projects/csr。
2022-03-31 cs.AI cs.CV cs.LG
MomaGraph: State-Aware Unified Scene Graphs with Vision-Language Model for Embodied Task Planning
University of California, Berkeley(加州大学伯克利分校);University of Maryland, College Park(马里兰大学学院公园分校);University of Toronto(多伦多大学)
MomaGraph通过统一场景图与强化学习模型,实现家庭环境中体感任务规划的高效任务规划与场景理解。
2026-02-09 cs.CV cs.RO
Embodied Spatial Intelligence: from Implicit Scene Modeling to Spatial Reasoning
Toyota Technological Institute at Chicago (TTIC)(丰田技术研究所(芝加哥))
该研究提出具身空间智能,从场景表征与空间推理两方面弥合大语言模型与物理具身的差距,为能理解自然语言指令的智能机器人奠定基础。
2025-08-30 cs.AI cs.CV cs.RO
TesserAct: Learning 4D Embodied World Models
UMass Amherst(马萨诸塞大学阿默斯特分校);HKUST(香港科技大学);Harvard University(哈佛大学)
本文提出通过在RGB-DN视频上训练学习4D具身世界模型,联合预测RGB、深度和法线并转换为4D场景,确保时空一致性,显著提升了具身环境的新视角合成与策略学习效果。
2025-04-29 cs.CV cs.RO
EmbodiedVSR: Dynamic Scene Graph-Guided Chain-of-Thought Reasoning for Visual Spatial Tasks
Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);University of Technology Sydney(悉尼科技大学)
本文提出 EmbodiedVSR 框架,利用动态场景图引导 CoT 实现零样本具身空间推理,并构建 eSpatial-Benchmark,显著提升长程视觉空间任务的准确率与推理连贯性。
2025-03-14 cs.AI cs.CV cs.RO
SNOW: Spatio-Temporal Scene Understanding with World Knowledge for Open-World Embodied Reasoning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Esslingen University of Applied Sciences(埃斯林根应用科学大学);Dr. Ing. h.c. F. Porsche AG(德意志联邦汽车工业联合会);University of Michigan(密歇根大学);Voxel51 Inc.(Voxel51公司)
SNOW通过整合视觉语言模型与点云几何,实现统一的4D场景理解,提升开放世界具身推理的性能。
2025-12-18 cs.CV cs.RO
EWMBench: Evaluating Scene, Motion, and Semantic Quality in Embodied World Models
AgiBot(智元机器人);SJTU(上海交通大学);MMLab-CUHK(香港中文大学多媒体实验室);HIT(哈尔滨工业大学)
针对具身世界模型缺乏针对性评估的问题,提出EWMBench基准框架,从场景一致性、运动正确性、语义对齐度三个维度结合专用数据集与工具包开展评估,为领域发展提供参考。
2025-05-18 cs.RO
DSG: Dynamic 3D Scene Graph Construction for Embodied Agents in Changing Indoor Environments
Research Institute of Intelligent Control and Systems, Harbin Institute of Technology(哈尔滨工业大学智能控制系统研究院)
本文针对室内环境中物体变化导致场景图不一致的问题,提出DSG框架,结合3D高斯表示、双视图变化检测与多粒度空间推理,在DynTHOR等基准上优于现有方法,提升动态场景图构建准确性。
2026-09-02 cs.RO
ObsGraph: Hierarchical Observation Representation for Embodied Reasoning and Exploration
Seoul National University(首尔国立大学)
提出ObsGraph,一种以观测为中心的层次化场景图,通过房间-视图-对象三层结构统一场景表示、检索与探索,实现粗到细的层次化检索并利用检索结果指导自适应多尺度探索,在具身推理与探索基准上提升了成功率和效率。
2026-06-24 cs.CV cs.RO
NavVerse: Benchmarking Indoor-to-Outdoor Embodied Navigation in Continuous Robot Simulation
University of Michigan(密歇根大学);Tsinghua University(清华大学)
研究针对机器人在连续场景中从室内到室外的导航问题,引入NavVerse基准,涵盖多种场景和任务。通过可执行接口用多指标评估智能体,零样本实验显示当前智能体在跨上下文导航上差距大,适应是主要瓶颈。
2026-07-23 cs.CV cs.RO
RoboLayout: Differentiable 3D Scene Generation for Embodied Agents
RoboLayout通过引入智能体感知推理和改进优化稳定性,提升3D场景生成在具身智能体交互中的可行性与物理合理性。
2026-03-09 cs.AI cs.CV cs.LG
Knowledge-driven Scene Priors for Semantic Audio-Visual Embodied Navigation
Tufts University(塔夫茨大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
对于具身导航代理来说,对看不见的上下文的概括仍然是一个挑战。在语义视听导航(SAVi)任务的背景下,概括的概念应该包括概括到看不见的室内视觉场景以及概括到听不见的声音对象。然而,以前的SAVi任务定义不包括真正新颖的发声对象的评价条件,而不是诉诸于评价代理人对未知的声音剪辑的已知对象,同时,以前的SAVi方法不包括明确的机制,将领域知识的对象和区域语义。这些弱点限制了发展和评估模型的能力,以概括他们的经验教训。在这项工作中,我们介绍了使用知识驱动的场景先验的语义视听具身导航任务:我们结合语义信息从我们的新的知识图谱,编码对象区域关系,空间知识从双图编码器网络,和背景知识从一系列的预训练任务-所有在一个强化学习框架内的视听导航。我们还定义了一个新的视听导航子任务,代理评估新的发声对象,而不是闻所未闻的剪辑已知的对象。我们在SoundSpaces任务下,在Monclerat-Matterport 3D模拟环境中,在对看不见的区域和新颖的探测对象的概括中显示了强基线的改进。
2022-12-21 cs.AI cs.CV cs.RO
Embodied Scene Rearrangement Planning
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
本文提出具身场景重排规划(ESRP)新任务,构建含5400+场景对的ESRP-Bench基准,评估四类方法发现现有方法难高效完成,为智能体现实部署奠定基础。
2026-08-28 cs.RO
MSGNav: Unleashing the Power of Multi-modal 3D Scene Graph for Zero-Shot Embodied Navigation
Fujian Key Laboratory of Urban Intelligent Sensing and Computing(福建智能感知与计算重点实验室);Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China(多媒体可信感知与高效计算重点实验室);Beihang University(北航);Nanyang Technological University(南洋理工大学);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Academy(中关村学院)
MSGNav通过多模态3D场景图实现零样本具身导航,引入关键子图选择模块、自适应词汇更新模块和闭环推理模块,解决开放词汇和视觉证据保留问题,实验表明其在GOAT-Bench和HM3D-ObjNav基准上表现优异。
2026-03-17 cs.CV cs.RO
ManiTaskGen: A Comprehensive Task Generator for Benchmarking and Improving Vision-Language Agents on Embodied Decision-Making
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本研究提出ManiTaskGen任务生成系统,可针对任意场景生成多样可行的移动操作任务,用于构建基准评估VLM基具身智能体的决策能力,还可用于提升智能体的具身决策表现。
2026-11-09 cs.RO
EmbodiedRAG: Dynamic 3D Scene Graph Retrieval for Efficient and Scalable Robot Task Planning
Johns Hopkins University(约翰斯·霍普金斯大学)
针对大语言模型机器人规划中3D场景图输入规模超限的问题,提出动态3D场景子图检索框架EmbodiedRAG,可随环境和任务动态检索子图,显著降低token消耗与规划时间并提升任务成功率,适配模拟及真实边缘机器人部署。
2024-10-31 cs.RO
Scene Memory Transformer for Embodied Agents in Long-Horizon Tasks
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
许多机器人应用程序需要代理在部分可观察的环境中执行长期任务。在这样的应用中,任何步骤的决策都可能依赖于过去很久以前收到的观察结果。因此,能够正确地记忆和利用长期的历史是至关重要的。在这项工作中,我们提出了一种新的基于内存的政策,命名为场景内存Transformer(SMT)。所提出的策略嵌入并添加到内存中的每个观察,并使用注意力机制,以利用时空依赖性。该模型是通用的,可以通过长片段的强化学习进行有效训练。在一系列视觉导航任务上,SMT表现出优于现有的反应式和基于内存的策略的性能。
2019-03-09 cs.CV cs.LG cs.RO
ECHO: Embodied Camera Observations of Human Object Carrying
University of Colorado Boulder(科罗拉多大学博尔德分校);Lockheed Martin(洛克希德·马丁公司);Carnegie Mellon University(卡内基梅隆大学)
提出上下文物体放置基准任务及ECHO合成数据集,通过RGB-D扫描与人类携带行为记录,验证联合推理场景、活动与上下文对预测物体目的地至关重要。
2026-10-08 cs.CV cs.RO
Closed Loop Interactive Embodied Reasoning for Robot Manipulation
Huawei Noah’s Ark London(华为诺亚方舟实验室伦敦分部);Czech Technical University in Prague(布拉格捷克技术大学);Imperial College London(伦敦帝国学院)
本文提出闭环交互式具身推理方法CLIER,通过多模态推理与动作规划应对环境变化和动作不确定性,在仿真与真实机器人操作中分别取得76%和64%以上的成功率。
2025-03-10 cs.CV cs.RO
GSMem: 3D Gaussian Splatting as Persistent Spatial Memory for Zero-Shot Embodied Exploration and Reasoning
Case Western Reserve University(凯斯西储大学);Spatial AI & Robotics (SAIR) Lab, University at Buffalo(布法罗大学空间人工智能与机器人实验室)
本文提出GSMem框架,利用3D高斯溅射构建持久空间记忆,解决具身探索中空间知识遗忘问题,通过检索机制与混合探索策略提升视觉语言模型推理效果。
2026-03-19 cs.CV cs.RO
RoBoSR: Structured Scene Representations for Embodied Robotic Reasoning
提出RoBoSR,一种基于语义对象中心场景图的中间结构表示,将操作建模为逐步状态转换,实现因果推理和长期任务规划,并在零样本泛化中优于提示方法和经典TAMP基线。
2026-06-24 cs.RO
Embodied Task Planning with Large Language Models
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出TaPA框架,通过将大语言模型与视觉感知模型对齐并利用多模态数据集进行接地规划微调,使具身智能体能够根据场景中已有物体生成可执行计划,在复杂环境中显著提升了任务规划成功率。
2023-07-04 cs.AI cs.CV cs.RO
NavAgent: Multi-scale Urban Street View Fusion For UAV Embodied Vision-and-Language Navigation
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学);School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences(中国科学院大学电子电气与通信工程学院)
针对无人机在城市户外视觉语言导航中面临的地标匹配和复杂多模态环境编码挑战,提出首个由大型视觉语言模型驱动的导航模型NavAgent,通过融合多尺度环境信息进行导航,并构建细粒度地标数据集,在基准数据集上优于强基线。
2024-11-13 cs.CV cs.RO
EmbodiedSplat: Personalized Real-to-Sim-to-Real Navigation with Gaussian Splats from a Mobile Device
Georgia Tech(佐治亚理工学院);Toyota Research Institute(丰田研究院)
本文提出EmbodiedSplat,利用手机捕获场景并通过3D高斯溅射重建网格,在Habitat-Sim中微调导航策略,显著提升真实世界导航成功率。
2025-09-23 cs.CV cs.RO
4DSynth: Controllable Procedural World Synthesis for Dynamic Embodied Simulation
Nanyang Technological University(南洋理工大学);University of Oxford(牛津大学);Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind)
本文提出可控程序式4D环境生成系统4DSynth,可将自然语言等输入转化为可编辑4D环境,并构建交互式导航基准4DSynth-Nav,为具身智能体开发评估提供实用基础。
2026-08-28 cs.CV cs.RO
TriRelVLA: Triadic Relational Structure for Generalizable Embodied Manipulation
School of Computing, National University of Singapore(新加坡国立大学计算机学院);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
TriRelVLA通过构建三元关系结构,解决视觉语言动作模型在未见场景和物体上的泛化问题,提升具身操作的迁移能力。
2026-05-07 cs.CV cs.RO
Transferable Active Grasping and Real Embodied Dataset
Shanghai Jiao Tong University(上海交通大学)
对于机器人视觉系统来说,在杂乱场景中进行抓取是一个挑战,因为物体的部分遮挡会阻碍检测精度。我们采用了一个强化学习(RL)框架和3D视觉架构来搜索可行的视点,通过使用手持RGB-D相机进行抓取。为了克服照片级真实感环境模拟的缺点,我们提出了一个名为Real Embodied Dataset(RED)的大规模数据集,其中包括上半球的全视角真实样本,并带有非模态注释,并支持具有真实视觉反馈的模拟器。在此基础上,提出了一种实用的3级可转移主动抓取流水线,该流水线对不可见的杂波场景具有自适应能力。在我们的管道中,我们提出了一种新的掩码引导的奖励,以克服稀疏的奖励问题,在把握和确保类别无关的行为。抓取管道及其可能的变体进行了评估,在模拟和现实世界的UR-5机器人手臂上进行了广泛的实验。
2020-04-28 cs.CV cs.RO
Towards an Embodied Semantic Fovea: Semantic 3D scene reconstruction from ego-centric eye-tracker videos
Imperial College London(帝国理工学院)
描述物理环境对于完全理解人类在不受约束的日常任务中的行为至关重要。这在以自我为中心的任务中尤其重要,在这些任务中,获得三维信息既有限制性又有挑战性,而目前的2D视频分析方法证明是不够的。在这里,我们展示了一个概念验证系统,它提供了实时的3D映射和语义标记的本地环境从以自我为中心的RGB-D视频流与3D凝视点估计头戴式眼动追踪眼镜。我们增加现有的工作,语义同时定位与地图构建(语义SLAM)与收集的凝视向量。然后,我们的系统可以从多个角度以合理的精度在3D中找到和跟踪用户视野内外的对象。我们通过从NYUv 2数据集的图像中生成语义图来验证我们的概念,同时从数据集图像的记录凝视数据中估计凝视位置和凝视类。
2018-07-27 cs.CV cs.HC cs.RO
"Don't forget to put the milk back!" Dataset for Enabling Embodied Agents to Detect Anomalous Situations
Amazon Science(亚马逊科学);University of Maryland(马里兰大学)
本文提出 SafetyDetect 数据集,包含 1000 个异常家庭场景,利用大语言模型结合场景图表示和对象关系,使具身智能体能够检测危险或不卫生的异常情况,在数据集和真实机器人实验中均表现优异。
2024-04-12 cs.CV cs.RO
EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);The University of Hong Kong(香港大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
针对具身智能体3D场景理解需求,提出EmbodiedScan多模态数据集及Embodied Perceptron基线框架,支持任意多模态输入,在基础3D感知和语言接地任务中表现优异。
2023-12-26 cs.AI cs.CV cs.RO
SoftNav: Injecting 3D Scene Tokens into VLMs for Embodied Navigation
Zhejiang University(浙江大学);Shandong University(山东大学)
研究针对具身导航中3D场景理解与导航推理协同问题,提出SoftNav方法,通过轻量级投影仪将3D连续表示作为软令牌注入VLM隐藏空间,在HM3D-OVON上超越先前方法,且能零样本转移到其他场景,弥合表征差距实现可转移导航。
2026-07-17 cs.RO
Learning 3D Persistent Embodied World Models
Institution1(机构1);Institution2(机构2)
本文提出一种带显式记忆的持久具身世界模型,通过视频扩散生成RGB-D观测并聚合为持久三维地图,以该地图为条件实现一致的长时程模拟,并验证其在规划与策略学习中的有效性。
2025-05-05 cs.CV cs.RO
Scene-Driven Multimodal Knowledge Graph Construction for Embodied AI
Fudan University(复旦大学);Zhejiang Lab(之江实验室);The Hong Kong University of Science and Technology(香港科技大学)
针对具身智能缺乏场景知识库的问题,提出融合知识工程与大语言模型的Scene-MMKG构建框架,并实例化为ManipMob-MMKG,显著提升数据效率、知识质量及具身任务性能。
2024-05-11 cs.AI cs.RO cs.SC
Code2Worlds-2: Physically Plausible Agent Harness for Embodied World Simulation
School of Computer Science, Peking University(北京大学计算机学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
本文提出Code2Worlds-2,通过新增场景编译器与模拟器在环优化器,结合SimCode4D基准,实现了可执行的具身世界模拟,生成物理可行且可与机器人交互的场景。
2026-10-14 cs.CV cs.RO
GrabS: Generative Embodied Agent for 3D Object Segmentation without Scene Supervision
Shenzhen Research Institute, The Hong Kong Polytechnic University(香港理工大学深圳研究院);The Hong Kong Polytechnic University(香港理工大学)
针对无需3D场景标签监督的复杂点云目标分割难题,提出两阶段GrabS方法,先从目标数据集学习生成式与判别式先验,再通过具身智能体查询先验发现目标,在多数据集上性能显著超越现有无监督方法。
2025-04-16 cs.AI cs.CV cs.LG
INHerit-SG: Incremental Hierarchical Semantic Scene Graphs for Complex Embodied Retrieval
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);Beihang University(北京航空航天大学)
本文提出INHerit-SG,通过异步双流架构构建RAG-ready知识库,解决复杂嵌入查询与持续语义图构建问题,实验表明在复杂查询中表现优异。
2026-10-14 cs.RO
A Multimodal Depth-Aware Method For Embodied Reference Understanding
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);KIT Campus Transfer GmbH (KCT)(KIT校园转移有限公司);Istanbul Technical University(伊斯坦布尔技术大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种多模态深度感知方法,结合语言模型数据增强、深度图模态和深度感知决策模块,提升复杂环境中的参照物识别准确性。
2026-04-29 cs.CV cs.HC cs.RO
Holodeck: Language Guided Generation of 3D Embodied AI Environments
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
Holodeck利用GPT-4和Objaverse资产,根据语言提示自动生成多样化3D环境,通过优化空间约束布局,在人类评估中超越手动基线,并支持无人工数据训练智能体导航。
2024-04-22 cs.AI cs.CL cs.CV
Scene Graph-Guided Proactive Replanning for Failure-Resilient Embodied Agent
Korea University(韩国大学);KT (Korea Telecom) R&D Center(KT(韩国电信)研发中心)
本文提出一种基于场景图比较的主动重规划框架,在子任务边界通过对比当前RGB-D观测与成功演示的参考图来提前检测语义和空间不匹配并调整计划,从而在AI2-THOR中显著提升任务成功率与鲁棒性。
2025-08-15 cs.AI cs.CV cs.RO
HERO: Hierarchical Traversable 3D Scene Graphs for Embodied Navigation Among Movable Obstacles
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
HERO通过构建分层可通行3D场景图,重新定义可通行性以提升在复杂环境中的导航效率和可达性。
2025-12-17 cs.AI cs.CL cs.CV
PersONAL: Towards a Comprehensive Benchmark for Personalized Embodied Agents
University of Padova(帕多瓦大学);Fondazione Bruno Kessler(布鲁诺·科塞拉基金会)
该论文提出PersONAL基准,用于评估具身智能体在家庭环境中根据自然语言查询定位和导航至特定用户物体的能力,包含2000多个高质量片段,实验显示现有模型与人类表现差距显著。
2025-09-24 cs.CV cs.RO
Knowledge-based Embodied Question Answering
Tsinghua University(清华大学)
在本文中,我们提出了一种新的基于知识的问答问答(K-EQA)任务,其中智能体智能地探索环境,回答各种问题的知识。与现有的EQA工作中明确指定问题中的目标对象不同,智能体可以求助于外部知识来理解更复杂的问题,例如“请告诉我房间里用来切食物的物体是什么?“,其中代理人必须知道“刀是用来切食物的”等知识。针对该问题,提出了一种基于神经程序合成推理的K-EQA框架,通过外部知识和三维场景图的联合推理实现导航和问答.特别是,三维场景图可以提供存储器来存储访问场景的视觉信息,这显著提高了多轮问答的效率。实验结果表明,所提出的框架是能够回答更复杂和现实的问题,在具体的环境。该方法也适用于多智能体的场景。
2021-09-16 cs.RO
EmbodimentSemantic: A Spatial Scene-Graph Dataset and Benchmark for Vision-Language Models on Embodied Manipulation Trajectories
Politecnico di Torino(都灵理工大学);University College London(伦敦大学学院)
提出EmbodimentSemantic数据集与基准,通过场景图三元组评估VLM在具身操作中的空间关系理解,发现现有模型在深度感知和视角依赖关系上存在不足。
2026-07-02 cs.RO
Spatiotemporal Knowledge Graphs as Persistent Scene Memory for Embodied Question Answering
Applied AI Institute, Moscow, Russia(莫斯科应用人工智能研究所)
VL-KnG通过构建时空知识图谱实现高效具身场景理解,采用LLM驱动的时空对象关联和图增强检索,无需3D重建,支持常数时间推理,优于现有前沿VLMs。
2026-07-21 cs.AI cs.RO
Communicative Learning with Natural Gestures for Embodied Navigation Agents with Human-in-the-Scene
UCLA(加州大学洛杉矶分校)
人机协作是人工智能(AI)的一个重要研究课题,使研究人员能够设计认知AI系统,并为用户提供与机器人交互的直观方式。值得注意的是,沟通发挥着核心作用。到目前为止,先前的研究体现代理导航只表明,人类语言促进通信的指令在自然语言。尽管如此,还有许多其他形式的交流方式没有得到探索。事实上,人类交流起源于手势,并且通常通过多模态提示来传递,例如,用指向手势“去那里”。为了弥合差距,并填补在体现代理导航的沟通缺失的维度,我们建议调查使用手势作为沟通界面,而不是口头提示的影响。具体而言,我们开发了一个基于VR的三维仿真环境,命名为Ges-THOR,基于AI 2-THOR平台。在这个虚拟环境中,一个人类玩家被放置在同一个虚拟场景中,只使用手势来引导人工代理。该代理的任务是解决导航问题的自然手势与未知的语义指导,我们不使用任何预定义的手势,由于人类手势的多样性和通用性。我们认为,学习自然手势的语义是互惠互利的学习导航任务-学习沟通和沟通学习。在一系列的实验中,我们证明了人类的手势提示,即使没有预定义的语义,提高了对象目标导航的体现代理,优于各种国家的最先进的方法。
2021-08-05 cs.AI cs.CV cs.HC
Embodied Agents for Efficient Exploration and Smart Scene Description
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学)
本研究针对未知室内环境的视觉导航场景,提出结合视觉机器人探索与图像描述技术的具身智能体方法,可生成无重复的智能场景描述,并通过兼顾探索与描述能力的评分验证了其在模拟和真实环境中提升观测可解释性的效果。
2023-01-17 cs.AI cs.CL cs.CV
Hierarchical Floorplan-Guided Vision-Language Exploration for Embodied Question Answering
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
针对具身问答中探索仅依赖局部观察而忽视环境结构先验的问题,提出HFLEX-EQA分层框架,结合场景图、VLM规划、语义前沿与平面图先验,在OpenEQA和ExploreEQA基准及真实机器人上验证了有效性。
2026-09-23 cs.RO