Grounding Multimodal LLMs to Embodied Agents that Ask for Help with Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);Meta FAIR
针对家庭环境中人类指令模糊的问题,提出用带LLM生成奖励的在线RL微调MLLM为可提问澄清的VLA智能体,在Ask-to-Act任务上显著优于基线且泛化性好。
2025-10-03 cs.AI
SciHorizon-eLab: An Agentic Protocol-to-Task Compiler for Scalable Benchmarking of Scientific Embodied Agents
Data Intelligence for Scientific Innovation Lab, Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心科学智能创新数据实验室);Beihang University(北京航空航天大学)
针对科学具身智能体缺乏可扩展评估环境的问题,提出SciHorizon-eLab编译器,将自然语言协议自动编译为可执行具身任务,构建含300个认证任务的基准,最强策略成功率仅49.7%,揭示人机协调弱点。
2026-09-28 cs.AI
Embodied Science: Closing the Discovery Loop with Agentic Embodied AI
Zhejiang University(浙江大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tongji University(同济大学)
本文提出具身科学框架,将科学发现视为闭环过程,结合代理推理与物理执行,通过感知-语言-行动-发现框架实现自主发现系统。
2026-03-20 cs.AI
LabGuard: Grounding Natural-Language Laboratory Rules into Runtime Guards for Embodied Laboratory Agents
Wuhan University(武汉大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Northeastern University(东北大学)
提出LabGuard,一种将自然语言实验室规则转化为可执行规范并部署为运行时守卫的安全套件,通过三个核心组件实现规则到监控的映射,实验表明能有效降低不安全事件。
2026-08-03 cs.AI
RoboPIN: Grounded Embodied Reasoning via Pinned Chain-of-Thought
Tianjin University(天津大学)
提出Pinned Chain-of-Thought (PinCoT)推理范式,通过结构化视觉锚点绑定实体,解决多步推理中实体引用漂移和视觉解耦问题;训练4B参数模型在14个基准上平均超越最强7B基线12%。
2026-07-29 cs.AI
Talking about the Moving Image: A Declarative Model for Image Schema Based Embodied Perception Grounding and Language Generation
University of Bremen(不来梅大学);The DesignSpace Group(设计空间小组);MANIT(迈普尔国家理工学院)
我们提出了动态视觉空间意象的具身基础和基于自然语言的分析总结的一般理论和相应的陈述模型。声明模型--ecompassing空间语言抽象,图像模式,和时空特征为基础的语言生成器-是模块化的约束逻辑编程(CLP)内实现。所实现的模型是这样的,即理论的原语,例如,与空间和运动有关的图像模式可用作具有适于推理和查询的“深层语义”的第一类对象。我们展示了广泛的动机,如电影,设计,地理,智能环境的分析自然语言为基础的外部化的运动图像的选择的例子模型是中央从人类互动的观点,基于证据的定性分析,和意义。保留字:运动图像,视觉语义和体现,视觉空间认知和计算,认知视觉,叙事的计算模型,陈述性空间推理
2015-08-13 cs.AI cs.CL cs.CV
Distilling Internet-Scale Vision-Language Models into Embodied Agents
Princeton University(普林斯顿大学);DeepMind(深度思维)
该研究提出结合模型蒸馏与后见经验回放,用互联网规模预训练视觉语言模型监督具身智能体,通过提示控制监督信号,实现新物体交互与抽象类别教学,为具身智能体的语言锚定提供了新路径。
2023-06-14 cs.AI
Efficient Skill Grounding via Code Refactoring with Small Language Models
KAIST(韩国科学技术院)
提出RECENT框架,通过将技能语义与执行绑定解耦,利用小型语言模型进行代码重构实现高效技能落地,在动态环境中达到与大型语言模型相当的性能。
2026-06-06 cs.AI
CRAFT-E: An Interpretable and Editable Neuro-Symbolic Framework for Affordance-Grounded Active Object Retrieval
CRAFT-E通过结合神经符号方法和具身感知,提供了一种可解释且可定制的框架,用于辅助机器人系统中基于赋能力量的物体选择。
2026-10-27 cs.AI cs.RO
Layout-aware Dreamer for Embodied Referring Expression Grounding
KU Leuven(鲁汶大学)
在这项工作中,我们研究的问题,代理人需要在以前看不见的环境中导航和本地化的一个简明的高级自然语言指令描述的远程对象。当面对这样的情况时,人类倾向于想象目的地可能看起来像什么,并且基于环境布局的先验知识来探索环境,例如浴室更可能在卧室附近而不是厨房附近。我们设计了一个自主智能体,称为布局感知梦想家(LAD),包括两个新的模块,即布局学习者和目标梦想家模仿这一认知决策过程。布局学习器学习推断沿路径的相邻未探索区域的房间类别分布,以进行粗略的布局估计,这有效地将房间到房间过渡的布局常识引入到我们的代理。为了学会有效地探索环境,目标梦想家事先想象目的地。我们的代理在具有挑战性的未知测试环境中在REVERIE数据集的公共排行榜上实现了新的最先进性能,与之前的最先进性能相比,导航成功率(SR)提高了4.02%,远程接地成功率(RGS)提高了3.43%。代码发布于https://github.com/zehao-wang/LAD
2022-12-02 cs.AI cs.CV cs.LG
Ges3ViG: Incorporating Pointing Gestures into Language-Based 3D Visual Grounding for Embodied Reference Understanding
Stony Brook University(石溪大学);BITS Pilani(pilani bits大学);Singapore-MIT Alliance for Research and Technology Centre(新加坡-麻省理工研究与技术联盟中心);IHPC, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局信息技术研究院);APPCAIR;Massachusetts Institute of Technology(麻省理工学院);Singapore Management University(新加坡管理大学)
针对3D具身参考理解(3D-ERU)研究有限的问题,提出数据增强框架Imputer构建ImputeRefer基准数据集,并提出模型Ges3ViG,其准确率较其他3D-ERU模型提升约30%,较纯语言模型提升约9%。
2025-04-13 cs.AI cs.CV cs.MM
Grounding Generative Planners in Verifiable Logic: A Hybrid Architecture for Trustworthy Embodied AI
School of Cyber Engineering, Xidian University(电子科技大学信息工程学院)
本文提出VIRF框架,通过逻辑导师与LLM的对话机制实现主动协作,提升具身AI的安全性与可靠性,实验显示其在家庭安全任务中表现优异。
2026-02-09 cs.AI cs.LG
Human-AI Co-Embodied Intelligence for Scientific Experimentation and Manufacturing
Harvard University(哈佛大学);UltraReality Technology Limited(超现实科技有限公司)
本研究提出人类-人工智能协同具身智能,通过智能体-物理实验系统提升科学实验与制造的精度与可扩展性。
2026-02-05 cs.AI
Instruction-Augmented Long-Horizon Planning: Embedding Grounding Mechanisms in Embodied Mobile Manipulation
The Hong Kong Polytechnic University(香港理工大学);Ningbo Institute of Digital Twin, Eastern Institute of Technology(东方理工大学宁波数字孪生研究院);Great Bay University(大湾区大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出IALP系统,将LLM抽象推理与接地机制结合,把用户指令增强为PDDL问题,在真实长时程移动操作任务中实现超过80%的平均成功率。
2025-03-11 cs.AI cs.RO
ConceptAgent: LLM-Driven Precondition Grounding and Tree Search for Robust Task Planning and Execution
JHU(约翰斯·霍普金斯大学);APL(应用物理实验室);MIT(麻省理工学院);DEVCOM ARL(美国DEVCOM陆军研究实验室)
针对开放世界机器人规划中LLM幻觉导致动作执行失败的问题,提出ConceptAgent平台,结合谓词接地与带自反思的LLM引导蒙特卡洛树搜索,仿真实验中任务完成率显著优于现有基线。
2024-10-08 cs.AI
Self-Evolving Cognitive Framework via Causal World Modeling for Embodied Scientific Intelligence
Graduate School of Advanced Science and Engineering, Hiroshima University(广岛大学先进科学与工程研究生院);Advanced Intelligence and Robotics Research Center, Brain Science Institute, Tamagawa University(玉川大学脑科学研究所先进智能与机器人研究中心)
提出一种自进化认知框架,通过因果世界建模、干预驱动推理和持续认知精炼,使具身智能体在交互中不断构建和修正内部因果模型,实现从预测智能到认知智能的转变。
2026-06-23 cs.AI cs.RO
A Roadmap for Embodied and Social Grounding in LLMs
Istituto Italiano di Tecnologia(意大利技术研究院)
本文针对LLM与机器人融合中语言意义理解不足的问题,提出以主动身体、时间结构化体验和社会技能为核心的具身与社会接地路线图。
2024-09-25 cs.AI cs.CL cs.HC
ToG-Bench: Task-Oriented Spatio-Temporal Grounding in Egocentric Videos
East China Normal University(华东师范大学);Fudan University(复旦大学)
本文提出ToG-Bench,首个面向任务的时空视频接地基准,通过任务导向的接地、显式-隐式双接地和一对一多接地特性,评估多对象和显式-隐式对象接地性能,揭示任务导向时空视频接地的挑战与性能差距。
2026-04-04 cs.AI cs.CV
Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration
Tsinghua University(清华大学);Northwestern Polytechnical University(西北工业大学);Institute of Artificial Intelligence (TeleAI)(人工智能研究所);China Telecom(中国电信);Zhejiang University(浙江大学);Shenzhen Research Institute of Northwestern Polytechnical University(西北工业大学深圳研究院)
针对具身多智能体协作中 LLM 规划依赖物理验证、查询低效的问题,提出 ReAd 框架,通过学习序列优势函数引导规划器优化动作,提升成功率并减少交互与查询。
2025-09-29 cs.AI cs.CL cs.LG
EmboTeam: Asymmetric State Grounding for Heterogeneous Multi-Robot Collaboration
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
EmboTeam通过PDDL将LLM推理转化为反应式行为树,提升多机器人协作任务的成功率和目标回忆率
2026-11-06 cs.AI cs.CV cs.LG
DoRO: Disambiguation of referred object for embodied agents
TCS Research(塔塔咨询服务公司研究院)
机器人任务指令通常涉及机器人必须在环境中定位(地面)的引用对象。虽然任务意图理解是自然语言理解的重要组成部分,但在解决任务基础时可能出现的歧义方面所做的努力较少。现有的作品使用基于视觉的任务接地和模糊检测,适合于固定视图和静态机器人。然而,对于移动机器人来说,这个问题被放大了,因为事先不知道理想的视图。此外,单个视图可能不足以定位给定区域中的所有对象实例,这导致不准确的模糊性检测。只有当机器人能够传达它所面临的模糊性时,人类干预才是有帮助的。在这篇文章中,我们提出了DoRO(被引用对象的消歧),一个系统,可以帮助一个具体的代理消除被引用对象的歧义,提出一个合适的查询时需要的。给定目标所在的区域,DoRO通过在探索和扫描该区域时聚合来自多个视图的观察结果来找到该对象的所有实例。然后,它使用来自固定对象实例的信息引发适当的查询。使用AI2Thor模拟器进行的实验表明,DoRO不仅可以更准确地检测歧义,而且还可以从视觉语言基础中获得更准确的信息,从而提出详细的查询。
2022-07-28 cs.AI cs.RO
CLAMP: Constrained Decoding for Vision-Language Embodied Planning
Michigan State University(密歇根州立大学)
CLAMP 通过将场景证据转化为解码时约束,利用硬掩码和 HMM 前瞻模块,提升视觉-语言模型在具身规划中的可执行性与安全性。
2026-09-09 cs.AI
FOUNDER: Grounding Foundation Models in World Models for Open-Ended Embodied Decision Making
School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学);National Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学)
本文提出 FOUNDER 框架,通过将基础模型表示映射到世界模型状态空间,以无奖励方式学习目标条件策略,利用预测时间距离作为奖励信号,在多任务离线视觉控制中取得优越表现。
2025-07-15 cs.AI cs.LG cs.RO
Position: Intelligent Science Laboratory Requires the Integration of Cognitive and Embodied AI
University of Science and Technology of China(中国科学技术大学);Nanjing University(南京大学);University of New South Wales(新南威尔士大学);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Harbin Institute of Technology(哈尔滨工业大学);Tongji University(同济大学);The University of Sydney, Oxford(悉尼大学,牛津);Renmin University of China(中国人民大学);Swiss Federal Institute of Technology Lausanne(苏黎世联邦理工学院);Shanghai Institute of Ceramics, Chinese Academy of Sciences(中国科学院上海硅酸盐研究所);Shanghai AI Laboratory(上海人工智能实验室);Shanghai AI Laboratory & The Chinese University of Hong Kong(上海人工智能实验室 & 香港中文大学)
本文提出智能科学实验室(ISLs)范式,通过融合认知与具身智能的闭环框架,克服自动化实验室缺乏灵活性的局限,实现迭代自主实验与偶然发现。
2025-06-24 cs.AI
ABot-ER: Unified Embodied Reasoning through Agentic Data-Model Co-Evolution
ABot-ER是统一具身推理基础模型,通过智能体数据-模型自演化引擎和任务条件自适应训练策略,在12个基准测试中实现了感知、规划、执行的最先进整体性能,解决了具身推理广度与深度的矛盾。
2026-10-14 cs.AI
Situational Grounding within Multimodal Simulations
Brandeis University(布兰迪斯大学)
在本文中,我们认为,仿真平台使一种新型的体现空间推理,一个方便的对象和事件语义,使连续定量搜索空间的开放世界,实时环境易于处理的正式模型。我们提供了一些例子,说明语义信息AI系统如何利用游戏引擎提供的精确的数字信息来对对象和事件进行定性推理,促进从数据中学习新概念,并与人类进行通信以改进其模型并展示其理解。我们认为,模拟环境,特别是游戏引擎,汇集了许多不同的“模拟”概念和许多不同的技术,为开发人工智能系统和工具提供了一个高效的平台,以便在机器和人类智能方面进行实验。
2019-02-05 cs.AI
LABSHIELD: A Multimodal Benchmark for Safety-Critical Reasoning and Planning in Scientific Laboratories
LABSHIELD是一个多模态基准,用于评估MLLM在科学实验室中的安全关键推理和规划能力,揭示了现有模型在专业实验室场景中的性能差距。
2026-03-12 cs.AI
Emergence: Overcoming Privileged Information Bias in Asymmetric Embodied Agents via Active Querying
Emory University(埃默里大学)
本文通过主动查询机制解决不对称具身智能体中的特权信息偏差问题,揭示了沟通接地错误对协作成功率的影响。
2025-12-13 cs.AI cs.MA cs.RO
Are We There Yet? Learning to Localize in Embodied Instruction Following
Amazon Alexa AI(亚马逊Alexa人工智能部门)
智能指令遵循是一个具有挑战性的问题,它要求智能体从复杂的语言和视觉输入中推断出一系列原始动作以达到目标环境状态。行动学习从现实的环境和指令(ALFRED)是最近提出的基准,这个问题包括一步一步的自然语言指令,以实现子目标,组成一个最终的高层次的目标。这项任务的关键挑战包括定位目标位置并通过视觉输入导航到目标位置,以及将语言指令与对象的视觉外观相结合。为了解决这些挑战,在这项研究中,我们增加了代理的视野在导航子目标与多个视角,和训练代理预测其相对空间关系的目标位置在每个时间步。我们还通过在模型管道中引入预训练的目标检测模块来改进语言基础。实证研究表明,我们的方法超过了基线模型的性能。
2021-01-09 cs.AI cs.CL cs.CV
Pointing-VLA: Typed Spatial Grounding Interfaces for Vision-Language-Action Manipulation
Pointing-VLA是基于Embodied-R1的类型化空间读出接口,可提升VLA模型的机器人操控性能,在多任务评估中实现SOTA表现,还能高效迁移至其他机器人系统并提升真实机器人自主成功率。
2026-08-25 cs.AI cs.CV cs.RO
Embodied Multimodal Multitask Learning
Facebook AI Research(Facebook人工智能研究);Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
最近的努力训练视觉导航代理的语言使用深度强化学习已经成功地在不同的多模态任务,如语义目标导航和体现问答的学习策略。在本文中,我们提出了一个多任务模型,能够共同学习这些多模态任务,并转移知识的话,他们的接地在视觉对象的任务。该模型使用了一种新的双注意单元来解开文本表示中的单词知识和视觉表示中的视觉概念,并将它们相互对齐。这种分离的任务不变的表示对齐有助于跨两个任务的基础和知识转移。我们表明,所提出的模型优于一系列的基线在模拟的3D环境中的任务。我们还表明,这种解纠缠的表示,使我们的模型模块化,可解释的,并允许转移到指令包含新的单词,利用对象检测器。
2019-02-04 cs.AI cs.CL cs.LG
CrafterDojo: A Suite of Foundation Models for Building Open-Ended Embodied Agents in Crafter
CrafterDojo: A Suite of Foundation Models for Building Open-Ended Embodied Agents in Crafter(CrafterDojo:构建开放性具身智能体的基础模型集合)
本文提出 CrafterDojo 套件,通过引入 CrafterVPT、CrafterCLIP 和 CrafterSteve-1 等基础模型及配套工具,将 Crafter 打造为轻量级、类 Minecraft 的通用具身智能体研究平台。
2025-08-19 cs.AI
Intelligence Requires Grounding But Not Embodiment
University of Southern California(南加州大学)
本文提出智能需要基础性而非具身,通过定义智能的四个属性并论证非具身智能体可实现这些属性,从而得出结论:基础性是智能的必要条件。
2026-01-24 cs.AI cs.CL
Security of World-Model-Based Embodied AI: A Lifecycle of Threats, Defenses, and Evaluation
本综述针对基于世界模型的具身智能,梳理其生命周期内的各类安全威胁,提出分类法与评估协议,并从多维度构建防御体系,同时指出世界模型兼具安全护盾与安全错觉的双重属性。
2026-07-31 cs.AI cs.CR
Embodied Question Answering
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
我们提出了一个新的人工智能任务--智能问答(Question Questioning,简称QQA)--智能体在3D环境中的随机位置产生,并被问到一个问题(“汽车是什么颜色的?").为了回答,智能体必须首先智能地导航以探索环境,通过第一人称(自我中心)视觉收集信息,然后回答问题(“橙色”)。这项具有挑战性的任务需要一系列人工智能技能-主动感知,语言理解,目标驱动导航,常识推理以及将语言融入行动。在这项工作中,我们开发的环境,端到端训练的强化学习代理,并评估协议的质量保证。
2017-12-01 cs.AI cs.CL cs.CV
Grounding Spatio-Temporal Language with Transformers
Inria(法国国家信息与自动化研究所);Université de Bordeaux(波尔多大学);Microsoft Research(微软研究院);ENSTA ParisTech(巴黎高等先进技术学院)
语言是与外部世界的接口。为了让具身的代理人使用它,语言必须建立在其他感觉运动模式的基础上。虽然有大量文献研究机器如何学习基础语言,但如何学习时空语言概念的主题在很大程度上仍然是未知的。为了在这个方向上取得进展,我们在这里介绍了一种新的时空语言接地任务,其目标是学习的意义时空描述的行为痕迹的体现代理。这是通过训练一个真值函数来实现的,该函数预测描述是否与给定的观察历史相匹配。这些描述涉及过去式和现在式中的时间扩展谓词以及对场景中对象的时空引用。为了研究架构偏见在这项任务中的作用,我们训练了几个模型,包括多模态Transformer架构;后者在空间和时间上实现了单词和对象之间的不同注意力计算。我们在两类泛化上测试模型:1)泛化到随机保持的句子; 2)泛化到语法原语。我们观察到,在我们的Transformers的注意力计算中保持对象身份有助于在总体上实现良好的泛化性能,并且在单个令牌中总结对象轨迹对性能的影响很小。然后,我们将讨论如何打开新的视角,语言引导的自主体现代理。我们还在开源许可证下发布我们的代码以及预训练的模型和数据集,以鼓励更广泛的社区在未来建立和扩展我们的工作。
2021-10-11 cs.AI cs.CL cs.LG
ESCA: Contextualizing Embodied Agents via Scene-Graph Generation
University of Pennsylvania(宾夕法尼亚大学);University of Central Florida(中佛罗里达大学);Johns Hopkins University(约翰斯·霍普金斯大学)
ESCA通过SGCLIP生成时空场景图,增强多模态大模型的感知接地,减少具身代理错误,使开源模型超越专有基线。
2025-10-27 cs.AI cs.CV cs.LG
A First Step in Using Machine Learning Methods to Enhance Interaction Analysis for Embodied Learning Environments
Vanderbilt University(范德堡大学);Indiana University(印第安纳大学)
本文提出结合机器学习与多模态学习分析支持 IA,通过时间轴可视化学生状态、动作、凝视、情感和移动,并在光合作用场景中验证其辅助识别关键学习时刻的可行性。
2024-05-10 cs.AI
Breaking Planner Integrity Boundary: Enviroment State-Text Injection Attack on LLM-Driven Embodied Agents
Wuhan University(武汉大学);University at Buffalo(布法罗大学)
该文聚焦LLM驱动的具身智能体,梳理其技术演进与现有模型,指出其需结合多类信息完成任务落地后执行,为后续状态语义注入攻击研究奠定基础。
2026-09-09 cs.AI cs.RO
BioProAgent: Neuro-Symbolic Grounding for Constrained Scientific Planning
School of AI for Science, Peking University(科学人工智能学院,北京大学);School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学);School of Computer Science, Peking University(计算机科学学院,北京大学)
BioProAgent通过神经符号框架将概率规划锚定在确定性有限状态机中,解决复杂设备模式中的上下文瓶颈,提升物理执行的可靠性。
2026-05-16 cs.AI cs.MA
GrndCtrl: Grounding World Models via Self-Supervised Reward Alignment
GrndCtrl通过自监督奖励对齐提升世界模型的几何 grounding,实现更稳定的空间一致性与导航性能。
2026-02-07 cs.AI cs.CV cs.LG
Beyond the Desk: Barriers and Future Opportunities for AI to Assist Scientists in Embodied Physical Tasks
UC San Diego(加州大学圣地亚哥分校)
研究探讨科学家在实验室和现场进行具身物理任务时使用AI的障碍及未来机遇,发现AI在高风险实验环境中的应用受限,提出未来AI助手需支持任务监控、知识组织等功能。
2026-03-19 cs.AI cs.HC
3D-GRAND: A Million-Scale Dataset for 3D-LLMs with Better Grounding and Less Hallucination
University of Michigan(密歇根大学);New York University(纽约大学)
本研究推出百万级3D-LLM数据集3D-GRAND及幻觉评估基准3D-POPE,验证了指令微调可提升模型接地能力、减少幻觉,证实数据集规模的缩放效应与模拟到真实迁移的可行性,为具身AI研究提供支撑。
2025-03-20 cs.AI cs.CL cs.CV
tagE: Enabling an Embodied Agent to Understand Human Instructions
TCS Research(塔塔咨询服务研究院)
本文提出tagE系统,通过编码器-解码器框架和嵌套解码机制从自然语言指令中提取任务及参数,并映射到机器人技能与环境物体,有效解决了具身智能体理解人类指令的挑战。
2023-10-24 cs.AI cs.LG cs.RO
WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(北京大学计算机学院多媒体信息处理国家重点实验室);EvoPhys AI(EvoPhys人工智能公司);Joy Future Academy, JD(京东探索研究院);The University of Sydney(悉尼大学);The Hong Kong University of Science and Technology(香港科技大学);Beijing Institute of Technology(北京理工大学)
该研究提出WorldSimProbe框架,通过五套受控测试评估动作条件世界模型的模拟器保真度,发现其存在动作实现退化等问题,为具身操控模型提供标准化诊断方法。
2026-08-11 cs.AI cs.RO
HyCodePolicy: Hybrid Language Controllers for Multimodal Monitoring and Decision in Embodied Agents
SJTU(上海交通大学);HKU(香港大学);NEU(东北大学);D-Robotics(地平线机器人);Shanghai AI Lab(上海人工智能实验室);SZU(深圳大学);SUSTech(南方科技大学);THU(清华大学)
HyCodePolicy提出混合语言控制框架,结合代码合成、几何基础、感知监控与迭代修复,实现具身智能体自纠正程序合成,显著提升机器人操作策略的鲁棒性和样本效率。
2025-08-06 cs.AI cs.CL cs.RO
PhysiAgent: An Embodied Agent Framework in Physical World
AIR, Tsinghua University(清华大学);Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校)
本文提出 PhysiAgent 框架,通过监控、记忆、自我反思和轻量工具箱,让 VLM 依据 VLA 的实时反馈动态协调组件,显著提升真实机器人复杂任务表现。
2025-09-29 cs.AI cs.RO cs.SY
The STEM-ECR Dataset: Grounding Scientific Entity References in STEM Scholarly Content to Authoritative Encyclopedic and Lexicographic Sources
TIB Leibniz Information Centre for Science and Technology(莱布尼茨科学与技术信息中心(TIB))
我们介绍了STEM(科学,技术,工程和医学)数据集,用于科学实体提取,分类和分辨率,版本1.0(STEM-ECR v1.0)。STEM-ECR v1.0数据集的开发旨在以独立于领域的方式为科学实体提取、分类和解析任务的评估提供基准。它包括10个STEM学科的摘要,这些学科被认为是主要出版平台上最多产的学科。我们描述了这样一个多学科语料库的创建过程,并从以下几个方面强调了所获得的发现:1)多学科科学背景下的科学实体的一般概念形式主义; 2)在这种一般形式主义下科学实体的领域独立的人类注释的可行性; 3)使用基于BERT的神经模型自动提取多学科科学实体可获得的性能基准; 4)描绘的3步实体解析过程,用于通过百科实体链接和词典词义消歧对科学实体进行人类注释;以及5)人类评估Babelfy返回的百科链接和我们的实体的词典词义。我们的研究结果累积表明,人类注释和多学科科学概念的自动学习以及在广泛的STEM环境中的语义消歧是合理的。
2020-07-28 cs.AI cs.CL cs.DL
Resilience Matters for Embodied Agents System: New Metrics, Systematic Evaluation, and Optimization
National University of Defense Technology(国防科技大学);Nanyang Technological University(南洋理工大学)
该研究针对具身智能体系统忽略弹性属性的问题,提出弹性评估框架与指标集,经400项家庭任务实验验证其诊断优化效果,揭示弹性特征间的权衡关系。
2026-08-26 cs.AI cs.RO
Position: Olfaction Standardization is Essential for the Advancement of Embodied Artificial Intelligence
Dept. of Computer Science University of Texas at Dallas(计算机科学系德克萨斯大学达拉斯分校);Dept. of Computer Science ETH Zurich(计算机科学系瑞士联邦理工学院苏黎世分校)
本文指出嗅觉被忽视阻碍了具身AI发展,呼吁跨学科合作以建立标准化嗅觉基准、多模态数据集和感官能力,从而构建真正具身且符合伦理的AI系统。
2025-05-31 cs.AI cs.RO
An Embodied Generalist Agent in 3D World
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Peking University(北京大学);Tsinghua University(清华大学)
本文提出LEO,一个通过3D VL对齐与3D VLA指令微调训练的具身多模态通才智能体,可在3D世界中完成感知、推理、导航与操作等任务。
2024-05-09 cs.AI cs.CL cs.CV
LLM-Based Offline Learning for Embodied Agents via Consistency-Guided Reward Ensemble
Sungkyunkwan University(成均馆大学);Acryl Inc(Acryl公司)
针对LLM直接用作具身智能体的局限,提出一致性引导奖励集成框架CoREN,以LLM生成动作奖励并通过时空一致奖励自适应集成实现域接地,在VirtualHome基准上显著优于其他离线RL智能体且参数更少。
2024-11-26 cs.AI cs.CL
Embodied Spatial Intelligence: from Implicit Scene Modeling to Spatial Reasoning
Toyota Technological Institute at Chicago (TTIC)(丰田技术研究所(芝加哥))
该研究提出具身空间智能,从场景表征与空间推理两方面弥合大语言模型与物理具身的差距,为能理解自然语言指令的智能机器人奠定基础。
2025-08-30 cs.AI cs.CV cs.RO
Abduction Without a Body? Representational Grounding and the Abduction Loop for Scientific Hypothesis Generation
本文提出无需实体的科学溯因推理,构建含弃权机制的溯因循环架构,以惯例空间解决跨领域检索难题,通过案例抽象架构并提出DAB-30基准作为评估方案。
2026-08-04 cs.AI cs.CV cs.IR