Can Broad Biomedical Knowledge be Contextualized into Scenario-Grounded Propositions?
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Guangzhou University of Chinese Medicine（广州中医药大学）
提出SCENE双层多智能体框架，通过迭代搜索将广泛生物医学知识转化为证据支持的场景化命题，并在临床试验和LINCS L1000研究中验证其有效性。
2026-10-26 cs.AI
AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes
Lanzhou University（兰州大学）；Hainan University（海南大学）；National University of Singapore（新加坡国立大学）
AffectOmni是面向社交与艺术场景的可验证情感推理框架，通过GRPO训练，引入两类奖励优化以人为中心的证据选择与时间推理，经多数据集实验较7B基线实现显著性能提升。
2026-08-28 cs.AI
Emergence of Grounded Compositional Language in Multi-Agent Populations
OpenAI；UC Berkeley（加州大学伯克利分校）
通过捕获大型语料库中的统计模式，机器学习在自然语言处理方面取得了重大进展，包括机器翻译、问答和情感分析。然而，对于智能体与人类进行智能交互，仅仅捕获统计模式是不够的。在本文中，我们调查，如果，以及如何接地组成语言可以出现作为一种手段，以实现目标的多智能体人口。为此，我们提出了一个多智能体的学习环境和学习方法，带来了一个基本的组成语言的出现。这种语言被表示为代理人随着时间的推移发出的抽象离散符号流，但仍然具有一个具有定义的词汇和语法的连贯结构。我们还观察到非语言交流的出现，如指向和指导时，语言交流是不可用的。
2018-07-24 cs.AI cs.CL
Visually Grounded Concept Composition
USC（南加州大学）；Google Research（谷歌研究院）
我们研究如何从原始的文本中组成复杂的概念，同时将它们置于图像中。我们提出了概念和关系图（CRG），它建立在选区分析的顶部，由递归组合的概念与谓词功能。同时，我们提出了一个概念组合神经网络称为作曲家利用CRG视觉接地概念学习。具体来说，我们通过将它们与图像对齐来学习原始概念和所有组成概念的基础，并表明学习组成会导致更强大的基础结果，以文本到图像的匹配准确性来衡量。值得注意的是，我们的模型可以在更细粒度的句子级别和更粗粒度的中间级别（或单词级别）上对接地概念进行建模。当评估数据与训练数据具有显著的复合发散时，Composer导致匹配精度的显著提高。
2021-09-29 cs.AI cs.CV
SceneVerse: Scaling 3D Vision-Language Learning for Grounded Scene Understanding
State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，北京智源人工智能研究院）
针对3D视觉-语言定位中场景复杂、数据稀缺和缺乏统一框架的挑战，提出百万级数据集SceneVerse及统一预训练框架GPS，在多项3D视觉定位基准上达到SOTA并展现零样本迁移潜力。
2024-09-24 cs.AI cs.CL cs.CV
Geometric 4D Stitching for Grounded 4D Generation
KAIST AI（韩国科学技术院人工智能实验室）
本文提出Geometric 4D Stitching框架，通过显式识别缺失几何区域并补充几何基础的4D缝合，提升4D生成的几何一致性与效率。
2026-05-11 cs.AI cs.CV cs.LG
COMEX: A Composition-Grounded Benchmark and Learning Framework for Explainable Aesthetic Image Cropping
ZTE Corporation（中兴通讯）
该研究提出基于构图的COMEX基准与SFT+GRPO两阶段框架，用于可解释美学图像裁剪，通过多组实验验证了框架的有效性与可迁移性。
2026-08-11 cs.AI cs.CV
MSG-BART: Multi-granularity Scene Graph-Enhanced Encoder-Decoder Language Model for Video-grounded Dialogue Generation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体网络创新中心）
提出MSG-BART方法，通过将多粒度时空场景图整合进编码器-解码器预训练语言模型，并引入多指针网络促进文本与视频间的信息选择，显著提升了视频基础对话生成的性能。
2023-09-26 cs.AI cs.CL cs.CV
Grounded learning for compositional vector semantics
本文提出在脉冲神经网络中实现组合分布语义学，以解决概念绑定问题，并利用带标签图像训练词表示，从而提升认知合理性。
2024-01-10 cs.AI cs.CL cs.NE
CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
Seoul National University（首尔国立大学）
提出CS-CLIP，利用场景图构建结构化负样本，解决组合推理中元素特定偏差，实现稳健的最先进性能并保留通用能力。
2026-09-09 cs.AI cs.CV
Language-Grounded Hierarchical Planning and Execution with Multi-Robot 3D Scene Graphs
Massachusetts Institute of Technology（麻省理工学院）；U.S. Army Combat Capabilities Development Command, Army Research Laboratory（美国陆军战斗能力发展指挥部，陆军研究实验室）
本文提出一种多机器人系统，通过构建共享3D场景图实现建图、定位与任务运动规划，并利用LLM将自然语言指令转化为PDDL目标，完成复杂任务。
2025-07-10 cs.AI cs.RO
Compositional Networks Enable Systematic Generalization for Grounded Language Understanding
MIT（麻省理工学院）
人类在理解新句子时非常灵活，这些句子包含了他们以前从未遇到过的概念组合。最近的研究表明，虽然深度网络在呈现新句子时可以模仿一些人类语言能力，但系统变化揭示了网络语言理解能力的局限性。我们证明，这些限制可以通过解决gSCAN数据集中的泛化挑战来克服，gSCAN数据集明确衡量了智能体能够解释基于视觉的新语言命令的能力，例如，形容词和名词的新奇配对。我们采用的关键原则是组合性：网络的组成结构应该反映它们所解决的问题域的组成结构，同时允许端到端学习其他参数。我们建立了一个通用的机制，使代理，以概括他们的语言理解组成域。至关重要的是，我们的网络具有与先前工作相同的最先进性能，同时在先前工作不具备的情况下推广其知识。我们的网络还提供了一定程度的可解释性，使用户能够检查网络的每个部分都学到了什么。强大的接地语言理解，没有戏剧性的失败，没有角落的情况下，是至关重要的建设安全和公平的机器人，我们证明了组合性可以在实现这一目标中发挥的重要作用。
2021-10-19 cs.AI cs.CL cs.RO
Learning to Reason over Scene Graphs: A Case Study of Finetuning GPT-2 into a Robot Language Model for Grounded Task Planning
Technische Universität Darmstadt（达姆施塔特工业大学）；Center for Mind, Brain and Behavior, Uni. Marburg and JLU Giessen（马尔堡大学与吉森尤斯图斯·李比希大学心智、大脑与行为研究中心）；Amazon Alexa（亚马逊Alexa）
本研究探索将GPT-2微调为机器人语言模型，通过场景图接地输入，将人类请求分解为子目标规划，在ALFRED基准上验证了LLM在长时程任务规划中的有效性和泛化潜力。
2023-05-12 cs.AI cs.RO
PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control
University of Pennsylvania（宾夕法尼亚大学）；Snap Inc.（Snap公司）；KAUST（阿卜杜拉国王科技大学）
PhysStream提出一种自回归视频生成模型，通过结构化场景记忆和稀疏速度增量信号实现物理驱动的细粒度运动控制，支持交互式生成中控制，显著降低运动分布距离和轨迹误差。
2026-09-23 cs.AI cs.CV cs.GR
3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes
Georgia Tech（佐治亚理工学院）；MIT（麻省理工学院）
本文提出3D-IntPhys框架，结合条件NeRF视觉前端与3D点动力学后端，仅用多视角RGB图像和不完美实例掩码学习复杂流体等场景的直觉物理，并实现长时域预测与外推泛化。
2023-04-22 cs.AI cs.CV
Evaluating Compositional Scene Understanding in Multimodal Generative Models
Department of Psychology, University of California, Los Angeles（加州大学洛杉矶分校心理学系）；Microsoft Research, NYC（微软研究院纽约分部）；Air Force Research Laboratory（美国空军研究实验室）；Department of Statistics, University of California, Los Angeles（加州大学洛杉矶分校统计学系）
本研究评估了DALL-E 3、GPT-4V等当前多模态生成模型在组合场景理解上的能力，发现其较前代有所提升，但在处理多物体和多重关系的复杂场景时仍远不及人类水平。
2025-03-29 cs.AI cs.CV
Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding
Pacific Northwest National Laboratory（太平洋西北国家实验室）
组合泛化是神经语言模型的一个令人不安的盲点。最近的努力已经提出了用于改进模型对已知输入的新颖组合进行编码的能力的技术，但是较少的工作集中在生成已知输出的新颖组合上。在这里，我们专注于后一种“解码端”形式的泛化在gSCAN的上下文中，一个合成的基准合成泛化在接地语言理解。我们提出了递归解码（RD），这是一种用于训练和使用seq2seq模型的新方法，旨在实现解码端的泛化。而不是在一次通过中生成整个输出序列，模型被训练为每次预测一个令牌。输入（即，外部gSCAN环境）然后基于预测的令牌被递增地更新，并且被重新编码用于下一个解码器时间步长。因此，RD将复杂的分布外序列生成任务分解为一系列增量预测，每个预测都类似于模型在训练期间已经看到的预测。RD在gSCAN中产生了两个以前被忽视的泛化任务的显着改进。我们提供的分析，以阐明这些收益失败的基线，然后讨论自然接地语言理解的泛化的影响，和seq2seq更普遍。
2022-02-18 cs.AI cs.CL cs.LG
RieMind: Geometry-Grounded Spatial Agent for Scene Understanding
Riemann Lab, Huawei Technologies（华为技术有限公司里斯曼实验室）
本文提出RieMind，通过显式3D场景图实现空间推理，证明解耦感知与推理能显著提升空间推理能力，实验结果显示比现有方法提升16%-50%。
2026-03-16 cs.AI cs.CV
SwiftVGGT: A Scalable Visual Geometry Grounded Transformer for Large-Scale Scenes
School of Electrical and Electronic Engineering, Yonsei University（电气电子工程学院，延世大学）
SwiftVGGT是一种无需训练的高效Transformer，通过简化计算流程实现大规模场景中高质量3D重建。
2025-11-23 cs.AI cs.CV
GrapeSplat: Geometry-Grounded Reconstruction via Amalgamated Pose-Free Encoding for Feed-Forward 3D Gaussian Splatting
National Taiwan University（国立台湾大学）；National Taiwan University of Science and Technology（国立台湾科技大学）；NTU AI Center of Research Excellence (NTU AI-CoRE)（台湾大学人工智能卓越研究中心）；VinUniversity（Vin大学）
GrapeSplat提出融合多视图线索的体素表示，通过前馈方式从无位姿图像直接解码高斯场景，实现单次前向重建，并支持零样本泛化。
2026-09-22 cs.AI cs.CV
Compositional Learning of Visually-Grounded Concepts Using Reinforcement
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
本文研究强化学习智能体在合成3D环境中导航颜色-形状目标的组合泛化能力，发现朴素训练可隐式实现组合学习，概念预训练可将所需回合数减少20倍，并首次证明结合概念与组合学习能零样本解决更复杂环境。
2024-05-03 cs.AI cs.LG
A Benchmark for Systematic Generalization in Grounded Language Understanding
University of Amsterdam（阿姆斯特丹大学）；Massachusetts Institute of Technology（麻省理工学院）；ICREA（加泰罗尼亚高等研究院）；Facebook Artificial Intelligence Research（脸书人工智能研究院）；Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
人类很容易理解由熟悉的部分组成的描述不熟悉情况的表达（“在摩天轮旁迎接粉红雷龙”）。相比之下，现代神经网络很难解释新的作品。在本文中，我们介绍了一个新的基准，gSCAN，用于评估成分概括在情境语言理解。gSCAN超越了专注于泛化的语法方面的相关基准，定义了一种基于网格世界状态的语言，促进了对获取语言动机规则的新评估。例如，代理人必须了解如何解释形容词，如“小”相对于当前的世界状态，或如何副词，如“谨慎”与新的动词结合。我们测试了一个强大的多模态基线模型和最先进的合成方法，发现在大多数情况下，当泛化需要系统的合成规则时，它们会显着失败。
2020-10-17 cs.AI cs.CL cs.LG
INTENTION: Inferring Tendencies of Humanoid Robot Motion Through Interactive Intuition and Grounded VLM
针对传统机器人控制依赖精确模型、难以泛化的问题，提出INTENTION框架，结合VLM场景推理与交互记忆，使机器人能凭直觉在新场景中自主操作。
2025-08-06 cs.AI cs.RO
Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation
University of Freiburg（弗莱堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出HOV-SG分层开放词汇3D场景图方法，融合视觉基础模型构建楼层-房间-物体层级语义表示，在提升开放词汇语义准确率的同时大幅压缩地图规模，并验证了其在真实多层环境中语言引导导航的有效性。
2024-06-03 cs.AI cs.CL cs.CV
Mixture of Diffusers for scene composition and high resolution image generation
Instituto de Ingeniería del Conocimiento（知识工程研究所）；Universidad Autónoma de Madrid（马德里自治大学）
扩散方法已被证明是非常有效的生成图像，同时对文本提示条件。然而，尽管生成的图像质量是前所未有的，但这些方法在试图生成特定的图像组合时似乎很困难。在本文中，我们提出了混合扩散器，一种算法，建立在现有的扩散模型，以提供一个更详细的控制组成。通过协调作用于画布不同区域的多个扩散过程，它允许生成更大的图像，其中每个对象和样式的位置由单独的扩散过程控制。
2023-02-05 cs.AI cs.CV cs.LG
Analogical Reasoning for Visually Grounded Language Acquisition
Columbia University（哥伦比亚大学）
儿童通过观察周围的世界和听描述下意识地习得语言。即使没有明确的语言知识，他们也能发现单词的含义，并毫不费力地概括为新的作文。在本文中，我们通过研究视觉基础语言习得（VLA）的任务，将这种能力引入人工智能。我们提出了一个多模态的Transformer模型，增加了一个新的机制，类比推理，近似新的组合物，通过学习语义映射和推理操作，从以前看到的组合物。我们提出的方法，类比推理Transformer网络（ARTNet），训练的原始多媒体数据（视频帧和成绩单），并在观察一组组成，如“洗苹果”或“切胡萝卜”，它可以概括和识别新的视频帧，如“洗胡萝卜”或“切苹果”的新组成。为此，ARTNet参考训练数据中的相关实例，并使用其视觉特征和标题与查询图像建立类比。然后选择合适的动词和名词来创作一个新的作品，最好地描述新的形象。大量的教学视频数据集上的实验表明，该方法实现了显着更好的泛化能力和识别精度相比，国家的最先进的Transformer模型。
2020-07-22 cs.AI cs.CL cs.CV
Frankenstein: Generating Semantic-Compositional 3D Scenes in One Tri-Plane
Shanghai Jiao Tong University（上海交通大学）；Tencent XR Vision Labs（腾讯XR视觉实验室）；The University of Tokyo（东京大学）；Australian National University（澳大利亚国立大学）
Frankenstein提出基于扩散的框架，在单一三平面张量中编码并生成多个语义分离的3D形状，实现房间内部和人体化身等组合式场景的单次生成，并支持逐部分重纹理、物体重排和衣物重新绑定等下游应用。
2024-08-30 cs.AI cs.CV cs.GR
SceneAligner: 3D-Grounded Floorplan Localization in the Wild
Cornell University（康奈尔大学）；Kempner Institute, Harvard University（哈佛大学 Kempner 院）
本文提出了一种在真实场景中实现基于3D重建的平面定位方法，通过将任务 grounding 在场景的重建3D表示中，解决了现有方法在大规模建筑和栅格化平面图中应用受限的问题。
2026-05-21 cs.AI cs.CV cs.LG
PhySGA: A Physics-Space Grounded Agentic Framework for Generalizable and Interactive 3D Composition
Tsinghua University（清华大学）；Zhejiang University（浙江大学）
PhySGA 是一种用于三维组合的物理空间 grounded 智能体框架，通过协作式智能体架构结合物理仿真，在 Isaac Sim 实验中显著超越现有方法，实现了更优的三维组合效果。
2026-10-14 cs.AI cs.CV
SpatialThinker: Reinforcing Scene Graph-Grounded Spatial Reasoning via Dense Rewards
University of Oxford（牛津大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
研究针对多模态大语言模型空间推理难题，提出SpatialThinker，通过在线强化学习统一场景图生成与视觉推理，构建心理场景图并借助密集奖励推理，贡献包括基于SGG推理、高质量训练数据集及密集奖励设计。
2026-07-07 cs.AI cs.CL cs.CV
Evidence-Grounded Trustworthy Multimodal Reasoning and Evaluation Benchmark in Complex Urban Scenes
University of Chinese Academy of Sciences(UCAS)（中国科学院大学）
针对多模态大语言模型在复杂城市场景中推理可靠性不足及现有基准无法诊断推理过程的问题，提出AD2-Bench基准与EGVOR方法，提升了不利条件下多模态推理的稳定性。
2026-09-01 cs.AI cs.CV
Go-SLAM: Grounded Object Segmentation and Localization with Gaussian Splatting SLAM
Purdue University（普渡大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
提出Go-SLAM框架，利用3D Gaussian Splatting SLAM重建动态环境并嵌入物体级信息，支持开放词汇查询和最优机器人路径规划，实现高保真重建、精确分割与高效导航。
2024-09-25 cs.AI cs.CV cs.GR
ARNOLD: A Benchmark for Language-Grounded Task Learning With Continuous States in Realistic 3D Scenes
Peking University（北京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；BIGAI（北京通用人工智能研究院）；Columbia University（哥伦比亚大学）；Tsinghua University（清华大学）
提出ARNOLD基准，评估真实3D场景中基于语言接地的连续状态任务学习，发现现有模型在目标状态、场景和物体泛化上存在显著挑战。
2023-09-11 cs.AI cs.CL cs.CV
Moving Off-the-Grid: Scene-Grounded Video Representations
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Inceptive
提出MooG模型，通过允许标记移出网格并结合交叉注意力与位置嵌入，实现场景元素的持续表示，在视频任务上优于网格上基线。
2024-11-08 cs.AI cs.CV cs.LG
Energy-based Models are Zero-Shot Planners for Compositional Scene Rearrangement
Carnegie Mellon University（卡内基梅隆大学）
提出用能量函数表示语言空间约束并经梯度下降推断目标布局，使机器人能零样本泛化执行长组合式场景重排指令。
2024-01-23 cs.AI cs.CL cs.CV
Compositional Transformers for Scene Generation
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）；Facebook, Inc.（Facebook公司）
我们介绍GANformer2模型，这是一个迭代的面向对象的Transformer，用于生成建模的任务。该网络结合了强大而明确的结构先验，以反映视觉场景的组成性质，并通过顺序过程合成图像。它分为两个阶段：一个快速和轻量级的规划阶段，我们起草了一个高层次的场景布局，其次是一个基于注意力的执行阶段，布局正在被细化，演变成一个丰富和详细的图片。我们的模型远离传统的黑盒GAN架构，该架构具有平坦和单片的潜在空间，朝向透明的设计，鼓励效率，可控性和可解释性。我们通过对一系列数据集（从多对象CLEVR场景到具有挑战性的COCO图像）的仔细评估来展示GANformer2的优势和质量，表明它在视觉质量，多样性和一致性方面成功实现了最先进的性能。进一步的实验证明了模型的解纠缠，并提供了对其生成过程的更深入的了解，因为它从粗略的初始草图一步一步地进行，到详细的布局，考虑对象的深度和依赖性，直到最终的高分辨率描绘充满活力和复杂的现实世界场景。有关模型实现，请参见https://github.com/dorarad/gansformer。
2021-11-17 cs.AI cs.CV cs.LG
Flame3D: Zero-shot Compositional Reasoning of 3D Scenes with Agentic Language Models
Carnegie Mellon University（卡内基梅隆大学）
Flame3D通过可组合的空间工具和训练自由框架，实现3D场景的零样本组合推理，支持动态空间合成和外部数据整合，展示了在ScanQA和Compose3D上的竞争力。
2026-05-09 cs.AI cs.CV cs.LG
Aligning Forest and Trees in Images & Long Captions for Visually Grounded Understanding
Agency for Defense Development（国防发展局）；University of Michigan（密歇根大学）；POSTECH
本文提出CAFT模型，通过分层视觉语言学习原理，解决长描述中细节丰富的场景理解问题，实现图像与文本的细粒度对齐，取得六个长文本检索基准的最优性能。
2026-11-11 cs.AI cs.CV cs.LG
CausalChaos! Dataset for Comprehensive Causal Action Question Answering Over Longer Causal Chains Grounded in Dynamic Visual Scenes
Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（高性能计算研究所，科技研究局，新加坡）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Singapore Polytechnic（新加坡理工学院）
针对因果视频问答中现有数据集因果推理深度不足的问题，利用卡通特性构建CausalChaos!数据集，含因果链等问题并引入错误答案挖掘，为因果关系建模等发展助力。
2026-07-07 cs.AI cs.CL cs.CV
Grammar-Based Grounded Lexicon Learning
MIT（麻省理工学院）；TTIC（汤森路透创新技术学院）；Stanford University（斯坦福大学）
本研究提出词汇主义方法G2L2，通过将词映射为句法类型加神经符号语义程序的词典条目，结合联合解析与期望执行算法，从接地数据学习组合式语言意义表示，实现小样本下的新词语组合泛化。
2023-08-24 cs.AI cs.CL cs.CV
