Clinical Text Prediction with Numerically Grounded Conditional Language Models
University College London（伦敦大学学院）；William Harvey Research Institute（威廉·哈维研究所）；Queen Mary University of London（伦敦玛丽女王大学）
辅助文本输入技术可以节省时间和精力，并提高文本质量。在本文中，我们研究如何接地和条件扩展标准神经语言模型可以带来改进的任务，单词预测和完成。这些扩展将结构化的知识库和文本中的数值纳入用于预测下一个单词的上下文。我们对临床数据集的自动评估显示，扩展模型的性能显着优于标准模型。我们最好的系统同时使用调节和接地，因为它们具有正交优势。对于包含5个建议的单词预测，它将召回率从25.03%提高到71.28%，对于单词补全，它将节省的时间从34.35%提高到44.81%，其中该数据集的理论界限为58.78%。我们还进行了定性研究，以了解具有较低困惑度的模型如何偶尔在任务中表现得更好。我们发现，在测试时，数字对文档级别的影响大于对单个单词概率的影响。
2016-10-20 cs.CL cs.HC cs.NE
Building Knowledge-Grounded Dialogue Systems with Graph-Based Semantic Modeling
School of Computer Science and Technology（计算机科学与技术学院）；Southeast Academy of Information Technology（东南信息技术研究院）；Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications（北京大规模语言信息处理与云计算应用工程研究中心）
针对知识驱动对话中序列模型难整合复杂知识的问题，提出接地图结构与接地图感知Transformer模型，融合多形式知识，在回复生成和事实一致性上显著优于现有方法，具备良好泛化性与鲁棒性。
2024-05-16 cs.CL
Incorporating Visual Semantics into Sentence Representations within a Grounded Space
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机科学实验室）；Criteo AI Lab（Criteo人工智能实验室）
语言背景是一个活跃的领域，旨在丰富文本表征与视觉信息。通常，文本和视觉元素嵌入在同一个表示空间中，这隐含地假设了模态之间的一一对应关系。这个假设并不成立时，代表的话，并成为问题时，用于学习句子表征-本文的重点-作为一个视觉场景可以描述各种各样的句子。为了克服这一限制，我们建议通过学习一个中间表示空间：接地空间将视觉信息转换为文本表示。我们进一步提出了两个新的互补目标，确保（1）与相同的视觉内容相关联的句子在接地空间中是接近的，（2）相关元素之间的相似性被保留在不同的模态。我们表明，该模型优于以前的国家的最先进的分类和语义相关的任务。
2020-02-07 cs.CL
VSTAR: A Video-grounded Dialogue Dataset for Situated Semantic Understanding with Scene and Topic Transitions
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）
本文提出基于395部电视剧的大规模视频对话数据集VSTAR，并构建场景分割、话题分割与对话生成基准，验证多模态信息与片段对视频对话理解及生成的重要性。
2023-05-30 cs.CL cs.CV
Learning semantic sentence representations from visually grounded language without lexical knowledge
Centre for Language Studies（语言研究中心）；Radboud University（拉德堡德大学）
当前学习句子语义表示的方法通常使用先前的词级知识。目前的研究旨在利用视觉信息，以捕捉句子层次的语义，而不需要词嵌入。我们使用一个多模态句子编码器训练的语料库的图像与匹配的文本标题，以产生视觉接地句子嵌入。训练深度神经网络以将两种模态映射到公共嵌入空间，使得对于图像，可以检索对应的字幕，反之亦然。我们证明了我们的模型在两个流行的图像标题检索基准数据集：MSCOCO和Flickr8k上取得了与当前最先进的结果相当的结果。我们使用语义文本相似性基准任务的数据评估所得到的句子嵌入的语义内容，并表明多模态嵌入与人类语义相似性判断相关。该系统在这些基准测试中的几个上实现了最先进的结果，这表明仅在多模态数据上训练的系统，而不假设任何单词表示，能够捕获句子级别的语义。重要的是，这一结果表明，我们不需要先验知识的词汇级语义模型的句子级语义。这些发现表明视觉信息在语义学中的重要性。
2019-03-27 cs.CL
Bridging Natural Language Processing and Psycholinguistics: computationally grounded semantic similarity datasets for Basque and Spanish
本文构建了融合语料库与知识库的巴斯克语及欧洲西班牙语言语相似性数据集，通过心理语言学特征控制名词对并提供文本、Wordnet和混合嵌入三类相似性度量。
2023-04-20 cs.CL
Evaluating Induced CCG Parsers on Grounded Semantic Parsing
University of Southern California（南加州大学）；University of Edinburgh（爱丁堡大学）；Google（谷歌）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们比较了四种不同的句法CCG解析器的语义槽填充任务的有效性，探讨有多少句法监督需要下游语义分析。这种外在的，基于任务的评估提供了一个独特的窗口，探索无监督语法归纳系统所捕获的语义的优点和缺点。我们发布了一个新的Freebase语义解析数据集，称为SPADES（DECLARATIVE Sentences的语义解析），包含93K的完形填空式问题与答案配对。我们在这个数据集上评估我们所有的模型。我们的代码和数据可在https://github.com/sivareddyg/graph-parser上获得。
2017-01-31 cs.AI cs.CL
SemTrace: Source-Grounded Semantic Signatures for Tracing LLM Exposure to Protected Documents
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Bosum Institute of Management Science（博硕管理科学研究院）
针对大语言模型文档暴露溯源问题，提出基于源的语义水印SemTrace，通过构建文档特定二进制签名实现模型不可知的受保护副本暴露检测。
2026-09-01 cs.CL
Semantic Space Grounded Weighted Decoding for Multi-Attribute Controllable Dialogue Generation
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对多属性可控对话生成研究不足的问题，提出DASC框架，采用加权解码结合属性语义空间锚定，通过属性嵌入插值实现多属性控制并缩减模型规模，实验验证其在3属性控制及分布外场景下的高准确率与生成质量。
2023-11-05 cs.CL
Grounded Adaptation for Zero-shot Executable Semantic Parsing
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了接地适应Zero-shot可执行语义解析（GAZP），以适应现有的语义解析器新的环境（例如，新的数据库模式）。GAZP将前向语义解析器与后向话语生成器相结合，在新的环境中合成数据（如话语和SQL查询），然后选择循环一致的例子来适应解析器。与通常在训练环境中合成未经验证的示例的数据增强不同，GAZP在新环境中合成输入-输出一致性得到验证的示例。在Spider、Sparc和CoSQL zero-shot语义解析任务上，GAZP改进了基线解析器的逻辑形式和执行精度。我们的分析表明，GAZP在训练环境中优于数据增强，性能随着GAZP合成数据量的增加而增加，并且周期一致性是成功适应的核心。
2021-02-01 cs.AI cs.CL cs.DB
Could the Road to Grounded, Neuro-symbolic AI be Paved with Words-as-Classifiers?
Department of Computer Science（计算机科学系）；Boise State University（博伊斯州立大学）；Department of Lingusitics（语言学系）；University of Potsdam（波茨坦大学）
本文论证“词即分类器”模型可作为统一形式、分布和具身语义学的路径，回顾文献、结合认知科学动机并描述实验，最终勾勒统一语义模型。
2025-07-08 cs.CL
SCRIBE: Scalable Contextual Representations of Interpretable Brain-Grounded Semantics
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）
本研究提出基于神经科学语义空间的SCRIBE框架，其可生成可解释词级语义表示，在行为与脑成像实验中表现优于非上下文表示，为大脑自然语言语义研究提供了可扩展基础。
2026-10-16 cs.AI cs.CL
Enhanced Knowledge Selection for Grounded Dialogues via Document Semantic Graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
提供具有背景知识的对话模型已被证明可以使开放域对话更具信息性和吸引力。现有的模型将知识选择视为句子排序或分类问题，其中每个句子都单独处理，忽略了背景文档中句子之间的内部语义联系。在这项工作中，我们建议自动转换的背景知识文件到文档的语义图，然后进行知识选择这样的图。我们的文档语义图通过使用句子节点来保留句子级别的信息，并提供句子之间的概念连接。我们联合应用多任务学习的知识水平和概念水平的选择，并表明它提高了知识水平的选择。我们的实验表明，我们的基于语义图的知识选择提高了句子选择基线的知识选择任务和端到端的响应生成任务的HollE，并提高了泛化在魔兽世界中看不见的主题。
2022-06-30 cs.CL
Visual Word2Vec (vis-w2v): Learning Visually Grounded Word Embeddings Using Abstract Scenes
Carnegie Mellon University（卡内基梅隆大学）；Virginia Tech（弗吉尼亚理工大学）
我们提出了一个模型来学习视觉接地词嵌入（vis-w2 v），以捕捉视觉概念的语义相关性。虽然使用文本训练的词嵌入非常成功，但它们无法揭示我们视觉世界中隐含的语义相关性概念。例如，虽然“eats”和“stares at”在文本中看起来不相关，但它们在视觉上共享语义。当人们吃东西时，他们也倾向于盯着食物。尽管最近在视觉方面取得了进展，但将“吃”和“盯着看”等不同关系植入视觉仍然具有挑战性。我们注意到，单词的视觉基础取决于语义，而不是字面像素。因此，我们使用从剪贴画创建的抽象场景来提供视觉基础。我们发现，我们学习的嵌入捕捉细粒度的，视觉上接地的语义相关性的概念。我们在三个任务上展示了纯文本词嵌入（word 2 vec）的改进：常识断言分类，视觉释义和基于文本的图像检索。我们的代码和数据集可在线获取。
2016-06-29 cs.CL cs.CV
Grounded but Misleading: Evaluating Semantic Alignment in AI-Generated Security Explanations
Virginia Tech（弗吉尼亚理工学院）
本文研究了AI生成的安全解释中语义对齐的问题，通过VEXA测试平台验证了词汇基础与语义风险对齐之间的差距，发现即使解释在词汇上显得合理，其语义解释可能削弱检测器的意图风险评估。
2026-06-03 cs.CL cs.CR cs.LG
DAGverse: Building Document-Grounded Semantic DAGs from Scientific Papers
Arizona State University（亚利桑那州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出DAGverse框架，通过科学论文中的显式DAG图和文本上下文，自动构建文档导向的语义DAG，提升DAG分类和标注的精度。
2026-03-26 cs.AI cs.CL
Semantic speech retrieval with a visually grounded model of untranscribed speech
Stellenbosch University（斯泰伦博斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
人们对可以从与视觉上下文配对的未标记语音中学习的模型越来越感兴趣。此设置与低资源语音处理、机器人和人类语言习得研究相关。在这里，我们研究了一个基于视觉的语音模型，在与口头字幕配对的场景图像上训练，如何捕捉语义的各个方面。我们使用外部图像标记器从图像中生成软文本标签，这些标签作为神经模型的目标，将未转录的语音映射到（语义）关键字标签。我们引入了一个新收集的数据集的人类语义相关性判断和相关的任务，语义语音检索，其目标是搜索口语的语义相关的一个给定的文本查询。在没有看到任何文本的情况下，在并行语音和图像上训练的模型在其十大语义检索中达到了近60%的精度。与在transmittance上训练的监督模型相比，我们的模型在某些方面更好地匹配人类的判断，特别是在检索非逐字语义匹配方面。我们进行了广泛的分析模型及其产生的表示。
2018-10-31 cs.CL cs.CV eess.AS
Hindi as a Second Language: Improving Visually Grounded Speech with Semantically Similar Samples
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文的目的是从多语言的角度探讨视觉接地语音模型（VGS）的学习。双语VGS模型通常使用来自两种语言的相同数量的口语字幕进行训练。然而，在现实中，可用的口头字幕的语言之间可能存在不平衡。我们在这项工作中的主要贡献是利用双语视觉接地语音模型中的高资源语言的力量来提高低资源语言的性能。我们介绍了两种方法来提取高资源语言的知识到低资源语言：（1）结合一个强大的预训练的高资源语言编码器和（2）使用语义相似的口头字幕。我们的实验表明，结合这两种方法有效地使低资源的语言，以超过单语和双语对应的跨模态检索任务的性能。
2023-03-30 cs.CL cs.CV cs.SD
Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues
Singapore Management University（新加坡管理大学）；A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）；Salesforce Research Asia（赛富时亚洲研究院）
与传统的视觉问答相比，基于视频的对话需要对对话上下文进行额外的推理，以在多轮设置中回答问题。以前的方法，以视频为基础的对话大多使用对话上下文作为一个简单的文本输入，没有建模的内在信息流在回合级别。在本文中，我们提出了一个新的框架，推理路径对话上下文（PDC）。PDC模型通过对每个问题和回答中的词汇成分构建语义图，发现对话轮之间的信息流。PDC模型然后学习预测这个语义图上的推理路径。我们的路径预测模型预测的路径从当前的回合通过过去的对话回合，包含额外的视觉线索来回答当前的问题。我们的推理模型顺序处理视觉和文本信息通过这个推理路径和传播的功能被用来生成答案。我们的实验结果证明了我们的方法的有效性，并提供了额外的见解模型如何使用语义依赖在对话上下文检索视觉线索。
2022-12-07 cs.AI cs.CL cs.CV
Retrieve, Integrate, and Synthesize: Spatial-Semantic Grounded Latent Visual Reasoning
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, and Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（人机混合增强智能国家重点实验室，人工智能与机器人研究院，西安交通大学）
本文提出RIS框架，通过空间-语义 grounded 方法改进多模态大语言模型的视觉推理，通过构建逐步 grounded 数据集并引入短语言过渡token，提升潜在状态与词汇对齐的解码能力，实验显示在多个基准上优于现有基线。
2026-05-08 cs.CL
Source-Grounded Semantic Reinforcement Learning for Low-Resource Target-Language Generation
Minzu University of China（中国民族大学）；Ant Group（蚂蚁集团）；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Harbin Institute of Technology（哈尔滨工业大学）；South China University of Technology（华南理工大学）
提出源语言锚定的语义强化学习（SG-SRL），通过跨语言语义奖励模型利用源语言单语数据，结合轻量级恢复阶段解决奖励黑客问题，在低资源目标语言生成中提升语义锚定和事实覆盖。
2026-05-28 cs.AI cs.CL
Collaborative Reasoning on Multi-Modal Semantic Graphs for Video-Grounded Dialogue Generation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, AAIS, Peking University（北京大学人工智能研究院数据科学中心）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
我们研究了基于视频的对话生成，基于对话上下文和相关视频生成响应。该任务的主要挑战在于（1）将视频数据集成到预训练的语言模型（PLM）中的困难，这对利用大规模预训练的力量构成了障碍;（2）在整个推理过程中考虑各种模式的互补性的必要性。虽然在基于视频的对话生成方面取得了显着进展，但现有方法在与PLM集成以允许来自不同模式的信息相互补充时仍然存在不足。为了缓解这些问题，我们首先提出从视频中提取相关信息，并将其转化为PLM可接受的推理路径。此外，我们提出了一种多智能体强化学习方法来协作地对不同的模态进行推理（即，视频和对话上下文）。在两个公开数据集上的实验结果表明，该模型在自动和人工评估方面都能明显优于最先进的模型。
2022-10-22 cs.CL
Semantic Composition in Visually Grounded Language Models
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）；Language Technologies Institute（语言技术研究所）
本文针对视觉基础语言模型在语义组合表征上的不足，提出基准、蒸馏度量、因果追踪、句法池化和跨模态正则化五种方法，以提升视觉-语言组合能力。
2023-05-15 cs.CL cs.LG
Learning Visually-Grounded Semantics from Contrastive Adversarial Samples
Megvii Inc.（旷视科技）
我们研究的问题接地分布表示的文本的视觉域，即视觉语义嵌入（简称VSE）。从对VSE嵌入的有见地的对抗攻击开始，我们展示了当前框架和图像-文本数据集的局限性（例如，MS-COCO）。现实世界语义可能构成的数量与并行数据规模之间的巨大差距，在很大程度上限制了模型建立文本语义与视觉概念之间的联系。我们通过用文本对比对抗样本增强MS-COCO图像描述数据集来缓解这个问题。这些样本是使用语言规则和WordNet知识库合成的。构造过程是语法和语义感知的。这些样本强制模型将学习到的嵌入嵌入到图像中的具体概念中。除了防御已知类型的对抗攻击之外，这种简单但强大的技术还在各种下游任务的基线上带来了显著的改进。我们在https://github.com/ExplorerFreda/VSE-C上发布代码。
2018-06-27 cs.CL cs.CV
STAGE: Diagnosing Semantic Transfer at Grounded Execution in Embodied Agents
NYU Shanghai（上海纽约大学）
本文研究具身智能体中指令语义与动作执行之间的迁移鸿沟，提出SAT-Bench基准和VISA接口，证明语义可恢复但动作表达弱，VISA能大幅降低无效指令的盲目执行。
2026-09-15 cs.CL cs.RO
Verbs Taking Clausal and Non-Finite Arguments as Signals of Modality - Revisiting the Issue of Meaning Grounded in Syntax
Technische Universität Darmstadt（达姆施塔特工业大学）
我们重温莱文的理论对应的动词意义和句法和推断语义类从一个大的句法分类超过600个德语动词从句和非限定参数。众所周知，掌握莱文类的意义成分是很困难的。我们通过建立一个多角度的语义表征的推断类来解决这一挑战。为此，我们链接推断类和他们的英语翻译独立构建的语义类在三个不同的词汇-德语词网GermaNet，VerbNet和FrameNet -并进行详细的分析和评估所产生的德语-英语分类（可在www.ukp.tu-darmstadt.de/modality-verbclasses/）。
2016-06-23 cs.CL
Aligning Visual Regions and Textual Concepts for Semantic-Grounded Image Representations
Peking University（北京大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；JD AI Research（京东人工智能研究院）
在视觉和语言基础问题中，图像的细粒度表示被认为是至关重要的。目前的大多数系统都将视觉特征和文本概念作为图像的草图。然而，显然推断的表示通常是不可取的，因为它们是由单独的组成部分，其中的关系是难以捉摸的。在这项工作中，我们的目标是表示一组综合的视觉区域和相应的文本概念的图像，反映一定的语义。为此，我们建立了相互迭代注意（MIA）模块，它集成了相关的视觉特征和文本概念，分别对齐这两种方式。我们评估了两个代表性的视觉和语言基础任务，即，图像描述和可视问答。在这两个任务中，基于语义的图像表示在所有指标下都能持续提高基线模型的性能。结果表明，我们的方法是有效的，以及推广到广泛的模型，图像相关的应用。(The代码可在https：//github.com/fenglinliu98/MIA获得）
2019-11-04 cs.CL cs.CV
Disambiguating Reference in Visually Grounded Dialogues through Joint Modeling of Textual and Multimodal Semantic Structures
Nara Institute of Science and Technology（奈良科学技術研究所）；Guardian Robot Project（守護機器人計劃）；RIKEN（理化学研究所）；Kyoto University（京都大學）；Institute of Science Tokyo（東京科學研究院）
本文提出一个统一文本和多模态指代消解的框架，通过将提及嵌入映射到对象嵌入并基于相似性进行选择，实验证明结合共指消解等文本指代关系能有效提升多模态指代消解性能，减少视觉基础对话中的歧义。
2025-06-01 cs.CL
Multi-Head Attention with Diversity for Learning Grounded Multilingual Multimodal Representations
Carnegie Mellon University（卡内基梅隆大学）；Monash University（莫纳什大学）
为了促进和理解图像搜索的多语言版本，我们利用视觉目标检测，并提出了一个具有不同多头注意力的模型来学习接地多语言多模态表示。具体来说，我们的模型出席了不同类型的文本语义在两种语言和视觉对象之间的句子和图像的细粒度对齐。我们引入了一个新的目标函数，明确鼓励注意力的多样性，学习改进的视觉语义嵌入空间。我们在Multi30K数据集上的德语图像和英语图像匹配任务中评估了我们的模型，并在语义文本相似性任务中使用视觉内容的英语描述。结果表明，我们的模型产生了显着的性能增益比其他方法在所有三个任务。
2019-09-30 cs.CL cs.CV
Bootstrapping Semantic Layer from Execution for Text-to-SQL
Seoul National University（首尔国立大学）
提出GATE方法，通过执行反馈引导缺失的语义层，将执行结果作为可复用记忆，提升文本到SQL的准确性。
2026-06-04 cs.CL
GSRFormer: Grounded Situation Recognition Transformer with Alternate Semantic Attention Refinement
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
接地情况识别（GSR）的目的是生成结构化的语义摘要的图像“类人”的事件理解。具体地说，GSR任务不仅检测显著活动动词（如购买），而且预测所有相应的语义角色（如代理和商品）。受目标检测和图像描述任务的启发，现有方法通常采用两阶段框架：1）检测活动动词，然后2）基于检测到的动词预测语义角色。显然，这种不合逻辑的框架构成了语义理解的巨大障碍。首先，仅预先检测没有语义角色的动词不可避免地无法区分许多相似的日常活动（例如，提供和给予，购买和销售）。其次，以封闭的自回归方式预测语义角色很难利用动词和角色之间的语义关系。为此，在本文中，我们提出了一个新的两阶段框架，重点是利用这种双向关系的动词和角色。在第一阶段，而不是预先检测动词，我们推迟检测步骤，并假设一个伪标签，其中每个相应的语义角色的中间表示是从图像中学习。在第二阶段，我们利用Transformer层来挖掘动词和语义角色之间的潜在语义关系。在一组支持图像的帮助下，设计了一种替代学习方案来同时优化结果：使用与图像对应的名词更新动词，并使用支持图像中的动词更新名词。在具有挑战性的SWiG基准测试上进行的大量实验结果表明，我们改造后的框架在各种指标下的性能优于其他最先进的方法。
2022-11-28 cs.AI cs.CL cs.CV
Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models
HEC Montréal（蒙特利尔高等商学院）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
该研究提出句法与语义自举均依赖联合学习策略，通过视觉锚定语法归纳模型验证同时学习二者时自举效应最强，为认知科学与AI的语言习得研究提供了新方向。
2024-06-17 cs.CL
Pretraining on Interactions for Learning Grounded Affordance Representations
词汇语义学和认知科学指出启示（即对象支持的动作）对于理解和表示名词和动词至关重要。然而，这些语义特征的研究尚未与目前主导语言表征研究的“基础”模型相结合。我们假设，随着时间的推移，对象状态的预测建模将导致“免费”编码对象启示信息的表示。我们训练一个神经网络来预测模拟交互中对象的轨迹，并表明我们的网络的潜在表示区分了观察到的和未观察到的启示。我们发现，使用来自SPATIAL数据集的3D模拟训练的模型优于在类似任务上训练的传统2D计算机视觉模型，并且在初始检查时，概念之间的差异对应于预期特征（例如，滚动需要旋转）。我们的研究结果表明，现代深度学习方法可以与传统的词汇表征形式语义概念相结合。
2022-07-05 cs.AI cs.CL
Language in a (Search) Box: Grounding Language Learning in Real-World Human-Machine Interaction
Bocconi University（博科尼大学）；Coveo Labs（Coveo实验室）
我们通过真实世界的数据调查接地语言学习，通过用户和搜索引擎之间发生的自然交互来建模教师-学习者动态;特别是，我们探索了合成环境之外无监督密集表示的语义泛化的出现。仅从用户数据学习基础域、表示函数和合成函数。我们展示了如何产生的语义名词短语表现出成分属性，同时完全可学习，没有任何明确的标签。我们基准我们的接地语义组合性和zero-shot推理任务，我们表明，它提供了更好的结果和更好的推广比SOTA非接地模型，如word 2 vec和BERT。
2021-04-18 cs.CL
UNIMO-2: End-to-End Unified Vision-Language Grounded Learning
Baidu Inc.（百度公司）
视觉语言预训练（VLP）在各种跨模态下游任务上取得了令人印象深刻的性能。然而，大多数现有的方法只能从对齐的图像字幕数据中学习，并且严重依赖昂贵的区域特征，这极大地限制了它们的可扩展性和性能。在本文中，我们提出了一个端到端的统一模态预训练框架，即UNIMO-2，用于对齐的图像标题数据和未对齐的纯图像和纯文本语料库的联合学习。我们建立了一个统一的Transformer模型来共同学习视觉表示，文本表示和图像和文本之间的语义对齐。特别是，我们建议通过共享接地空间对图像和文本进行接地学习，这有助于弥合未对齐的图像和文本，并在不同类型的语料库上对齐视觉和文本语义空间。实验表明，我们的接地学习方法可以提高文本和视觉语义对齐，提高各种跨模态任务的性能。此外，得益于不同类型语料库的有效联合建模，我们的模型在单模态视觉和文本任务上也取得了令人印象深刻的性能。我们的代码和模型在UNIMO项目页面https://unimo-ptm.github.io/上公开。
2022-03-17 cs.CL cs.CV
SMI: Ontology-Grounded Semantic IDs for Hierarchy-Aware Medical Concept Representation
School of Electrical Engineering and Computer Science, Ohio University（俄亥俄大学电气与计算机工程学院）；University of Southern California（南加利福尼亚大学）；School of Computer Science, McGill University（麦吉尔大学计算机学院）；Northwestern University（西北大学）；University of Washington（华盛顿大学）
本研究针对生物医学LMs无法捕捉医学概念层次结构的问题，提出无需训练的SMI框架，通过聚合本体层级的LM嵌入生成层次感知医学概念表示，在MIMIC-IV、eICU等数据集上提升了多项临床任务性能。
2026-10-14 cs.AI cs.CL
Learning a natural-language to LTL executable semantic parser for grounded robotics
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；CBMM（大脑、思维与机器研究中心）
儿童通过观察语言在语境中的使用情况并尝试自己使用语言，显然很容易习得母语。他们这样做没有费力的注释，负面的例子，甚至直接更正。我们通过训练一个接地的语义解析器，向可以做同样事情的机器人迈出了一步，该解析器可以发现可用于执行自然语言命令的潜在语言表示。特别是，我们专注于困难的领域的命令与时间方面，其语义，我们捕捉线性时序逻辑，LTL。我们的解析器是用成对的句子和执行以及执行器来训练的。在训练时，解析器假设输入的意义表示为LTL中的公式。三种相互竞争的压力使语法分析器能够从语言中发现意义。首先，任何假设的句子含义必须足够宽松，以反映所有注释的执行轨迹。其次，执行者--一个预先训练好的端到端LTL规划者--必须发现观察到的轨迹很可能是意义的执行。最后，生成器重建原始输入，鼓励模型找到保存有关命令的知识的表示。这些共同确保了含义既不太笼统也不太具体。我们的模型泛化良好，能够解析和执行机器生成和人类生成的命令，具有几乎相同的准确性，尽管人类生成的句子在开放词典中更加多样和复杂。这里提出的方法不是特定的LTL：它可以应用于任何领域，句子的含义可以假设和执行者可以验证这些含义，从而打开了大门，许多应用程序的机器人代理。
2021-03-17 cs.CL
SchGen: PCB Schematic Generation with Semantic-Grounded Code Representations
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research Asia（微软亚洲研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出SchGen，首个从自然语言请求生成可编辑PCB原理图的大语言模型，通过语义接地代码表示将几何驱动问题转化为语义驱动匹配任务，并构建大规模数据集，在连线准确性和功能正确性上显著优于现有方法。
2026-05-28 cs.AI cs.CL cs.LG
Intent-Driven Semantic ID Generation for Grounded Conversational News Recommendation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Platform and Content Group, Tencent（腾讯平台与内容部）
本文提出意图驱动的语义ID生成方法，通过多任务对齐和GPT-4链式推理蒸馏，实现意图到层级SID前缀的映射，提升新闻推荐的 grounded 性和冷启动用户推荐效果。
2026-05-08 cs.CL
Representations of language in a model of visually grounded speech signal
Tilburg University（蒂尔堡大学）
我们提出了一个视觉接地模型的语音感知项目口语和图像的联合语义空间。我们使用多层递归高速公路网络来模拟口语的时间性质，并表明它可以从输入信号中提取基于形式和意义的语言知识。我们对训练模型的不同组件所使用的表示进行了深入分析，并表明语义方面的编码往往会随着层次的上升而变得更加丰富，而语言输入的形式相关方面的编码往往会最初增加，然后趋于平稳或减少。
2017-06-30 cs.AI cs.CL cs.LG
Seeing the advantage: visually grounding word embeddings to better capture human semantic knowledge
Radboud University（拉德堡德大学）
分布式语义模型捕获单词级的意义，这在许多自然语言处理任务中是有用的，甚至已经被证明可以捕获单词意义的认知方面。这些模型中的大多数都是纯粹基于文本的，尽管人类的感官体验要丰富得多。在本文中，我们创建视觉接地词嵌入相结合的英文文本和图像，并将它们与流行的基于文本的方法进行比较，看看视觉信息是否允许我们的模型更好地捕捉认知方面的词义。我们的分析表明，视觉接地嵌入相似性更大的预测人类的反应时间在一个大的启动实验比纯粹的基于文本的嵌入。视觉接地嵌入也与人类单词相似性评级相关。重要的是，在这两个实验中，我们表明，接地嵌入占解释方差的一个独特的部分，即使我们包括基于文本的嵌入在巨大的语料库上训练。这表明视觉基础允许我们的模型捕获无法使用文本作为唯一信息源提取的信息。
2022-02-21 cs.CL cs.CV cs.LG
GRACE: LLM-Grounded Semantic Metric Spaces for Scalable Mixed-Data Clustering
Guangdong University of Technology（广东工业大学）；Tsinghua University（清华大学）；Peking University（北京大学）；Shenzhen University（深圳大学）；Xiamen University（厦门大学）
针对混合数据聚类中语义丰富度与可扩展性的矛盾，提出GRACE框架，通过多视角LLM查询实现一次性语义嵌入，兼顾可扩展性与聚类性能，优于11种对比方法。
2026-08-11 cs.AI cs.CL cs.IT
Escaping the BLEU Trap: A Signal-Grounded Framework with Decoupled Semantic Guidance for EEG-to-Text Decoding
The Hong Kong University of Science and Technology（香港科学与技术大学）；Shenzhen Loop Area Institute（深圳河套学院）
针对脑电解码文本中语义偏差、信号忽略和BLEU陷阱问题，提出SemKey多阶段框架，通过解耦语义目标（情感、主题、长度、意外性）和主动检索解码机制，强制生成基于信号而非语言先验，并采用检索和分布度量（如Fréchet距离）建立评估协议，有效缓解幻觉并达到最优性能。
2026-05-29 cs.AI cs.CL cs.HC
Neural Variational Learning for Grounded Language Acquisition
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
我们提出了一个学习系统，其中语言是基于视觉感知没有特定的预定义类别的条款。我们提出了一个统一的生成方法来获取共享的语义/视觉嵌入，使语言学习的范围广泛的现实世界的对象。我们通过预测对象的语义并比较神经和非神经输入的性能来评估这种学习的有效性。我们发现，这种生成方法在低资源设置下，在没有预先指定视觉类别的情况下，在语言基础方面表现出很好的效果。我们的实验表明，这种方法是通用的多语言，高度多样化的数据集。
2021-07-20 cs.AI cs.CL cs.LG
Code over Words: Overcoming Semantic Inertia via Code-Grounded Reasoning
Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学）；School of Psychological and Cognitive Sciences, Peking University（心理与认知科学学院，北京大学）；Tsinghua International School（清华大学国际学校）；University of California, Berkeley（加州大学伯克利分校）；State Key Lab of General AI, Peking University（通用人工智能国家重点实验室，北京大学）；Beijing Key Laboratory of Behavior and Mental Health, Peking University（北京行为与心理健康重点实验室，北京大学）；Embodied Intelligence Lab, PKU-Wuhan Institute for Artificial Intelligence（具身智能实验室，北京大学-武汉人工智能研究院）
通过代码引导的推理（LCV）克服语义惯性，表明表示形式影响模型在动态场景中的推理能力。
2026-02-02 cs.AI cs.CL
UniDataAgent: An Ontology-Grounded Agent for Enterprise Question-to-Report Automation
China Unicom Software Research Institute（中国联通软件研究院）；College Of Artificial Intelligence, Nankai University（南开大学人工智能学院）
本文提出UniDataAgent，一个基于本体的企业问题到报告自动化系统，通过分离语义获取与在线执行，在27张表上实现95%准确率，显著缩短构建与报告生成时间。
2026-10-09 cs.CL
A Grounded Typology of Word Classes
University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
本研究提出一种基于多模态感知数据的语言类型学具身基础方法，定义“基础度”指标验证词类语义含量的跨语言规律，发现词类基础度普遍层级并发布30种语言的相关数据集，为语义功能研究提供定量支撑。
2024-12-13 cs.CL cs.CV
Learning to Reason About Implicit Multimodal Harm: From Diagnosis to Generalization
Max Planck Institute for Informatics（马克斯·普朗克院信息研究所）；Saarland Informatics Campus（萨尔兰州信息校园）；Saarland University（萨尔兰州大学）；The University of Edinburgh（爱丁堡大学）；Samsung AI Center, Cambridge（三星AI中心，剑桥）
针对视觉语言模型在隐式跨模态有害语义推理上的不足，提出MuPHI数据集和MuPHIRM训练框架，通过多视角奖励优化联合语义学习，提升有害检测与推理质量及分布外鲁棒性。
2026-10-19 cs.AI cs.CL cs.LG
SAGE: Semantic Anchor-Guided Evolution for Grounded Medical QA Data Synthesis
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）
针对医学问答训练数据稀缺问题，提出SAGE框架，利用语义锚引导小型本地模型迭代合成高质量数据，无需外部API，实验证明其优于传统方法，提升数据效率。
2026-10-07 cs.AI cs.CL
Path2ST: Hierarchical Cell-Tissue Grounded Cross-Modal Translation for Spatial Transcriptomics
University of Liverpool（利物浦大学）；Zhejiang Normal University（浙江师范大学）
Path2ST是一种基于细胞-组织层级的跨模态转换框架，通过融合层级条件机制、尺度自适应生成与全谱损失函数，实现从H&E图像精准预测空间转录组，在三个数据集上达到最优性能。
2026-08-18 cs.AI cs.CL cs.CV
Explainable Semantic Space by Grounding Language to Vision with Cross-Modal Contrastive Learning
University of Michigan（密歇根大学）；University of California San Francisco（加利福尼亚大学旧金山分校）
在自然语言处理中，大多数模型试图仅仅从文本中学习语义表示。学习的表示编码的分布语义，但未能连接到任何有关物理世界的知识。相比之下，人类通过感知和行动中的基础概念来学习语言，大脑为认知编码基础语义。受这一概念和最近在视觉语言学习方面的工作的启发，我们设计了一个双流模型，用于在视觉中进行语言学习。该模型包括基于VGG的视觉流和基于Bert的语言流。这两个流合并成一个联合代表空间。通过跨模态对比学习，模型首先学习将视觉和语言表示与MS COCO数据集对齐。该模型进一步学习通过跨模态注意模块检索具有语言查询的视觉对象，并通过具有Visual Genome数据集的双线性运算符推断检索到的对象之间的视觉关系。在训练之后，该模型的语言流是能够将概念嵌入在视觉上接地的语义空间中的独立语言模型。这个语义空间表现出人类直觉和神经生物学知识可以解释的主要维度。在这个语义空间中的词嵌入是人类定义的语义特征规范的预测，并被分离成感知上独特的集群。此外，基于视觉的语言模型还使得能够实现基于视觉知识的组合语言理解和具有基于图像、文本或其组合的查询的多模态图像搜索。
2021-11-13 cs.CL cs.LG
Discovering Meaningful Units with Visually Grounded Semantics from Image Captions
Idiap Research Institute（日内瓦研究所）
针对现有视觉-语言模型细粒度对齐单元缺乏实际语义的问题，提出内置token分组架构的模型，结合物体发现图像编码器对齐表示，提升了模型细粒度跨模态理解能力，所得token组与可落地短语高度相似。
2025-11-14 cs.CL cs.CV
GROUNDEDKG-RAG: Grounded Knowledge Graph Index for Long-document Question Answering
getAbstract；Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
本文提出 groundedkg-rag，通过从源文档中显式提取并 grounding 知识图谱，提升长文档问答的效率和事实准确性，实验表明其在成本较低的情况下性能优于现有基线。
2026-04-06 cs.AI cs.CL
Grounded and Well-rounded: A Methodological Approach to the Study of Cross-modal and Cross-lingual Grounding
University of Helsinki（赫尔辛基大学）；Silo AI；Utrecht University（乌得勒支大学）
本文提出一个研究Grounding的方法论框架，通过构建不同输入模态的可比模型样本，揭示了跨模态、跨语言与非Grounding模型在行为上的定性差异。
2023-10-18 cs.CL
