A quantum teleportation inspired algorithm produces sentence meaning from word meaning and grammatical structure
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Queen Mary, London（伦敦玛丽女王大学）
我们讨论了一种算法，它产生一个句子的意义，给出它的单词的含义，以及它与量子隐形传态的相似之处。事实上，该协议是该算法的主要灵感来源，该算法在自然语言处理领域有许多应用。
2013-10-11 cs.CL quant-ph
Decontextualization: Making Sentences Stand-Alone
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
用于问答、对话代理和摘要的模型通常在丰富的上下文中解释句子的含义，并在新的上下文中使用该含义。摘录文本可能会有问题，因为关键部分在本地窗口中可能不是显式的。我们隔离和定义的问题，句子去语境化：把一个句子连同它的上下文和重写它是可解释的上下文，同时保持其意义。我们描述了一个注释过程，收集维基百科语料库上的数据，并使用这些数据来训练模型，以自动解上下文的句子。我们提出了初步的研究，显示在用户面对的任务，句子解上下文的价值，并作为预处理系统执行文档理解。我们认为，去语境化是许多下游应用程序中的一个重要子任务，并且所提供的定义和资源可以使处理更丰富上下文中出现的句子的任务受益。
2021-02-09 cs.AI cs.CL
ParaLaw Nets -- Cross-lingual Sentence-level Pretraining for Legal Text Processing
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；University of Engineering and Technology, VNU（越南国立大学工程技术大学）；National Institute of Informatics（国立信息学研究所）
歧义性是自然语言的一个特点，它使表达思想具有灵活性。然而，在一个需要准确陈述的领域，它成为一个障碍。具体来说，一个单词可以有许多含义，多个单词可以有相同的含义。在将文本翻译成外语时，译者需要确定原句中每个元素的确切含义，以产生正确的翻译句子。基于这一观察，在本文中，我们提出了ParaLaw Nets，这是一个使用文本级跨语言信息进行预训练的模型家族，可以减少歧义并提高法律文本处理的性能。该方法在COLIEE-2021的问答任务中取得了最好的效果。
2021-06-25 cs.AI cs.CL
JUDGEBERT: Assessing Legal Meaning Preservation Between Sentences
Université Laval（拉瓦尔大学）；Computer Science Department（计算机科学系）；Faculty of Law（法学院）
本文提出FrJUDGE数据集和JUDGEBERT评估指标，用于评估法语法律文本简化中的法律含义保留，实验表明其与人类判断相关性优于现有指标，并通过了相同句子得100%、无关句子得0%的健全性检查。
2025-08-23 cs.CL
Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations
University of Pennsylvania（宾夕法尼亚大学）；University of Washington（华盛顿大学）；Tencent AI Lab（腾讯AI实验室）
该研究提出子句编码器这一对比学习的上下文嵌入模型，可生成对应原子命题的细粒度语义嵌入，在支撑事实检索等任务中有效，且推理成本与空间复杂度和句子编码器相当。
2023-11-07 cs.AI cs.CL
Contextual trajectory and incremental contextual displacement: Towards using LLMs to understand dynamic, utterance-specific meaning construction
University of Vermont（佛蒙特大学）；Vermont Complex Systems Institute（佛蒙特复杂系统研究所）
本文提出逐标记增量轨迹方法，通过反复计算上下文词嵌入来追踪话语展开过程，在花园路径句上验证其能区分歧义句并揭示话语级信息分布，为利用LLM研究动态意义构建提供了新框架。
2026-10-02 cs.AI cs.CL
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
Supervised Syntax-based Alignment between English Sentences and Abstract Meaning Representation Graphs
Japan Science and Technology Agency（日本科学技术振兴机构）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
由于英语句子和AMR标注中的AMR图之间没有对齐链接，自动对齐对于训练AMR解析器是必不可少的。以前的研究将其形式化为一个字符串到字符串的问题，并解决它在一个无监督的方式，这遭受数据稀疏，由于小尺寸的训练数据英语AMR对齐。在本文中，我们将其形式化为基于语法的对齐问题，并基于语法树以有监督的方式解决它，通过将英语AMR标记推广到语法标记来解决数据稀疏问题。实验结果表明，该方法不仅对英语AMR对齐有效，而且对AMR句法分析也有效。
2017-02-18 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science（数据科学中心）；New York University（纽约大学）
在句子压缩中，缩短句子同时保留原始含义的任务，模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求，我们模拟了一个摘要任务，并添加噪声来扩展句子，训练一个去噪自动编码器来恢复原始句子，构建了一个端到端的训练机制，而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估，并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据，但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳，但我们的模型与基于人类评估的监督基线相比，在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
Modeling the language cortex with form-independent and enriched representations of sentence meaning reveals remarkable semantic abstractness
University of California San Diego（加州大学圣地亚哥分校）；ShanghaiTech University（上海科技大学）；Kempner Institute, Harvard University（哈佛大学凯普勒研究所）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
该研究通过视觉与语言模型表征建模语言皮层神经响应，证实语言皮层存在高度抽象、形式无关且比语言模型更丰富宽泛的语义表征。
2025-09-27 cs.CL cs.LG
Mathematical Foundations for a Compositional Distributional Model of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
我们提出了一个数学框架，用于统一向量空间模型中的意义分布理论，以及语法类型的合成理论，其中我们依赖于Lambek引入的预群代数。这个数学框架使我们能够从句子成分的含义中计算出一个好类型句子的含义。具体地说，预群的类型约简被“提升”为范畴中的态射，这是一个将成分的意义转化为（良好类型的）整体的意义的过程。重要的是，整个句子的意义存在于一个空间中，独立于句子的语法结构。因此，内积可以用来比较任意句子的意义，就像它是用来比较分布模型中单词的意义一样。我们采用的数学结构允许一个纯粹的图解演算，它揭示了信息如何在句子中的单词之间流动，以构成整个句子的意义。我们的“分类模型”的一个变化，其中涉及约束标量的向量空间的布尔半环的结果在蒙塔格风格的布尔值语义。
2010-03-23 cs.CL cs.LO math.CT
Recurrent Convolutional Neural Networks for Discourse Compositionality
Oxford University（牛津大学）
意义的组合性超出了单个句子。正如单词组合形成句子的意义一样，句子组合形成段落，对话和一般话语的意义。我们介绍了相应的两个层次的组合性的句子模型和话语模型。句子模型采用卷积作为语义向量构成的中心运算，并基于一种新型的分层卷积神经网络。话语模型扩展了句子模型，并基于一个递归神经网络，该网络以一种新颖的方式对当前句子和当前说话者进行调节。语篇模型能够捕捉句子的顺序性和不同说话者之间的互动。在没有特征工程或预训练的情况下，通过简单的贪心解码，与句子模型耦合的话语模型在对话行为分类实验上获得了最先进的性能。
2013-06-15 cs.CL
Finding Meaning in Embeddings: Concept Separation Curves
Utrecht University（乌得勒支大学）；Statistics Netherlands（荷兰统计局）
本文提出一种独立于分类器的评估方法，通过引入语法噪声和语义否定来评估句子嵌入捕捉句子级概念的有效性，利用概念分离曲线展示模型区分概念与表面变化的能力。
2026-04-23 cs.CL
Language understanding as a step towards human level intelligence - automatizing the construction of the initial dictionary from example sentences
Arizona State University（亚利桑那州立大学）
对于理解自然语言的系统，它需要能够接受自然语言文本并回答关于该文本的自然语言中给出的问题;它还需要能够遵循自然语言中给出的指令。为了实现这一点，系统必须能够处理自然语言，并能够捕获文本中的知识。因此，它需要能够将自然语言文本翻译成形式语言。我们讨论了我们的方法来做到这一点，翻译是通过组成一个句子中的单词的含义。我们最初的方法使用我们开发的逆lambda方法（和其他方法）来从句子的意义和初始词典中学习单词的意义。然后，我们提出了一种改进的方法，其中初始词汇也通过分析训练句子和意义对来学习。我们评估我们的方法，并将其与其他现有的方法进行比较，语料库的数据库查询和机器人的命令和控制。
2011-08-18 cs.CL
Multi-hop Inference for Sentence-level TextGraphs: How Challenging is Meaningfully Combining Information for Science Question Answering?
School of Information, University of Arizona（亚利桑那大学信息学院）
复杂问题的问答通常被建模为图构造或遍历任务，其中求解器必须构建或遍历回答和解释给定问题的事实的图。这种“多跳”推理已被证明是极具挑战性的，很少有模型能够在被“语义漂移”或长链事实迅速偏离主题的趋势所淹没之前聚合两个以上的事实。这是当前推理模型的一个主要障碍，因为即使是基本的科学问题也需要平均4到6个事实来回答和解释。在这项工作中，我们经验性地描述了构建或遍历由词汇重叠连接的句子图的难度，通过评估机会句子聚合质量，通过从三个自由文本语料库（包括学习指南和简单维基百科）构建的知识图谱中的9,784个手动注释的判断。我们证明语义漂移往往是高和聚合质量低，在0.04%和3%之间，并突出的情况下，最大限度地有意义地结合信息的可能性。
2018-05-29 cs.CL
Variational Quantum Classifiers for Natural-Language Text
IBM (Retired)（IBM（已退休））
作为量子自然语言处理（QNLP）的最新研究成果的一部分，变分量子句子分类器（VQSC）已经在lambeq / DisCoPy中实现并支持，基于句子意义的DisCoCat模型。我们详细讨论了VQSC，包括范畴理论，将句子建模为字符串图的DisCoCat，以及将字符串图编码为参数化量子电路的DisCoPy。然而，许多NLP任务需要处理由多个句子组成的文本，这在lambeq / DisCoPy中不支持。一个很好的例子是客户反馈或产品评论的情感分类。我们讨论了变分量子文本分类器（VQTC）的三种潜在方法，与VQSC一致。第一种是加权的句子袋方法，它将文本视为一组具有特定任务的句子权重的独立句子。第二种是共指消解共指消解方法，它把语篇看作是一个由共指消解后的句子组成的集合体。这两种方法都基于DisCoCat模型，并且应该可以在lambeq / DisCoCat中实现。另一方面，第三种方法是基于DisCoCirc模型，该模型考虑了句子的顺序和单词在从单词和句子意义组成文本意义时的相互作用。DisCoCirc对DisCoCat进行了根本性的修改，因为DisCoCirc中的句子更新了单词的含义，而DisCoCat中的所有含义都是静态的。目前尚不清楚DisCoCirc是否可以在不破坏DisCoCat的情况下在lambeq / DisCoCat中实现。
2023-03-04 cs.CL cs.LG
Applying Distributional Compositional Categorical Models of Meaning to Language Translation
University of Oxford（牛津大学）
本文的目的是双重的：首先，我们将使用向量空间分布的成分分类模型的意义比较的意义在爱尔兰语和英语（从而确定当一个句子是另一个句子的翻译）使用余弦相似性得分。然后，我们将概述一个程序，翻译名词通过理解他们的上下文，使用认知的概念空间模型。我们将在类别ConvexRel上使用度量来确定概念之间的距离（并确定名词何时是另一个名词的翻译）。本文将重点介绍爱尔兰语的应用，爱尔兰语是盖尔语家族的一员。
2018-11-08 cs.CL
Testing the limits of unsupervised learning for semantic similarity
Paralleldots, Inc.（Paralleldots 公司）
两个句子之间的语义相似度可以被定义为确定两个句子之间的相关或不相关程度的一种方法。语义相似度在分布式表示方面的任务可以被认为是生成句子嵌入（密集向量），其中考虑了句子的上下文和含义。这种嵌入可以通过多种方法产生，在本文中，我们尝试评估LSTM自动编码器来生成这些嵌入。无监督算法（具体来说是自动编码器）只是试图重新创建它们的输入，但它们可以通过创建适当的瓶颈来被迫学习顺序（以及某种程度上的内在含义）。我们试图评估仅仅在简单的英语句子上训练的算法如何正确地学习计算语义相似性，而不给它们任何句子的含义。
2017-10-23 cs.CL
Measuring Fine-Grained Semantic Equivalence with Abstract Meaning Representation
Georgetown University（乔治城大学）
识别语义等价的句子对于许多跨语言和单语言NLP任务都很重要。目前的语义等价方法对“等价”采取了一种松散的、中间层次的方法，尽管以前的证据表明细粒度的差异和隐含的内容对人类的理解（Roth和Anthonio，2021）和系统性能（Briakou和Carpuat，2021）有影响。在这项工作中，我们引入了一种新的，更敏感的方法，利用抽象意义表示图结构的特征语义等价。我们开发了一种方法，它可以用于黄金或自动AMR注释，并证明我们的解决方案实际上是细粒度比现有的语料库过滤方法和更准确地预测严格等价的句子比现有的语义相似性度量。我们建议，我们的更细粒度的语义等价性的措施可以限制在人类编辑后的机器翻译的任务，并在人类评价句子相似性的工作量。
2022-10-06 cs.CL
SLAM-Inspired Simultaneous Contextualization and Interpreting for Incremental Conversation Sentences
Keio University（庆应义塾大学）
词的分布式表示提高了许多自然语言任务的性能。然而，在许多方法中，一个词的一个标签只考虑一个含义，并且取决于上下文的多义词的多个含义很少被处理。虽然研究工作涉及多义词，但都是根据一批大的文献来确定多义词的意义。因此，将这些方法应用于连续的句子有两个问题，例如在包含歧义表达的对话中。第一个问题是这些方法不能顺序地处理语境和词义之间的相互依赖关系，即语境决定词义，词义决定语境。因此，语境估计必须并行进行，以寻求多种解释。第二个问题是，以前的方法使用大规模的句子集来离线学习新的解释，学习和推理的步骤被明确分离。这种使用离线学习的方法在对话期间无法获得新的解释。因此，为了动态估计会话语境和连续句子中多义词的解释，本文在传统的同时定位与地图构建（SLAM）算法的基础上，提出了一种同时语境化与解释（SCAIN）方法。通过使用SCAIN算法，我们可以顺序优化上下文和单词解释之间的相互依赖关系，同时在线获得新的解释。为了进行实验评估，我们创建了两个数据集：一个来自维基百科的消歧页面，另一个来自真实对话。对于这两个数据集，结果证实SCAIN可以有效地实现顺序优化的相互依赖性和收购新的解释。
2020-05-29 cs.AI cs.CL
A Sentence Meaning Based Alignment Method for Parallel Text Corpora Preparation
Polish Japanese Institute of Information Technology（波兰日本信息技术学院）
文本对齐对于机器翻译（MT）系统、一些NLP工具或任何其他需要双语数据的文本处理任务的准确性至关重要。本研究提出了一种基于波兰语（非位置敏感语言）到英语实验的语言无关的句子对齐方法。这种对齐方法是在TED演讲语料库上开发的，但可以用于任何文本域或语言对。所提出的方法实现了句子识别的各种算法。其中一些重视同义词和语义文本结构分析作为附加信息的一部分。确保最大限度地减少数据丢失。将该解决方案与其他句子对齐实现进行比较。还示出了用所描述的工具处理文本的MT系统得分的改进。
2015-09-30 cs.CL cs.IR
HIT at SemEval-2022 Task 2: Pre-trained Language Model for Idioms Detection
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）
同样的多词表达在不同的句子中可能有不同的含义。它们主要分为字面意义和习语意义两大类。非基于上下文的方法在这个问题上表现不佳，我们需要上下文嵌入来正确理解多词表达的习惯意义。我们使用一个预先训练好的语言模型，它可以提供一个上下文感知的句子嵌入，以检测句子中的多词表达是否是惯用用法。
2022-04-13 cs.CL
Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs
Princeton University（普林斯顿大学）
本研究通过分析Pythia-1.4B中双宾语和介词宾语构式的几何表征，发现LLMs能学习意义注入的梯度构式表征，支持基于使用的构式语法理论。
2025-09-08 cs.AI cs.CL
Improving Paraphrase Detection with the Adversarial Paraphrasing Task
University of South Florida（南佛罗里达大学）
如果两个句子有相同的意思，那么它们在推理性质上应该是等价的，即，每一句话都应该在文本上派生出另一句话。然而，目前广泛使用的许多释义数据集依赖于基于单词重叠和语法的释义感。我们能不能教他们识别释义的方法是利用句子的推理特性，而不是过度依赖句子对的词汇和句法相似性？我们将对抗范式应用于这个问题，并引入了一种新的用于释义识别的数据集创建的对抗方法：对抗释义任务（APT），该任务要求参与者生成语义等效（在相互暗示的意义上）但词汇和句法不同的释义。然后，这些句子对可以用于测试释义识别模型（几乎没有随机准确性），然后提高其性能。为了加速数据集的生成，我们使用T5探索了APT的自动化，并表明生成的数据集也提高了准确性。我们讨论了释义检测的影响，并发布了我们的数据集，希望释义检测模型能够更好地检测句子级别的意义等价。
2021-06-14 cs.AI cs.CL
Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT
École Normale Supérieure-PSL（巴黎高等师范学院（PSL大学））；CNRS（法国国家科学研究中心）；U. Sorbonne Nouvelle（新索邦大学）；University of Pisa（比萨大学）
人类和神经语言模型都能够执行主谓数一致（SVA）。原则上，语义学不应该干扰这个任务，它只需要语法知识。在这项工作中，我们测试是否意义干扰这种类型的协议在英语中的句法结构的各种复杂性。为了做到这一点，我们生成了语义良好的和无意义的项目。我们比较BERT基地的性能，人类，获得心理语言学在线众包实验。我们发现，BERT和人类都对我们的语义操作很敏感：当出现无意义的项目时，他们更容易失败，特别是当他们的句法结构具有吸引子（主语和动词之间的名词短语，与主语不相同）时。我们还发现，意义对BERT的SVA错误的影响比人类更强，前者在这个任务上表现出更高的词汇敏感性。
2022-09-21 cs.CL
SETUP: Sentence-level English-To-Uniform Meaning Representation Parser
Amherst College（阿默斯特学院）
本文提出两种英语到统一意义表示（UMR）的解析方法，其中一种微调了现有的抽象意义表示解析器，另一种利用了通用依赖关系转换器。所提出的最佳模型SETUP在AnCast和SMATCH++评分上分别达到84和91，显示出在自动UMR解析中的显著提升。
2026-05-19 cs.CL
Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders
University of Sussex（萨塞克斯大学）
以前的工作已经证明了利用预先训练的句子编码器的有效性，基于他们的句子表示的意义比较任务。虽然这种表示被证明捕捉隐藏的句法结构，它们之间的直接相似性比较表现出弱的敏感性，在给定的句子中的词序和结构差异。单一的相似性分数进一步使得比较过程难以解释。因此，我们在这里建议将句子编码器与对齐组件相结合，将每个句子表示为谓词-参数跨度的列表（其中它们的跨度表示来自句子编码器），并将句子级别的意义比较分解为它们的跨度之间的对齐，以进行释义识别任务。实验结果表明，对齐组件带来了改进的性能和可解释性的各种句子编码器。经过仔细的调查，该方法表明，增加了敏感性的结构差异和增强的能力，以区分非释义高词汇重叠。
2022-10-11 cs.CL
Sentence Encoding with Tree-constrained Relation Networks
DeepMind（深度思维）；Google（谷歌）
一个句子的意义是它的词与词之间的关系的函数。我们在一系列基于关系网络（RN）变体的神经模型中实例化这种语义的关系视图，这些关系网络表示一组对象（对我们来说，形成句子的单词）。我们提出了两个扩展的基本RN模型的自然语言。首先，建立在直觉上，不是所有的词对都是同样的信息的意义，一个句子，我们使用基于监督和无监督依赖语法的约束来控制哪些关系影响的表示。其次，由于高阶关系很难被成对关系的总和捕获，我们使用RN的递归扩展来传播信息，从而形成高阶关系的表示。句子分类，句子对分类，和机器翻译的实验表明，虽然基本的RNs只是适度有效的句子表示，经常性RNs与潜在的语法是一个可靠的强大的代表性设备。
2018-11-26 cs.AI cs.CL cs.LG
Are BLEU and Meaning Representation in Opposition?
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
获得连续空间句子表示的可能方法之一是通过训练神经机器翻译（NMT）系统。然而，最近的注意力机制去除了神经网络中可以从中提取源句子表示的单个点。我们提出了几个变化的细心NMT架构，使这个会议点回来。经验评估表明，翻译质量越好，学习的句子表征服务于广泛的分类和相似性任务越差。
2018-05-16 cs.CL
Measure More, Question More: Experimental Studies on Transformer-based Language Models and Complement Coercion
New York University（纽约大学）；Allen Institute for AI（艾伦人工智能研究所）
基于transformer的语言模型在一系列自然语言理解任务上表现出了强大的性能。然而，这些模型如何对隐含意义做出反应的问题在很大程度上尚未被探索。我们使用补语强迫现象来研究这一点，其中包括像“学生完成了关于航行的书”这样的句子，其中“阅读”是隐含的。我们比较了LMs在有无隐含意义的句子中各个关键句子区域的语义估计。与恢复隐含意义的影响被发现在一个关键区域以外的句子最小的不同。然后，我们使用后续实验来排除潜在的混淆，揭示不同的观点，提供更丰富，更准确的图片。
2022-12-20 cs.CL
Survey of Abstract Meaning Representation: Then, Now, Future
University of Southern Maine（南缅因大学）
本文综述了抽象语义表示（AMR）的框架、解析与生成任务及其应用，并展望了未来研究方向。
2025-05-06 cs.CL
Sentence transition matrix: An efficient approach that preserves sentence semantics
Korea University（高丽大学）
句子嵌入是自然语言处理领域的一个重要研究课题。生成反映句子内在含义的句子嵌入向量是提高句子分类和文档摘要等各种NLP任务性能的关键因素。因此，在关于词的分布式表示的研究出现之后，已经提出了基于监督学习和无监督学习的各种句子嵌入模型。通过语义文本相似性（STS）任务对它们进行评估，STS任务衡量句子的语义保留程度，基于神经网络的监督嵌入模型通常具有最先进的性能。然而，这些模型的局限性在于它们有多个参数要更新，从而需要大量的标记训练数据。在这项研究中，我们提出了一种有效的方法，学习一个转换矩阵，细化句子嵌入向量，以反映潜在的语义意义的句子。所提出的方法有两个实际的优点：（1）它可以应用于任何句子嵌入方法，（2）它可以实现强大的性能STS任务的训练样本的数量无关。
2019-01-16 cs.CL
An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies
National Institute of Technology Calicut（卡利卡特国家理工学院）
基于树的长短期记忆（LSTM）网络已经成为建模语言文本含义的最先进技术，因为它们可以有效地利用语法句法，从而利用句子中单词之间的非线性依赖关系。然而，这些模型中的大多数都无法识别由单词或短语的语义角色变化引起的含义差异，因为它们不承认句子结构中的语法关系类型，也称为类型依赖。本文提出了一种增强的LSTM架构，称为关系门控LSTM，它可以使用控制输入来建模序列的两个输入之间的关系。我们还引入了一个称为类型依赖树-LSTM的Tree-LSTM模型，它使用句子依赖解析结构以及依赖类型将句子含义嵌入到密集向量中。该模型在两个典型的NLP任务-语义相关性评分和情感分析中，在较少的训练时间内优于其类型未知的对应物。结果与其他最先进的模型相当或具有竞争力。定性分析表明，句子的声音变化对模型的预测分数影响不大，而名词（名词）词的变化有更显着的影响。该模型识别句子对中的微妙语义关系。学习到的类型依赖嵌入的大小也与人类的直觉一致。研究结果表明语法关系在句子建模中的重要性。所提出的模型将作为未来研究在这个方向上的基础。
2020-09-25 cs.AI cs.CL cs.LG
Question-Aware Sentence Gating Networks for Question and Answering
Korea University（高丽大学）；NCSOFT
机器理解问答是对给定段落的问题找到答案，它涉及理解和跟踪文档中各种语义单元（如单词、短语和句子）的相关内容的高级推理过程。本文提出了一种新的问题感知句子门控网络，它直接将句子级信息纳入单词级编码过程。为此，我们的模型首先学习问题感知的句子表示，然后动态地将它们与单词级表示相结合，从而为QA任务提供语义上有意义的单词表示。实验结果表明，我们的方法一致地提高了现有的基线方法在各种QA数据集的准确性，并承担其他神经网络的QA模型的广泛适用性。
2018-07-20 cs.AI cs.CL
Analysing Zero-Shot Readability-Controlled Sentence Simplification
School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）；Faculty of Computing and Information Technology, King Abdulaziz University（阿卜杜勒阿齐兹大学计算与信息技术学院）
本研究分析零样本可读性受控句子简化，发现指令微调大模型难以简化至低可读性，且需定制评估指标。
2024-12-16 cs.CL
A gentle introduction to Quantum Natural Language Processing
UPM（马德里理工大学）
本硕士论文的主要目标是以NLP工程师和量子计算从业者都能理解的方式介绍量子自然语言处理（QNLP）。QNLP是量子计算的最新应用，旨在将句子的含义表示为编码到量子计算机中的向量。为了实现这一点，单词的分布意义通过句子的组成意义（DisCoCat模型）来扩展：表示单词意义的向量通过句子的句法结构来组成。这是使用基于张量积的算法完成的。我们看到，这种算法在经典计算机上效率低下，但在量子电路上扩展得很好。在揭示了它的实现的实际细节之后，我们将介绍三个用例。
2022-02-23 cs.CL
SocCogCom at SemEval-2020 Task 11: Characterizing and Detecting Propaganda using Sentence-Level Emotional Salience Features
Institute of High Performance Computing (IHPC)（高性能计算研究所）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
本文介绍了一个系统开发的检测宣传技巧，从新闻文章。我们专注于研究如何从新闻片段中提取的情感显着性特征可以帮助描述和预测宣传技术的存在。相关性分析显示出有趣的模式，例如，“加载语言”和“口号”技术与效价和快乐强度呈负相关，但与愤怒，恐惧和悲伤强度呈正相关。相比之下，“挥舞旗帜”和“诉诸恐惧偏见”的模式正好相反。通过预测实验，结果进一步表明，而BERT的功能获得F1分数为0.548，情绪强度功能和BERT混合功能能够获得F1分数为0.570，当一个简单的前馈网络被用作在两种设置中的分类器。在黄金测试数据上，我们的系统在14种宣传技术的总体检测效率上获得了0.558的微平均F1分数。它在检测“装语言”（F1 = 0.772）、“名称呼叫和标记”（F1 = 0.673）、“怀疑”（F1 = 0.604）和“挥舞旗帜”（F1 = 0.543）方面表现相对较好。
2020-08-29 cs.CL cs.CY
Neural Machine Translation with Latent Semantic of Image and Text
The University of Tokyo（东京大学）
虽然基于注意力的神经机器翻译取得了巨大的成功，但注意力机制并不能捕捉到源句的全部意义，因为注意力机制生成的目标词严重依赖于源句的相关部分。早期的研究报告引入了一个潜在变量来捕捉句子的全部含义，并对基于注意力的神经机器翻译进行了改进。我们遵循这种方法，我们认为，捕获的句子的意义受益于图像信息，因为人类理解的语言的意义不仅从文本信息，而且从感性信息，如从视觉获得的。如本文所述，我们提出了一种神经机器翻译模型，该模型引入了包含从文本和图像中提取的底层语义的连续潜在变量。我们的模型可以端到端训练，只在训练时需要图像信息。英语-德语翻译任务进行的实验表明，我们的模型优于基线。
2016-11-25 cs.CL
Paraphrase Thought: Sentence Embedding Module Imitating Human Language Recognition
Korea University（高丽大学）
句子嵌入是自然语言处理中的一个重要研究课题。为了提高各种自然语言处理任务（如机器翻译和文档分类）的性能，必须生成一个能够充分反映句子语义的嵌入向量。到目前为止，已经提出了各种句子嵌入模型，并且它们的可行性已经通过在嵌入之后的任务（诸如情感分析和句子分类）上的良好性能而被证明。然而，因为句子分类和情感分析的性能可以通过使用简单的句子表示方法来增强，所以基于这些任务的良好性能，声称这些模型完全反映了句子的含义是不够的。本文受人类语言识别的启发，提出了语义连贯性的概念，一个好的句子嵌入方法应该满足这一概念：相似的句子应该在嵌入空间中相互靠近。然后，我们提出了释义-思维（P-thought）模型，以尽可能地追求语义连贯。在MS COCO和STS benchmark两个数据集上的实验结果表明，P-thought模型的性能优于基准句子嵌入方法。
2018-10-15 cs.CL
Recognizing semantic relation in sentence pairs using Tree-RNNs and Typed dependencies
National Institute of Technology Calicut（卡利卡特国立技术学院）
基于依存树的递归神经网络（Tree-RNNs）在句子语义建模中无处不在，因为它们有效地捕获非相邻词之间的语义关系。然而，识别具有相同单词和语法的语义不同的句子仍然是Tree-RNN的一个挑战。这项工作提出了一个改进的依赖树-RNN（DT-RNN）使用的依赖关系解析中确定的语法关系类型。我们的实验语义相关评分（SRS）和识别文本蕴涵（RTE）在句子对使用SICK（句子涉及成分知识）数据集显示令人鼓舞的结果。与DT-RNN模型相比，该模型在RTE任务的分类准确度上提高了2%。结果表明，Pearson和Spearman的模型预测的相似性得分和人类评级之间的相关性测量高于标准DT-RNN。
2022-01-13 cs.AI cs.CL
Discriminative Training: Learning to Describe Video with Sentences, from Video Described with Sentences
Purdue University（普渡大学）
我们提出了一种从复杂和现实的视频片段中学习词义的方法，通过区分性地训练（DT）积极的语义标签对消极的，然后使用训练好的词模型来生成新视频的语义描述。这项新工作的灵感来自于最近的工作，该工作采用最大似然（ML）框架来解决仅使用正序标签的相同问题。与基于ML的方法一样，新方法能够自动确定句子中的哪些单词对应于视频中的哪些概念（即，以弱监督的方式将单词接地到含义）。虽然DT和ML在有足够的训练数据的情况下都能产生相当的结果，但DT在较小的训练集上明显优于ML，因为它可以利用负训练标签来更好地约束学习问题。
2013-06-21 cs.CL cs.CV
Revision for Concision: A Constrained Paraphrase Generation Task
Singapore University of Technology and Design（新加坡科技设计大学）
学术写作应该简洁，因为简洁的句子更能吸引读者的注意力，更能清晰地传达意思。写作简明扼要是一项挑战，因为作者经常努力修改他们的草稿。我们引入并制定了简洁的修订作为一个自然语言处理任务在句子级别。为了简洁而修改需要算法只使用必要的单词来重写句子，同时保留其含义。修改后的句子应该根据它的选词、句子结构和组织来评价。修改后的句子还需要满足语义保留和句法合理性。为了帮助这些努力，我们策划并提供了一个基准并行数据集，可以描述简洁的修订。该数据集包含536对修改前后的句子，所有对都是从大学写作中心收集的。我们还提出并评估了解决这个问题的方法，这可能有助于这一领域的研究人员。
2022-10-25 cs.CL
Parameter-free Sentence Embedding via Orthogonal Basis
Stanford University（斯坦福大学）；Microsoft（微软）
我们提出了一个简单而强大的非参数化的方法来建立句子表示。受几何理论中Gram-Schmidt过程的启发，我们构造了一个词与其周围语境在句子中所构成的子空间的正交基。我们基于两个方面对句子中的词的语义进行建模。一个是它与已经被它的上下文词所覆盖的词向量子空间的相关性。另一个是这个词的新的语义，这将被引入作为一个新的基向量垂直于这个现有的子空间。基于这个动机，我们开发了一种基于正交基的创新方法，将预训练的词嵌入组合成句子表示。这种方法需要零参数，以及高效的推理性能。我们在11个下游NLP任务上评估了我们的方法。与非参数化的替代方案相比，我们的模型显示出优越的性能，并且与依赖于大量标记数据或延长训练时间的其他方法相比具有竞争力。
2019-12-06 cs.CL
Assessing Composition in Sentence Vector Representations
University of Maryland（马里兰大学）；Institute for Advanced Computer Studies（高级计算机研究所）
实现语言理解的一个重要组成部分是掌握句子含义的组成，但解决这个问题的直接挑战是当前神经句子组成模型产生的句子向量表示的不透明性。我们提出了一种方法来解决这一挑战，开发任务，直接针对组成意义信息的句子向量表示具有高度的精度和控制。为了使这些受控任务的创建，我们引入了一个专门的句子生成系统，产生大的，注释的句子集满足指定的句法，语义和词汇的限制。我们描述的方法和生成系统的细节，然后提出的实验结果，应用我们的方法来探测从一些现有的句子组成模型的嵌入成分信息。我们发现，该方法是能够提取有用的信息，这些模型的不同能力，我们讨论了我们的结果的影响，这些系统的捕获句子信息。我们提供用于这些实验的数据集以及生成系统供公众使用。
2018-09-11 cs.CL
Split and Rephrase
University of Edinburgh（爱丁堡大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）
我们提出了一个新的句子简化任务（拆分和重组），其目的是将一个复杂的句子分割成一个意义保留的短句序列。像句子简化一样，拆分和重新措辞具有有益于自然语言处理和社会应用的潜力。由于NLP系统通常更好地处理较短的句子，因此可以将其用作预处理步骤，以促进和提高解析器，语义角色标记器和机器翻译系统的性能。它也应该对有阅读障碍的人有用，因为它允许将较长的句子转换为较短的句子。本文对这一新任务作出了两个贡献。首先，我们创建并提供一个由1，066，115个元组组成的基准，将单个复杂句子映射到表达相同含义的句子序列。其次，我们提出了五个模型（香草序列到序列的语义动机模型）来理解所提出的任务的难度。
2017-07-21 cs.CL
Word Alignment-Based Evaluation of Uniform Meaning Representations
Charles University Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics (ÚFAL)（查理大学数学物理学院形式与应用语言学研究所（ÚFAL））
本文提出基于词对齐的统一意义表示比较方法，通过分析词对齐关系提高语义表示比较的直观性和可解释性，避免了smatch的NP难搜索问题。
2026-03-27 cs.CL
DisCoCat for Donkey Sentences
University College London（伦敦大学学院）
本文在 DisCoCat 框架下提出一种类型逻辑语法来解析吉奇驴句，并同时给出关系语义与向量空间语义，扩展了分布组合模型对自然语言难题的覆盖能力。
2023-08-08 cs.AI cs.CL cs.LO
The Mathematics of Text Structure
Oxford University（牛津大学）；Cambridge Quantum Computing Ltd.（剑桥量子计算有限公司）
在以前的工作中，我们给出了一个数学基础，称为DiscoCat，用于描述单词如何在句子中相互作用，以产生句子的含义。为此，我们利用了语法和意义空间类别的完美结构匹配。在这里，我们给出了一个数学基础，被称为DisCoCirc，句子如何在文本中相互作用，以产生该文本的意义。首先，让我们重温一下DiscoCat。在DisCoCat中，所有的意义都被固定为状态（即没有输入），而在DisCoCirc中，单词的意义对应于一个类型或系统，并且这个系统的状态可以演变。句子是电路中的门，它更新这些单词的可变含义。就像在DisCoCat中一样，词义可以存在于各种空间中，例如命题空间、向量空间或认知空间。组成结构是代表信息流的字符串图，整个文本产生一个单一的字符串图，其中单词的含义提升到整个文本的含义。虽然本文中的发展独立于物理实施例（参见图1）。经典与量子计算），组合形式主义和建议的意义模型都是高度量子启发的，并且在量子计算机上实现将带来一系列好处。我们还赞扬吉姆·兰贝克在数学语言学中的作用，以及更具体地发展迪斯科计划。
2020-02-28 cs.CL math.CT quant-ph
Sequential Integrated Gradients: a simple but effective method for explaining language models
Babylon Health（巴比伦健康）；Skippr
针对积分梯度在语言模型解释中因同时插值所有词而导致语义失真问题，提出顺序积分梯度SIG，逐词插值并用mask替换pad基线，在多种模型和数据集上验证了其有效性。
2023-05-25 cs.AI cs.CL cs.LG
A Compositional Typed Semantics for Universal Dependencies
针对跨语言句子语义推导难题，本文提出构建于 Universal Dependencies 之上的组合式类型系统 UD Type Calculus，并在大型语料库上验证其可取得与基线相当的效果。
2024-03-02 cs.CL
Meaning updating of density matrices
Oxford University（牛津大学）；Cambridge Quantum Computing Ltd.（剑桥量子计算有限公司）
自然语言意义的DisCoCat模型为给定的句子赋予意义：（i）其单词的含义，以及（ii）其语法结构。最近引入的DisCoCirc模型将其扩展到由多个句子组成的文本。在DisCoCat中，所有的意义都是固定的，而在DisCoCirc中，每个句子都更新了单词的意义。在本文中，我们探讨了不同的更新机制的DisCoCirc，在这种情况下，意义是编码在密度矩阵--这带来了几个优势相比，向量。我们的出发点是两个非交换更新机制，其中一个来自量子基础研究，来自Leifer和Spekkens。不幸的是，这些都不满足任何理想的代数性质，也不是内部的意义范畴。通过传递到双密度矩阵，我们确实得到了一个优雅的内部图形更新机制。我们还表明，（交换）蜘蛛可以铸造作为一个实例的Leifer-Spekkens更新机制。这个结果是量子基础的兴趣，因为它桥梁的工作在类别量子力学（CQM）与条件量子态。我们的工作还支持在量子硬件上实现文本级自然语言处理（也称为QNLP），其中指数空间增益和二次加速先前已被确定。
2020-01-03 cs.CL quant-ph
Neural reality of argument structure constructions
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Unity Health Toronto（多伦多团结健康医院）
在词汇主义语言学理论中，论元结构被认为是可以从动词的意义预测的。因此，动词是决定从句意义的主要因素。相反，构式语法学家认为论元结构编码在构式（或形式-意义对）中，与动词不同。几十年的心理语言学研究已经产生了大量的实证证据支持构式观点。在这里，我们采用一些心理语言学的研究，探讨存在的论点结构建设（ASC）的转换为基础的语言模型（LM）。首先，通过一个句子排序实验，我们发现，共享同一个结构的句子比共享同一个动词的句子在嵌入空间上更接近。此外，母语学习者越来越倾向于使用更多输入数据的结构进行分组，这反映了非母语学习者的行为。第二，在一个基于“Jabberwocky”启动的实验中，我们发现LM将ASC与意义联系起来，即使是在语义上无意义的句子中。我们的工作提供了第一个证据，ASCs在LM和突出的潜力，设计新颖的探测方法，在心理语言学研究的基础上。
2022-02-24 cs.CL
The Parallel Meaning Bank: Towards a Multilingual Corpus of Translations Annotated with Compositional Meaning Representations
University of Groningen（格罗宁根大学）；École Normale Supérieure de Cachan（卡尚高等师范学院）；University of Trento（特伦托大学）
平行意义库是一个翻译语料库，注释了共享的正式意义表示，包括超过1100万个单词，分为四种语言（英语，德语，意大利语和荷兰语）。我们的方法是基于跨语言的投影：自动生成（和手动校正）的语义注释的英语句子映射到他们的词对齐的翻译，假设翻译是保持意义。语义标注包括五个主要步骤：（i）句子和词项的文本分割;（ii）组合范畴语法的句法分析;（iii）通用语义标注;（iv）符号化;（v）基于话语表征理论的成分语义分析。这些步骤使用以半监督方式训练的统计模型来执行。所采用的注释模型都是语言中立的。我们的初步结果很有希望。
2017-02-13 cs.CL
Bootstrapping meaning through listening: Unsupervised learning of spoken sentence embeddings
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of British Columbia（不列颠哥伦比亚大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Newcastle University（纽卡斯尔大学）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
直接从语音信号中导出语义表示是一项极具挑战性的任务，但在语音挖掘和口语语言理解中有许多有用的应用。本研究探讨口语语义表征的无监督学习。通过将语音信号转换为声学单元发现产生的隐藏单元，我们提出了WavEmbed，一个多模态顺序自动编码器，预测隐藏单元从密集的语音表示。其次，我们还提出了S-HuBERT通过知识蒸馏来归纳意义，其中句子嵌入模型首先在隐藏单元上进行训练，并通过对比学习将其知识传递给语音编码器。表现最好的模型与人类判断的相关性适中（0.5~0.6），不依赖于任何标签或透明度。此外，这些模型还可以很容易地扩展，以利用语音的文本翻译来学习与人类注释密切相关的更好的语音嵌入。我们提出的方法是适用于纯粹的数据驱动的语音挖掘，索引和搜索系统的发展。
2022-10-23 cs.CL cs.SD eess.AS
