Reasoning about Meaning in Natural Language with Compact Closed Categories and Frobenius Algebras
University of Oxford（牛津大学）
紧闭范畴在Abramsky-Coecke的量子信息协议建模中得到了应用。他们还提供语义Lambek的前群代数，适用于形式化的语法结构的自然语言，并隐含在一个分布式模型的词义的基础上向量空间。具体来说，在以前的工作Coecke-Clark-Sadrzadeh使用的产品范畴的前组向量空间，并提供了一个分布模型的意义的句子。我们重铸这一理论的强monoidal函子和推进它通过向量空间上的Frobenius代数。前者被Atiyah和Baez-Dolan用于形式化拓扑量子场论，后者被Coecke-Pavlovic-Vicary用于模拟量子协议中的经典数据。弗罗贝纽斯代数使我们能够在一个单一的空间中工作，在这个空间中，任何结构的单词、短语和句子的意义都存在。从而可以比较不同语言结构的意义，增强该理论的适用性。我们报告了一些语言任务的实验结果，并验证了理论预测。
2014-01-23 cs.AI cs.CL math.CT
A gentle introduction to Quantum Natural Language Processing
UPM（马德里理工大学）
本硕士论文的主要目标是以NLP工程师和量子计算从业者都能理解的方式介绍量子自然语言处理（QNLP）。QNLP是量子计算的最新应用，旨在将句子的含义表示为编码到量子计算机中的向量。为了实现这一点，单词的分布意义通过句子的组成意义（DisCoCat模型）来扩展：表示单词意义的向量通过句子的句法结构来组成。这是使用基于张量积的算法完成的。我们看到，这种算法在经典计算机上效率低下，但在量子电路上扩展得很好。在揭示了它的实现的实际细节之后，我们将介绍三个用例。
2022-02-23 cs.CL
Meaning updating of density matrices
Oxford University（牛津大学）；Cambridge Quantum Computing Ltd.（剑桥量子计算有限公司）
自然语言意义的DisCoCat模型为给定的句子赋予意义：（i）其单词的含义，以及（ii）其语法结构。最近引入的DisCoCirc模型将其扩展到由多个句子组成的文本。在DisCoCat中，所有的意义都是固定的，而在DisCoCirc中，每个句子都更新了单词的意义。在本文中，我们探讨了不同的更新机制的DisCoCirc，在这种情况下，意义是编码在密度矩阵--这带来了几个优势相比，向量。我们的出发点是两个非交换更新机制，其中一个来自量子基础研究，来自Leifer和Spekkens。不幸的是，这些都不满足任何理想的代数性质，也不是内部的意义范畴。通过传递到双密度矩阵，我们确实得到了一个优雅的内部图形更新机制。我们还表明，（交换）蜘蛛可以铸造作为一个实例的Leifer-Spekkens更新机制。这个结果是量子基础的兴趣，因为它桥梁的工作在类别量子力学（CQM）与条件量子态。我们的工作还支持在量子硬件上实现文本级自然语言处理（也称为QNLP），其中指数空间增益和二次加速先前已被确定。
2020-01-03 cs.CL quant-ph
Foundations for Near-Term Quantum Natural Language Processing
Cambridge Quantum Computing Ltd.（剑桥量子计算有限公司）；Oxford University（牛津大学）
我们为近期的量子自然语言处理（QNLP）提供了概念和数学基础，并以量子计算机科学家友好的方式这样做。我们选择了一个简要的介绍风格，并提供参考支持的经验证据和正式声明有关数学的一般性。我们还记得，我们采用的自然语言的量子模型如何将语言意义与丰富的语言结构（尤其是语法）结合起来。特别是，它需要一个类似量子的模型来结合意义和结构，这一事实将QNLP建立为量子原生的，与量子系统的模拟相提并论。此外，现在领先的噪声中尺度量子（NISQ）范式在量子硬件上编码经典数据，变分量子线路，使NISQ特别QNLP友好：语言结构可以编码为免费午餐，与明显指数昂贵的经典语法编码相反。QNLP任务的量子加速已经在Will Zeng之前的工作中建立。在这里，我们提供了一个更广泛的任务，都享有同样的优势。图解推理是QNLP的核心。首先，量子模型通过范畴量子力学的图解形式将语言解释为量子过程。其次，通过ZX-演算将这些图转化为量子线路。然后，意义的参数化就变成了要学习的回路变量。我们在量子线路中对语言结构的编码也体现了一种建立词义的新方法，这种方法超越了主流人工智能的当前标准，将语言结构置于维特根斯坦意义即语境的核心。
2020-12-07 cs.CL quant-ph
Open System Categorical Quantum Semantics in Natural Language Processing
University of Oxford（牛津大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
最初受到范畴量子力学（Abramsky和Coecke，LiCS'04）的启发，Coecke，Sadrzadeh和Clark的自然语言含义的范畴成分分布模型提供了一个概念上有动机的程序来计算句子的含义，给定其在Lambek前群中的语法结构及其部分含义的矢量表示。在大规模数据的主流经验语言处理任务中，第一个模型的预测结果优于其他模型。此外，就像CQM允许我们改变解释量子公理的模型一样，我们也可以改变解释词义的模型。在本文中，我们表明，进一步发展的范畴量子力学有关的自然语言处理了。首先，塞林格的CPM构式允许明确考虑词汇歧义，并区分同音异义和多义两个本质上不同的概念。就我们解释词义的模型而言，这意味着从向量空间模型到密度矩阵的过渡。尽管模型发生了这种变化，但可以很容易地采用标准的经验方法来比较意义，我们通过对真实世界数据的小规模实验来证明这一点。此外，这个实验提供了初步的证据，我们提出的新模型的有效性的词义。其次，在CPM构式的图像中出现的交换经典结构以及它们的非交换对应物允许对关系代词、动词和形容词进行编码，最后，CPM构式的迭代（在量子领域中没有对应物）使人们能够容纳蕴涵和歧义。
2015-02-04 cs.CL cs.LO math.CT
Temporal Meaning Representations in a Natural Language Front-End
以前的工作在时间数据库的自然语言查询的上下文中已经建立了一种方法，自动映射从一个大的英语时间相关的问题的子集，以适当的表达的时间逻辑类语言，称为TOP。还定义了从TOP到TSQL 2时态数据库语言的转换算法。本文展示了如何将TOP表达式翻译成一种更简单的类似逻辑的语言，称为BOT。BOT非常接近传统的一阶谓词逻辑（FOPL），因此可以利用现有的方法来操作FOPL表达式，以连接到TSQL2数据库以外的时间敏感应用程序，保持现有的英语到TOP映射。
1999-06-22 cs.CL
Language understanding as a step towards human level intelligence - automatizing the construction of the initial dictionary from example sentences
Arizona State University（亚利桑那州立大学）
对于理解自然语言的系统，它需要能够接受自然语言文本并回答关于该文本的自然语言中给出的问题;它还需要能够遵循自然语言中给出的指令。为了实现这一点，系统必须能够处理自然语言，并能够捕获文本中的知识。因此，它需要能够将自然语言文本翻译成形式语言。我们讨论了我们的方法来做到这一点，翻译是通过组成一个句子中的单词的含义。我们最初的方法使用我们开发的逆lambda方法（和其他方法）来从句子的意义和初始词典中学习单词的意义。然后，我们提出了一种改进的方法，其中初始词汇也通过分析训练句子和意义对来学习。我们评估我们的方法，并将其与其他现有的方法进行比较，语料库的数据库查询和机器人的命令和控制。
2011-08-18 cs.CL
Transparency Helps Reveal When Language Models Learn Meaning
MIT（麻省理工学院）；New York University（纽约大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
许多当前的NLP系统是从经过训练的语言模型构建的，以在大量原始文本上优化无监督目标。在什么条件下这样的程序才有意义？我们对合成数据的系统实验表明，对于所有表达式都具有上下文无关的表示（即，具有强透明性的语言），自回归和掩蔽语言模型都成功地学习模仿表达式之间的语义关系。然而，当表示被改变为上下文相关的语言，否则未经修改，这种能力下降。转向自然语言，我们对一种特定现象--参照不透明性--的实验增加了越来越多的证据，表明当前的语言模型不能很好地表示自然语言语义。我们表明，这种失败与上下文相关的性质的自然语言形式意义映射。
2023-03-04 cs.CL
SyGNS: A Systematic Generalization Testbed Based on Natural Language Semantics
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Keio University（庆应义塾大学）；Tohoku University（东北大学）
最近，深度神经网络（DNN）在语义上具有挑战性的NLP任务中取得了巨大的成功，但目前还不清楚DNN模型是否可以捕获组成意义，这些意义方面已经在形式语义学中研究了很长时间。为了研究这个问题，我们提出了一个基于自然语言语义（SyGNS）的系统泛化测试平台，其挑战是将自然语言句子映射到多种形式的范围含义表示，旨在解释各种语义现象。使用SyGNS，我们测试神经网络是否可以系统地解析句子，涉及新的组合的逻辑表达式，如量词和否定。实验表明，Transformer和GRU模型可以泛化到与给定训练实例在形式上相似的量词、否定词和修饰词的不可见组合，但不能泛化到其他组合。我们还发现，当意义表征的形式更简单时，对未知组合的泛化性能更好。SyGNS的数据和代码可在www.example.com上公开获取。
2021-06-02 cs.CL
Acquiring Word-Meaning Mappings for Natural Language Interfaces
University of Utah（犹他大学）；University of Texas（德克萨斯大学）
本文重点介绍了一个系统，WOLFIE（WORD学习从解释的例子），获得一个语义词汇从语料库的句子配对的语义表示。所学习的词汇由短语和意义表征组成。WOLFIE是一个集成系统的一部分，该系统学习将句子转换为逻辑数据库查询等表示。实验结果表明，WOLFIE的能力，学习有用的词汇的数据库接口在四个不同的自然语言。WOLFIE学习的词汇的有用性相比，通过类似的系统，与有利的结果WOLFIE收购。第二组实验展示了WOLFIE扩展到更大和更困难的语料库的能力，尽管是人工生成的。在自然语言获取中，很难收集监督学习所需的注释数据;然而，未注释的数据是相当丰富的。主动学习方法尝试仅选择信息量最大的示例进行注释和训练，因此在自然语言应用中可能非常有用。然而，迄今为止，大多数主动学习的结果只考虑了标准分类任务。为了在保持准确性的同时减少注释工作，我们将主动学习应用于语义词典。我们表明，主动学习可以显着减少所需的注释示例的数量，以达到给定的性能水平。
2011-06-22 cs.AI cs.CL
Quantum Methods for Managing Ambiguity in Natural Language Processing
Vrije Universiteit Brussel（布鲁塞尔自由大学）
该研究针对自然语言的句法歧义问题，在DisCoCat框架基础上提出用量子电路上的过程概率分布建模歧义句语义（以密度矩阵表示），并通过实验验证该量子NLP方法的有效性。
2025-03-30 cs.AI cs.CL quant-ph
Dual Supervised Learning for Natural Language Understanding and Generation
National Taiwan University（台湾大学）
自然语言理解（NLU）和自然语言生成（NLG）都是自然语言处理领域的重要研究课题。自然语言理解是从给定的话语中提取出核心语义，而自然语言生成则与之相反，其目标是根据给定的语义构造相应的句子。然而，这种双重关系在文献中还没有被研究。本文在双监督学习的基础上，提出了一种新的语言理解和生成的学习框架，提供了一种利用二元性的方法。初步实验表明，所提出的方法提高了这两个任务的性能。
2020-04-30 cs.CL
A type theoretical framework for natural language semantics: the Montagovian generative lexicon
LaBRI, Université de Bordeaux（波尔多大学LaBRI实验室）；IRIT-CNRS, Toulouse（图卢兹信息学研究所-法国国家科学研究中心）
我们提出了一个框架，命名为蒙塔哥维生成词典，用于计算自然语言句子的语义，表示在许多排序的高阶逻辑。词义由二阶λ演算（Girard系统F）的λ项描述，其基本类型包括用于命题的类型和用于多排序逻辑的排序的多类型。这个框架能够将对词汇现象的适当处理整合到蒙塔格维的组合语义学中，包括对谓词的论元性质施加的选择限制，以及词义对某些上下文的可能适应。在这些适应一个词的意义的上下文中，本体论的包容性处理的强制子类型，在本文中介绍的系统F的扩展。这一框架的词汇语用学的好处是说明意义转移和转换，在不同的意义上的可能和不可能的copredication，对deverbal歧义，和“虚构的运动”。接下来，我们表明，组成治疗的限定词，量词，复数，…在我们的框架中是细粒度的。最后，我们从语言学、逻辑学和计算学的角度对蒙塔哥夫生成词典进行了总结。
2014-01-03 cs.CL cs.LO
Learning a natural-language to LTL executable semantic parser for grounded robotics
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；CBMM（大脑、思维与机器研究中心）
儿童通过观察语言在语境中的使用情况并尝试自己使用语言，显然很容易习得母语。他们这样做没有费力的注释，负面的例子，甚至直接更正。我们通过训练一个接地的语义解析器，向可以做同样事情的机器人迈出了一步，该解析器可以发现可用于执行自然语言命令的潜在语言表示。特别是，我们专注于困难的领域的命令与时间方面，其语义，我们捕捉线性时序逻辑，LTL。我们的解析器是用成对的句子和执行以及执行器来训练的。在训练时，解析器假设输入的意义表示为LTL中的公式。三种相互竞争的压力使语法分析器能够从语言中发现意义。首先，任何假设的句子含义必须足够宽松，以反映所有注释的执行轨迹。其次，执行者--一个预先训练好的端到端LTL规划者--必须发现观察到的轨迹很可能是意义的执行。最后，生成器重建原始输入，鼓励模型找到保存有关命令的知识的表示。这些共同确保了含义既不太笼统也不太具体。我们的模型泛化良好，能够解析和执行机器生成和人类生成的命令，具有几乎相同的准确性，尽管人类生成的句子在开放词典中更加多样和复杂。这里提出的方法不是特定的LTL：它可以应用于任何领域，句子的含义可以假设和执行者可以验证这些含义，从而打开了大门，许多应用程序的机器人代理。
2021-03-17 cs.CL
Meaning and understanding in large language models
Institute of Philosophy of the Czech Academy of Sciences（捷克科学院哲学研究所）；University of West Bohemia（西波希米亚大学）
本文批判了将LLMs语言能力仅视为浅层句法模拟的观点，论证其在满足特定条件时可具备真正的语义理解，并探讨其意义基础。
2023-10-26 cs.CL
Context-theoretic Semantics for Natural Language: an Algebraic Framework
University of Sussex（萨塞克斯大学）
将词表示为向量的技术在计算语言学的许多应用中已经被证明是有用的，但是目前还没有通用的语义形式主义来表示向量的意义。我们提出了一个自然语言语义框架，其中的词，短语和句子都表示为向量，基于理论分析，假设意义是由上下文决定的。在理论分析中，我们将语料库模型定义为对文本语料库的数学抽象。假设一串单词的含义是一个向量，表示它在语料库模型中出现的上下文。基于这个假设，我们可以证明词的向量表示可以被认为是域上代数的元素。我们注意到，在向量空间的应用程序来表示单词的含义有一个潜在的格结构，我们解释的偏序格之间的含义描述。我们还定义了一个字符串的上下文理论概率，并在此基础上和格结构，字符串之间的蕴涵程度。这些属性一起形成了关于如何在框架内构造语义表示的指导方针。上下文理论是框架的实现;在实现中，字符串被表示为具有从理论分析推导出的属性的向量。我们将展示如何将逻辑语义纳入上下文理论，这使我们能够表示统计信息的不确定性，采取加权总和的个人表示。我们还使用该框架来分析方法的任务，认识到文本蕴涵，本体论的表示意义和表示句法结构。对于后者，我们给出了新的代数描述的链接文法。
2020-09-22 cs.CL
Variational Quantum Classifiers for Natural-Language Text
IBM (Retired)（IBM（已退休））
作为量子自然语言处理（QNLP）的最新研究成果的一部分，变分量子句子分类器（VQSC）已经在lambeq / DisCoPy中实现并支持，基于句子意义的DisCoCat模型。我们详细讨论了VQSC，包括范畴理论，将句子建模为字符串图的DisCoCat，以及将字符串图编码为参数化量子电路的DisCoPy。然而，许多NLP任务需要处理由多个句子组成的文本，这在lambeq / DisCoPy中不支持。一个很好的例子是客户反馈或产品评论的情感分类。我们讨论了变分量子文本分类器（VQTC）的三种潜在方法，与VQSC一致。第一种是加权的句子袋方法，它将文本视为一组具有特定任务的句子权重的独立句子。第二种是共指消解共指消解方法，它把语篇看作是一个由共指消解后的句子组成的集合体。这两种方法都基于DisCoCat模型，并且应该可以在lambeq / DisCoCat中实现。另一方面，第三种方法是基于DisCoCirc模型，该模型考虑了句子的顺序和单词在从单词和句子意义组成文本意义时的相互作用。DisCoCirc对DisCoCat进行了根本性的修改，因为DisCoCirc中的句子更新了单词的含义，而DisCoCat中的所有含义都是静态的。目前尚不清楚DisCoCirc是否可以在不破坏DisCoCat的情况下在lambeq / DisCoCat中实现。
2023-03-04 cs.CL cs.LG
Ludics and its Applications to natural Language Semantics
CNRS（法国国家科学研究中心）；Université Paris 8 - Vincennes-Saint-Denis（巴黎第八大学——万塞纳-圣但尼大学）；Aix-Marseille Université（艾克斯-马赛大学）
在Ludics中，证明有一个由其反证明提供的解释，即与它们相互作用的对象。我们遵循同样的思想，提出句子的意义是由它们在辩证的相互作用中所对立的反意义所赋予的。这个概念是在一个证明理论和博弈论的语义帐户的交叉点，但它扩大了他们允许处理可能无限的过程。
2009-10-08 cs.CL
Machines of Meaning
Universidade de Lisboa（里斯本大学）；Faculdade de Ciências（理学院）；LASIGE（LASIGE（里斯本大学计算机科学与工程实验室））
本文针对人工智能领域自然语言意义表示内涵模糊、计算模型与现象混淆等问题，界定了计算语境下的“意义”与“意义机器”，提出摆脱人类中心主义的意义观，以推动相关研究并助力人机对话技术发展。
2024-12-10 cs.AI cs.CL cs.CY
Intelligent Voice Prosthesis: Converting Icons into Natural Language Sentences
智能语音假体是一种通信工具，它重建结构不良的图标或符号序列的含义，并将此含义表达为自然语言（法语）的句子。它是为那些不能用自然语言口头表达自己的人而开发的，而且，他们不能遵守自然语言的语法规则。我们描述了如何由脑瘫儿童的图标通信可用语料库，使我们实现了一个简单的和相关的语义描述的符号词典。然后，我们展示了如何统一为基础的，自下而上的语义分析允许系统通过计算符号之间的适当依赖关系来揭示用户话语的含义。然后将分析结果传递到词汇化模块，该模块选择要使用的自然语言的正确单词，并构建语言语义网络。这个语义网络，然后生成到法语句子通过分层成树，使用词汇化的树邻接语法。最后，我们描述了模块化的，可定制的接口，已开发的本系统。
1995-06-21 cmp-lg cs.CL
DRS at MRP 2020: Dressing up Discourse Representation Structures as Graphs
University of Groningen（格罗宁根大学）；UiL OTS（乌得勒支大学语言学研究所（乌得勒支语言与语音研究所））；Utrecht University（乌得勒支大学）；CLCG（计算语言学与心理语言学中心）；University of Oslo（奥斯陆大学）
语篇表征理论是对自然语言语篇意义的形式化描述。DRT中的含义是通过话语表示结构（DRS）建模的，这是一种具有模型理论解释的含义表示，通常被描述为嵌套框。相反，有向标记图是用于对自然语言文本的语义进行编码的常见数据结构。本文描述了将DRS打扮成有向标记图的过程，以将DRT作为一个新的框架纳入2020年跨框架和跨语言意义表征解析的共享任务中。由于共享任务的目标之一是鼓励几个语义图框架的统一模型，因此转换过程偏向于使DRT图框架与其他基于图的含义表示框架有点相似。
2020-12-29 cs.CL
From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought
MIT（麻省理工学院）；Stanford（斯坦福大学）
提出理性意义构建框架，结合大语言模型与概率程序，将自然语言翻译为概率语言思维，实现语言引导的类人常识推理与世界建模。
2023-06-23 cs.AI cs.CL cs.SC
XSemPLR: Cross-Lingual Semantic Parsing in Multiple Natural Languages and Meaning Representations
Penn State University（宾夕法尼亚州立大学）；AWS AI Labs（AWS人工智能实验室）
本文提出 XSemPLR 统一基准，覆盖 22 种自然语言、8 种 MR、5 项任务和 164 个领域，并系统评估多语言模型，发现 mT5 表现最佳而 BLOOM 仍显不足。
2023-06-07 cs.CL
A hybrid classical-quantum workflow for natural language processing
Irish Centre for High-End Computing（爱尔兰高端计算中心）；National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）；Intel Deutschland GmbH（英特尔德国有限公司）
自然语言处理（NLP）问题在经典计算中无处不在，它们通常需要大量的计算资源来推断句子含义。随着量子计算硬件和模拟器的出现，值得开发在这些平台上检查此类问题的方法。在这篇手稿中，我们演示了使用量子计算模型来执行NLP任务，在那里我们表示语料库的含义，并在给定结构的句子之间进行比较。我们开发了一种混合工作流程，用于表示使用量子线路模型进行编码、处理和解码的小规模和大规模语料库数据集。此外，我们提供我们的结果显示的方法的有效性，并发布我们开发的工具包作为一个开放的软件套件。
2020-04-12 cs.CL cs.LG quant-ph
Talking Space: inference from spatial linguistic meanings
Cambridge Quantum Computing Ltd.（剑桥量子计算有限公司）；Oxford University（牛津大学）
本文关注的是自然语言和我们周围的物理空间的交叉，我们生活在其中，我们观察和/或想象的东西。语言的许多重要特征都具有空间内涵，例如，许多介词（如in、next to、after、on等）基本上是空间性的。空间也是许多单词/短语/句子/文本含义的关键因素，空间即使不是关键，也是参考（例如指向）和体现的上下文。我们提出了一种机制，如何空间和语言结构可以相互作用，在一个匹配的组成方式。例子包括笛卡尔空间，地铁站，棋盘上的棋子，彭罗斯的楼梯。我们构建的起点是组成自然语言意义的DisCoCat模型，我们放松以适应物理空间。我们解决了在空间中具有多个代理/对象的问题，包括每个代理相对于该空间具有不同能力的情况，例如，每个棋子可以做出的具体动作，或者一个棋子可以达到的不同速度。一旦我们的模型到位，我们将展示如何从物理空间的结构进行推断。我们还研究了空间的语言模型如何与其他与我们的感官和/或体现有关的模型相互作用，例如颜色，味道和气味的概念空间，从而产生一个丰富的意义组合模型，接近人类在世界上的经验和体现。
2021-09-16 cs.AI cs.CL cs.LO
Coarse-to-Fine Decoding for Neural Semantic Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
语义解析旨在将自然语言语句映射为结构化的意义表示。在这项工作中，我们提出了一个结构感知的神经架构，它分解成两个阶段的语义解析过程。给定一个输入话语，我们首先生成其含义的粗略草图，其中低级别信息（如变量名和参数）被掩盖。然后，我们通过考虑自然语言输入和草图本身来填充缺失的细节。四个不同领域和意义表征的数据集上的实验结果表明，我们的方法不断提高性能，实现竞争力的结果，尽管使用相对简单的解码器。
2018-05-12 cs.CL
The production of meaning in the processing of natural language
Department of Physics, Indiana University（印第安纳大学物理系）；Department of Linguistics, Indiana University（印第安纳大学语言学系）；Imperial College London（伦敦帝国学院）
研究自然语言处理中意义产生的机制，探讨量子逻辑与经典布尔理论在语义处理中的差异，分析模型在不同参数下的表现及对安全交互的影响。
2026-08-05 cs.AI cs.CL cs.HC
A Tutorial on Dual Decomposition and Lagrangian Relaxation for Inference in Natural Language Processing
对偶分解和更一般的拉格朗日松弛是组合优化的经典方法;它最近已被应用于自然语言处理（NLP）中的几个推理问题。本教程概述了该技术。我们描述了示例算法，描述了正式的方法保证，并描述了在实现算法的实际问题。虽然我们的例子主要来自NLP文献，但这些材料应该与机器学习中的推理问题具有普遍的相关性。本教程的一个中心主题是，拉格朗日松弛自然地与广泛的组合算法相结合，允许在模型中进行推理，这些推理远远超出了以前在图形模型中进行拉格朗日松弛推理的工作。
2014-01-23 cs.AI cs.CL
Dual use issues in the field of Natural Language Generation
Department of Communication and Cognition, Tilburg University（蒂尔堡大学沟通与认知系）
本研究针对ACL下属SIGGEN社区开展NLG领域双重用途问题调查，2024年10月发放、2025年1月处理，23人参与，虽不具完全代表性但可为后续讨论提供参考，报告开放社区反馈。
2025-01-11 cs.CL
Few-Shot Semantic Parsing with Language Models Trained On Code
Microsoft Semantic Machines（微软语义机器公司）
当提示上下文示例时，大语言模型可以用很少的训练数据执行语义解析。已经表明，这可以通过将问题公式化为释义到规范话语中来改进，这将潜在的含义表示转换为受控的自然语言样表示。直觉上，这样的模型可以更容易地输出规范的话语，因为它们更接近用于预训练的自然语言。最近，像OpenAI Codex这样的预先训练过代码的模型已经崭露头角。对于语义解析任务，我们映射到代码的自然语言，这样的模型可能会证明更善于it. In本文中，我们测试了这一假设，并发现，法典执行更好的比等价的GPT-3模型在这样的任务。我们对Overnight和SMCalFlow进行了评估，发现与GPT-3不同，Codex在直接针对意义表示时的表现类似，这可能是因为意义表示的结构与这些数据集中的代码相似。
2022-05-29 cs.CL
An Incremental Parser for Abstract Meaning Representation
University of Edinburgh（爱丁堡大学）；University of Padua（帕多瓦大学）
语义表示（AMR）是一种自然语言的语义表示，其嵌入与传统任务相关的注释，诸如命名实体识别、语义角色标注、词义消歧和共指消解。我们描述了一个基于转换的AMR解析器，它在线性时间内从左到右解析句子。我们进一步提出了一个测试套件，评估有助于比较AMR解析器的特定子任务，并表明我们的解析器在LDC2015E86数据集上与最先进的解析器竞争，并且在恢复命名实体和处理极性方面优于最先进的解析器。
2017-04-10 cs.CL
Schema-Guided Natural Language Generation
Amazon Alexa AI（亚马逊Alexa AI）
近年来，基于神经网络的数据到文本自然语言生成（NLG）的方法已经得到普及，其目标是生成准确地实现输入含义表示的自然语言提示。为了促进神经网络模型的训练，研究人员创建了大量成对话语及其含义表征的数据集。然而，创建这样的数据集是一项艰巨的任务，它们大多由要实现的槽和值令牌组成的简单意义表示组成。这些表示不包括NLG系统在尝试概括时可以使用的任何上下文信息，例如域信息以及槽和值的描述。在本文中，我们提出了新的任务模式引导的自然语言生成（SG-NLG）。这里，目标仍然是生成自然语言提示，但是在SG-NLG中，输入MR与提供上下文信息的丰富图式配对。为了生成SG-NLG的数据集，我们将现有的数据集重新用于另一项任务：对话状态跟踪，其中包括一个跨越多个不同属性的大型且丰富的模式，包括有关域，用户意图和插槽描述的信息。我们训练了不同的最先进的模型，用于在这个数据集上生成神经自然语言，并表明在许多情况下，包括丰富的模式信息可以使我们的模型在语义和多样性方面产生更高质量的输出。我们还进行了实验，比较模型的性能与看不见的域，并提出了一个人的评价，表现出高收视率的整体输出质量。
2020-11-04 cs.CL
Dual Learning for Semi-Supervised Natural Language Understanding
Shanghai Jiao Tong University（上海交通大学）
自然语言理解（NLU）将句子转换为结构化的语义形式。带注释的训练样本的缺乏仍然是NLU的一个基本挑战。为了解决这个数据稀疏问题，以前的工作基于半监督学习主要集中在利用未标记的句子。在这项工作中，我们介绍了自然语言理解的双重任务，语义到句子生成（SSG），并提出了一个新的框架，半监督自然语言理解与相应的双重模型。该框架由对偶伪标记和对偶学习方法组成，通过原始任务和对偶任务的闭环，使NLU模型能够充分利用数据（标记和未标记）。通过结合双重任务，该框架可以利用纯语义形式以及未标记的句子，并在闭环中迭代地进一步改进NLU和SSG模型。在两个公共数据集（ATIS和SNIPS）上对所提出的方法进行了评估。在半监督环境下的实验表明，我们的方法可以明显优于各种基线，并进行了广泛的消融研究，以验证我们的框架的有效性。最后，我们的方法也可以在监督设置中的两个数据集上实现最先进的性能。我们的代码可在\url{https://github.com/rhythmcao/slu-dual-learning.git}上获得。
2021-04-01 cs.CL cs.LG
Jointly Learning Semantic Parser and Natural Language Generator via Dual Information Maximization
University of Southern California（南加州大学）；The Hong Kong Polytechnic University（香港理工大学）；Northeastern University（东北大学）
语义解析的目的是将自然语言（NL）的话语转化为正式的意义表示（MR），而NL生成器实现了相反的：产生一个NL描述一些给定的MR。尽管这种内在的联系，这两个任务往往是单独研究在以前的工作。在本文中，我们通过一个联合学习框架对这两个任务的二元性进行建模，并证明了它对提高这两个任务的性能的有效性。具体地说，我们提出了一种新的方法的双重信息最大化（DIM），以规范的学习过程中，DIM经验最大化的变化下限的预期联合分布的NL和MR。我们进一步扩展DIM的半监督设置（SemiDIM），它利用未标记的数据的两个任务。在对话管理和代码生成（和摘要）的三个数据集上的实验表明，在监督和半监督设置中，DIM可以一致地提高语义解析和NL生成的性能。
2019-06-13 cs.CL
Robot Language Learning, Generation, and Comprehension
Purdue University（普渡大学）
我们提出了一个统一的框架，支持接地自然语言语义在机器人驾驶。该框架支持获取（从机器人驾驶路径的人类注释中学习名词和介词的基础含义）、生成（使用这样的获取的含义来生成新的机器人驾驶路径的初步描述）和理解（使用这样的获取的含义来支持自动驾驶以实现以自然语言指定的导航目标）。我们通过让独立的人类法官对与路径相关的句子的语义保真度进行评分来评估这三项任务的性能，总体平均正确率为94.6%，总体平均完整性为85.6%。
2015-08-25 cs.AI cs.CL cs.HC
What Meaning-Form Correlation Has to Compose With
Aist（产业技术综合研究所）；Atilf（ATILF研究所）；Université de Paris（巴黎大学）；Utrecht University（乌得勒支大学）
组合性是自然语言的一个广泛讨论的属性，尽管它的确切定义一直难以捉摸。我们专注于组合性的建议，可以通过测量的意义，形式的相关性进行评估。我们分析了三组语言的意义-形式相关性：（i）人工玩具语言定制的成分，（ii）一组英语词典的定义，（iii）一组英语句子从文学。我们发现，语言现象，如同义词和不接地停止词的重量MFC测量，并直接的方法来减轻其影响有很大的不同的结果取决于它们所应用的数据集。数据和代码是公开的。
2020-12-07 cs.CL
Distributed Representations for Compositional Semantics
New College（新学院）
语义的数学表示是自然语言处理的一个关键问题。大量的研究致力于寻找在向量空间中表示单个词的语义的方法。分布式方法--即利用大型语料库的共现统计数据的分布式表示--在许多任务中已经被证明是流行和成功的。然而，自然语言通常是在单词层面之外的结构中出现的，其意义不仅来自单个单词，而且来自短语或句子层面上包含它们的结构。对话语的意义从其各部分的意义中产生的合成过程进行建模是NLP的一项同样基本的任务。本文探讨了学习分布式语义表示的方法和模型，用于将这些表示组成更大的语言单元。我们的基本假设是，神经模型是学习语义丰富的表示的合适工具，而这些表示反过来又是解决自然语言处理中重要任务的合适工具。这篇论文的贡献是我们的假设进行了彻底的评估，作为其中的一部分，我们介绍了几种新的方法，表示学习和组合语义，以及多种国家的最先进的模型，适用于分布式语义表示在NLP的各种任务。
2014-11-12 cs.CL
Wikipedia-based Semantic Interpretation for Natural Language Processing
Technion—Israel Institute of Technology（以色列理工学院）
自然语言语义的充分表示需要访问大量的常识和特定领域的世界知识。该领域以前的工作是基于纯粹的统计技术，没有利用背景知识，有限的词典知识库，如WordNet，或巨大的手工努力，如CYC项目。在这里，我们提出了一种新的方法，称为显式语义分析（ESA），不受限制的自然语言文本的细粒度语义解释。我们的方法表示的含义在一个高维空间的概念来自维基百科，存在的最大的百科全书。我们明确地表示任何文本的含义在维基百科为基础的概念。我们评估我们的方法对文本分类和计算自然语言文本片段之间的语义相关度的有效性。使用ESA的结果显着改善了在这两个任务的现有技术的先前状态。重要的是，由于使用自然概念，ESA模型很容易向人类用户解释。
2014-01-15 cs.CL
Towards Unsupervised Language Understanding and Generation by Joint Dual Learning
National Taiwan University（台湾大学）
在模块化对话系统中，自然语言理解（NLU）和自然语言生成（NLG）是两个关键的组成部分，其中自然语言理解是从给定的文本中提取语义，自然语言生成是根据输入的语义表示构造相应的自然语言句子。然而，理解与生成的二重性却鲜有人探讨。先前的工作是第一次尝试，利用NLU和NLG之间的二元性，通过双监督学习框架来提高性能。然而，以前的工作仍然学习这两个组件在监督的方式，相反，本文介绍了一个通用的学习框架，有效地利用这种双重性，提供了灵活性，将监督和无监督学习算法训练语言理解和生成模型的联合方式。基准实验表明，该方法能够提高NLU和NLG的性能。
2020-04-30 cs.CL
Dual Inference for Improving Language Understanding and Generation
National Taiwan University（台湾大学）
自然语言理解（NLU）和自然语言生成（NLG）任务具有很强的双重关系，其中NLU旨在基于自然语言话语预测语义标签，而NLG则相反。以往的工作主要集中在利用模型训练中的对偶性，以获得性能更好的模型。然而，考虑到当前NLP领域中模型规模的快速增长，有时我们可能很难重新训练整个NLU和NLG模型。为了更好地解决这个问题，本文提出在推理阶段利用对偶性，而不需要再训练。在三个基准数据集上的实验结果表明，该方法在自然语言理解和自然语言生成两个方面都是有效的，具有很大的实际应用潜力。
2020-10-15 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用，但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中，我们评估如何以及这些表示可以预测具体概念的感知和概念特征，借鉴两个语义规范数据集来自人类参与者。我们发现，几个标准的单词表征未能编码概念的许多显着的感知特征，并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机，这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Thorny Roses: Investigating the Dual Use Dilemma in Natural Language Processing
Hasso Plattner Institute（哈索·普拉特纳研究院）；University of Copenhagen（哥本哈根大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文通过调查NLP研究人员和从业者对双重用途问题的认知与行动现状，提出面向NLP社区的双重用途定义，并设计可整合进ACL伦理框架的检查清单以缓解潜在危害。
2023-10-30 cs.AI cs.CL
Do language models capture implied discourse meanings? An investigation with exhaustivity implicatures of Korean morphology
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文通过韩语差异宾语标记考察大型语言模型能否捕捉隐含话语含义，发现语法标记的话语含义比话语标记更难被模型编码。
2024-05-15 cs.AI cs.CL
Monads for natural language semantics
对语义现象的解释往往涉及意义类型的扩展和对构成规则的修正。单子的概念允许许多这样的帐户-意向性，变量绑定，量化和焦点-被统一和组合地陈述。
2002-05-17 cs.CL cs.PL
A Semiotics-Aware Framework for Evaluating Fidelity and Coverage in Natural Language Generation
University of Lausanne（洛桑大学）
提出符号学感知框架，通过保真度和覆盖率两指标评估文本间符号学对齐，发现覆盖率低于保真度且低温下LLM与人工数据对齐最佳。
2026-09-23 cs.AI cs.CL
Transforming Multi-Conditioned Generation from Meaning Representation
Kakao Enterprise Corp.（Kakao Enterprise公司）
在面向任务的会话系统中，生成具有与会话流相关的特定信息的句子的自然语言生成系统是有用的。我们的研究集中在语言生成，把代表话语意义的各种信息看作是生成的多重条件。自然语言生成从语义表征出发，是句子意义的条件，一般要经过两个步骤：句子规划和表层实现。然而，我们提出了一个简单的一阶段框架，直接从MR（意义表征）生成话语。我们的模型是基于GPT2和槽和值对，它不需要确定句子的结构上的平坦条件生成的话语。我们评估了E2E数据集中的几个系统，其中有6个自动度量。我们的系统是一个简单的方法，但它在自动化指标中表现出与以前的系统相当的性能。此外，仅使用10%的数据集，没有任何其他技术，我们的模型实现了相当的性能，并显示了执行zero-shot生成和扩展到其他数据集的可能性。
2021-07-28 cs.AI cs.CL
Distributional Formal Semantics
Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
自然语言语义学最近试图结合形式和分布式方法的互补优势的意义。更具体地说，已经提出了建议，以增加正式的语义机器与分布式意义表示，从而引入语义相似性的概念到正式的语义，或定义分布式系统，旨在将正式的概念，如蕴涵和组合。然而，由于形式和分布方法的基础是根本不同的“代表性货币”-世界模型与语言共现-它们的统一被证明是极其困难的。在这里，我们定义了一个分布式的形式语义集成到一个正式的语义系统上的正式模型的水平上的分布。这种方法提供了概率，分布式的意义表示，也是固有的组成，并自然捕捉基本的语义概念，如量化和蕴涵。此外，我们展示了这些表示的概率性质如何允许概率推理，以及信息论中的“信息”概念如何最后，我们说明了如何使用递归神经网络模型从语言输入中增量地导出含义表示，以及由此产生的增量式语义构建过程如何直观地捕捉关键的语义现象，包括否定、预设和回指。
2021-03-02 cs.AI cs.CL cs.IT
