Sentence Similarity Learning by Lexical Decomposition and Composition
IBM T.J. Watson Research Center（IBM T.J. Watson 研究中心）
传统的句子相似度方法大多只关注两个输入句子中相似的部分，而忽略了不相似的部分，这些部分通常会给我们一些关于句子的线索和语义意义。在这项工作中，我们提出了一个模型，以考虑到的相似性和不同之处，通过分解和组成句子的词汇语义。该模型将每个单词表示为一个向量，并根据另一个句子中的所有单词为每个单词计算语义匹配向量。然后，每个词向量被分解为一个相似的组件和一个不相似的组件的基础上的语义匹配向量。在此之后，一个双通道CNN模型被用来捕捉特征，通过组成的相似和不相似的组件。最后，在组合特征向量上估计相似性得分。实验结果表明，该模型在回答句选择任务上取得了最好的性能，在释义识别任务上也取得了相当的效果。
2017-07-14 cs.CL
A Comparative Study of Sentence Embedding Models for Assessing Semantic Variation
University of Cincinnati（辛辛那提大学）
本文通过分析多部文学书籍中连续句子相似度时间序列和成对相似度矩阵，在真实场景下比较多种句子嵌入方法，发现它们能推断出高度相关的语义变化模式，但存在有趣差异。
2023-08-08 cs.AI cs.CL
pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
关于隐含关系的推理（例如，词对之间的释义、常识、百科全书）对于许多跨句推理问题至关重要。本文提出了新的方法来学习和使用嵌入的词对，隐含地表示背景知识，这种关系。我们的成对嵌入被计算为单词表示的组合函数，这是通过最大化两个单词共同出现的上下文的逐点互信息（PMI）来学习的。我们将这些表示添加到现有推理模型的跨句注意力层（例如，QA的Biorean，NLI的ESIM），而不是扩展或替换现有的词嵌入。实验表明，在最近发布的SQuAD 2.0上的增益为2.7%，在MultiNLI上的增益为1.3%。我们的表示还有助于更好地泛化，在对抗SQuAD数据集上获得约6-7%的收益，在Glockner et al.（2018）的对抗蕴涵测试集上获得8.8%的收益。
2019-04-05 cs.CL
Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation
Computation for Indian Language Technology (CFILT) Department of Computer Science and Engineering（印度语言技术计算（CFILT）部门计算机科学与工程系）；Indian Institute of Technology Bombay（印度班加罗尔理工学院）
本研究通过英语到马拉雅尔语的翻译任务，评估并改进NMT系统在处理标点歧义时的鲁棒性，提出两种修复策略并发现任务特定方法优于大型语言模型。
2026-02-13 cs.CL
Whose wife is it anyway? Assessing bias against same-gender relationships in machine translation
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Michigan（密歇根大学）
该研究针对机器翻译系统是否存在对同性关系的偏见问题，利用多种名词性别语言的职业名词模板句测试三款主流服务，发现其同性关系句翻译准确率低且受语境、职业女性占比影响，为NLP系统社会关系内在偏见评估提供案例。
2024-07-12 cs.CL
Assessing Phrasal Representation and Composition in Transformers
University of Chicago（芝加哥大学）；Deptartment of Computer Science（计算机科学系）；Department of Linguistics（语言学系）
深度Transformer模型将NLP任务的性能推向了新的极限，这表明对复杂语言输入（如短语）的复杂处理。然而，我们对这些模型如何处理短语表示的理解有限，以及这是否反映了像人类一样复杂的短语含义组成。在本文中，我们对最先进的预训练Transformers中的短语表示进行了系统的分析。我们使用测试，利用人类判断的短语相似性和意义的转变，并比较前后控制词重叠的结果，梳理除了词汇效果与成分的影响。我们发现，这些模型中的短语表示在很大程度上依赖于词的内容，几乎没有证据的细微差别组成。我们还确定了模型，层和表示类型之间的短语表示质量的变化，并为使用这些模型的表示提出相应的建议。
2020-10-14 cs.CL
Assessing the Helpfulness of Learning Materials with Inference-Based Learner-Like Agent
Academia Sinica（中央研究院）；Pennsylvania State University（宾夕法尼亚州立大学）；Tunghai University（东海大学）
许多英语作为第二语言的学习者在使用近义词时有困难（例如，小对小;简短对简短）正确，并经常寻找例句来了解两个几乎同义的术语是如何不同的。先前的工作使用手工制作的分数来推荐句子，但是由于近义词在各种方面不同，因此很难将这样的分数应用于所有的近义词。我们注意到学习材料的有用性会反映学习者的表现。因此，我们提出了基于推理的学习者样代理模仿学习者的行为，并确定良好的学习材料，通过检查代理的性能。为了使代理的行为像一个学习者，我们利用蕴涵建模的能力，从所提供的材料推断答案。实验结果表明，该智能体具有良好的学习者行为，在填空（FITB）和好的例句选择任务中都取得了最佳性能。我们进一步对大学英语学习者进行了课堂用户研究。用户研究结果表明，所提出的代理可以发现例句，帮助学生学习更容易和有效的。与其他模型相比，该智能体在学习后提高了17%以上的学生的成绩。
2020-10-05 cs.CL
QASC: A Dataset for Question Answering via Sentence Composition
Allen Institute for AI（艾伦人工智能研究所）；University of Arizona（亚利桑那大学）
多跳问答系统的一个关键问题是如何从多个文本中合成知识。我们提出了一个多跳推理数据集，即通过句子组合的问答（QASC），它需要从大型语料库中检索事实并组合它们来回答多项选择题。QASC是第一个提供两个理想属性的数据集：（a）要组成的事实在大型语料库中进行注释，以及（b）从问题本身来看，这些事实的分解并不明显。后者使得检索具有挑战性，因为系统必须引入新的概念或关系，以发现潜在的分解。此外，推理模型必须学习使用常识推理来识别这些检索到的事实的有效组成。为了帮助应对这些挑战，我们提供了支持事实及其组成的注释。在这些注释的指导下，我们提出了一个两步的方法来减轻检索的挑战。我们使用其他多项选择数据集作为额外的训练数据，以加强推理模型。我们提出的方法比当前最先进的语言模型提高了11%（绝对值）。然而，推理和检索问题仍然没有解决，因为这个模型仍然落后于人类表现的20%。
2020-02-04 cs.CL
WinoQueer-NL: Assessing Bias in Dutch Language Models toward LGBTQ+ Identities
Maastricht University（马斯特里赫特大学）
本研究开发文化适配的荷兰语数据集WinoQueer-NL，评估荷兰语MLMs和ARLMs对LGBTQ+身份的偏见，发现模型对跨性别等身份偏见显著，凸显文化相关数据集的重要性。
2026-10-07 cs.CL
Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings
Rutgers University（罗格斯大学）
虽然词向量表征的重要性质已被广泛研究，但对句子向量表征的性质知之甚少。词向量的评估通常是通过评估它们在词类比中考虑的那种关系方面表现出多大程度的相似性来进行的。在本文中，我们调查在何种程度上常用的句子向量表示空间，以及反映某些类型的语义。我们提出了一些计划，以诱导评估数据，词汇类比数据的基础上，以及句子之间的语义关系。我们的实验考虑了广泛的句子嵌入方法，包括基于BERT风格的上下文嵌入。我们发现，不同的模型有很大的不同，在他们的能力，以反映这种不确定性。
2020-03-09 cs.CL
Applying Distributional Compositional Categorical Models of Meaning to Language Translation
University of Oxford（牛津大学）
本文的目的是双重的：首先，我们将使用向量空间分布的成分分类模型的意义比较的意义在爱尔兰语和英语（从而确定当一个句子是另一个句子的翻译）使用余弦相似性得分。然后，我们将概述一个程序，翻译名词通过理解他们的上下文，使用认知的概念空间模型。我们将在类别ConvexRel上使用度量来确定概念之间的距离（并确定名词何时是另一个名词的翻译）。本文将重点介绍爱尔兰语的应用，爱尔兰语是盖尔语家族的一员。
2018-11-08 cs.CL
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
Assessing Effectiveness of Using Internal Signals for Check-Worthy Claim Identification in Unlabeled Data for Automated Fact-Checking
University at Buffalo (SUNY)（布法罗大学（纽约州立大学））
虽然最近关于自动事实核查的工作主要侧重于核实和解释索赔，索赔清单随时可用，但从文本中确定值得核查的索赔句子仍然具有挑战性。当前的索赔识别模型依赖于文本中每个句子的手动注释，这是一项昂贵的任务，并且在多个领域中频繁进行具有挑战性。本文探讨了从假新闻文章中识别值得检查的声明句子的方法，无论领域如何，没有明确的注释级别注释。我们利用两个内部监督信号-标题和摘要-根据语义相似度对句子进行排名。我们假设这个排名直接与句子的检查价值相关。为了评估这一假设的有效性，我们建立了管道，利用基于标题或抽象摘要的句子排名。排名靠前的句子用于证据检索的下游事实检查任务和管道的文章准确性预测。我们的研究结果表明，排名前三的句子包含足够的信息，可以对假新闻进行基于证据的事实核查。我们还表明，虽然标题与事实检查网站撰写声明的方式有更多的相似性，但基于摘要的管道对于端到端的事实检查系统来说是最有前途的。
2021-11-02 cs.AI cs.CL cs.IR
Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
Waseda University（早稻田大学）；Center for English Language Education, Faculty of Science and Engineering（科学与工程学院英语教育中心）
本文提出基于 GPT 的 VocaTT 引擎自动生成英语词汇多项选择完形填空题，并通过 60 道学术词题目验证其质量与改进效果。
2024-03-04 cs.CL
Semantic Sentence Composition Reasoning for Multi-Hop Question Answering
Zhejiang University（浙江大学）
现有的多跳开放域问答系统由于缺乏足够的数据，需要根据每个问题有效地找出相关的支持事实。针对语义事实句检索和多跳上下文扩展的难题，提出了一种面向多跳问答任务的语义句子组合推理方法，该方法包括两个关键模块：多阶段语义匹配模块（MSSM）和事实句子组合模块（FSC）.该方法将事实句和多阶段语义检索相结合，可以为模型训练和推理提供更全面的上下文信息。实验结果表明，我们的模型是能够纳入现有的预训练语言模型，并优于现有的SOTA方法的QASC任务的改进约9%。
2022-03-01 cs.AI cs.CL cs.IR
Know Yourself and Know Your Neighbour: A Syntactically Informed Self-Supervised Compositional Sentence Representation Learning Framework using a Recursive Hypernetwork
ADAPT Research Centre（ADAPT研究中心）；Trinity College Dublin（都柏林圣三一学院）
针对句子表示学习的开放性挑战，提出基于递归超网络的句法感知自监督框架，通过6项自监督任务训练，生成的句子表示编码信息更丰富且对不同长度句子稳定。
2026-10-14 cs.CL cs.LG
Evaluating Compositionality in Sentence Embeddings
Harvard University（哈佛大学）；Stanford University（斯坦福大学）
类人AI的一个重要挑战是组合语义。最近的研究试图通过使用深度神经网络来学习句子的向量空间嵌入来解决这个问题，然后将其作为其他任务的输入。我们提出了一个新的数据集，这样的任务，“自然语言推理”（NLI），不能只用单词级的知识来解决，需要一些组合。我们发现，最先进的句子嵌入的性能（InferSent; Conneau等人，2017）在我们的新数据集上很差。我们分析了Infersent学习的决策规则，发现它们与其训练数据集中生态有效的简单算法是一致的。此外，我们发现使用我们的数据集增强训练可以提高我们数据集的测试性能，而不会损失原始训练数据集的性能。这突出了结构化数据集在更好地理解和改进人工智能系统方面的重要性。
2018-05-17 cs.CL stat.ML
Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言及翻译学系）
针对语义组合程度缺乏量化计算指标的问题，研究者基于Transformer前馈网络的键值记忆机制提出组合度指标，实验发现其与多个和语言加工相关的脑簇相关，为研究人脑语义组合提供了新工具。
2024-07-10 cs.AI cs.CL
Decoding Sentiment from Distributed Representations of Sentences
University of Cambridge（剑桥大学）
分布式表示的句子最近已经发展到代表他们的意义作为实值向量。然而，目前还不清楚这些表征保留了多少关于句子极性的信息。为了研究这个问题，我们从9种不同类型的语言中学习了不同架构（对单词顺序，句子顺序敏感或不敏感）的无监督句子表示中解码情感。情感是词汇的递归组合和否定、让步等语法策略的结果。结果是多方面的：我们表明，没有“一刀切”的代表性架构优于其他全面。相反，顶级架构取决于手头的语言和数据。此外，我们发现，在某些情况下，添加剂组合模型的基础上跳过字向量可能会超过监督的最先进的架构，如双向LSTM。最后，我们提供了一个可能的解释，观察到的变化的基础上在每种语言中的否定结构的类型。
2017-06-16 cs.CL
Unsupervised Learning of Sentence Embeddings using Compositional n-Gram Features
Iprova SA（Iprova股份公司）；EPFL（洛桑联邦理工学院）
最近无监督词嵌入在众多应用中取得的巨大成功提出了一个明显的问题，即是否也可以导出类似的方法来改进词序列的嵌入（即语义表示）。我们提出了一个简单而有效的无监督目标训练分布式表示的句子。我们的方法在大多数基准任务上的表现优于最先进的无监督模型，突出了所产生的通用句子嵌入的鲁棒性。
2018-12-28 cs.AI cs.CL cs.IR
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
A Compositional Typed Semantics for Universal Dependencies
针对跨语言句子语义推导难题，本文提出构建于 Universal Dependencies 之上的组合式类型系统 UD Type Calculus，并在大型语料库上验证其可取得与基线相当的效果。
2024-03-02 cs.CL
Concrete Sentence Spaces for Compositional Distributional Models of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
Coecke、Sadrzadeh和Clark（arXiv：1003.4394v1 [cs.CL]）为分布语义学开发了一个意义的合成模型，其中句子中的每个词都有一个意义向量，句子的分布意义是词向量的张量积的函数。抽象地说，这个函数是有限维向量空间范畴中对应于句子语法结构的态射。在本文中，我们提供了一个具体的方法来实现这种线性意义地图，通过构建一个基于语料库的向量空间的句子类型。我们的构造方法是基于结构化的向量空间，即所有句子的意义向量，无论其语法结构如何，都生活在同一个向量空间中。我们提出的句子空间是两个名词空间的张量积，其中的基向量是每一个增加了语法作用的词对。这使我们能够通过简单地取向量的内积来比较句子的含义。
2010-12-31 cs.AI cs.CL cs.IR
Jointly Learning Sentence Embeddings and Syntax with Unsupervised Tree-LSTMs
University of Cambridge（剑桥大学）；DeepMind（深度思维）
我们介绍了一个神经网络，表示句子组成的话，根据诱导二叉分析树。我们使用Tree-LSTM作为我们的组合函数，沿着完全可微的自然语言图表解析器发现的树结构应用。我们的模型同时优化了组合函数和解析器，从而消除了Tree-LSTM通常需要的外部提供的解析树。因此，它可以被看作是一个基于树的RNN，相对于解析树来说是无监督的。由于它是完全可微的，我们的模型很容易用现成的梯度下降方法和反向传播进行训练。我们证明，与各种监督Tree-LSTM架构相比，它在文本蕴涵任务和反向字典任务上实现了更好的性能。
2017-05-25 cs.CL
Unifying Relational Sentence Generation and Retrieval for Medical Image Report Composition
Sun Yat-sen University（中山大学）
除了在传统的字幕任务中生成长且主题连贯的段落之外，医学图像报告撰写任务由于需要高度准确的医学术语诊断和包括印象和发现的多种异构形式的信息而提出了更多面向任务的挑战。当前的方法通常会生成最常见的句子，这是由于数据集对个体情况的偏见，而不管句子是否正确地捕捉到关键实体和关系。这些局限性严重影响了医学报告写作的适用性和概括能力，因为最关键的句子是相对罕见的异常疾病的描述。此外，在一份报告中出现的一些医学术语往往相互纠缠，共同出现，例如与特定疾病相关的症状。为了加强医学术语的语义一致性纳入最终报告，并鼓励句子生成罕见的异常描述，我们提出了一种新的框架，统一的模板检索和句子生成处理常见和罕见的异常，同时确保检测到的医学术语之间的语义一致性。具体而言，我们的方法利用混合知识协同推理：i）所有异常医学术语之间的显式关系，以诱导视觉注意学习和主题表征编码，以更好地面向主题的症状描述; ii）自适应生成模式，根据上下文主题编码器在模板检索和句子生成之间变化。两个医疗报告基准的实验结果表明，该框架的优越性，在人力和指标评价。
2021-01-09 cs.CL cs.CV
Assisting Composition of Email Responses: a Topic Prediction Approach
Xerox Research Centre Europe（施乐欧洲研究中心）
我们提出了一种方法，帮助代理撰写电子邮件回复客户的请求。为了实现这一点，我们使用LDA从电子邮件交换的集合中提取潜在主题。然后，我们使用这些潜在的主题来标记我们的数据，获得所谓的“银标准”主题标签。我们利用这个标签集训练分类器：（一）预测整个代理的电子邮件响应的主题分布，根据客户的电子邮件的功能;和（二）预测的主题分布的下一句在代理的答复，根据客户的电子邮件功能和代理的当前句子的功能。在电信领域联络中心的大量电子邮件集上的实验结果表明，该方法能够有效地预测Agent下一句话的最佳主题。在80%的情况下，正确的主题出现在前五个推荐主题中（50个可能的主题中）。这表明了这种方法在交互式环境中应用的潜力，在这种环境中，代理人会收到一个小的可能主题列表，供下一句话选择。
2015-10-07 cs.CL
Towards logical negation for compositional distributional semantics
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
意义的范畴成分分布模型使词的成分成为短语和句子的首要位置。然而，迄今为止，它缺乏一个逻辑否定的模式。本文给出了一些步骤，提供这个操作，它作为一个版本的投影到子空间正交的一个字。我们给出了一个小的示范运营商的性能在一个句子蕴涵任务。
2020-05-11 cs.CL math.CT
Composition-contrastive Learning for Sentence Embeddings
Texas A&M University（德州农工大学）
针对无标注句子表示学习，本文提出文本与其短语成分组合对齐的成分对比学习目标，在语义文本相似度任务上达到可比最先进水平，且无需辅助目标或额外参数。
2023-07-14 cs.CL cs.LG
Assessing incrementality in sequence-to-sequence models
University of Amsterdam（阿姆斯特丹大学）；Universitat Pompeu Fabra（庞培法布拉大学）
编码器-解码器模型自问世以来，已成功地应用于计算语言学中的一系列问题。最近的成功主要是由于使用不同的注意力机制的变化，但他们的认知能力是值得怀疑的。特别是，因为过去的表示可以在任何时间点重新访问，以注意力为中心的方法似乎缺乏激励，以建立增量更多的信息表示传入的句子。这种处理方式与人们认为的人类处理语言的方式形成鲜明对比：不断快速地整合遇到的新信息。在这项工作中，我们提出了三个新的指标来评估有和没有注意力机制的RNN的行为，并确定不同模型类型处理句子的方式的关键差异。
2019-06-07 cs.CL cs.LG
NLSC: Unrestricted Natural Language-based Service Composition through Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
当前的服务组合方法（原子服务的组装）要求开发人员使用：用途：（a）特定于域的语义来形式化限制其描述词汇的服务，以及（b）用于服务检索的翻译机制，以将非结构化的用户请求转换为强类型的语义表示。在我们的工作中，我们认为，努力开发服务描述，请求翻译和匹配机制可以减少使用不受限制的自然语言，允许：（1）最终用户直观地表达他们的需求使用自然语言，（2）服务开发人员开发服务，而不依赖于语法/语义描述语言。虽然有一些基于自然语言的服务组合方法，他们限制服务检索的语法/语义匹配。随着机器学习和自然语言处理的最新发展，我们通过利用更丰富的句子语义表示来促进句子嵌入的使用，以进行服务描述、匹配和检索。实验结果表明，在保持高查准率和查全率的前提下，服务组合的开发工作量可减少44%以上.
2019-06-04 cs.AI cs.CL cs.SE
Scope-enhanced Compositional Semantic Parsing for DRT
Georgetown University（乔治城大学）；University of Amsterdam（阿姆斯特丹大学）；Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
针对现有seq2seq模型在DRT解析中准确率随句子复杂度下降、难生成合规表征的问题，提出基于新型量词辖域预测机制的组合式神经符号AMS解析器，可稳定输出合规结果，复杂句子解析表现更优。
2024-10-09 cs.CL
Assessing Social and Intersectional Biases in Contextualized Word Representations
Yale University（耶鲁大学）
机器学习中的社会偏见已经引起了人们的极大关注，工作范围从在众多应用程序中展示偏见，为不同的上下文策划公平的定义，到开发算法来减轻偏见。在自然语言处理中，性别偏见已经被证明存在于上下文无关的词嵌入中。最近，上下文单词表示在几个下游NLP任务中的表现优于词嵌入。这些单词表示取决于它们在句子中的上下文，也可以用于编码整个句子。在本文中，我们分析了在何种程度上的最先进的模型上下文单词表示，如BERT和GPT-2，编码偏见与性别，种族和交叉身份。为此，我们建议在上下文单词水平上评估偏见。这种新颖的方法捕捉上下文无关的词嵌入中的偏差缺失的上下文效应，但避免了混淆效应，低估了偏见在句子编码水平。我们证明了在语料库水平上的偏见的证据，发现不同的证据嵌入关联测试中的偏见，特别是显示，种族偏见是强烈编码的上下文单词模型，并观察到交叉少数民族的偏见影响加剧超越其组成少数民族的身份。此外，在上下文单词水平上评估偏见效应可以捕获在句子水平上无法捕获的偏见，这证实了我们新方法的必要性。
2019-11-04 cs.AI cs.CL cs.CY
Multilingual Models for Compositional Distributed Semantics
University of Oxford（牛津大学）
我们提出了一种新的技术，学习语义表示，扩展的分布假设，多语言数据和联合空间嵌入。我们的模型利用并行数据，并学习强烈对齐语义等价句子的嵌入，同时在不同句子之间保持足够的距离。该模型不依赖于单词对齐或任何句法信息，并成功地应用于许多不同的语言。我们也扩展了我们的方法来学习文档级别的语义表示。我们评估这些模型的两个跨语言的文档分类任务，优于现有的最先进的状态。通过定性分析和研究的旋转效应，我们证明，我们的表示是语义上合理的，可以捕捉语义关系，跨语言，而无需并行数据。
2014-04-17 cs.CL
Sentiment analysis is not solved! Assessing and probing sentiment classification
University of Oslo（奥斯陆大学）
SA的神经方法已经导致了对以前方法的定量改进，但这些进步并不总是伴随着对定性差异的彻底分析。因此，目前尚不清楚情感分析还存在哪些突出的概念挑战。在这项工作中，我们试图发现哪些挑战仍然证明英语情感分类器的问题，并提供一个具有挑战性的数据集。我们收集了一个（Oracle）最先进的情感分类器集合错误分类的句子子集，然后为它们注释了18种语言学和非语言学现象，如否定，讽刺，模态等。数据集可在https://github.com/ltgoslo/assessing_and_probing_sentiment上获得。最后，我们提供了一个案例研究，证明了有用的数据集探测一个给定的情感分类器的性能相对于语言现象。
2019-06-13 cs.CL
DisCoCat for Donkey Sentences
University College London（伦敦大学学院）
本文在 DisCoCat 框架下提出一种类型逻辑语法来解析吉奇驴句，并同时给出关系语义与向量空间语义，扩展了分布组合模型对自然语言难题的覆盖能力。
2023-08-08 cs.AI cs.CL cs.LO
Sentence Similarity Measures for Fine-Grained Estimation of Topical Relevance in Learner Essays
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
我们研究了在学习者作文中评估水平提示关联的任务。使用词重叠，神经嵌入和神经组成模型的各种系统进行评估的两个数据集的学习者写作。我们提出了一种新的词汇级相似度计算方法，该方法学习调整特定任务的预训练词嵌入的权重，与其他相关基线相比，实现了更高的准确性。
2016-06-09 cs.CL cs.LG cs.NE
Compositional Semantic Parsing Across Graphbanks
Saarland University（萨尔大学）
大多数将句子映射到基于图的含义表示的语义解析器都是为特定的图库手工设计的。我们提出了一个组成的神经语义解析器，实现了，第一次，竞争力的准确性在不同范围的graphbanks。BERT嵌入和多任务学习进一步提高了准确性，在DM、PAS、PSD、AMR 2015和EDS上创造了新的技术水平。
2019-07-13 cs.CL
What do you mean, BERT? Assessing BERT as a Distributional Semantics Model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Utrecht University（乌得勒支大学）
语境化的词嵌入，即词在语境中的向量表示，自然被看作是以前的非语境分布语义模型的扩展。在这项工作中，我们专注于BERT，一个深度神经网络，产生语境化的嵌入，并设置了最先进的几个语义任务，并研究其嵌入空间的语义一致性。虽然表现出一致性的趋势，但BERT并不完全符合语义向量空间的自然期望。特别是，我们发现，一个词出现的句子的位置，而没有意义的相关性，留下了显着的痕迹上的词嵌入和干扰相似性关系。
2020-05-08 cs.CL
Using Sentence Plausibility to Learn the Semantics of Transitive Verbs
University of Cambridge（剑桥大学）
组合分布语义学的功能方法认为及物动词是线性映射，将表示名词的分布向量转换为表示句子的向量。我们进行了初步的调查，使用一个矩阵的参数组成的逻辑回归分类训练的可转换性任务作为一个传递动词功能。我们比较了我们的方法，一个常用的基于语料库的方法来构建一个动词矩阵，并发现可扩展性训练可能是更有效的消歧任务。
2014-12-12 cs.CL
The Parallel Meaning Bank: Towards a Multilingual Corpus of Translations Annotated with Compositional Meaning Representations
University of Groningen（格罗宁根大学）；École Normale Supérieure de Cachan（卡尚高等师范学院）；University of Trento（特伦托大学）
平行意义库是一个翻译语料库，注释了共享的正式意义表示，包括超过1100万个单词，分为四种语言（英语，德语，意大利语和荷兰语）。我们的方法是基于跨语言的投影：自动生成（和手动校正）的语义注释的英语句子映射到他们的词对齐的翻译，假设翻译是保持意义。语义标注包括五个主要步骤：（i）句子和词项的文本分割;（ii）组合范畴语法的句法分析;（iii）通用语义标注;（iv）符号化;（v）基于话语表征理论的成分语义分析。这些步骤使用以半监督方式训练的统计模型来执行。所采用的注释模型都是语言中立的。我们的初步结果很有希望。
2017-02-13 cs.CL
Mathematical Foundations for a Compositional Distributional Model of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
我们提出了一个数学框架，用于统一向量空间模型中的意义分布理论，以及语法类型的合成理论，其中我们依赖于Lambek引入的预群代数。这个数学框架使我们能够从句子成分的含义中计算出一个好类型句子的含义。具体地说，预群的类型约简被“提升”为范畴中的态射，这是一个将成分的意义转化为（良好类型的）整体的意义的过程。重要的是，整个句子的意义存在于一个空间中，独立于句子的语法结构。因此，内积可以用来比较任意句子的意义，就像它是用来比较分布模型中单词的意义一样。我们采用的数学结构允许一个纯粹的图解演算，它揭示了信息如何在句子中的单词之间流动，以构成整个句子的意义。我们的“分类模型”的一个变化，其中涉及约束标量的向量空间的布尔半环的结果在蒙塔格风格的布尔值语义。
2010-03-23 cs.CL cs.LO math.CT
Assessing Guest Nationality Composition from Hotel Reviews
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；University of Lucerne（卢塞恩大学）
本文提出利用预训练嵌入与堆叠LSTM的轻量模型从酒店评论中提取客人国籍信息，以动态评估单个酒店的客源构成，并在性能与运行时间上优于复杂语言模型。
2023-08-11 cs.CL cs.LG
Meta-Learning to Compositionally Generalize
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
自然语言是合成的;句子的意义是其各部分意义的函数。这种特性使人类能够创造和解释新的句子，在他们先前的经验之外进行有力的概括。神经网络已经被证明难以处理这种泛化，特别是在设计用于评估组合泛化的任务上表现不佳（即训练和测试分布的不同方式对于组合策略来说是微不足道的）。他们在这些任务上的糟糕表现可能部分是由于监督学习的性质，它假设训练和测试数据来自同一分布。我们实现了一个元学习增强版本的监督学习，其目标直接优化分布外泛化。我们通过对现有的训练数据进行子采样来构建元学习的任务对。每一对任务都被构造成包含由相似性度量确定的相关示例，以防止模型记住它们的输入。在COGS和SCAN数据集上的实验结果表明，我们的相似性驱动的元学习可以提高泛化性能。
2021-06-29 cs.CL
Experimental Support for a Categorical Compositional Distributional Model of Meaning
University of Oxford（牛津大学）
使用经验分布方法对句子的成分意义进行建模一直是计算语言学家的挑战。我们使用BNC的数据实现了Coecke等人的抽象范畴模型（arXiv：1003.4394v1 [cs.CL]）并对其进行了评估。该实现基于关系词矩阵的无监督学习并将其应用于其参数的向量。评估基于Mitchell和Lapata（2008）为不及物句子开发的单词消歧任务，以及为及物句子设计的类似新实验。我们的模型在第一个实验中与竞争对手的结果相匹配，并在第二个实验中优于他们。随着语法复杂性的增加，结果的总体改善展示了我们模型的组合能力。
2011-06-20 cs.CL math.CT
Distributional Inclusion Hypothesis for Tensor-based Composition
Queen Mary University of London（伦敦玛丽女王大学）
根据分布包含假设，词与词之间的蕴涵可以通过词的分布向量的特征包含来度量。在最近的工作中，我们展示了如何这一假设可以从单词扩展到短语和句子中的组合分布语义的设置。本文主要研究张量的包含性质，其主要贡献是从理论和实验上分析了特征包含在不同的动词张量具体模型中的作用。我们目前的结果关系，弗罗贝纽斯，投影和整体的方法，并将它们与简单的矢量加法，乘法，最小和最大模型。由此获得的蕴涵程度通过各种现有的基于单词的措施，如杂草的和克拉克的，KL发散，APinc，balAPinc，和我们以前提出的两个指标在短语/句子的水平进行评估。我们在三个蕴涵数据集上进行了实验，研究了基于张量的组合在与层次度量相结合时，哪个版本的组合达到了最高的性能。
2016-10-14 cs.AI cs.CL
A Deep Network with Visual Text Composition Behavior
National Research Council Canada（加拿大国家研究委员会）
虽然自然语言是组合的，但最先进的神经模型如何实现组合性仍不清楚。我们提出了一个深度网络，它不仅可以实现具有竞争力的文本分类准确性，而且还表现出组合行为。也就是说，在创建一段文本（如句子）的分层表示时，网络的较低层将其特定于层的注意力权重分配给各个单词。相比之下，更高的层次组成有意义的短语和从句，其长度随着网络的加深而增加，直到完全组成句子。
2017-07-05 cs.AI cs.CL cs.NE
Learning Semantically and Additively Compositional Distributional Representations
Tohoku University（东北大学）
本文将一个基于向量的组合模型与一个形式化的语义--基于依赖的组合语义（DCS）联系起来。我们的理论证据表明，在我们的模型中的矢量组合物符合DCS的逻辑。实验表明，基于向量的组合具有很强的计算相似短语作为相似向量的能力，在广泛的短语相似性任务和关系分类上实现了接近最先进的水平;同时，DCS可以指导构建可以直接执行的结构化查询的向量。我们评估这个实用程序的句子完成任务，并报告一个新的国家的最先进的。
2016-06-08 cs.CL
KCS: Diversify Multi-hop Question Generation with Knowledge Composition Sampling
Harbin Institute of Technology（哈尔滨工业大学）；MemTensor (Shanghai) Technology Co., Ltd.（MemTensor（上海）科技有限公司）；National Key Laboratory of Smart Farm Technologies and Systems（智慧农场技术与系统全国重点实验室）
本文提出KCS框架，通过采样不同知识组合提升多跳问题生成的多样性，改进知识组合选择的准确率，并在HotpotQA和2WikiMultihopQA数据集上提升数据增强效果。
2026-04-11 cs.CL
NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model Performance
Basement AI；University of Gothenburg（哥德堡大学）；University of Helsinki（赫尔辛基大学）
预训练的神经语言模型在自然语言推理（NLI）任务上具有高性能。但他们是否真的理解处理过的序列的含义仍不清楚。我们提出了一个新的诊断测试套件，它允许评估数据集是否构成一个很好的测试平台，用于评估模型的意义理解能力。我们专门将受控腐败转换应用于广泛使用的基准测试（MNLI和ANLI），这涉及删除整个单词类，并经常导致无意义的句子对。如果受损数据的模型准确性仍然很高，那么数据集可能包含指导预测的统计偏差和伪影。然而，模型精度的大幅下降表明原始数据集对模型的推理能力提出了适当的挑战。因此，我们提出的控制可以作为一个碰撞测试，为NLI任务开发高质量的数据。
2021-04-10 cs.CL
Assessing the influence of attractor-verb distance on grammatical agreement in humans and language models
Cognitive Neuroimaging Unit（认知神经影像单元）；NeuroSpin center（NeuroSpin中心）；Sensome SAS（Sensome股份公司）；Meta AI Research（Meta人工智能研究院）；Collège de France（法兰西公学院）；Université PSL（巴黎文理研究大学）
本文通过参数化调节吸引子与动词的距离，比较人类和神经网络在主谓一致性判断中的表现，发现距离越近错误越多，但人类抗干扰能力更强，并探讨了转移概率和基于线索模型的解释。
2023-11-28 cs.CL
ChatBCI: A P300 Speller BCI Leveraging Large Language Models for Improved Sentence Composition in Realistic Scenarios
Integrated Systems and NeuroImaging Laboratory（集成系统与神经成像实验室）；Department of Electrical and Computer Engineering, Rutgers University（电气与计算机工程系，罗格斯大学）
ChatBCI利用大语言模型提升真实场景中句子组成的效率和效果。
2024-11-23 cs.AI cs.CL cs.HC
Semantic Composition in Visually Grounded Language Models
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）；Language Technologies Institute（语言技术研究所）
本文针对视觉基础语言模型在语义组合表征上的不足，提出基准、蒸馏度量、因果追踪、句法池化和跨模态正则化五种方法，以提升视觉-语言组合能力。
2023-05-15 cs.CL cs.LG
Probing Representations Learned by Multimodal Recurrent and Transformer Models
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）；Department of Computing（计算机系）；Imperial College of London（伦敦帝国理工学院）
最近的文献表明，大规模的语言建模提供了良好的可重用的句子表示与循环和自我关注的架构。然而，在由两种架构引起的表征属性的共性和差异上，还不太清楚。研究还表明，视觉信息是句子表征的基础手段之一。在本文中，我们提出了一个元研究，评估模型的代表性质量，其中训练信号是从不同的方式，特别是语言建模，图像特征预测，以及文本和多模态机器翻译。我们评估文本和视觉特征的句子表示使用图像检索和语义文本相似性的主要方法。我们的实验表明，在中等规模的数据集上，一个句子对应的目标语言或视觉模态提供更强的训练信号比语言建模的句子表示。重要的是，我们观察到，虽然Transformer模型实现了卓越的机器翻译质量，但基于递归神经网络的模型的表示比专注于语义相关性的任务表现得更好。
2019-08-29 cs.CL
Distributional Sentence Entailment Using Density Matrices
Queen Mary University of London（伦敦玛丽女王大学）；University of Oxford（牛津大学）
Coecke et al.（2010）的范畴组合分布模型提出了一种将形式的类型逻辑模型的语法组合与基于语料库的分布语义的经验词表示相结合的方法。本文通过扩展模型来捕获蕴涵关系，从而为该项目做出了贡献。这是通过将词的表示从意义空间中的点扩展到密度算子来实现的，密度算子是空间子空间上的概率分布。定义了相似性的对称度量和蕴涵的非对称度量，其中词汇蕴涵使用冯·诺依曼熵（Kullback-Leibler发散的量子变体）来测量。词汇蕴涵与词表征的组合图相结合，提供了一种在句子层次上获取蕴涵关系的方法。真值理论和语料库为基础的例子。
2015-10-14 cs.CL cs.IT cs.LO
