Exploiting Cross-Sentence Context for Neural Machine Translation
Dublin City University（都柏林城市大学）；Tencent AI Lab（腾讯AI实验室）
在翻译过程中，将文件作为一个整体来考虑有助于解决歧义和不一致的问题。本文提出了一种跨句子上下文感知方法，并研究了历史上下文信息对神经机器翻译（NMT）性能的影响。首先，这段历史是以一种分层的方式总结的。然后，我们以两种策略将历史表示集成到NMT中：1）编码器和解码器状态的热启动，以及2）用于更新解码器状态的辅助上下文源。在一个大型的汉英翻译任务上的实验结果表明，我们的方法显着提高了一个强大的基于注意力的NMT系统高达+2.1 BLEU点。
2017-07-23 cs.CL
A Geometric Method to Obtain the Generation Probability of a Sentence
Nanjing Normal University（南京师范大学）
“如何生成句子”是所有自然语言处理技术中最关键也是最困难的问题。本文从数学的角度提出了一种新的解释句子生成过程的方法。我们的方法是基于这样一个前提，即在我们的大脑中，一个句子是由许多单词节点形成的单词网络的一部分。实验表明，通过单个词的概率和词对的共现概率可以得到整个句子的概率，这表明人类使用合成方法来生成句子。
2014-06-04 cs.AI cs.CL math.ST
MGNC-CNN: A Simple Approach to Exploiting Multiple Word Embeddings for Sentence Classification
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一种新颖的，简单的卷积神经网络（CNN）架构-多组范数约束CNN（MGNC-CNN），它利用多组词嵌入进行句子分类。MGNC-CNN从输入嵌入集中独立提取特征，然后在网络的倒数第二层将这些特征连接起来，形成最终的特征向量。然后，我们采用了一种组正则化策略，该策略对与从各个嵌入集生成的子分量相关联的权重进行差分惩罚。该模型比类似的替代架构简单得多，并且需要的训练时间大大减少。此外，它是灵活的，因为它不要求输入词嵌入具有相同的维度。我们证明了MGNC-CNN始终优于基线模型。
2016-03-27 cs.CL
Large Language Model probabilities cannot reliably distinguish between possible and impossible language
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Institució Catalana de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚高等研究院）；EcoVadis（EcoVadis 公司）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本文通过最小对立对意外度实验证明大语言模型的字符串概率无法可靠区分不合乎语法与语义、语用异常的句子，从而否定概率可作为句法知识表征的代理指标。
2026-10-27 cs.CL
Exploiting Sentence and Context Representations in Deep Neural Models for Spoken Language Understanding
University of Cambridge（剑桥大学）
本文提出了一种用于统计口语对话系统的语义解码器组件的深度学习架构。在槽填充对话中，语义解码器从自动语音识别返回的n个最佳假设的集合预测对话动作和槽值对的集合。用于口语语言理解的大多数当前模型假设（i）如在序列标记器中的单词对齐的语义注释，以及（ii）去词汇化，或者使用尝试捕获形态变化但不缩放到其他域也不缩放到语言变化（例如，形态学、同义词、释义）。在这项工作中，语义解码器使用未对齐的语义注释进行训练，并使用分布式语义表示学习来克服显式去词汇化的局限性。所提出的架构使用一个卷积神经网络的句子表示和一个长短期记忆网络的上下文表示。结果是公开的DSTC 2语料库和车内语料库，这是类似于DSTC 2，但有一个显着较高的字出错率（WER）。
2016-10-13 cs.AI cs.CL cs.NE
Exploiting Global Contextual Information for Document-level Named Entity Recognition
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Naval University of Engineering（海军工程大学）
现有的大多数命名实体识别方法都是基于序列标记模型的，其重点是捕获局部上下文依赖关系。然而，以一个句子作为输入的方式防止了非顺序的全局上下文的建模，这是有用的，特别是当局部上下文信息是有限的或模糊的。为此，我们提出了一个称为全局上下文增强文档级NER（GCDoc）的模型，以利用两个级别的全局上下文信息，即，单词和句子。在词级，构建文档图来建模词之间更广泛的依赖关系，然后通过图神经网络（GNN）获得每个词的丰富的上下文表示。为了避免噪声信息的干扰，我们进一步提出了两种策略。首先，我们应用认识不确定性理论来找出表示不太可靠的标记，从而帮助修剪文档图。然后提出一种选择性辅助分类器，有效地学习文档图中边的权重，降低噪声邻居节点的重要性。在句子层面，为了适当地建模单个句子之外的更广泛的上下文，我们采用了一个跨句子模块，该模块对相邻的句子进行编码，并通过注意力和门控机制将其与当前的句子表示融合。在两个基准NER数据集（CoNLL 2003和Ontonotes 5.0英文数据集）上的实验证明了该模型的有效性。我们的模型在CoNLL 2003数据集上的F1得分达到92.22（BERT为93.40），在Ontonotes 5.0数据集上达到88.32（BERT为90.49），达到了新的最先进的性能。
2021-06-02 cs.AI cs.CL
Learning a Word-Level Language Model with Sentence-Level Noise Contrastive Estimation for Contextual Sentence Probability Estimation
Seoul National University（首尔大学）
推断句子或词序列的概率分布是自然语言处理中的一个关键过程。虽然单词级语言模型（LM）已被广泛采用的计算单词序列的联合概率，他们有困难，在捕捉足够长的上下文句子概率估计（SPE）。为了克服这一点，最近的研究引入了使用递归神经网络（RNN）的重复级噪声对比估计（NCE）的训练方法。在这项工作中，我们试图扩展它的上下文SPE，其目的是估计一个条件句的概率给定以前的文本。所提出的NCE独立于先前文本对否定句进行采样，使得训练后的模型对与\textcolor{blue}{the}上下文更一致的句子给出更高的概率。我们将我们的方法应用于一个简单的单词级RNN LM，以关注单词级NCE训练的效果，而不是网络架构。评估的质量对多项选择完形填空式的问题，包括人类和自动生成的问题。实验结果表明，该方法提高了词级RNN LM的SPE质量。
2021-03-14 cs.CL
The role of grammar in transition-probabilities of subsequent words in English text
Medical University of Vienna（维也纳医科大学）；Complexity Science Hub Vienna（维也纳复杂科学中心）；Santa Fe Institute（圣塔菲研究所）；IIASA（国际应用系统分析研究所）
句子的形成是一个高度结构化、依赖于历史和样本空间缩减（SSR）的过程。虽然句子中的第一个单词可以从整个词汇中选择，但随着句子的发展，选择后续单词的自由度越来越受到语法和上下文的限制。这种样本空间减少属性提供了一个自然的解释Zipf定律在词频，但是，它无法捕捉的结构的词到词的转移概率矩阵的英语文本。在这里，我们采用的观点，语法约束（如主语-谓语-宾语）本地重新排序的词序在句子中采样SSR词生成过程。我们表明，叠加的语法结构-作为一个本地字重新排序（置换）的过程-在一个样本空间减少的过程是足够的解释，字的频率和字到字的转换概率。我们比较质量的语法有序SSR模型再现几个测试统计的真实文本与其他文本生成模型，如伯努利模型，西蒙模型，和猴子打字模型。
2018-12-28 cs.CL physics.soc-ph
Exploiting Semantics in Neural Machine Translation with Graph Convolutional Networks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
长期以来，语义表示一直被认为是潜在的有用的强制意义保存和提高泛化性能的机器翻译方法。在这项工作中，我们是第一个将源句子的谓词-论元结构（即语义-角色表征）的信息纳入神经机器翻译。我们使用图卷积网络（GCN），以注入一个语义偏见的句子编码器，并实现在BLEU分数的改进，在英语-德语语言对的语言不可知和语法感知的版本。
2020-06-20 cs.CL
Exploiting Multilingualism in Low-resource Neural Machine Translation via Adversarial Learning
提出DAASI方法通过学习多语言潜在表示进行句子插值，并结合Wasserstein-GAN计算奖励优化多语言NMT模型，在低资源翻译上提升4 BLEU点且在零样本场景表现鲁棒。
2023-03-31 cs.CL
Sentence-Level Contextual Entrainment in Large Language Models
Kyoto University（京都大学）
研究大型语言模型中句子级上下文嵌入现象，发现提示中的句子（包括反事实陈述）会显著增加其推理概率，且该现象随模型增大而减弱，通过关闭2%-4%的注意力头可缓解而不影响性能。
2026-06-24 cs.CL
Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation
Tsinghua University（清华大学）；Apple（苹果公司）；Westlake University（西湖大学）；The Chinese University of Hong Kong（香港中文大学）
虽然大规模神经语言模型，如GPT 2和BART，在各种文本生成任务上取得了令人印象深刻的结果，但它们往往会陷入基于最大化的解码算法（\textit{e.g.}，贪婪搜索）的不期望的重复级循环中。这种现象是违反直觉的，因为在人类语料库中几乎没有连续的重复级别（例如，0.02\% in Wikitext-103）.为了研究产生连续重复级别重复的根本原因，我们研究了重复令牌的概率与上下文中先前重复的概率之间的关系。通过定量实验，我们发现：1）语言模型具有重复前一句的偏好; 2）重复水平的重复具有\textit{self-reinforcement effect}：一个句子在上下文中重复的次数越多，继续生成该句子的概率越高; 3）初始概率越高的句子通常具有更强的自我强化效应。受我们的研究结果的启发，我们提出了一种简单有效的训练方法\textbf{DITTO}（Pseu \underline{D} o-Repet \underline{IT} ion Penaliza \underline{T} i \underline{O} n），其中模型学习从重复的伪数据中惩罚重复级别重复的概率。虽然我们的方法的动机是减少重复，实验表明，DITTO不仅减轻了重复问题，而不牺牲困惑，但也实现了更好的生成质量。在开放式文本生成（Wikitext-103）和文本摘要（CNN/DailyMail）上的大量实验证…
2022-10-09 cs.CL
Exploiting Duality in Open Information Extraction with Predicate Prompt
Fudan University（复旦大学）；East China University of Science and Technology（华东理工大学）；Meituan（美团）
本文提出生成式OpenIE模型DualOIE，通过“三元组转句子”的对偶任务及谓词序列提示提升复杂三元组抽取效果，并在基准、美团数据集和在线A/B测试中验证其性能与业务收益。
2024-01-20 cs.CL cs.IR
Computing and Exploiting Document Structure to Improve Unsupervised Extractive Summarization of Legal Case Decisions
University of Pittsburgh（匹兹堡大学）
虽然许多算法可以用来自动总结法律案件的决定，大多数未能纳入领域知识的法律判决中的重要句子如何与其文档结构的表示。例如，对一个法律案例摘要数据集的分析表明，在判决中扮演不同类型论证角色的句子出现在文档的不同部分。在这项工作中，我们提出了一个无监督的基于图的排名模型，使用重新加权算法，利用法律案件的决定的文档结构的属性。我们还探讨了使用不同的方法来计算文档结构的影响。加拿大法律判例法数据集上的结果表明，我们提出的方法优于几个强大的基线。
2022-11-06 cs.CL
Predicting Above-Sentence Discourse Structure using Distant Supervision from Topic Segmentation
University of British Columbia（不列颠哥伦比亚大学）
RST风格的语篇分析在许多NLP任务中起着至关重要的作用，揭示了潜在的复杂和多样的文档的潜在语义/语用结构。尽管它的重要性，在现代话语分析中最普遍的限制之一是缺乏大规模的数据集。为了克服数据稀疏性问题，最近提出了来自情感分析和摘要等任务的远程监督方法。在这里，我们通过利用主题分割的远程监督来扩展这条研究路线，这可以为高级话语结构提供强大的，通常是互补的信号。在两个人类注释的话语树库上的实验证实，我们的建议在句子和段落级别上生成准确的树结构，在句子到文档任务上始终优于以前的远程监督模型，并且偶尔在句子到段落级别上达到更高的分数。
2021-12-12 cs.AI cs.CL
Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring
NSF Center for Big Learning, University of Florida（佛罗里达大学NSF大数据学习中心）；AI Institute, Tongdun Technology（同盾科技人工智能研究院）
以答案及其上下文作为输入，序列到序列模型在问题生成方面取得了相当大的进展。然而，我们观察到，这些方法经常生成错误的问题词或关键字，并从输入中复制与答案无关的词。我们认为缺乏全局问题语义和没有很好地利用答案位置意识是关键的根本原因。本文提出了一个神经问题生成模型，该模型包括两个具体模块：句子级语义匹配和答案位置推断。此外，我们通过利用答案感知门控融合机制来增强解码器的初始状态。实验结果表明，我们的模型优于最先进的（SOTA）模型SQuAD和MARCO数据集。由于其通用性，我们的工作也显着改善现有的模型。
2020-02-03 cs.AI cs.CL cs.LG
Markov Constraint as Large Language Model Surrogate
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
本文提出用于约束编程文本生成的NgramMarkov约束，以LLM概率驱动n元组筛选与前瞻剪枝，减少候选句并提升求解效率。
2024-06-11 cs.AI cs.CL cs.LG
Exploiting Curriculum Learning in Unsupervised Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
反向翻译（Back-translation，BT）已经成为无监督神经机器翻译（unsupervised neural machine translation，UNMT）的一个事实上的组成部分，它明确地赋予了UNMT翻译能力。然而，BT生成的所有伪双文本在优化过程中都被视为干净数据，没有考虑质量差异，导致收敛速度慢，翻译性能有限。为了解决这个问题，我们提出了一个课程学习方法，逐步利用伪双文本的质量的基础上，从多个粒度。具体来说，我们首先应用跨语言词嵌入来计算单语句子的潜在翻译难度（质量）。然后，这些句子从易到难一批一批地输入联合国布隆迪特派团。此外，考虑到特定批次中的句子/令牌的质量也是不同的，我们进一步采用模型本身来计算细粒度的质量分数，这些分数作为学习因素，以平衡计算损失时不同部分的贡献，并鼓励UNMT模型专注于更高质量的伪数据。在WMT 14 En-Fr、WMT 16 En-De、WMT 16 En-Ro和LDC En-Zh翻译任务上的实验结果表明，该方法具有更快的收敛速度，并取得了一致的改进。
2021-09-23 cs.CL
Exploiting All Samples in Low-Resource Sentence Classification: Early Stopping and Initialization Parameters
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）
针对低资源句子分类问题，提出一种集成训练策略，通过权重平均初始化和非验证停止方法充分利用少量标注样本，显著提升准确率并适配多种先进模型。
2024-07-25 cs.CL
A New Statistical Parser Based on Bigram Lexical Dependencies
本文描述了一种新的统计分析器，它是基于概率的依赖关系的中心词在分析树。标准的bigram概率估计技术扩展到计算单词对之间的依赖关系的概率。使用《华尔街日报》数据的测试表明，该方法的性能至少与SPATTER（Magerman 95，Jelinek et al 94）一样好，后者在此任务上具有统计分析器的最佳结果。该方法的简单性意味着该模型在15分钟内训练了40，000个句子。使用波束搜索策略，解析速度可以提高到每分钟200多个句子，准确性损失可以忽略不计。
1996-05-06 cmp-lg cs.CL
Combining Improvements for Exploiting Dependency Trees in Neural Semantic Parsing
University of Science and Technology of China（中国科学技术大学）
自然语言句子的依存树可以捕捉语义和词之间的相互作用。然而，目前还不清楚这些方法，利用这种依赖性信息的语义解析是否可以结合起来，以实现进一步的改进和这些方法的关系，当他们结合。在本文中，我们研究了三种方法，将这种依赖信息的Transformer为基础的语义分析器和实证研究他们的组合。我们首先将编码器中的标准自注意头替换为父母缩放自注意（PASCAL）头，即，可以关注每个令牌的依赖父令牌。然后，我们连接语法感知的单词表示（SAWR），即，神经依赖解析器的中间隐藏表示，用普通的词嵌入来增强编码器。随后，我们将成分注意力（CA）模块插入到编码器中，这为注意力头部添加了一个额外的约束，可以更好地捕捉输入句子的固有依赖结构。模型聚合采用了直推集成学习（TEL），并进行了消融研究，以显示每种方法的贡献。我们的实验表明，CA是PASCAL或SAWR的补充，PASCAL + CA提供了ATIS，GEO和JOBS的神经方法之间的最先进的性能。
2021-12-25 cs.CL
OmniAlign: A Unified Multilingual Aligner for Word and Sentence Alignment
WPS Qingqiu（WPS清qiu（WPS清秋））
OmniAlign是一款轻量级多语言对齐工具，采用四阶段训练流程，可同时支持词级和句子级对齐，在基准测试中表现具竞争力且泛化性良好，短文本微调可提升其对齐质量与长文本稳健性。
2026-08-20 cs.CL
Syllable-level lyrics generation from melody exploiting character-level language model
National Institute of Informatics（国立情报学研究所）；SOKENDAI（综合研究大学院大学）；Aalto University（阿尔托大学）
针对无公开音节级预训练语言模型的问题，提出将微调字符级语言模型的语言学知识融入音节级Transformer生成网络的束搜索过程，实现从符号旋律生成歌词，经ChatGPT与人工评估验证提升了歌词的连贯性与准确性，无需训练高成本新模型。
2024-01-30 cs.AI cs.CL
Discourse Structures Guided Fine-grained Propaganda Identification
Texas A&M University（德克萨斯A&M大学）
本文提出利用局部和全局语篇结构辅助细粒度宣传识别，通过两个教师模型分别建模句子间语篇关系和句子语篇角色，并以特征融合或知识蒸馏方式融入，在基准数据集上显著提升了宣传内容识别的精确率和召回率。
2023-10-28 cs.CL
Multi-Aspect Sentiment Analysis with Latent Sentiment-Aspect Attribution
University of Houston（休斯顿大学）
在本文中，我们介绍了一个新的框架，称为情感方面归因模块（SAAM）。SAAM工作在传统的神经网络之上，旨在解决多方面的情感分类和情感回归问题。该框架的工作原理是利用文件级嵌入功能和文档级方面评分的变化之间的相关性。我们在基于CNN和RNN的模型之上展示了我们框架的几种变体。在酒店评论数据集和啤酒评论数据集上的实验表明，SAAM可以提高相应基础模型的情感分析性能。此外，由于我们的框架直观地将文档级分数与文档级分数结合在一起，因此能够更深入地了解数据（例如，半监督句子体标记）。因此，我们以详细的分析结束了本文，展示了我们的模型在其他应用中的潜力，如情感片段提取。
2020-12-15 cs.CL cs.LG
Exploiting Low-dimensional Structures to Enhance DNN Based Acoustic Modeling in Speech Recognition
Idiap Research Institute（伊迪亚普研究所）；University of Fribourg（弗里堡大学）
我们建议将深度神经网络（DNN）类条件后验概率的声学空间建模为低维子空间的联合。为此，训练后验用于字典学习和稀疏编码。使用该字典的测试后验的稀疏表示使得能够投影到训练数据的空间。依赖于这样的事实，即后验子空间的内在尺寸确实是非常小的，属于一类的所有后验的矩阵具有非常低的秩，我们演示了如何低维结构，使进一步增强后验和纠正虚假的错误，由于失配条件。增强的声学建模方法导致使用混合DNN-HMM（隐马尔可夫模型）框架在干净和噪声条件下的连续语音识别任务的改进，其中实现了高达15.4%的字出错率（WER）的相对降低。
2016-01-22 cs.CL cs.LG stat.ML
EDU-level Extractive Summarization with Varying Summary Lengths
University of Manchester（曼彻斯特大学）
抽取模型通常将文本摘要表述为从文档中抽取固定的顶部$k$显著句子作为摘要。很少有研究对抽取细粒度的基本语篇单元（EDU）进行研究，很少对抽取单元的选择进行分析和论证。此外，固定顶部$k$显著句的选择策略不太适合摘要需要，因为不同文档中的显著句的数量不同，因此在现实中不存在共同的或最好的$k$。为了填补这一空白，本文首先对基于教育单元和句子的甲骨文摘要进行了对比分析，从理论和实验两个角度对教育单元摘要的自动评价得分高于句子的现象进行了论证和量化。针对教育单元的这一特点，本文进一步提出了一种基于变摘要律的教育单元级抽取模型，并给出了相应的学习算法。EDU-VL学习编码和预测文档中EDU的概率，基于各种$k$值生成具有不同长度的多个候选摘要，并以端到端的训练方式对候选摘要进行编码和评分。最后，EDU-VL在单文档和多文档基准数据集上进行了实验，并与最先进的提取模型相比，在ROUGE分数上显示出改进的性能，进一步的人工评估表明，EDU成分摘要保持了良好的语法性和可读性。
2023-03-13 cs.CL
Exploiting the English Vocabulary Profile for L2 word-level vocabulary assessment with LLMs
ALTA Institute, Department of Engineering, University of Cambridge（ALTA研究所，工程系，剑桥大学）
本文提出将大语言模型与英语词汇画像（EVP）相结合，对二语写作中的单个词进行语境化能力等级评估，实验表明该方法优于基于词性的基线，并能检验EVP等级一致性。
2025-06-03 cs.AI cs.CL
Ensemble Fine-tuned mBERT for Translation Quality Estimation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；IQVIA
质量评估（QE）是机器翻译工作流程的重要组成部分，因为它在不咨询参考译文的情况下评估翻译输出的质量。在本文中，我们讨论了我们对WMT 2021 QE共享任务的提交。我们参与了任务2的编辑水平子任务，该任务要求参与者预测编辑水平后期编辑工作的HTER分数。我们提出的系统是一个合奏的多语言BERT（mBERT）为基础的回归模型，这是通过微调不同的输入设置。它展示了与Pearson相关性相当的性能，并在几种语言对的MAE/ RMSE中击败了基线系统。此外，我们适应我们的系统的zero-shot设置利用目标语言相关的语言对和伪参考翻译。
2021-09-08 cs.CL
