DiS-ReX: A Multilingual Dataset for Distantly Supervised Relation Extraction
Indian Institute of Technology（印度理工学院）
远程监督（DS）是一种成熟的技术，用于在不使用人工注释的情况下创建用于关系抽取（RE）的大规模数据集。然而，DS-RE的研究主要限于英语。将RE限制在一种语言中会抑制对其他语言中的大量数据的利用，而其他语言可以提取更多样化的事实。最近，多语言DS-RE数据集已经发布。然而，我们的分析表明，所提出的数据集表现出不切实际的特征，例如1）缺乏不表达任何关系的句子，以及2）给定实体对的所有句子都只表达一种关系。我们发现，这些特点导致一个总高估模型的性能。作为回应，我们提出了一个新的数据集DiS-ReX，它解决了这些问题。我们的数据集有超过150万个句子，跨越4种语言，36个关系类+ 1个无关系（NA）类。我们还通过使用mBERT对句子进行编码来修改广泛使用的包注意力模型，并提供了多语言DS-RE的第一个基准结果。与竞争数据集不同，我们表明我们的数据集具有挑战性，并为该领域的未来研究留下了足够的空间。
2021-04-17 cs.CL cs.LG
Aerodynamic Data Predictions Based on Multi-task Learning
University of Electronic Science and Technology of China（电子科技大学）；China Aerodynamics Research and Development Center（中国空气动力研究与发展中心）
数据集的质量是影响气动数据模型精度的关键因素之一。例如，在均匀采样的Burgers数据集中，不充分的高速数据被大量的低速数据淹没。预测高速数据比预测低速数据更困难，因为高速数据的数量有限，即Burgers数据集的质量不令人满意。为了提高数据集的质量，传统方法通常在建模前利用数据恢复技术为原始数据集中不足的部分生成足够的数据，这增加了计算成本。最近，专家混合体被用于自然语言处理中来处理句子的不同部分，这为消除气动数据建模中数据重采样的需要提供了一种解决方案。受此启发，我们提出了多任务学习（MTL），一个数据集质量自适应的学习方案，它结合了任务分配和空气动力学特性学习在一起，分散整个学习任务的压力。任务分配将整个学习任务分解为多个独立的子任务，而气动特性学习同时学习这些子任务以获得更好的精度。通过两个低质量数据集的实验验证了MTL对数据集的质量适应性。结果表明，在质量较差的数据集上，MTL比FCN和GANs更准确。
2020-10-15 cs.AI cs.LG
Detecting and Mitigating Hallucinations in Machine Translation: Model Internal Workings Alone Do Well, Sentence Similarity Even Better
Meta AI
虽然神经机器翻译中的幻觉问题早已被认识到，但到目前为止，其缓解进展甚微。事实上，最近的事实证明，如果没有人为地鼓励模型产生幻觉，以前现有的方法就不够了，甚至标准的序列对数概率也更有信息量。这意味着模型内部的特征可以提供比我们预期的更多的信息，在使用外部模型和度量之前，我们首先需要问：如果我们只使用翻译模型本身，我们能走多远？我们建议使用一种方法来评估源贡献对生成的翻译的百分比。直觉上，幻觉是与源“分离”的翻译，因此它们可以通过低源贡献来识别。该方法将最严重幻觉的检测准确性提高了2倍，并且能够在测试时减轻幻觉，与依赖于外部模型的先前最佳方法相当。接下来，如果我们远离内部模型特征并允许外部工具，我们表明使用跨语言嵌入的句子相似性进一步改善了这些结果。
2022-12-20 cs.CL
Zero-Shot Translation Quality Estimation with Explicit Cross-Lingual Patterns
The University of Sydney（悉尼大学）；Nagoya University（名古屋大学）
本文介绍了我们提交的WMT 2020句子水平直接评估，质量评估（QE）共享任务。在本研究中，我们经验性地揭示了直接采用BERTScore进行量化评估时的\textit{mismatching issue}。具体而言，在具有标记对相似度的翻译候选句和源句之间存在大量的不匹配错误。针对这一问题，我们提出了明确的跨语言模式，\textit{e.g.}词对齐和生成分数，我们提出的zero-shot模型。实验表明，我们提出的QE模型与明确的跨语言模式可以减轻不匹配的问题，从而提高性能。令人鼓舞的是，我们的zero-shot QE方法可以实现与监督QE方法相当的性能，甚至在6个方向中的2个方向上优于监督QE方法。我们希望我们的工作可以阐明zero-shot QE模型的改进。
2020-10-10 cs.CL
Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation
Xiamen University（厦门大学）；Soochow University（苏州大学）；Tsinghua University（清华大学）
神经机器翻译（NMT）严重依赖于词级建模来学习输入句子的语义表示。但是，对于没有自然词分隔符的语言（例如，中文）中输入句子必须首先进行标记化，传统的NMT面临两个问题：1）难以找到用于源句子建模的最佳标记化粒度; 2）1-最佳标记化中的错误可能传播到NMT的编码器。为了解决这些问题，我们提出了基于词格的循环神经网络（RNN）编码器，它将标准RNN推广到词格拓扑结构。所提出的编码器将对多个标记进行压缩编码的词格作为输入，并学习从任意多个输入和先前时间步中的隐藏状态生成新的隐藏状态。因此，基于词格的编码器不仅减轻了标记化错误的负面影响，而且对嵌入输入句子更有表达力和灵活性。中英文翻译实验结果表明，该编码器优于传统的编码器。
2016-12-09 cs.CL
Robust Tuning Datasets for Statistical Machine Translation
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）
我们探讨了自动制作用于统计机器翻译（SMT）的调优数据集的想法，该调优数据集使得SMT系统的超参数相对于参数调优算法的一些特定缺陷更加鲁棒。这是一个未充分探索的研究方向，可以更好地进行参数调整。在本文中，我们通过选择可用的句子对的子集来实现这一目标，这些句子对更适合于优化器，目标函数和评估措施的特定组合。我们展示了潜在的想法与成对排名优化（PRO）优化器，这是已知的产生太短的翻译。我们表明，学习问题可以减轻调整的发展集的子集，根据句子长度选择。特别是，使用最长的50%的调优语句，我们实现了两倍的调优加速，并改善了BLEU分数，与替代方案相媲美，而替代方案则修复了BLEU+1的平滑。
2017-10-01 cs.CL
Recurrent Neural Network-Based Semantic Variational Autoencoder for Sequence-to-Sequence Learning
Korea University（高丽大学）
序列到序列（Seq 2seq）模型在最近各种自然语言处理方法（例如机器翻译、文本摘要和语音识别）的成功中发挥了重要作用。然而，目前的Seq 2seq模型很难从长序列的单词中保留全局潜在信息。变分自编码器（VAE）通过学习输入句子的连续语义空间来解决这个问题。然而，这并不能完全解决问题。在本文中，我们提出了一种新的循环神经网络（RNN）的Seq 2seq模型，RNN语义变分自编码器（RNN-SVAE），以更好地捕捉全局潜在的信息的一个单词序列。为了正确地反映句子中单词的含义，而不考虑其在句子中的位置，我们使用编码器的最终状态和每个先前隐藏状态之间的注意力信息来构造文档信息向量。然后，连续语义空间的平均值和标准差的学习，通过使用这个向量，以利用变分方法。通过使用文档信息向量来寻找句子的语义空间，可以更好地捕获句子的全局潜在特征。三个自然语言任务的实验结果（即，语言建模，漏词填补，释义识别）证实了所提出的RNN-SVAE产生比两个基准模型更高的性能。
2018-06-02 cs.CL
Towards Multimodal Simultaneous Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）
同声翻译是指在说话人的话语完成之前翻译一个句子，以实现多种语言的实时理解。由于在解码过程中输入信息的不足，这项任务比一般的整句翻译更具挑战性。为了缓解这一不足，我们提出了多模态同步神经机器翻译（MSNMT），它利用视觉信息作为一个额外的模态。我们对Multi30k数据集的实验表明，MSNMT在更及时的翻译情况下，以低延迟显著优于纯文本翻译。此外，我们通过对MSNMT进行对抗性评估来验证视觉信息在解码过程中的重要性，在该评估中，我们研究了模型在不一致输入模态下的表现，并分析了源语言和目标语言之间不同词序的影响。
2020-10-23 cs.CL
Data-Driven Adaptive Simultaneous Machine Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
在同声翻译（SimulMT）中，最广泛使用的策略是wait-k策略，因为它在平衡翻译质量和延迟方面既简单又有效。然而，wait-k有两个主要的限制：（a）它是一个固定的策略，不能自适应地调整给定上下文的延迟，（b）它的训练比整句翻译慢得多。为了缓解这些问题，我们提出了一种新的和有效的自适应SimulMT的训练方案，通过增加训练语料库与自适应前缀前缀对，而训练的复杂性保持相同的训练整句翻译模型。在两个语言对上的实验表明，我们的方法在翻译质量和延迟方面优于所有强基线。
2022-04-27 cs.CL
Neural Machine Translation with Reconstruction
Noah’s Ark Lab, Huawei Technologies（华为诺亚方舟实验室）；Tsinghua University（清华大学）
虽然端到端神经机器翻译（NMT）在过去两年中取得了显著的进展，但它存在一个主要缺点：NMT系统生成的翻译往往缺乏充分性。人们普遍注意到，NMT倾向于重复翻译某些源词，而错误地忽略其他词。为了缓解这个问题，我们提出了一种新的编码器-解码器-重构器框架的NMT。NMT模型中的重构器从输出目标句的隐含层重构出输入源句，以保证源端的信息尽可能多地转换到目标端。实验结果表明，该框架显著提高了NMT输出的充分性，并取得了优于国家的最先进的NMT和统计MT系统的翻译结果。
2016-11-21 cs.CL
Syntactic Knowledge via Graph Attention with BERT in Machine Translation
University of Leeds（利兹大学）
针对Transformer深层句法建模不足的问题，提出SGB方法，利用GAT与BERT将句法依存特征作为显式知识融入机器翻译，实验证明其在三个任务中提升了翻译质量且未损失BLEU分数。
2023-05-22 cs.CL
Multi-Level Contrastive Learning for Cross-Lingual Alignment
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）
跨语言预训练模型，如多语言BERT（mBERT），在各种跨语言下游NLP任务中取得了显著的性能。本文提出了一种多层次的对比学习（ML-CTL）框架，以进一步提高预训练模型的跨语言能力。所提出的方法使用翻译的并行数据来鼓励模型为不同的语言生成相似的语义嵌入。然而，与以往大多数研究中使用的句子水平对齐不同，在本文中，我们明确地将每对平行句子的单词水平信息整合到对比学习中。此外，跨零噪声对比估计（CZ-NCE）的损失，提出了在小批量的训练过程中，以减轻浮点误差的影响。与Xtreme基准测试中相同大小的模型相比，该方法显着提高了我们的基本模型（mBERT）的跨语言迁移能力，并在多个zero-shot跨语言下游任务上表现出色。
2022-02-26 cs.CL
Synthetic Oversampling of Multi-Label Data based on Local Label Distribution
School of Informatics Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学信息学院）
类别不平衡是多标签数据的一个固有特性，它影响了大多数多标签学习方法的预测精度。处理这个问题的一个有效策略是在训练分类器之前采用重定位技术。现有的多标签采样方法缓解了多标签数据集的（全局）不平衡。然而，性能下降主要是由于罕见的子概念和类的重叠，可以通过查看少数示例的局部特征来分析，而不是整个数据集的不平衡。我们提出了一种新的方法，多标签数据的合成过采样，专注于本地标签分布，以产生更多样化和更好的标记实例。在13个多标签数据集上的实验结果证明了所提出的方法在各种评估措施中的有效性，特别是在原始数据的重复样本上训练的分类器集合的情况下。
2019-06-20 cs.LG stat.ML
Generalized Data Augmentation for Low-Resource Translation
Carnegie Mellon University（卡内基梅隆大学）
低资源语言LRL之间的互译对机器翻译在充分性和流畅性方面提出了挑战。利用大量单语数据的数据增强被认为是缓解这些问题的有效途径。在本文中，我们提出了一个通用的框架，在低资源的机器翻译，不仅使用目标方单语数据，但也通过相关的高资源语言HRL的枢轴数据增强。具体来说，我们尝试使用两步旋转方法将高资源数据转换为LRL，利用可用资源更好地近似LRL的真实数据分布。首先，我们注入LRL词HRL句子通过诱导双语词典。其次，我们使用修改后的无监督机器翻译框架进一步编辑这些修改后的句子。在四个低资源数据集上进行的大量实验表明，在极端低资源设置下，与有监督的反向翻译基线相比，我们的数据增强技术将翻译质量提高了约1.5到约8个BLEU点
2019-06-10 cs.CL
CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training
Beijing Institute of Technology（北京理工大学）；Xiaomi AI Lab（小米人工智能实验室）
针对同声传译中因词序差异导致的幻觉问题，提出基于置信度的CBSiMT框架，通过词元级和句子级加权训练缓解干扰，在多语种任务中多数延迟区间提升翻译质量，低延迟下BLEU最高提2分。
2023-11-07 cs.CL
Simple and Effective Text Simplification Using Semantic and Neural Methods
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
句子分割是一种主要的简化操作。在这里，我们提出了一个简单而有效的分裂算法的自动语义分析器的基础上。拆分后，文本可以进行进一步的微调简化操作。特别是，我们表明，神经机器翻译可以有效地用于这种情况下。以前的应用程序的机器翻译简化遭受相当大的缺点，因为他们是过于保守，往往无法修改的来源，以任何方式。这里提出的基于语义解析的拆分解决了这个问题。广泛的自动和人工评价表明，所提出的方法相媲美的国家的最先进的词汇和结构相结合的简化。
2018-10-11 cs.CL
Handling Syntactic Divergence in Low-resource Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
尽管神经机器翻译（NMT）在标准基准测试中取得了令人印象深刻的经验成功，但有限的并行数据阻碍了NMT模型在许多语言对中的应用。诸如反向翻译的数据增强方法使得使用单语数据来帮助缓解这些问题成为可能，但是反向翻译本身在极端低资源情况下失败，特别是对于句法不同的语言。在本文中，我们提出了一个简单而有效的解决方案，即目标语言的句子被重新排序，以匹配源的顺序，并作为一个额外的来源，训练时间的监督。通过模拟低资源日语到英语和真实低资源维吾尔语到英语场景的实验，发现与其他半监督替代方案相比有显着改善。
2019-08-30 cs.CL
Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
Google Inc.（谷歌公司）
子词单元是解决神经机器翻译中开放词汇问题的有效方法。虽然句子通常被转换成唯一的子词序列，但子词切分可能是模糊的，并且即使使用相同的词汇表也可能进行多个切分。在本文中解决的问题是，是否有可能利用分割模糊作为噪声，以提高NMT的鲁棒性。我们提出了一种简单的正则化方法，即子词正则化，它使用在训练期间概率采样的多个子词切分来训练模型。此外，为了更好地子词采样，我们提出了一种新的子词切分算法的基础上一元语言模型。我们实验多个语料库和报告一致的改进，特别是在低资源和域外设置。
2018-04-29 cs.CL
P-Transformer: Towards Better Document-to-Document Neural Machine Translation
Northwest Minzu University（西北民族大学）；Soochow University（苏州大学）；Huawei Translation Services Center（华为翻译服务中心）
通过Transformer从头开始直接训练文档到文档（Doc 2Doc）神经机器翻译（NMT），特别是在小数据集上，通常无法收敛。我们专门的探测任务表明：1）绝对位置和相对位置信息一旦到达编码器上层就会逐渐减弱甚至消失，2）编码器输出中绝对位置信息的消失导致Doc 2Doc NMT的训练失败。为了缓解这个问题，我们提出了一个位置感知的Transformer（P-Transformer），以提高绝对和相对位置信息的自我注意和交叉注意。具体地，我们整合绝对位置信息，即，位置嵌入，通过一个简单而有效的加法运算，在自注意和交叉注意中的查询键对中。此外，我们还整合了自我注意中的相对位置编码。所提出的P-变压器利用正弦位置编码，不需要任何任务指定的位置嵌入，段嵌入，或注意力机制。通过上述方法，我们使用P-Transformer构建了一个Doc 2Doc NMT模型，该模型以序列到序列（seq 2seq）的方式摄取源文档并完整地生成目标文档。此外，P-Transformer还可以应用于基于seq 2seq的文档到句子（Doc 2Sent）和句子到句子（Sent 2Sent）翻译。Doc 2Doc NMT的大量实验结果表明，P-Transformer在广泛使用的9个文档级数据集、7个语言对上的表现显著优于强基线，达到了新的水平。对话语现象的实验表明，我们的Doc 2Doc NMT模型在BLEU和话…
2022-12-12 cs.CL
Neural Machine Translation with Key-Value Memory-Augmented Attention
Tencent AI Lab（腾讯人工智能实验室）
近年来，基于注意力的神经机器翻译（NMT）取得了显著的进展，但仍存在重复和漏译问题。为了缓解这些问题，我们提出了一种新的键值记忆增强注意模型NMT，称为KVMEMATT。具体来说，我们保持一个及时更新的关键记忆来跟踪注意历史，并在整个翻译过程中保持一个固定的值记忆来存储源语句的表征。通过非平凡的转换和两个存储器之间的迭代交互，解码器集中在更合适的源词（S）预测下一个目标词在每个解码步骤，因此可以提高翻译的充分性。在汉语=>英语和WMT 17德语<=>英语翻译任务上的实验结果证明了该模型的优越性。
2018-06-29 cs.CL
Non-Autoregressive Machine Translation with Auxiliary Regularization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Peking University（北京大学）
非自回归机器翻译（NAT）作为一种新的神经机器翻译方法，因其高效的推理能力而受到广泛关注。然而，高效率是以不捕获对转换的目标侧的顺序依赖性为代价的，这导致NAT遭受两种类型的转换错误：1）重复的转换（由于不可区分的相邻解码器隐藏状态），以及2）不完整的转换（由于经由解码器隐藏状态的源侧信息的不完整传输）。在本文中，我们建议通过在NAT模型的训练过程中通过两个辅助正则化项来提高解码器隐藏表示的质量来解决这两个问题。首先，为了使隐藏状态更加可区分，我们根据相应的目标令牌来正则化连续隐藏状态之间的相似性。其次，为了迫使隐藏状态包含源句子中的所有信息，我们利用翻译任务的双重性质（例如，英语到德语和德语到英语），并最小化后向重构误差，以确保NAT解码器的隐藏状态能够恢复源侧语句。在多个基准数据集上进行的大量实验表明，这两种正则化策略都是有效的，可以缓解NAT模型中的重复翻译和不完整翻译问题。因此，NAT模型的准确性相对于最先进的NAT模型显著提高，具有更好的推理效率。
2019-02-22 cs.CL cs.LG stat.ML
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology（华南理工大学）；School of Computer Science and Engineering（计算机科学与工程学院）
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题，提出SARCSE框架，通过自编码器重构全部词元并引入自适应重构损失，在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
Incorporating Discrete Translation Lexicons into Neural Machine Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Carnegie Mellon University（卡内基梅隆大学）
神经机器翻译（NMT）在翻译对理解句子含义至关重要的低频内容词时经常出错。我们提出了一种方法来缓解这个问题，通过增加NMT系统与离散翻译词典，有效地编码这些低频词的翻译。我们描述了一种通过使用NMT模型的注意向量来选择模型应该关注的源词词汇概率来计算翻译候选中下一个词的词汇概率的方法。我们测试了两种方法来将此概率与标准NMT概率相结合：（1）将其用作偏差，（2）线性插值。在两个语料库上的实验表明，BLEU和NIST评分分别提高了2.0-2.3和0.13-0.44，收敛速度也更快。
2016-10-05 cs.CL
Semantic Sentence Composition Reasoning for Multi-Hop Question Answering
Zhejiang University（浙江大学）
现有的多跳开放域问答系统由于缺乏足够的数据，需要根据每个问题有效地找出相关的支持事实。针对语义事实句检索和多跳上下文扩展的难题，提出了一种面向多跳问答任务的语义句子组合推理方法，该方法包括两个关键模块：多阶段语义匹配模块（MSSM）和事实句子组合模块（FSC）.该方法将事实句和多阶段语义检索相结合，可以为模型训练和推理提供更全面的上下文信息。实验结果表明，我们的模型是能够纳入现有的预训练语言模型，并优于现有的SOTA方法的QASC任务的改进约9%。
2022-03-01 cs.AI cs.CL cs.IR
ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯人工智能实验室）
最近，一种新的训练oaxe损失已被证明有效地改善非自回归翻译（NAT）的多模态效果，它消除了标准交叉熵损失中的词序错误的惩罚。从直觉出发，重新排序通常发生在短语之间，我们通过只允许ngram短语之间的重新排序来扩展oaxe，并且仍然要求短语内的词序严格匹配。在跨语言对和数据规模的NAT基准测试上进行的大量实验证明了该方法的有效性和通用性。进一步的分析表明，所提出的ngram-oaxe解决了多模态问题，更好地建模短语翻译。进一步的分析表明，ngram-oaxe确实改善了ngram短语的翻译，并产生了更流畅的翻译与更好的句子结构建模。
2022-10-08 cs.CL
Document-aligned Japanese-English Conversation Parallel Corpus
The University of Tokyo（东京大学）
句子级（SL）机器翻译（MT）对于许多高资源语言已经达到了可接受的质量，但文档级（DL）MT却没有，其难以1）用少量DL数据进行训练;以及2）评估，因为主要方法和数据集集中于SL评估。为了解决第一个问题，我们提出了一个文档对齐的日英会话语料库，包括平衡的，高质量的业务会话数据的调整和测试。至于第二个问题，我们手动识别SL MT在缺乏上下文的情况下无法产生足够翻译的主要区域。然后，我们创建一个评估集，这些现象被注释，以减轻DL系统的自动评估。我们使用我们的语料库训练MT模型，以展示如何使用上下文导致改进。
2020-12-11 cs.CL
Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信AI模式识别中心）
非自回归神经机器翻译（NAT）同时预测整个目标序列，并显着加快推理过程。然而，NAT丢弃了句子中的依赖信息，因此不可避免地遭受多模态问题：目标令牌可能由不同的可能翻译提供，经常导致令牌重复或丢失。为了缓解这个问题，我们提出了一种新的半自回归模型恢复SAT在这项工作中，它产生的翻译作为一个序列的片段。这些段是同时生成的，而每个段是逐个令牌预测的。通过动态确定段长度和删除重复段，RecoverSAT能够从重复和丢失令牌错误中恢复。在三个广泛使用的基准数据集上的实验结果表明，与相应的自回归模型相比，该模型在保持相当性能的同时，实现了超过4个$\times$的加速比.
2020-06-09 cs.CL
Character-based Neural Machine Translation
Instituto Superior Técnico（高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）
我们引入了一个神经机器翻译模型，将输入和输出的句子视为字符序列而不是单词。由于单词级信息提供了一个重要的偏差来源，我们的输入模型将字符序列的表示组成单词的表示（由空白边界确定），然后使用联合注意力/翻译模型翻译这些表示。在目标语言中，翻译被建模为一系列词向量，但每个词每次生成一个字符，条件是每个词中的前一个字符生成。由于单词的表示和生成是在字符级别进行的，因此我们的模型能够解释和生成看不见的单词形式。这种方法的第二个好处是，它消除了与源语言和目标语言的预处理/标记化相关的许多挑战。我们表明，我们的模型可以实现与传统的基于单词的模型相媲美的翻译结果。
2015-11-14 cs.CL
Sentence-aware Contrastive Learning for Open-Domain Passage Retrieval
Shanghai Jiao Tong University（上海交通大学）
通过对比学习训练密集段落表示已被证明是有效的开放域段落检索（ODPR）。现有的研究集中在通过改进负采样策略或额外的预训练来进一步优化。然而，这些研究保持未知的捕获通道与内部表示冲突的建模粒度不当。因此，这项工作提出了一个细化模型的基础上，更小的粒度，上下文语句，以减轻有关冲突。具体来说，我们引入了一个通道内的负采样策略，以鼓励不同的一代的句子表征在同一个通道。在三个基准数据集上的实验验证了该方法的有效性，特别是在冲突严重的数据集上。大量的实验进一步表明，我们的方法在数据集之间具有良好的可移植性。
2022-03-05 cs.CL
A New Dataset and Empirical Study for Sentence Simplification in Chinese
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
针对中文句子简化数据不足的问题，本文构建 CSS 数据集，分析英汉简化差异，并评测无监督、零样本/少样本方法及大型语言模型的表现。
2023-06-07 cs.CL
Fact-aware Sentence Split and Rephrase with Permutation Invariant Training
Key Laboratory of Computational LinguisticsSchool of EECS, Peking University（北京大学计算机学院计算语言学重点实验室）；Microsoft Research Asia（微软亚洲研究院）
句子拆分和重组旨在将一个复杂的句子分解成几个简单的句子，并保留其含义。以前的研究倾向于通过从平行句子对中进行seq 2seq学习来解决这个问题，该方法以复杂句子作为输入，然后依次生成一系列简单句子。然而，传统的seq 2seq学习对于这个任务有两个局限性：（1）它没有考虑长句中陈述的事实;因此，生成的简单句可能会遗漏或不准确地陈述原始句子中的事实。(2)要生成的简单句子的顺序变化可能会在训练期间混淆seq 2seq模型，因为从长源句子导出的简单句子可以是任何顺序。为了克服这些挑战，我们首先提出了事实感知的句子编码，它使模型能够从长句中学习事实，从而提高句子分割的精度;然后我们引入了排列不变训练来减轻seq 2seq学习中顺序方差的影响。在WebSplit-v1.0基准测试数据集上的实验表明，与以往的seq 2seq学习方法相比，该方法可以在很大程度上提高性能。此外，外部评估oie-benchmark验证了我们的方法的有效性，观察到分裂长句与我们的国家的最先进的模型作为预处理是有助于提高OpenIE的性能。
2020-02-03 cs.CL
Learn to Code-Switch: Data Augmentation using Copy Mechanism on Language Modeling
构建用于训练代码转换语言模型的大规模数据集具有挑战性并且非常昂贵。为了缓解这个问题，使用并行语料库一直是一个主要的解决方案。然而，现有的解决方案使用的语言约束，可能无法捕捉到真实的数据分布。在这项工作中，我们提出了一种新的方法来学习如何生成代码转换句子从平行语料库。我们的模型使用Seq2Seq模型与指针网络相结合，从单语句子中对齐和选择单词，并形成语法代码转换句子。在我们的实验中，我们表明，通过使用增强的句子训练语言模型，与LSTM基线相比，我们将困惑分数提高了10%。
2018-10-30 cs.CL
Ditto: A Simple and Efficient Approach to Improve Sentence Embeddings
Alibaba Group（阿里巴巴集团）
针对BERT句子嵌入对无信息词偏置导致的各向异性问题，提出无监督的对角注意力池化方法Ditto，通过加权词表示生成嵌入，无需参数与学习即可提升STS任务性能。
2023-10-23 cs.CL
ASSET: A Dataset for Tuning and Evaluation of Sentence Simplification Models with Multiple Rewriting Transformations
University of Sheffield（谢菲尔德大学）；Inria（法国国家信息与自动化研究所）；Facebook AI Research（Facebook人工智能研究院）；Imperial College London（帝国理工学院）
为了简化一个句子，人类编辑会执行多次重写转换：他们将其分成几个较短的句子，释义单词（即用简单的同义词替换复杂的单词或短语），重新排序组件和/或删除认为不必要的信息。尽管有这些不同范围的可能的文本更改，当前的自动句子简化模型是使用专注于单个转换（如词汇释义或拆分）的数据集进行评估的。这使得它不可能理解简化模型在更真实的设置中的能力。为了缓解这一局限性，本文介绍了ASSET，一个新的数据集评估句子简化的英语。ASSET是一个众包的多参考语料库，其中每个简化都是通过执行几个重写转换产生的。通过定量和定性实验，我们表明，简化ASSET更好地捕捉简单的特点相比，其他标准的评估数据集的任务。此外，我们激励需要开发更好的方法，使用ASSET自动评估，因为我们表明，目前流行的指标可能不适合当多个简化转换进行。
2020-05-01 cs.CL
Alleviating Over-smoothing for Unsupervised Sentence Representation
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；Microsoft（微软）；Duke University（杜克大学）；Peking University（北京大学）
针对无监督句子表示中的过度平滑问题，提出自对比学习（SSCL）方法，从预训练模型中间层采样负样本，提升表示质量，并在多个基线上取得显著性能提升。
2023-05-09 cs.CL
Pay Attention to Your Tone: Introducing a New Dataset for Polite Language Rewrite
Microsoft（微软）
我们介绍了\textsc{PoliteRewrite} --一个用于礼貌语言重写的数据集，这是一个新颖的句子重写任务。与以前的文本风格转换任务相比，这些任务大多可以通过轻微的标记或短语级别的编辑来解决，礼貌语言重写需要对冒犯性和不礼貌的句子进行深入的理解和广泛的编辑，以委婉和礼貌地传递相同的信息，这不仅对NLP模型而且对人类注释者来说都更具挑战性。为了减轻人类高效注释的工作量，我们首先提出了一种新的注释范式，由人类注释者和GPT-3.5合作来注释\textsc{PoliteRewrite}。发布的数据集包含GPT-3.5和人类协作注释的10 K礼貌句子重写，可用作训练，验证和测试的金标准;以及GPT-3.5无需人工审核的100 K高质量礼貌句子重写。我们希望这项工作（数据集（10 K +100 K）将很快发布）可以有助于更具有挑战性的句子重写的研究，并在大规模预训练模型的帮助下激发未来对资源注释范式的更多思考。
2022-12-20 cs.CL
ParaTTS: Learning Linguistic and Prosodic Cross-sentence Information in Paragraph-based TTS
Northwestern Polytechnical University（西北工业大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
神经端到端TTS模型的最新进展已经在传统的基于语音的TTS中显示出高质量、自然的合成语音。然而，它仍然是具有挑战性的再现类似的高质量时，一个完整的段落被认为是在文语转换，其中大量的上下文信息需要考虑在建立一个基于段落的文语转换模型。为了减轻训练中的困难，我们建议在训练中考虑跨句子，嵌入结构来建模语言和韵律信息。三个子模块，包括语言感知，韵律感知和停顿位置网络，一起训练与修改Tacotron 2。具体来说，学习嵌入在一个段落中的信息和相应的组成句子之间的关系，我们利用语言感知和韵律感知网络。编码器捕获段落中的信息，利用多头注意力机制学习段落中的句间信息。段落中的相对句子位置被位置网络明确地利用。在一个讲故事的有声读物语料库（4.08小时）上训练，由一位女性汉语普通话者记录，所提出的TTS模型表明，它可以产生相当自然和高质量的语音段落。该模型能够更好地预测和呈现跨句子的上下文信息，例如连续句子之间的中断和韵律变化。测试的段落文本，其长度类似于，长于，或远长于典型的段落长度的训练数据，TTS语音产生的新模型是一贯的首选在主观测试和确认在客观的措施基于语音的模型。
2022-09-14 cs.CL cs.SD eess.AS
Mask the Correct Tokens: An Embarrassingly Simple Approach for Error Correction
Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
文本纠错的目的是纠正文本序列中的错误，例如由人类键入或由语音识别模型生成的文本序列。以往的纠错方法通常将源（错误）句子作为编码器输入，通过解码器生成目标（正确）句子。由于不正确句子的出错率通常较低（例如，10%），纠错模型只能学习对有限的错误标记进行纠错，而对大多数标记（正确标记）进行简单的复制，这不利于纠错的有效训练。在本文中，我们认为应该更好地利用正确的标记来促进有效的训练，然后提出一个简单而有效的掩蔽策略来实现这一目标。具体来说，我们随机屏蔽掉源句子中的一部分正确标记，让模型学习不仅纠正原始错误标记，还根据它们的上下文信息预测被屏蔽的标记。我们的方法有几个优点：1）它简化了琐碎的副本; 2）它利用了来自正确令牌的有效训练信号; 3）它是一个即插即用模块，可以应用于不同的模型和任务。在汉语数据集上的拼写错误纠正和语音识别错误纠正以及英语数据集上的语法错误纠正实验表明，该方法在自回归和非自回归生成模型下均能提高纠正精度。
2022-11-23 cs.AI cs.CL
Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation
National University of Singapore（新加坡国立大学）；Meituan Inc.（美团公司）；Northwestern Polytechnical University（西北工业大学）
基于文本的视频分割是指根据描述性语句对视频中的目标对象进行分割。从光流图中提取具有外观和语言模态的运动信息是至关重要的，但以前的工作在很大程度上被忽略了。在本文中，我们设计了一种方法来融合和对齐外观，运动和语言特征，以实现准确的分割。具体来说，我们提出了一个多模态视频Transformer，它可以融合和聚合帧之间的多模态和时间特征。此外，我们还设计了一个语言引导的特征融合模块，在语言特征的指导下逐步融合每个特征层中的外观和运动特征。最后，提出了一种多模态对齐损失，以减轻不同模态特征之间的语义差距。在A2 D和J-HMDB句子上的大量实验验证了该方法的性能和泛化能力。
2022-04-06 cs.CL cs.CV
CAN: Constrained Attention Networks for Multi-Aspect Sentiment Analysis
Nankai University（南开大学）；IBM Research - China（IBM中国研究院）
方面级情感分类是一个细粒度的情感分析任务。为了检测句子中特定方面的情感，以前的研究已经开发了各种基于注意力的方法来生成特定方面的句子表征。然而，注意力可能固有地引入噪声并降低性能。本文针对注意力机制的不足，提出了一种简单有效的解决方案--约束注意力网络（CAN），用于多方面情感分析中的注意力规则化。具体来说，我们引入正交正则化的多个方面和稀疏正则化的每一个方面。在两个公共数据集上的实验结果证明了该方法的有效性。我们进一步将我们的方法扩展到多任务设置，并优于最先进的方法。
2019-08-21 cs.CL
P-SIF: Document Embeddings Using Partition Averaging
University of Utah（犹他大学）；Microsoft Research Lab（微软研究院）；Info Edge (India) Limited（Info Edge（印度）有限公司）；IIT Kanpur（印度理工学院坎普尔分校）；Indian Institute of Science（印度科学学院）
词向量的简单加权平均通常会产生有效的句子表示，在许多任务中优于复杂的seq 2seq神经模型。虽然也希望使用相同的方法来表示文档，但不幸的是，当表示涉及多个句子的长文档时，效果会丢失。其中一个关键原因是，较长的文档可能包含来自许多不同主题的单词;因此，创建单个向量而忽略所有主题结构不太可能产生有效的文档表示。这个问题在单个句子和其他简短的文本片段中不那么严重，其中最有可能存在单个主题。为了缓解这个问题，我们提出了P-SIF，一个分区字平均模型来表示长文档。P-SIF保留了简单加权平均的简单性，同时考虑了文档的主题结构。特别是，P-SIF从文档中学习特定于主题的向量，并最终将它们连接起来以表示整个文档。我们提供了理论上的P-SIF的正确性的理由。通过一组全面的实验，我们证明了P-SIF的有效性相比，简单的加权平均和许多其他基线。
2020-05-18 cs.CL cs.LG
Semantic Similarity Computing Model Based on Multi Model Fine-Grained Nonlinear Fusion
China University of Petroleum (East China)（中国石油大学（华东））；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua Space Center（清华大学航天航空学院航天中心）；Linyi University（临沂大学）
自然语言处理（NLP）任务在语义理解、自动摘要、图像识别等多个领域都取得了优异的性能，但大多数用于NLP的神经网络模型都是以细粒度的方式提取文本，不利于从全局的角度把握文本的含义。针对这一问题，提出了传统统计方法与深度学习模型相结合的方法，以及一种基于多模型非线性融合的模型。该模型分别采用基于词性的Jaccard系数、词频-逆文档频率（TF-IDF）和word 2 vec-CNN算法来度量句子的相似度。根据各模型的计算精度，求出归一化权系数，并对计算结果进行比较。将加权向量输入到全连接神经网络中，给出最终的分类结果。结果表明，统计的句子相似度评价算法降低了特征提取的粒度，从而能够全局地把握句子特征。实验结果表明，基于多模型非线性融合的句子相似度计算方法的匹配率为84%，模型的F1值为75%。
2022-02-05 cs.CL
A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Meituan（美团）；Tsinghua University（清华大学）；Columbia University（哥伦比亚大学）
视频中的时间句子基础（TSGV）旨在将未修剪的视频中的自然语言句子基础，在过去几年中引起了广泛的关注。然而，最近的研究发现，当前的基准数据集可能存在明显的矩注释偏差，即使没有训练，也可以使用几个简单的基线来实现SOTA性能。在本文中，我们仔细研究了现有的评估协议，发现流行的数据集和评估指标都是导致不可信基准测试的魔鬼。因此，我们建议重新组织两个广泛使用的数据集，使地面实况矩分布在训练和测试分裂中不同，即，分布外（OOD）测试。同时，我们引入了一个新的评价指标“dR@n，IoU@m”，折扣的基本召回分数，以减轻由偏见的数据集造成的膨胀的评价。新的基准测试结果表明，我们提出的评估协议可以更好地监测研究进展。此外，我们提出了一种新的基于容差的多分支去混淆去偏（MDD）框架的无偏矩预测。具体来说，我们设计了一个多分支的deconfounder，以消除因果干预的多个混杂因素所造成的影响。为了帮助模型更好地对齐句子查询和视频时刻之间的语义，我们在特征编码过程中增强了表示。具体而言，对于文本信息，查询被解析成几个动词为中心的短语，以获得更细粒度的文本特征。对于视觉信息，位置信息已经从矩特征中分解出来，以增强具有不同位置的矩的表示。大量的实验表明，我们提出的方法可以实现现有的SOTA方法之间的竞争力的结果，并优于基本模型有很大的收益。
2022-03-10 cs.CL cs.CV cs.MM
PcMSP: A Dataset for Scientific Action Graphs Extraction from Polycrystalline Materials Synthesis Procedure Text
University of California, Santa Barbara（加州大学圣巴巴拉分校）
从材料合成过程中提取科学行为图对于可重复性研究、机器自动化和材料预测非常重要。但由于缺乏注释数据，阻碍了这一领域的进展。我们证明了一个努力，注释多晶材料合成程序（PcMSP）从305开放获取的科学文章的合成动作图的建设。这是一个新的材料科学信息抽取数据集，同时包含从实验段落中提取的合成句子，以及实体提及和句内关系。两步人工标注和标注者间一致性研究保证了PcMSP语料库的高质量。我们介绍了四个自然语言处理任务：句子分类，命名实体识别，关系分类，实体和关系的联合提取。综合实验验证了几种最先进的模型对这些挑战的有效性，同时留下了很大的改进空间。我们还进行了错误分析，并指出了一些独特的挑战，需要进一步调查。我们将向研究社区发布我们的注释方案，语料库和代码，以缓解该领域标记数据的稀缺性。
2022-10-22 cs.CL
Parallel Corpus Augmentation using Masked Language Models
School of Computer and Information Sciences（计算机与信息科学学院）；University of Hyderabad（海得拉巴大学）
本文提出利用多语言掩码语言模型和句子嵌入增强平行语料库，无需额外单语数据，可显著缓解语言对的数据稀缺问题。
2024-10-04 cs.CL
EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference
Harvard University（哈佛大学）；Tufts University（塔夫茨大学）；Hugging Face；Arm Research（Arm研究院）；Cornell University（康奈尔大学）
诸如BERT之类的基于转换器的语言模型为大量自然语言处理（NLP）任务提供了显著的准确性改进。然而，它们巨大的计算和内存需求使其难以部署到具有严格延迟要求的资源受限边缘平台。我们提出了EdgeBERT，这是一种深入的算法-硬件协同设计，用于多任务NLP的延迟感知能量优化。EdgeBERT采用基于熵的提前退出预测，以便在句子粒度上执行动态电压频率缩放（DVFS），以实现最小的能量消耗，同时遵守规定的目标延迟。通过采用自适应注意广度、选择性网络修剪和浮点量化的校准组合，进一步减轻了计算和内存占用开销。此外，为了最大限度地发挥这些算法在始终在线和中间边缘计算环境中的协同效益，我们专门设计了一个12 nm可扩展硬件加速器系统，集成了快速开关低压差稳压器（LDO），全数字锁相环（ADPLL），以及，高密度嵌入式非易失性存储器（eNVM），其中仔细存储共享多任务参数的稀疏浮点位编码。总而言之，与Nvidia Jetson Tegra X2移动GPU上的无提前停止的传统推理、无延迟提前退出方法和CUDA适配相比，EdgeBERT硬件系统上的延迟感知多任务NLP推理加速分别产生高达7倍、2.5倍和53倍的能量。
2021-09-06 cs.AR cs.CL
