An Automatic Machine Translation Evaluation Metric Based on Dependency Parsing Model
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Dublin City University（都柏林城市大学）
基于句法的度量大多通过比较从假设树和参考树中提取的子结构来获得相似性。这些子结构是由人工定义的，由于子结构的长度有限，不能表达树中的所有信息。此外，这些子结构之间的重叠部分被重复计算。为了避免这些问题，我们提出了一种新的自动评价指标的基础上依存句法分析模型，无需定义子结构的人。首先，我们用参考依存树训练一个依存句法分析模型。然后利用依存句法分析模型生成假设依存树和对应的概率。假设的质量可以通过这个概率来判断。为了获得词汇相似度，我们还引入了一元F-分数的新的度量。实验结果表明，新的度量方法在系统级上取得了最佳的性能，在句子级上与METEOR相当。
2016-11-04 cs.CL
Source Dependency-Aware Transformer with Supervised Self-Attention
Nankai University（南开大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
最近，Transformer在许多机器翻译任务上实现了最先进的性能。然而，在编码器中没有明确考虑语法知识的情况下，违反语法结构的不正确的上下文信息可能被集成到源隐藏状态中，从而导致错误的翻译。在本文中，我们提出了一种新的方法，将源依赖到Transformer。具体来说，我们采用源依赖树，并定义了两个矩阵来表示依赖关系。在此基础上，对多头自注意模块中的两个头进行有监督的训练，并在训练目标函数中引入两个额外的交叉熵损失。在此训练目标下，模型被训练成直接学习源依赖关系。在推理过程中不需要预解析的输入，我们的模型可以使用依赖感知的上下文信息生成更好的翻译。在汉英、英日和英德双向翻译任务上的实验表明，该方法能显著提高Transformer的基线。
2019-09-05 cs.CL
DePA: Improving Non-autoregressive Machine Translation with Dependency-Aware Decoder
Beijing Institute of Technology（北京理工大学）
针对非自回归机器翻译质量较低的问题，提出依赖感知解码器DePA，通过自回归前向后向预训练和注意力转换过程增强目标依赖建模，在WMT和IWSLT基准上实现最高1.88 BLEU增益且不增加推理延迟。
2023-08-02 cs.CL
Evaluation of Machine Translation Based on Semantic Dependencies and Keywords
University of Science and Technology Beijing（北京科技大学）；Beijing University of Science and Technology（北京科技大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出一种结合语义依存和关键词信息的机器翻译评估方法，利用哈工大语言技术平台提取语义依存图和关键词权重，构建语义关联对，实验证明该方法提升了评估准确率。
2024-04-20 cs.AI cs.CL
Deps-SAN: Neural Machine Translation with Dependency-Scaled Self-Attention Network
Zhejiang University（浙江大学）；Guangdong University of Technology（广东工业大学）；Guangdong University of Foreign Studies（广东外语外贸大学）；South China Normal University（华南师范大学）；University College London（伦敦大学学院）
人工智能知识在神经机器翻译（NMT）任务中发挥了重要作用。早期的NMT工作假设句法细节可以通过注意网络从大量文本中自动学习。然而，随后的研究指出，由于注意力计算的不可控性，NMT模型需要一个外部的句法来捕捉深层的句法意识。虽然现有的语法感知NMT方法在组合语法方面取得了巨大的成果，但它们引入的额外工作量使模型变得繁重和缓慢。特别是，这些努力几乎没有涉及基于transformer的NMT和修改其核心自我注意网络（SAN）。为此，我们提出了一个无参数，依赖缩放的自注意力网络（Deps-SAN）的语法感知的基于转换器的NMT。通过构造一个量化的语义依赖矩阵，对语义网络施加明确的句法约束，以学习句法细节，消除注意力分布的分散性。进一步整合了两种知识稀疏技术，以避免模型过度拟合外部解析器引入的依赖噪声。在IWSLT 14德英和WMT 16德英基准NMT任务上的实验和分析验证了该方法的有效性。
2022-10-04 cs.CL
TreeSwap: Data Augmentation for Machine Translation via Dependency Subtree Swapping
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Institute for Computer Science and Control（计算机科学与控制研究所）
针对低资源语言机器翻译训练数据不足的问题，提出基于源目标句依存子树同步交换的TreeSwap数据增强方法，在4个语言对资源受限数据集上稳定提升翻译性能，与同类方法效果相当，生成译文多数正确，代码已开源。
2023-11-04 cs.CL
Cross-Lingual Dependency Parsing Using Code-Mixed TreeBank
Tianjin University（天津大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Soochow University（苏州大学）
树库翻译是一种很有前途的句法依存知识的跨语言迁移方法。其基本思想是根据词对齐将依赖弧从源树库映射到目标译文。然而，这种方法可能会受到源和目标词之间的不完美对齐的影响。为了解决这个问题，我们调查语法转换代码混合，翻译源树库中的自信的话。利用跨语言的词嵌入将句法知识从所得的代码混合树库传递到目标。在大学依存树库上的实验表明，混合代码树库比翻译树库更有效，在跨语言句法分析方法中具有很强的竞争力。
2019-09-05 cs.CL
Discourse Dependency: A Continuous Criterion for Translation Difficulty
AI-Bio Convergence Research Inst.（AI-生物融合研究所）；School of Software（软件学院）；Soongsil University（崇实大学）
该研究提出话语依存（DDP）作为翻译难度的连续判定指标，验证其有效性后，将其应用于WMT数据集并对比不同上下文注入策略，发现高DDP片段需长距离上下文，可用于优化机器翻译评估。
2026-09-07 cs.CL
Viterbi Decoding of Directed Acyclic Transformer for Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归模型在神经机器翻译中实现了显著的解码加速，但缺乏捕获顺序依赖的能力。有向无环Transformer（DA-Transformer）是最近提出的一种基于有向无环图的序列依赖模型。因此，它必须在推理时应用顺序决策过程，这损害了全局翻译精度。在本文中，我们提出了一个维特比解码框架的DA-变压器，它保证找到联合最优解的翻译和解码路径下的任何长度约束。实验结果表明，我们的方法始终提高DA-变压器的性能，同时保持类似的解码加速比。
2023-03-02 cs.CL
Inducing Grammars with and for Neural Machine Translation
Informatics Institute（信息学院）；University of Amsterdam（阿姆斯特丹大学）；Department of Computer Science（计算机科学系）；University of Washington（华盛顿大学）
机器翻译系统需要语义知识和语法理解。神经机器翻译（NMT）系统通常假设这些信息是由注意力机制和确保流畅性的解码器捕获的。最近的工作表明，合并显式语法减轻了建模这两种类型的知识的负担。然而，要求解析是昂贵的，并且没有探索模型在翻译期间需要什么语法的问题。为了解决这两个问题，我们引入了一个模型，同时翻译，同时诱导依赖树。通过这种方式，我们利用结构的好处，同时调查什么语法NMT必须诱导，以最大限度地提高性能。我们证明我们的依赖树是1。语言对依赖和2.提高翻译质量。
2018-05-28 cs.CL
"Wikily" Supervised Neural Translation Tailored to Cross-Lingual Tasks
Microsoft（微软）；University of Pennsylvania（宾夕法尼亚大学）；Boston University（波士顿大学）
我们提出了一种简单但有效的方法，利用维基百科的神经机器翻译以及跨语言的图像描述和依存句法分析的任务，而不使用任何直接监督外部并行数据或监督模型在目标语言。我们发现，第一句话和链接的维基百科页面的标题，以及跨语言的图像标题，是一个种子并行数据提取双语词典和跨语言的词嵌入挖掘并行文本从维基百科的强烈信号。我们的最终模型实现了高BLEU分数，接近或有时高于低资源语言的强监督基线;例如，英语到哈萨克语的监督BLEU为4.0，而我们的模型为12.1。此外，我们定制我们的wikily监督翻译模型，以无监督的图像描述，跨语言依赖解析器传输。在图像字幕中，我们使用我们的维基监督翻译模型，为阿拉伯语和英语训练多任务机器翻译和图像描述管道，其中阿拉伯语训练数据是英语字幕数据的翻译版本。我们对阿拉伯语的字幕结果略好于其监督模型。在依存句法分析中，我们翻译了大量的单语文本，并将其作为人工训练数据在注释投影框架中使用。我们表明，我们的模型优于最近的工作依赖分析器的跨语言迁移。
2021-09-10 cs.CL cs.CV
Head Automata and Bilingual Tiling: Translation with Minimal Representations
我们提出了一个语言模型，由一个与短语的中心词相关的双向有限状态自动机的集合组成。该模型适用于词汇关联的增量应用，在动态规划搜索最佳依赖树派生。我们还提出了一个机器翻译的模型和算法，涉及最佳的“平铺”的依赖树与成本双语词典的条目。实验结果报告比较分配成本函数，这些模型的方法。最后，我们讨论了带注释的语言字符串作为机器翻译表示的充分性。
1996-07-03 cmp-lg cs.CL
Non-Autoregressive Translation by Learning Target Categorical Codes
NiuTrans Co., Ltd.（牛透科技有限公司）；Nanjing University（南京大学）
非自回归Transformer是一种很有前途的文本生成模型。然而，目前的非自回归模型在翻译质量方面仍然落后于自回归模型。我们将这种准确性差距归因于解码器输入之间缺乏依赖建模。在本文中，我们提出了CNAT，它学习隐式分类码作为潜在变量的非自回归解码。这些分类代码之间的相互作用弥补了缺失的依赖关系，提高了模型的容量。实验结果表明，我们的模型在机器翻译任务中取得了相当或更好的性能，与几个强基线相比。
2021-03-21 cs.AI cs.CL
Towards String-to-Tree Neural Machine Translation
Bar-Ilan University（巴伊兰大学）
我们提出了一个简单的方法，将目标语言的句法信息在神经机器翻译系统中，通过转换成线性化，词汇化的选区树。WMT16德英新闻翻译任务的实验结果表明，与在相同数据集上训练的语法不可知的NMT基线相比，BLEU得分有所提高。对来自语法感知系统的翻译的分析表明，与基线相比，它在翻译期间执行更多的重新排序。一个小规模的人类评估也显示了语法感知系统的优势。
2017-05-06 cs.CL
Sparsely Factored Neural Machine Translation
Lucy Software, United Language Group（联合语言集团露西软件公司）；TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）
将语言信息合并到神经机器翻译系统的标准方法包括为要合并的每个注释特征（例如，POS标签、依赖关系标签）维护单独的词汇表，嵌入它们，然后将它们与它们所属的词中的每个子词聚合。然而，这种方法不能容易地适应对于每个单词不是密集的注释方案。我们提出了一种适合这种情况下，显示出很大的改进，在域外的数据，和可比的质量为域内的数据的方法。实验是在形态丰富的语言，如巴斯克语和德语，低资源的情况下。
2021-02-17 cs.AI cs.CL
Minimizing the Bag-of-Ngrams Difference for Non-Autoregressive Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
非自回归神经机器翻译（NAT）通过独立地同时生成目标词来实现显著的解码加速。然而，在非自回归翻译的背景下，词级交叉熵损失不能正确地建模目标端的顺序依赖，导致其与翻译质量的弱相关性。因此，NAT倾向于生成具有过度翻译和翻译不足错误的影响翻译。在本文中，我们建议训练NAT，以最大限度地减少模型输出和参考句子之间的Bag-of-Ngrams（BoN）差异。ngrams包训练目标是可区分的，并且可以被有效地计算，这鼓励NAT捕获目标侧顺序依赖性并且与翻译质量良好地相关。我们在三个翻译任务上验证了我们的方法，并表明我们的方法在WMT 14 En $\leftrightarrow$ De上的BLEU分数约为5.0，在WMT 16 En $\leftrightarrow$ Ro上的BLEU分数约为2.5，大大优于NAT基线。
2019-11-21 cs.CL cs.LG
Developing neural machine translation models for Hungarian-English
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
我使用Hunglish 2语料库为英语-匈牙利语和匈牙利语-英语的神经机器翻译任务训练训练模型。这项工作的主要贡献是评估不同的数据增强方法在训练的NMT模型。我提出了5种不同的增强方法，它们是结构感知的，这意味着不是随机选择单词进行空白或替换，而是使用句子的依赖树作为增强的基础。论文首先对神经网络、序列建模、神经机器翻译、依存句法分析和数据增强等方面的研究进行了详细的文献综述。在对Hunglish 2语料库进行了详细的探索性数据分析和预处理之后，本文对所提出的数据增强技术进行了实验。匈牙利语-英语的最佳模型的BLEU得分为33.9，而英语-匈牙利语的最佳模型的BLEU得分为28.6。
2021-11-07 cs.CL cs.LG
Reranking Machine Translation Hypotheses with Structured and Web-based Language Models
SRI International（斯坦福国际研究院）
在本文中，我们研究了使用语言动机和计算效率高的结构化语言模型的重新排序N-最好的假设在统计机器翻译系统。这些语言模型是从约束依赖语法分析发展而来的，它紧密地结合了词汇知识、形态和词汇特征以及句法依赖约束。两种结构化的语言模型被应用于N-最佳重评分，一种是几乎解析的语言模型，另一种通过显式地建模词之间的句法依赖关系来利用更多的句法特征。我们还研究了有效和高效的语言建模方法，以使用从多达1太字的Web文档中提取的N元语法。我们将所有这些语言模型应用于NIST和DARPA GALE计划2006年和2007年机器翻译评估任务的N-best重新排名，并发现这些语言模型的组合在盲测试集上将BLEU分数绝对提高了1.6%。
2021-04-25 cs.CL
Mutual Information and Diverse Decoding Improve Neural Machine Translation
Stanford University（斯坦福大学）
序列到序列神经翻译模型通过优化给定源的目标的可能性来学习句子对之间的语义和句法关系，即，$p(y|x)$，一个忽略其他潜在有用信息源的目标。我们引入了一个替代的目标函数的神经MT，最大限度地提高源和目标句子之间的互信息，建模的双向依赖的源和目标。我们实现了一个简单的重新排序方法的模型，还介绍了一种解码算法，增加了多样性的N-最好的列表产生的第一遍。应用于WMT德语/英语和法语/英语任务，所提出的模型在标准LSTM和基于注意力的神经MT架构上都提供了一致的性能提升。
2016-03-22 cs.AI cs.CL
SciDTB: Discourse Dependency TreeBank for Scientific Abstracts
Key Laboratory of Computational Linguistics, Peking University, MOE, China（北京大学计算语言学重点实验室（教育部））
语篇关系标注语料库有利于机器翻译和问答等自然语言处理任务的实现。在本文中，我们提出了SciDTB，一个特定领域的话语树库标注的科学文章。与广泛使用的RST-DT和PDTB不同，SciDTB使用依存树来表示语篇结构，具有一定的灵活性和简化性，但不会牺牲结构的完整性。我们讨论了标签框架，注释工作流程和一些关于SciDTB的统计数据。此外，我们的树库是作为一个基准评估话语依赖分析器，我们提供了几个基线作为基础工作。
2018-06-10 cs.CL
Zero-shot Chinese Discourse Dependency Parsing via Cross-lingual Mapping
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
由于缺乏标记数据，语篇分析在某些语言中仍然具有挑战性。本文提出了一种利用英语语篇标注数据和句法分析技术进行zero-shot中文文本级依存句法分析的方法。首先从句子和基本话语单位（EDU）两个层面构建汉英映射，然后利用对应英文译文的句法分析结果构建中文文本的话语树。该方法不需要大规模的中文标注数据，就能自动进行汉语篇章分析。
2019-11-27 cs.CL
Syntactic Knowledge via Graph Attention with BERT in Machine Translation
University of Leeds（利兹大学）
针对Transformer深层句法建模不足的问题，提出SGB方法，利用GAT与BERT将句法依存特征作为显式知识融入机器翻译，实验证明其在三个任务中提升了翻译质量且未损失BLEU分数。
2023-05-22 cs.CL
An efficiency dependency parser using hybrid approach for tamil language
National Engineering College（国立工程学院）
自然语言处理是一个非常活跃的研究领域。句法分析是语言分析系统的重要工具之一，其目的是预测句子中词与词之间的结构关系。许多研究人员已经开发了很多语言工具，但准确性还没有达到人类的期望水平，因此研究仍然存在。机器翻译是自然语言处理的主要应用领域之一。在一种语言到另一种语言的翻译中，句子的结构识别起着关键的作用。本文介绍了一种混合方法来解决句子中给定词之间的关系识别问题。在现有的系统是使用基于规则的方法，这是不适合在巨大的数据量。机器学习方法适合于处理大量的数据，也可以通过学习和训练系统来获得更好的准确性。该方法以泰米尔语句子作为输入，并产生一个依赖关系的结果作为一个树状结构，使用混合的方法。该工具对研究人员非常有帮助，并有望提高现有方法的质量。
2014-03-21 cs.CL
GRAFT: A Graph-based Flow-aware Agentic Framework for Document-level Machine Translation
Indian Institute of Technology Bombay（印度理工学院班加罗尔分校）；DYSL-AI, DRDO（DYSL-AI，国防研究与发展组织）
本文提出GRAFT框架，利用LLM智能体结合图分割与DAG依赖建模进行文档级翻译，在多个翻译方向和领域上显著超越现有DocMT系统，有效提升语篇一致性与翻译质量。
2025-07-04 cs.AI cs.CL
Yara Parser: A Fast and Accurate Dependency Parser
Columbia University（哥伦比亚大学）；Yahoo Labs（雅虎实验室）
相关分析器是自然语言处理中最重要的工具之一，因为它们在诸如信息检索、机器翻译和知识获取等下游任务中有许多重要的应用。我们介绍了Yara Parser，一个基于弧渴望算法和束搜索的快速准确的开源依赖解析器。它在标准WSJ测试集上达到了93.32的未标记准确率，这使它成为顶级依赖解析器之一。最快的时候，Yara在贪婪模式下每秒可以解析大约4000个句子（1束）。当优化准确性时（使用64个波束和Brown聚类特征），Yara每秒可以解析45个句子。解析器可以在任何语法依赖树库上训练，并提供不同的选项，以使其更灵活和可调的特定任务。它以Apache 2.0版许可证发布，可用于商业和学术目的。解析器可以在https://github.com/yahoo/YaraParser上找到。
2015-03-24 cs.CL
Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation
Johns Hopkins University（约翰斯·霍普金斯大学）
线性嵌入变换已被证明是有效的zero-shot跨语言迁移任务，并取得令人惊讶的有希望的结果。然而，跨语言嵌入空间映射通常在静态词级嵌入中进行研究，其中通过对齐从词典引用的翻译对的表示来导出空间变换。我们进一步从这条线，并调查上下文嵌入对齐的方法，这是意义层面和字典自由。为了提高映射的质量，我们还提供了上下文嵌入的属性的深入视图，即，各向异性问题及其解决方法。实验zero-shot依存句法分析通过我们的嵌入转换建立的概念共享空间大大优于国家的最先进的方法，使用多语言嵌入。
2021-03-03 cs.CL
Synonym Detection Using Syntactic Dependency And Neural Embeddings
Shandong Jianzhu University（山东建筑大学）
向量空间模型的最新进展显著改善了一些NLP应用，如神经机器翻译和自然语言生成。虽然上下文中的词共现已被广泛用于基于计数/预测的分布模型，句法依赖在推导分布语义中的作用尚未得到彻底的研究。通过比较不同的向量空间模型在TOEFL同义词检测中的应用，系统地研究了句法依赖在解释分布相似性时的显著性。我们将句法依赖根据其不同的语法角色分成不同的组，然后使用上下文计数来构建相应的原始矩阵和SVD压缩矩阵。此外，使用相同的训练超参数和语料库，我们研究了评估中的典型神经嵌入。我们进一步研究了将人工编译的语义知识注入神经嵌入计算分布相似性的有效性。我们的研究结果表明，句法条件的上下文可以解释词汇语义比无条件的，而改装的神经嵌入与语义知识可以显着提高同义词检测。
2022-09-30 cs.AI cs.CL
Extended Dependency Structures and their Formal Interpretation
我们描述了两个“面向语义”的依赖结构形式主义，U-形式和S-形式。U形以前曾在机器翻译中用作语际表示，但没有提供正式的解释。本文介绍的S-表单是U-表单的作用域版本，我们为它们定义了一个组合语义机制。语义合成的基本类型有两种：补语并入和修饰语并入。变量的绑定是在合并时完成的，允许在组合顺序上有很大的灵活性，并且可以简单地解释置换几个解释的语义效果。
1996-05-09 cmp-lg cs.CL
Cross-Lingual Dependency Parsing for Closely Related Languages - Helsinki's Submission to VarDial 2017
University of Helsinki（赫尔辛基大学）
本文介绍了赫尔辛基大学在VarDial 2017上提交的跨语言依存句法分析共享任务。我们目前的工作，注释投影和树库翻译，在测试集中的所有三个目标语言的良好效果。特别是，斯洛伐克语似乎与来自捷克树库的信息配合得很好，这与相关工作是一致的。跨语言模型的依恋得分甚至超过了在目标语言树库上训练的完全监督模型。克罗地亚语是测试集中最难的语言，在基线上的改进相当温和。挪威语对来自瑞典语的信息处理得最好，而丹麦语的贡献却出奇的少。
2017-08-18 cs.CL
Phrase Based Language Model For Statistical Machine Translation
Tsinghua University（清华大学）
我们考虑基于短语的语言模型（LM），它概括了常用的词级模型。在语音识别中也出现了类似的基于短语的语言模型的概念，语音识别是相当专业的，因此不太适合于机器翻译（MT）。与依赖LM相比，我们首先介绍了为MT使用量身定制的基于短语的LM。初步的实验结果表明，我们的方法优于基于词的LM方面的困惑和翻译质量。
2015-01-18 cs.CL
Using Syntax-Based Machine Translation to Parse English into Abstract Meaning Representation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们提出了一个分析器的抽象意义表示（AMR）。我们对待英语AMR转换的框架内，字符串到树，基于语法的机器翻译（SBMT）。为了完成这项工作，我们将AMR结构转换为适合SBMT力学和建模的形式。我们引入了AMR特定的语言模型，并添加了从语义资源中提取的数据和特征。我们得到的AMR解析器提高了7个Smatch点的最先进的结果。
2015-04-28 cs.AI cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；National Institute of Information and Communications Technology（信息通信研究机构）
数据增强是神经机器翻译（NMT）中通过生成额外的双语数据来提高性能的一种有效方法。在本文中，我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同，我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索，以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明，我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
Automatic Evaluation Metrics for Document-level Translation: Overview, Challenges and Trends
Huawei Translation Services Center（华为翻译服务中心）
本文综述文档级翻译自动评估指标，分析现状与挑战，并展望未来趋势，提出减少句子级依赖、多粒度评估等研究方向。
2025-04-21 cs.AI cs.CL
Graph Convolutional Encoders for Syntax-aware Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
我们提出了一个简单而有效的方法，将句法结构的神经注意力为基础的编码器-解码器模型的机器翻译。我们依赖于图卷积网络（GCN），这是最近开发的一类神经网络，用于对图结构数据进行建模。我们的GCN使用源句子的预测语法依赖树来产生对其语法邻居敏感的单词表示（即编码器的隐藏状态）。GCN将单词表示作为输入并产生单词表示作为输出，因此它们可以容易地作为层并入标准编码器（例如，在双向RNN或卷积神经网络之上）。我们评估其有效性与英语-德语和英语-捷克语翻译实验不同类型的编码器，并观察到实质性的改进，在所有考虑的设置，其语法不可知的版本。
2020-06-18 cs.CL
VIDA: A Dataset for Visually Dependent Ambiguity in Multimodal Machine Translation
Department of Informatics, Universität Hamburg（汉堡大学信息学院）；Alibaba Group（阿里巴巴集团）；Alibaba Cloud（阿里云）
提出VIDA数据集，包含2500个精心策划的实例，用于评估多模态机器翻译中需要视觉证据才能解决的歧义，并引入以歧义消解为中心的指标，实验表明链式思维微调能提升跨分布歧义消解能力。
2026-10-06 cs.AI cs.CL
Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信AI模式识别中心）
非自回归神经机器翻译（NAT）同时预测整个目标序列，并显着加快推理过程。然而，NAT丢弃了句子中的依赖信息，因此不可避免地遭受多模态问题：目标令牌可能由不同的可能翻译提供，经常导致令牌重复或丢失。为了缓解这个问题，我们提出了一种新的半自回归模型恢复SAT在这项工作中，它产生的翻译作为一个序列的片段。这些段是同时生成的，而每个段是逐个令牌预测的。通过动态确定段长度和删除重复段，RecoverSAT能够从重复和丢失令牌错误中恢复。在三个广泛使用的基准数据集上的实验结果表明，与相应的自回归模型相比，该模型在保持相当性能的同时，实现了超过4个$\times$的加速比.
2020-06-09 cs.CL
Multi-Source Neural Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们建立了一个多源机器翻译模型，并对其进行训练，以最大限度地提高法语和德语源的目标英语字符串的概率。使用神经编码器-解码器框架，我们探索了几种组合方法，并在一个非常强大的基于注意力的神经翻译模型之上报告了高达+4.8 Bleu的增加。
2016-01-05 cs.CL
Linguistic Input Features Improve Neural Machine Translation
University of Edinburgh（爱丁堡大学）
神经机器翻译最近取得了令人印象深刻的成果，同时很少使用外部语言信息。在本文中，我们证明了神经MT模型的强大学习能力不会使语言特征冗余;它们可以很容易地被合并，以提供进一步的性能改进。我们概括了注意编码器-解码器架构中的编码器的嵌入层，以支持除了基线字特征之外还包含任意特征。我们添加了形态特征，词性标签和句法依赖标签作为输入功能的英语<->德语，英语->罗马尼亚语神经机器翻译系统。在WMT 16训练集和测试集上的实验中，我们发现语言输入特征根据三个度量标准提高了模型质量：困惑度，BLEU和CHRF 3。我们的神经MT系统的开源实现是可用的，还有示例文件和配置。
2016-06-27 cs.CL
The Devil is in the Details: On the Pitfalls of Vocabulary Selection in Neural Machine Translation
Amazon AI Translate（亚马逊AI翻译）
词汇选择或词汇短列表是一种众所周知的技术，用于通过在推理期间约束允许的输出单词的集合来改善神经机器翻译模型的延迟。所选择的集合通常由单独训练的对齐模型参数确定，独立于推理时的源句子上下文。虽然词汇选择在以前的工作中相对于自动质量指标似乎具有竞争力，但我们表明，它可能无法选择正确的输出单词集，特别是对于语义非成分语言现象，如惯用表达，导致人类感知的翻译质量降低。通过增加允许集的大小来权衡延迟和质量，在现实世界的场景中通常不是一个选择。我们提出了一个模型的词汇选择，集成到神经翻译模型，预测一组允许的输出单词从上下文编码器表示。这恢复了无约束系统的翻译质量，如通过对WMT newstest 2020和惯用表达的人工评估所测量的，其推理延迟与使用积极阈值的基于推理的选择竞争，从而消除了对单独训练的对齐模型的依赖性。
2022-05-13 cs.AI cs.CL cs.LG
Document Graph for Neural Machine Translation
University of Macau（澳门大学）
以往的研究表明，上下文信息可以提高神经机器翻译（NMT）的性能。然而，大多数现有的文档级NMT方法只考虑少数几个先前的句子。如何利用整个文件作为全球背景仍然是一个挑战。为了解决这个问题，我们假设一个文档可以表示为一个图，连接相关的上下文，而不管它们的距离。我们采用了几种类型的关系，包括邻接，句法依赖，词汇一致性和共指，构建文档图。然后，我们将源和目标图与传统的Transformer架构与图卷积网络。在各种NMT基准测试中，包括IWITS-English-French，Chinese-English，WMT English-German和Opensubtitle English-Russian，实验表明，使用文档图可以显著提高翻译质量。大量的分析表明，文档图有利于捕捉语篇现象。
2021-09-14 cs.CL
Explicit Reordering for Neural Machine Translation
National Institute of Information and Communications Technology (NICT)（信息通信研究机构（NICT））
在基于transformer的神经机器翻译（NMT）中，位置编码机制帮助自注意网络学习具有顺序依赖性的源表示，使得基于transformer的NMT在各种翻译任务中都能获得最佳的结果。然而，基于变换器的NMT仅将位置的表示顺序地添加到输入句子中的词向量，并且没有显式地考虑该句子中的重排序信息。本文首先实证研究了源语重排信息与翻译效果之间的关系。实验结果表明，从双语并行数据集学习的目标顺序的源输入可以大大提高翻译性能。因此，我们提出了一种新的重排序方法来明确地为基于变换器的NMT建模这种重排序信息。在WMT 14英-德、WAT ASPEC日-英和WMT 17中-英翻译任务上的实验结果表明了该方法的有效性。
2020-04-08 cs.CL cs.LG
Beyond Word-based Language Model in Statistical Machine Translation
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Microsoft Research Asia（微软亚洲研究院）
语言模型是统计机器翻译中最重要的模块之一，目前基于词的语言模型占据主导地位。然而，许多翻译模型（例如，基于短语的模型）通过渲染和合成短语而不是单词来生成目标语言句子。因此，对短语之间的依赖关系进行建模更为合理，但很少有研究成功地解决了这个问题。本文通过设计一种新的基于短语的语言模型来解决这一问题，该模型试图解决三个关键子问题：1，如何在语言模型中定义短语; 2，如何在大规模单语数据中确定短语边界以扩大训练集; 3，如何缓解由于短语词汇量巨大而导致的数据稀疏问题。通过仔细处理这些问题，大量的汉英翻译实验表明，我们的基于短语的语言模型可以显着提高翻译质量高达+1.47绝对BLEU得分。
2015-02-05 cs.CL
Look-ahead Attention for Generation in Neural Machine Translation
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
注意模型已经成为神经机器翻译（NMT）的标准组件，它通过在预测每个目标词时选择性地关注源句子的部分来指导翻译过程。然而，我们发现目标词的生成不仅依赖于源句子，而且严重依赖于先前生成的目标词，特别是那些很难用递归神经网络建模的距离较远的词。为了解决这个问题，本文提出了一种新的前瞻性注意力机制的NMT生成，其目的是直接捕捉目标词之间的依赖关系。我们进一步设计了三种模式，将我们的前瞻性注意力整合到传统的注意力模型中。NIST中文到英文和WMT英文到德文翻译任务的实验表明，我们提出的前瞻注意力机制实现了国家的最先进的基线的实质性改善。
2017-08-30 cs.CL
Hybrid Self-Attention Network for Machine Translation
Nanjing University of Science and Technology（南京理工大学）；Microsoft Research（微软研究院）；Shanxi University（山西大学）
编码器-解码器是神经机器翻译（NMT）的典型框架，为了提高翻译性能，人们开发了不同的结构。Transformer是最有前途的结构之一，它可以利用自我注意力机制从全局角度捕捉语义依赖。但是，它不能很好地区分不同标记的相对位置，例如位于当前标记左侧或右侧的标记，并且也不能关注当前标记周围的局部信息。为了解决这些问题，本文提出了一种新的注意力机制--混合自注意力网络（HySAN），该机制采用特定的自注意力网络模板，提取全局/局部信息、左/右部分上下文等多种语义信息。最后，通过引入挤压门，将不同类型的SAN组合在一起进行融合。三个机器翻译任务的实验结果表明，我们提出的框架优于Transformer基线显着，并取得了优于国家的最先进的NMT系统的结果。
2018-12-10 cs.CL
Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade
Facebook AI Research（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
提出了一种完全非自回归的神经机器翻译（NAT）方法，利用神经网络的单次前向同时预测令牌，与Transformer基线相比，该方法以质量下降为代价显著降低了推理延迟。在这项工作中，我们的目标是在保持延迟优势的同时缩小性能差距。我们首先检查了完全NAT模型的基本问题，并采用输出令牌的学习空间中的依赖减少作为基本指导。然后，我们在四个不同的方面，已被证明是有效的改进NAT模型的方法，并仔细结合这些技术进行必要的修改。我们在三个翻译基准上的广泛实验表明，该系统实现了新的最先进的结果，完全NAT模型，并获得了与自回归和迭代NAT系统相当的性能。例如，其中一个模型在WMT 14 En-De上实现了27.49个BLEU点，推理速度提高了约16.5倍。
2020-12-31 cs.CL
Information-Propogation-Enhanced Neural Machine Translation by Relation Model
尽管序列到序列神经机器翻译（NMT）模型在近几年取得了很好的性能，但递归神经网络（RNN）单元很难捕获长距离的状态信息，即随着序列的变长，RNN很难发现具有长期依赖性的特征，这一点受到了广泛关注。同样，最近，卷积神经网络（CNN）被引入到NMT中以加速，然而，CNN专注于捕捉序列的局部特征;为了缓解这个问题，我们将关系网络纳入标准的编码器-解码器框架中，以增强神经网络中的信息传播，确保源语句的信息能够充分流入解码器。实验表明，该框架在两个不同尺度的数据集上的性能明显优于统计MT模型和最新的NMT模型。
2018-05-25 cs.CL
Crosslingual Optimized Metric for Translation Assessment of Indian Languages
本文针对印度语言翻译自动评估数据匮乏问题，构建覆盖13种语言、21个翻译方向的人工评估数据集，并训练神经指标COMTAIL，在涉及印度语言的翻译对评估上显著超越现有方法。
2025-09-22 cs.CL
Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Telefónica I+D（西班牙电信研发部）
目前的端到端口语翻译（Spoken Language Translation，缩写为多语）方法依赖于有限的培训资源，尤其是在多语言环境中。另一方面，多语言神经机器翻译（MultiNMT）方法依赖于更高质量和更大规模的数据集。我们所提出的方法扩展了多NMT架构的基础上，特定语言的编码器-解码器的任务，多语种翻译（多语种翻译）。我们的方法完全消除了对MultiNMT数据的依赖性，并且能够在仅对ASR和MultiNMT数据进行训练时进行翻译。我们在四种不同语言上的实验表明，将语音编码器耦合到MultiNMT架构，与双语基线（$\pm 0.2$ BLEU）相比，可以产生类似质量的翻译，同时有效地允许zero-shot Multiplexer。此外，我们建议使用适配器模块耦合的语音输入。此适配器模块在建议的架构上产生了+6 BLEU点的一致改进，在端到端基线上产生了+1 BLEU点。
2021-09-15 cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University（西蒙弗雷泽大学）
在神经机器翻译（NMT）系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola（2017）首次提出的自上而下的树结构模型DRNN（双循环神经网络）来创建一个名为Seq 2DRNN的NMT模型，该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法，基于语法的NMT使用依存句法分析模型，我们的方法使用选区分析，我们认为提供了有用的信息翻译。此外，我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络（Seq 2DRNN +SynC）。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型，并表明我们的模型产生更流畅的翻译，更好的重新排序。由于我们的模型能够同时进行翻译和选区解析，我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对非自回归翻译中有向无环图严格对齐导致多模态建模受限的问题，提出最大化图路径与参考句模糊对齐分数的训练方法，显著提升性能并刷新WMT基准。
2023-07-17 cs.CL
A Tree-based Decoder for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
神经机器翻译（NMT）的最新进展表明，向NMT系统中添加句法信息可以提高其翻译质量。大多数现有的工作利用一些特定类型的语言启发的树结构，如选区和依赖解析树。这通常通过对线性化目标树结构进行操作的标准RNN解码器来完成。然而，这是一个悬而未决的问题，具体的语言形式主义，如果有的话，是最好的结构表示NMT。在本文中，我们（1）提出了一个NMT模型，可以自然地产生一个任意的树结构的拓扑结构在目标端，（2）实验与各种目标树结构。我们的实验显示了令人惊讶的结果，即我们的模型在没有任何语言知识的情况下构建了平衡二叉树，从而提供了最佳的改进;该模型比标准seq 2seq模型的性能高出2.1个BLEU点，并且比其他方法的性能高出0.7个BLEU点。
2018-08-28 cs.CL
Building a reordering system using tree-to-string hierarchical model
Yandex School of Data Analysis（Yandex数据分析学院）
本文介绍了我们提交的第一次研讨会上重新排序的统计机器翻译。我们决定构建一个基于树到字符串模型的重排序系统，只使用公开可用的工具来完成这项任务。利用提供的训练数据，我们使用Moses工具包建立了一个翻译模型，然后我们应用Moses中实现的图表解码器来重新排序句子。尽管我们的提交只涵盖了英语-波斯语语言对，但我们认为无论语言的选择如何，这种方法本身都应该起作用，因此我们还对英语-意大利语和英语-乌尔都语进行了实验。对于这些语言对，我们注意到BLEU，Kendall-Tau和Hamming指标的基线有了显着改善。给出了详细的描述，以便每个人都可以重现我们的结果。最后，对进一步改进的方向进行了讨论。
2013-02-13 cs.CL
Minimal Dependency Translation: a Framework for Computer-Assisted Translation for Under-Resourced Languages
Indiana University（印第安纳大学）
本文介绍了最小依赖翻译（MDT），一个正在进行的项目，以开发一个基于规则的框架，创建基本的双语词汇语法的机器翻译和计算机辅助翻译成和出资源不足的语言，以及对英语到阿姆哈拉语翻译实施MDT的初步步骤。MDT中的基本单位称为组，是以多项序列为标题的。除了词形之外，组还可能包含词素、句法语义类别和语法特征。每个组与一个或多个翻译相关联，每个翻译是目标语言的组。在翻译过程中，使用约束满足来为输入句子选择一组源语言组，并对相关联的目标语言组中的单词进行排序。
2017-10-02 cs.CL
Syntax-Enhanced Neural Machine Translation with Syntax-Aware Word Representations
Tianjin University（天津大学）；Soochow University（苏州大学）
在神经机器翻译（NMT）中，神经网络翻译被证明是非常有效的。先前的NMT模型通过表示来自良好训练的解析系统的1-最佳树输出来集成语法，例如，代表性的Tree-RNN和Tree-Linearization方法，可能会受到错误传播的影响。在这项工作中，我们提出了一种新的方法来集成源端语法隐式NMT。其基本思想是使用经过良好训练的端到端依赖解析器的中间隐藏表示，这被称为语法感知单词表示（SAWR）。然后，我们简单地将这样的SAWR与普通的词嵌入连接起来，以增强基本的NMT模型。该方法可以直接集成到广泛使用的序列到序列（Seq 2Seq）NMT模型中。我们从一个具有代表性的基于RNN的Seq 2Seq基线系统开始，分别在汉英和英越翻译任务的两个基准数据集上测试了我们提出的方法的有效性。实验结果表明，与基线相比，该方法能够显著提高两个数据集的BLEU评分，汉英翻译为1.74分，英越翻译为0.80分。此外，该方法还优于显式Tree-RNN和Tree-Linearization方法。
2019-05-08 cs.CL
