Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts
ByteDance AI Lab（字节跳动人工智能实验室）；Nanjing University（南京大学）
领域自适应是神经机器翻译面临的一个重要挑战。然而，传统的微调解决方案需要多次额外的训练，并产生高成本。在本文中，我们提出了一个非调优的范例，解决领域自适应与基于调优的方法。具体来说，我们构建了一个双语短语级数据库，并从中检索相关对作为输入句子的提示。通过使用检索短语级语料库（RePP），我们有效地提高了翻译质量。实验表明，我们的方法提高了特定领域的机器翻译为6.2 BLEU分数，并提高了11.5%的准确率，而无需额外的训练翻译约束。
2022-09-23 cs.CL
Phrase Table as Recommendation Memory for Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）由于其良好的翻译性能而受到广泛关注。然而，一些研究表明，NMT往往产生流畅，但不忠实的翻译。在本文中，我们提出了一种方法来缓解这个问题，使用短语表作为推荐记忆。其主要思想是为值得推荐的单词添加奖金，以便NMT能够做出正确的预测。具体地说，我们首先根据源句子搜索短语翻译表，得到一个前缀树来容纳所有候选目标短语。然后，我们通过NMT将候选目标短语与先前翻译的目标词进行匹配来构建推荐词集。之后，我们通过使用注意向量和短语翻译概率来确定每个可重复单词的具体奖励值。最后，我们将此奖金值集成到NMT中，以改善翻译结果。大量的实验表明，所提出的方法得到显着的改善，基于强注意力的NMT。
2018-05-25 cs.CL
Improving Neural Machine Translation through Phrase-based Forced Decoding
National Institute of Information and Communications Technology（国立信息通信技术研究所）；Graduate School of Information Science, Nara Institute of Science and Technology（奈良先端科学技术大学院大学信息科学研究科）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
与传统的统计机器翻译（SMT）相比，神经机器翻译（NMT）往往为了流畅性而牺牲充分性。我们提出了一种方法，结合传统的SMT和NMT的优点，利用现有的基于短语的SMT模型来计算基于短语的解码成本的NMT输出，然后使用此成本重新排名的n-最好的NMT输出。实现这种方法的主要挑战是NMT输出可能不在标准的基于短语的解码算法的搜索空间中，因为基于短语的SMT的搜索空间受到基于短语的翻译规则表的限制。我们提出了一个软强制译码算法，它总是可以成功地找到任何NMT输出的解码路径。我们表明，使用强制解码成本重新排名的NMT输出可以成功地提高翻译质量的四个不同的语言对。
2017-11-01 cs.CL
Phrase Based Language Model For Statistical Machine Translation
Tsinghua University（清华大学）
我们考虑基于短语的语言模型（LM），它概括了常用的词级模型。在语音识别中也出现了类似的基于短语的语言模型的概念，语音识别是相当专业的，因此不太适合于机器翻译（MT）。与依赖LM相比，我们首先介绍了为MT使用量身定制的基于短语的LM。初步的实验结果表明，我们的方法优于基于词的LM方面的困惑和翻译质量。
2015-01-18 cs.CL
Phrase Based Language Model for Statistical Machine Translation: Empirical Study
重排序是机器翻译系统面临的一个挑战。在机器翻译中，广泛使用的方法是应用基于词的语言模型（LM），它将句子的组成单位视为词。在语音识别（SR）中，已经提出了一些基于短语的LM。然而，这些LM不一定适合于重新排序或对于重新排序是最佳的。我们提出了两个短语为基础的LM认为一个句子的组成单位作为短语。实验表明，我们的短语为基础的LM优于基于词的LM方面的困惑和n-best列表重新排名。
2015-02-18 cs.CL
Fine-grained human evaluation of neural versus phrase-based machine translation
Faculty of Humanities and Social Sciences（人文与社会科学学院）
我们比较了三种统计机器翻译方法（纯短语为基础的，因子化的短语为基础的和神经），通过执行细粒度的手动评估，通过错误注释的系统的输出。我们的注释中的错误类型符合多维质量度量（MQM），并且注释由两个注释器执行。对于这样的任务，注释者之间的一致性很高，结果表明，性能最好的系统（神经）将最差的系统（基于短语）产生的错误减少了54%。
2017-06-14 cs.CL
Beyond Word-based Language Model in Statistical Machine Translation
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Microsoft Research Asia（微软亚洲研究院）
语言模型是统计机器翻译中最重要的模块之一，目前基于词的语言模型占据主导地位。然而，许多翻译模型（例如，基于短语的模型）通过渲染和合成短语而不是单词来生成目标语言句子。因此，对短语之间的依赖关系进行建模更为合理，但很少有研究成功地解决了这个问题。本文通过设计一种新的基于短语的语言模型来解决这一问题，该模型试图解决三个关键子问题：1，如何在语言模型中定义短语; 2，如何在大规模单语数据中确定短语边界以扩大训练集; 3，如何缓解由于短语词汇量巨大而导致的数据稀疏问题。通过仔细处理这些问题，大量的汉英翻译实验表明，我们的基于短语的语言模型可以显着提高翻译质量高达+1.47绝对BLEU得分。
2015-02-05 cs.CL
Connecting Phrase based Statistical Machine Translation Adaptation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（信息通信研究机构）
虽然统计机器翻译（SMT）可以使用更多的附加语料，但只有那些与原始语料属于相同或相似领域的语料才能直接提高SMT的性能。现有的改编方法大多集中在句子选择上。相比之下，短语是一个更小，更细粒度的数据选择单元，因此，我们提出了一个简单而有效的连接短语的适应方法，这是适用于双语短语对和单语n-gram适应。在IWELT/NIST数据集上对该方法进行了测试，结果表明，基于短语的SMT性能得到了显著提高（与基于短语的SMT基线系统相比提高了+1.6，与现有方法相比提高了+0.9）.
2016-07-29 cs.CL
Multi-Granularity Self-Attention for Neural Machine Translation
Florida State University（佛罗里达州立大学）；Tencent AI Lab（腾讯AI实验室）
当前最先进的神经机器翻译（NMT）使用深度多头自注意网络，没有显式短语信息。然而，统计机器翻译的先前工作已经表明，将基本翻译单元从单词扩展到短语已经产生了实质性的改进，这表明通过短语的显式建模来提高NMT性能的可能性。在这项工作中，我们提出了多粒度自注意（Mg-Sa）：一个神经网络，结合多头自注意和短语建模。具体来说，我们训练了几个注意力头来注意n元语法或句法形式主义中的短语。此外，我们利用短语之间的相互作用来增强结构建模的强度-这是自我注意力的一个常见弱点。在WMT 14英语到德语和NIST汉语到英语翻译任务上的实验结果表明，该方法持续提高了性能。有针对性的语言分析表明，Mg-Sa确实捕捉有用的短语信息在不同的粒度水平。
2019-09-05 cs.CL
Learning Source Phrase Representations for Neural Machine Translation
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；Tianjin University（天津大学）；China Mobile Online Services（中移在线服务有限公司）
Transformer转换模型（Vaswani等人，2017）可以有效地并行计算，并大大推动了神经机器翻译（NMT）的性能。虽然直观地说，注意力网络可以通过比RNN更短的网络路径连接遥远的单词，但实证分析表明，它仍然难以完全捕获长距离依赖性（Tang et al.，2018年）。考虑到建模短语而不是单词通过使用更大的翻译块（“短语”）及其重新排序能力显著改进了统计机器翻译（SMT）方法，在短语级别建模NMT是帮助模型捕获长距离关系的直观建议。在本文中，我们首先提出了一个专注的短语表示生成机制，它能够从相应的令牌表示生成短语表示。此外，我们将生成的短语表示到Transformer翻译模型中，以增强其捕获长距离关系的能力。在我们的实验中，我们在强大的Transformer基线上获得了WMT 14英语-德语和英语-法语任务的显着改善，这表明了我们的方法的有效性。我们的方法帮助Transformer Base模型在Transformer Big模型的水平上执行，甚至在长句方面更好，但参数和训练步骤要少得多。事实上，即使在大的背景下，短语表征也有帮助，这进一步支持了我们的猜想，即它们对长距离关系做出了有价值的贡献。
2020-06-25 cs.CL
PAEG: Phrase-level Adversarial Example Generation for Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）；Shanghai Jiao Tong University（上海交通大学）；Beihang University（北京航空航天大学）
虽然端到端神经机器翻译（NMT）已经取得了令人印象深刻的进展，但噪声输入通常会导致模型变得脆弱和不稳定。生成对抗性示例作为增强数据已被证明有助于缓解这个问题。现有的对抗性示例生成方法都是基于词或字符的，忽略了普遍存在的短语结构。在本文中，我们提出了一个短语级对抗性示例生成（PAEG）框架，以提高翻译模型的鲁棒性。我们的方法通过采用短语级替换策略进一步改进了基于梯度的词级AEG方法。我们验证了我们的方法在三个基准，包括LDC中文-英文，IWSLT 14德语-英语，和WMT 14英语-德语的任务。实验结果表明，我们的方法显着提高翻译性能和鲁棒性噪声相比，以前的强基线。
2022-10-24 cs.CL
A Multifaceted Evaluation of Neural versus Phrase-Based Machine Translation for 9 Language Directions
Dublin City University（都柏林城市大学）；University of Groningen（格罗宁根大学）；Prompsit Language Engineering（Prompsit语言工程公司）
我们的目标是阐明新引入的神经机器翻译范式的优点和缺点。为此，我们进行了多方面的评估，其中我们比较了最先进的神经机器翻译和基于短语的机器翻译系统在多个维度上为9个语言方向产生的输出。具体来说，我们测量输出的相似性，它们的流畅性和重新排序的数量，句子长度的影响和不同错误类别的表现。我们发现，与基于短语的系统相比，神经机器翻译系统产生的翻译在词序方面有很大的不同，更流畅，更准确。神经机器翻译系统在产生屈折形式方面也更准确，但在翻译非常长的句子时表现不佳。
2017-01-11 cs.CL
Phrase Pair Mappings for Hindi-English Statistical Machine Translation
Indian Institute of Technology (IIT) Bombay（印度理工学院孟买分校）
在本文中，我们提出了我们的工作，创造词汇资源的机器翻译之间的英语和印地语。我们描述了短语对映射的发展，我们的实验和不同的训练模型之间的比较性能评估的基础上的统计机器翻译系统。我们致力于通过探索不同的方法来增加平行语料库中的词汇量以及各种屈折形式。我们使用各种词汇资源（例如词汇词、同义词、虚词和动词短语）扩展了训练语料库。我们已经描述了案例研究，自动和主观评价，详细的错误分析的英语到印地语和印地语到英语的机器翻译系统。进一步分析表明，随着各种词汇资源的使用，机器翻译的质量也在不断提高。因此，词汇资源确实有助于提高资源贫乏语言的翻译质量。
2017-11-10 cs.CL
Adapting Phrase-based Machine Translation to Normalise Medical Terms in Social Media Messages
University of Cambridge（剑桥大学）
以前的研究表明，社交媒体上的健康报告，如DailyStrength和Twitter，有可能监测特定社区的健康状况（如药物不良反应，传染病）。然而，为了让机器理解并推断这些健康状况，需要能够识别外行术语何时指的是特定的医学概念（即文本标准化）。为了实现这一点，我们建议适应现有的基于短语的机器翻译（MT）技术和矢量表示的话之间的映射社交媒体短语和医疗概念。我们使用与药物不良反应相关的推文中的短语集合来评估我们提出的方法。我们的实验结果表明，基于短语的MT技术和词向量表示之间的相似性的组合优于仅应用其中任何一个的基线高达55%。
2015-08-10 cs.CL
Design and Implementation of English To Yorùbá Verb Phrase Machine Translation System
Obafemi Awolowo University（奥巴费米·阿沃洛沃大学）
本文设计并实现了一个英语到约鲁巴语的动词短语机器翻译系统，结合词典匹配、上下文无关文法和有限状态自动机，在人工评估中超过70%的响应优于谷歌翻译。
2023-08-05 cs.CL
The AMU-UEDIN Submission to the WMT16 News Translation Task: Attention-based NMT Models as Feature Functions in Phrase-based SMT
Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；University of Edinburgh（爱丁堡大学）
本文介绍了AMU-UEDIN提交给WMT 2016新闻翻译共享任务的内容。我们探索基于注意力的神经翻译模型与基于短语的统计机器翻译的解码时间整合方法。提出并实现了GPU查询的高效批处理算法。对于英语-俄语，我们的系统在BLEU方面落后于最先进的纯神经模型。在受限系统中，手动评估将其置于与纯神经模型绑定的第一个集群中。对于俄语-英语任务，我们的提交达到了最高的BLEU结果，比最好的纯神经系统高出1.1 BLEU点，比我们自己的基于短语的基线高出1.6 BLEU。经过人工评估，该系统是最好的限制系统在自己的集群。在后续实验中，我们将结果提高了0.8 BLEU。
2016-06-23 cs.CL
First Result on Arabic Neural Machine Translation
New York University（纽约大学）
神经机器翻译已经成为广泛使用的基于短语的统计机器翻译的主要替代方案。然而，我们注意到，尽管神经机器翻译具有语言不可知论的性质，但大部分研究都集中在欧洲语言上。在本文中，我们将神经机器翻译应用于阿拉伯语翻译（Ar <->En）任务，并将其与标准的基于短语的翻译系统进行比较。我们在预处理阿拉伯语脚本中使用各种配置进行了广泛的比较，并表明基于短语的翻译系统和神经翻译系统相互执行，并且阿拉伯语脚本的适当预处理对这两个系统具有相似的效果。然而，我们观察到神经机器翻译在域外测试集上的表现明显优于基于短语的系统，这使得它对现实世界的部署具有吸引力。
2016-06-08 cs.CL
Morphological Constraints for Phrase Pivot Statistical Machine Translation
Columbia University（哥伦比亚大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
统计机器翻译（SMT）面临的一个重要挑战是，许多语言对缺乏并行数据。一种常见的解决方案是通过第三种语言进行旋转，对于第三种语言，存在与源语言和目标语言平行的语料库。虽然旋转是一种健壮的技术，但它引入了一些低质量的翻译，特别是当使用差的形态语言作为丰富形态语言之间的枢轴时。在本文中，我们研究使用同步形态约束功能，以提高质量的短语枢轴SMT。我们比较手工制作的约束，从有限的并行数据之间的源和目标语言。所学习的形态约束基于枢轴短语表中的源短语和目标短语之间的投影对齐。我们在希伯来语-阿拉伯语SMT（以英语为中心）上显示出积极的结果。我们在短语枢轴基线上获得1.5个BLEU点，在系统组合基线上获得0.8个BLEU点，其中直接模型是从并行数据中构建的。
2016-09-12 cs.CL
Neural versus Phrase-Based Machine Translation Quality: a Case Study
FBK（FBK（布鲁诺·凯斯勒基金会））；University of Amsterdam（阿姆斯特丹大学）
在统计机器翻译（SMT）领域，神经方法（NMT）最近成为第一个能够挑战基于短语的方法（PBMT）长期主导地位的技术。特别是，在IWITH 2015年的评估活动中，NMT在英语-德语上的表现优于成熟的最先进的PBMT系统，由于词法和句法差异，英语-德语是一种特别困难的语言对。为了了解NMT在哪些方面提供了比PBMT更好的翻译质量，我们对神经与基于短语的SMT输出进行了详细的分析，利用专业翻译人员对IWITOS数据进行的高质量后期编辑。这是第一次，我们的分析提供了有用的见解，哪些语言现象最好由神经模型建模-例如动词的重新排序-同时指出了其他有待改进的方面。
2016-10-09 cs.CL
Monolingually Derived Phrase Scores for Phrase Based SMT Using Neural Networks Vector Representations
Amirkabir University（阿米尔卡比尔理工大学）
在本文中，我们提出了两个新的特点，估计基于短语的机器翻译参数，主要是单语数据。我们的方法是基于两个最近推出的神经网络向量表示模型的单词和句子。这是第一次，这些模型已被用于端到端的短语为基础的机器翻译系统。从我们的方法获得的分数可以恢复超过80%的BLEU损失所造成的删除短语表概率。我们还表明，我们的功能与短语表概率相结合，提高了绝对0.74分的BLEU分数。
2016-05-24 cs.CL
Phrase-Based Attentions
Nanyang Technological University（南洋理工大学）
大多数最先进的神经机器翻译系统，尽管在架构框架（例如递归，卷积）方面有所不同，但都有一个不可或缺的功能：注意力。然而，大多数现有的注意力方法是基于标记的，忽略了短语对齐的重要性，这是基于短语的统计机器翻译成功的关键因素。在本文中，我们提出了新的基于短语的注意力方法来建模的n元语法的令牌作为注意实体。我们将我们基于短语的注意力纳入最近提出的Transformer网络中，并证明我们的方法使用WMT'16训练数据在WMT newest2014上产生了1.3 BLEU的英语到德语和0.5 BLEU的德语到英语翻译任务的改进。
2018-09-30 cs.CL
QCRI Machine Translation Systems for IWSLT 16
Qatar Computing Research Institute – HBKU（卡塔尔计算研究所 – 哈马德·本·哈利法大学）
本文介绍了QCRI的机器翻译系统的IWITH 2016评估活动。我们参加了阿拉伯语->英语和英语->阿拉伯语轨道。我们建立了基于短语和神经机器翻译模型，以探讨新出现的NMT框架是否优于传统的基于短语的系统在阿拉伯语-英语语言对。我们训练了一个非常强大的基于短语的系统，包括一个大的语言模型，操作序列模型，神经网络联合模型和基于类的模型，以及不同的领域自适应技术，如MML过滤，混合建模和使用微调NNJM模型。然而，通过微调堆叠来自不同流派的数据并应用8个模型的集成来训练的神经MT系统，在阿拉伯语->英语方向上以显着的2 BLEU点优势击败了我们非常强大的基于短语的系统。我们在另一个方向上没有获得类似的收益，但仍然能够胜过基于短语的系统。我们还将系统组合应用于基于短语的输出和NMT输出。
2017-01-14 cs.CL
Augmenting Phrase Table by Employing Lexicons for Pivot-based SMT
Harbin Institute of Technology（哈尔滨工业大学）
Pivot语言被用来解决机器翻译中的数据稀疏问题，特别是当特定语言对的数据不存在时。源-主元翻译模式和主元-目标翻译模式的结合可以通过主元语言产生一种新的翻译模式。然而，两个模型中的误差可能会混合为噪声，并且组合模型仍然可能遭受严重的短语稀疏性问题。在本文中，我们直接使用IBM模型中的单词词法模型作为一个额外的资源，以增加枢轴短语表。此外，我们还提出了一个短语表修剪方法，同时考虑到源和目标短语覆盖率。实验结果表明，我们的修剪方法显着优于传统的，它只考虑源端短语覆盖。此外，通过将词条包含在词典模型中，短语覆盖率增加，并且我们在以英语为中心语言的中日翻译中取得了改善的结果。
2015-12-01 cs.CL
Joint Dropout: Improving Generalizability in Low-Resource Neural Machine Translation through Phrase Pair Variables
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
针对低资源神经机器翻译泛化能力不足的问题，提出Joint Dropout方法，通过用变量替换短语增强组合性，在低资源语言对上显著提升翻译质量，并增强跨领域鲁棒性与适应性。
2023-07-24 cs.CL
An Investigation of the Sampling-Based Alignment Method and Its Contributions
Waseda University（早稻田大学）
通过研究短语对在短语翻译表中的分布情况，提出了一种基于抽样的短语翻译表对齐方法，以增加短语翻译表中n-gram对齐的数量。这种方法包括在不同的翻译子表中强制对齐n-gram，以增加n-gram的数量。采用标准正态分布在翻译子表之间分配对齐时间，调整了n元语法的分布。这导致统计机器翻译任务的评估结果比原始的基于采样的对齐方法更好。此外，通过合并从基于采样的对齐方法和从MGIZA++计算的短语翻译表获得的翻译质量进行检查。
2013-08-21 cs.CL
On the Use of Machine Translation-Based Approaches for Vietnamese Diacritic Restoration
Alt Inc（Alt 公司）；FPT University（FPT 大学）；Vietnam National University（越南国家大学）
本文提出了一个实证研究的两个机器翻译为基础的方法，包括基于短语和基于神经的机器翻译模型的越南变音恢复问题。这是第一次将基于神经的机器翻译方法应用于这个问题，并与目前最先进的基于短语的机器翻译方法进行了全面的比较。在大数据集上，基于短语的方法的准确率为97.32%，而基于神经元的方法的准确率为96.15%。虽然基于神经元的方法具有稍低的准确性，但在推理速度方面，它比基于短语的方法快大约两倍。此外，基于神经的机器翻译方法还有很大的改进空间，如加入预训练的词嵌入和收集更多的训练数据。
2017-10-26 cs.CL
Noun Phrase Reference in Japanese-to-English Machine Translation
本文论述了在机器翻译中区分名词短语指称用法的必要性。我们认为，区分名词短语的通用，指称和归属的使用是最低限度的必要生成文章和数字正确时，从日语翻译成英语。启发式确定这些差异提出了一个日本到英语的机器翻译系统。最后，结果表明，使用所提出的语法的正确使用的文章和数量的日语到英语的机器翻译系统ALT-J/E中产生的名词短语的百分比从65%提高到77%。
1996-01-23 cmp-lg cs.CL
Word and Phrase Translation with word2vec
单词和短语表是机器翻译的关键输入，但制作成本很高。新的无监督学习方法在高维向量空间中表示单词和短语，这些单语嵌入已被证明可以编码语言元素之间的句法和语义关系。这些嵌入捕获的信息可以通过学习转换矩阵来用于双语翻译，该转换矩阵允许在两个单语向量空间中匹配相对位置。该方法旨在从未标记的数据中更经济有效地识别高质量的单词和短语翻译候选。本文将以前的双语翻译尝试的范围扩大到四种语言（英语，德语，西班牙语和法语）。它展示了如何处理源数据，训练一个神经网络来学习各个语言的高维嵌入，并扩展了测试英语之外的质量的框架。此外，它还展示了如何学习双语转换矩阵，获得单词和短语翻译的候选项，并评估其质量。
2018-04-24 cs.AI cs.CL
Neural Phrase-to-Phrase Machine Translation
Fudan University（复旦大学）；DeepMind（深度思维）；Google（谷歌）；Tsinghua University（清华大学）
在本文中，我们提出了神经短语到短语的机器翻译（NP $^2$ MT）。我们的模型使用短语注意力机制来发现相关的输入（源）片段，这些片段被解码器用来生成输出（目标）短语。我们还设计了一种高效的动态规划算法来解码片段，使模型的训练速度比Huang等人（2018）现有的基于神经短语的机器翻译方法更快。此外，我们的方法可以在解码过程中自然地与外部短语词典集成。实证实验表明，我们的方法达到了与基准数据集上的最先进的方法相当的性能。然而，当训练和测试数据来自不同的分布或域时，我们的方法表现得更好。
2018-11-06 cs.CL cs.LG stat.ML
Exploiting Similarities among Languages for Machine Translation
Google Inc.（谷歌公司）
词典和短语表是现代统计机器翻译系统的基础。本文提出了一种方法，可以自动生成和扩展字典和短语表的过程。我们的方法可以通过学习语言结构的基础上大单语数据和语言之间的映射，从小双语数据翻译丢失的单词和短语条目。它使用单词的分布式表示，并学习语言向量空间之间的线性映射。尽管简单，我们的方法是令人惊讶的有效：我们可以实现几乎90%的精度@5英语和西班牙语之间的单词翻译。这种方法对语言的假设很少，因此它可以用于扩展和改进任何语言对的词典和翻译表。
2013-09-17 cs.CL
Towards Neural Phrase-based Machine Translation
Microsoft Research（微软研究院）；Google（谷歌）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Citadel（城堡投资）
在本文中，我们提出了基于神经短语的机器翻译（NPMT）。我们的方法显式地使用睡眠唤醒网络（SWAN），最近提出的基于分割的序列建模方法的输出序列中的短语结构建模。为了减轻SWAN的单调对齐要求，我们引入了一个新的层来执行输入序列的（软）局部重排。与现有的神经机器翻译（NMT）方法不同，NPMT不使用基于注意力的解码机制。相反，它直接按顺序输出短语，并可以在线性时间内解码。我们的实验表明，与强大的NMT基线相比，NPMT在IWSLT 2014德语-英语/英语-德语和IWSLT 2015英语-越南语机器翻译任务上取得了优异的性能。我们还观察到，我们的方法在输出语言中产生有意义的短语。
2018-09-24 cs.CL stat.ML
Improving Machine Translation with Phrase Pair Injection and Corpus Filtering
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在本文中，我们表明，短语对注入和语料库过滤相结合，提高神经机器翻译（NMT）系统的性能。我们从伪平行语料库中提取平行短语和句子，并将其与平行语料库一起进行训练NMT模型。与所提出的方法，我们观察到的改进机器翻译（MT）系统的3个低资源的语言对，印地语-马拉地语，英语-马拉地语，英语-普什图语，和6个翻译方向高达2.7 BLEU点，在FLORES测试数据。这些BLEU分数的提高是在使用整个伪并行语料库训练的模型上，该整个伪并行语料库是用并行语料库增强的。
2023-01-19 cs.CL cs.LG
Phrase-Based & Neural Unsupervised Machine Translation
Facebook AI Research（脸书人工智能研究院）；Sorbonne Universités（索邦大学）；Université Le Mans（勒芒大学）
机器翻译系统在某些语言上实现了接近人类水平的性能，但它们的有效性强烈依赖于大量并行句子的可用性，这阻碍了它们对大多数语言对的适用性。这项工作研究了在只能访问每种语言的大型单语语料库时如何学习翻译。我们提出了两种模型变体，神经和基于短语的模型。这两个版本都利用了参数的仔细初始化、语言模型的去噪效果以及通过迭代反向翻译自动生成并行数据。这些模型明显优于文献中的方法，同时更简单，超参数更少。在广泛使用的WMT'14英-法和WMT'16德-英基准测试中，我们的模型在不使用单个平行句子的情况下分别获得了28.1和25.2个BLEU点，比现有技术高出11个BLEU点。在英语-乌尔都语和英语-罗马尼亚语等低资源语言上，我们的方法比半监督和监督方法利用可用双文本的缺乏取得了更好的结果。我们的NMT和PBSMT代码是公开的。
2018-08-13 cs.CL
Neural Machine Translation Model with a Large Vocabulary Selected by Branching Entropy
University of Tsukuba（筑波大学）；Japan Patent Information Organization（日本专利信息机构）
神经机器翻译（NMT）是机器翻译的一种新方法，与统计机器翻译（SMT）等传统方法相比，取得了令人满意的结果。尽管NMT最近取得了成功，但它不能处理更大的词汇量，因为训练复杂度和解码复杂度随着目标单词的数量成比例地增加。在翻译专利文件时，这个问题变得更加严重，因为专利文件中包含许多不经常看到的技术术语。在本文中，我们提出了选择短语，包含词汇表外的话，使用统计方法的分支熵。这使得所提出的NMT系统可以应用于任何语言对的翻译任务，而无需任何关于技术术语识别的语言特定知识。然后，在训练期间用令牌替换所选择的短语，并由SMT的短语翻译表进行翻译后。对日汉、汉日、日英和英日专利句子翻译的评价证明了分支熵选择短语的有效性，其中所提出的NMT模型比没有我们提出的技术的基线NMT模型实现了实质性的改进。此外，在没有我们提出的技术的情况下，基线NMT模型的欠翻译的翻译错误的数量减少到所提出的NMT模型的一半左右。
2017-09-06 cs.CL
Phrase-level Active Learning for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
神经机器翻译（NMT）对域移位敏感。在本文中，我们在一个主动学习环境中解决了这个问题，在这个环境中，我们可以花费给定的预算来翻译域内数据，并在新翻译的数据上逐渐微调预训练的域外NMT模型。现有的用于NMT的主动学习方法通常基于不确定性分数来选择句子，但是这些方法即使在句子中只有一个或两个关键短语是信息的情况下也需要对完整句子进行昂贵的翻译。为了解决这一限制，我们重新审视以前的工作，从基于短语的机器翻译（PBMT）时代，选择不是完整的句子，而是个别短语。然而，虽然将这些短语合并到PBMT系统中相对简单，但对于NMT系统来说就不那么简单了，NMT系统需要在完整序列上进行训练，以捕获新领域特有的句子的更大结构特性。为了克服这些障碍，我们建议从新领域的未标记数据中选择完整的句子和单个短语，以路由到人工翻译。在德英翻译任务中，我们的主动学习方法与基于不确定性的句子选择方法相比实现了一致的改进，在强主动学习基线上提高了高达1.2的BLEU分数。
2021-06-21 cs.AI cs.CL
Bilingual Words and Phrase Mappings for Marathi and Hindi SMT
Indian Institute of Technology (IIT) Bombay（印度理工学院孟买分校）
缺乏合适的语言资源是机器翻译系统在处理资源贫乏语言时面临的主要挑战。在本文中，我们描述了有效的方法来利用词汇资源，以提高质量的统计机器翻译。我们对词汇资源使用的研究主要集中在两个方面，如：增加平行语料库的词汇量和提供多样化的词形。我们增加了各种词汇资源，如词汇词，功能词，kridanta对和动词短语的训练语料库。我们已经描述了马拉地语到印地语和印地语到马拉地语机器翻译系统的案例研究、评估和详细的错误分析。从评估中我们观察到，随着各种词汇资源使用的增加，机器翻译的质量也在不断提高。此外，在平行语料库有限的情况下，使用各种词汇资源有助于提高机器翻译的覆盖率和质量。
2017-11-10 cs.CL
UAlacant machine translation quality estimation at WMT 2018: a simple approach using phrase tables and feed-forward neural networks
Universitat d’Alacant（阿利坎特大学）
我们描述了Universitat d'Alacant提交给WMT 2018的单词和词典级机器翻译（MT）质量评估（QE）共享任务。我们的方法词级MT QE建立在以前的工作，标记的话在机器翻译的句子作为\textit{OK}或\textit{BAD}，并扩展到确定是否一个词或一系列的话需要插入在每个字后的间隙。我们的文档级提交只是使用词级方法预测的编辑操作来近似TER。所提出的方法在识别六个数据集中的三个数据集的间隙中的插入的子任务中排名第一，在其余数据集中排名第二。
2018-11-06 cs.CL
Improving the Efficiency of a Generation Algorithm for Shake and Bake Machine Translation Using Head-Driven Phrase Structure Grammar
在Whitelock提出的统一范畴文法机器翻译算法的基础上，提出了中心语驱动短语结构文法的Shake and Bake机器翻译算法。翻译过程中，然后分析，以确定潜在的低效率的来源，并介绍了一些建议，大大提高了效率的生成算法。初步的实证结果，涉及一个小的语法测试，并提供了更大的改进算法的建议。
1995-05-09 cmp-lg cs.CL
Neural Machine Translation with Phrase-Level Universal Visual Representations
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
多模态机器翻译（MMT）旨在通过增加视觉信息来改进神经机器翻译（NMT），但现有的MMT方法大多需要源语句和图像的成对输入，这使得它们缺乏文本-图像对。本文提出了一种基于短语级检索的MMT方法，从已有的双图像数据集中获取源输入的视觉信息，从而打破了MMT对双图像输入的限制。我们的方法在短语级别进行检索，从而从源短语和接地区域对中学习视觉信息，这可以减轻数据稀疏性。此外，我们的方法采用条件变分自动编码器学习视觉表示，可以过滤冗余的视觉信息，只保留与短语相关的视觉信息。实验表明，该方法在多个MMT数据集上的性能明显优于强基线，特别是在文本上下文有限的情况下。
2022-03-19 cs.AI cs.CL
An Effective Method using Phrase Mechanism in Neural Machine Translation
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
本研究针对神经机器翻译任务，提出融合短语机制的PhraseTransformer方法以改进Transformer基线，在VLSP 2022越中翻译数据集上取得了更优的BLEU成绩。
2023-08-22 cs.CL cs.LG
Learning synchronous context-free grammars with multiple specialised non-terminals for hierarchical phrase-based translation
Universitat d’Alacant（阿利坎特大学）
基于分层短语统计机器翻译（HSMT）的翻译模型在某些语言对上表现出比非分层短语统计翻译模型更好的性能。HSMT的标准方法学习并应用带有单个非终结符的同步上下文无关文法。在这项工作中提出的语法细化算法背后的假设是，这个单一的非终端是过载的，并且没有足够的区分，因此，将其充分分割成更专业的符号可以导致改进的模型。本文提出了一种学习同步上下文无关文法的方法，该方法具有大量的初始非终结符，然后通过聚类算法对初始非终结符进行分组。我们的实验表明，由此产生的较小的一组非终端正确捕获的上下文信息，使其有可能在统计上显着提高标准HSMT方法的BLEU分数。
2020-04-03 cs.CL cs.LG
A Recipe for Arabic-English Neural Machine Translation
National Center for AI and Big Data Technology（国家人工智能与大数据技术中心）；King Abdulaziz City for Science and Technology (KACST)（阿卜杜勒阿齐兹国王科技城（KACST））
在本文中，我们提出了一种构建良好的阿拉伯语-英语神经机器翻译的方法。我们比较神经系统与传统的基于短语的系统使用各种并行语料库，包括联合国，ISI和乌玛。我们还研究了阿拉伯语脚本的特殊预处理的重要性。所呈现的结果基于NIST MT 2005和2012的测试集。在NIST MT 12测试集中，最好的神经系统与等效的基于简单短语的系统相比产生+13 BLEU点的增益。出乎意料的是，我们发现使用像Ummah这样的小型高质量语料库对整个数据进行训练的模型进行调整，可以得到实质性的改进（+3 BLEU点）。我们还发现，用一个小的阿拉伯语-英语语料库训练神经系统与传统的基于短语的系统相比具有竞争力。
2018-08-18 cs.CL
Is Neural Machine Translation Ready for Deployment? A Case Study on 30 Translation Directions
Faculty of Mathematics and Computer Science, Adam Mickiewicz University in Poznan（波兹南亚当·密茨凯维奇大学数学与计算机科学学院）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Moses Machine Translation CIC（Moses机器翻译社区利益公司）
在本文中，我们提供了基于短语的SMT和神经机器翻译在30个翻译方向上的翻译质量的最大出版比较。对于十个方向，我们还包括基于短语的分层MT。实验进行了最近出版的联合国平行语料库v1.0和大型六向平行对齐子语料库。在本文的第二部分中，我们研究了翻译速度方面，介绍了AmuNMT，我们高效的神经机器翻译解码器。我们证明，当前的神经机器翻译已经可以用于生产系统中，比较每秒单词的比率。
2016-11-30 cs.CL
Dependency Graph-to-String Statistical Machine Translation
Huawei Technologies（华为技术有限公司）；Dublin City University（都柏林城市大学）
我们提出了基于图的翻译模型，将源图转换为目标字符串。源图由具有额外链接的依赖树构建，以便连接非句法短语。受基于短语的模型的启发，我们首先引入了一个翻译模型，该模型将图分割成一系列不相交的子图，并通过使用束搜索从左到右组合子图翻译来生成翻译。然而，与基于短语的模型类似，该模型在短语重排序方面较弱。因此，我们进一步引入了一个基于同步节点替换语法的模型，该模型学习递归翻译规则。我们提供了两种不同的限制，使源图可以有效地解析模型的实现。实验表明，我们的基于图的模型是显着优于相应的序列和树为基础的基线。
2021-03-20 cs.AI cs.CL
Translation Quality Estimation using Recurrent Neural Network
CDAC Mumbai（孟买先进计算发展中心）
本文介绍了我们在第一届统计机器翻译会议（WMT 16）上提交的关于词/短语级质量估计（QE）的共享任务。共享任务的目的是预测给定单词/短语在给定句子中是否是正确/不正确（OK/BAD）的翻译。本文提出了一种基于循环神经网络语言模型（RNN-LM）结构的词级质量估计方法。已经发现RNN-LM在不同的自然语言处理（NLP）应用中非常有效。RNN-LM主要用于不同NLP问题的向量空间语言建模。为此，我们修改了RNN-LM的架构。修改后的系统预测槽中的标签（OK/BAD），而不是预测单词。系统的输入是一个单词序列，类似于标准的RNN-LM。该方法与语言无关，只需要QE的翻译文本。为了估计短语级质量，我们使用单词级QE系统的输出。
2016-10-21 cs.CL
Hierarchical Phrase-based Sequence-to-Sequence Learning
MIT（麻省理工学院）；University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
我们描述了一种神经传感器，它保持了标准序列到序列（seq2seq）模型的灵活性，同时将分层短语作为训练过程中的归纳偏差源和推理过程中的明确约束。我们的方法训练了两个模型：一个基于括号转换语法的判别式解析器，其派生树分层排列源和目标短语，以及一个神经seq2seq模型，学习逐个翻译对齐的短语。我们使用相同的seq2seq模型在所有短语尺度上进行翻译，这导致两种推理模式：一种模式是丢弃解析器，仅在序列级使用seq2seq组件，另一种模式是将解析器与seq2seq模型相结合。在后一种模式下的解码是用立方体修剪CKY算法完成的，该算法涉及更多，但可以在推理过程中使用新的翻译规则。我们将我们的模型形式化为一个源条件同步文法，并开发了一个有效的变分推理算法进行训练。当应用于随机初始化和预训练的seq2seq模型时，我们发现这两种推理模式与小规模机器翻译基准测试的基线相比表现良好。
2022-11-16 cs.CL
Cross-lingual Contextualized Phrase Retrieval
Nara Institute of Science and Technology（奈良科学技术研究所）；Tencent AI Lab（腾讯AI实验室）
本文提出跨语言上下文化短语检索任务，利用平行句词对齐自动构建短语对，并通过对比学习训练CCPR，在短语检索和机器翻译任务上均取得显著提升。
2024-10-04 cs.CL
Learning Phrase Embeddings from Paraphrases with GRUs
Rensselaer Polytechnic Institute（伦斯勒理工学院）
学习短语表示已经在许多自然语言处理（NLP）任务（例如，情感分析，机器翻译），并已显示出有前途的改进。以前的研究要么学习非组合短语表示与一般的词嵌入学习技术或学习组合短语表示的基础上的句法结构，这要么需要大量的人类注释或不能很容易地推广到所有的短语。在这项工作中，我们建议利用大规模的释义数据库，并提出了一个成对门控递归单元（pairwise-GRU）的框架来生成组合短语表示。我们的框架可以重复使用，以生成任何短语的表示。实验结果表明，我们的框架在几个短语相似性任务上取得了最先进的结果。
2017-10-13 cs.CL
CUNI Systems for the Unsupervised News Translation Task in WMT 2019
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
在本文中，我们描述了用于ACL 2019第四届机器翻译会议（WMT 19）的无监督新闻共享任务的CUNI翻译系统。我们遵循Artexte et al.（2018 b）的策略，创建了一个基于种子短语的系统，其中短语表是从单语数据训练的跨语言嵌入映射初始化的，然后是在合成并行数据上训练的神经机器翻译系统。合成语料库是由一个单语语料库的调整PBMT模型，通过迭代回译细化。我们进一步关注命名实体的处理，即词汇表的一部分，其中跨语言嵌入映射受到最大的影响。我们的系统在德国-捷克WMT 19共享任务上的BLEU得分为15.3。
2019-07-29 cs.CL
An empirical analysis of phrase-based and neural machine translation
Universiteit van Amsterdam（阿姆斯特丹大学）；Tilburg University（蒂尔堡大学）；German Center for AI (DFKI)（德国人工智能研究中心）
两种流行的机器翻译（MT）类型是基于短语的和神经机器翻译系统。这两种类型的系统都由多个复杂的模型或层组成。这些模型和层中的每一个学习源语言的不同语言方面。然而，对于这些模型和层中的一些，尚不清楚哪些语言现象是学习的，或者这些信息是如何学习的。对于基于短语的机器翻译系统，通常很清楚每个模型学习了什么信息，问题是如何学习这些信息，特别是对于其短语重新排序模型。对于神经机器翻译系统，情况甚至更加复杂，因为在许多情况下，并不完全清楚学习了什么信息以及如何学习。为了阐明MT系统捕获的语言现象，我们分析了基于短语和神经MT系统中重要模型的行为。我们考虑短语的机器翻译系统的短语重新排序模型，以调查从一个短语内部的单词定义的短语重新排序行为的影响最大。此外，为了有助于神经MT系统的可解释性，我们研究了注意力模型的行为，注意力模型是神经MT系统的关键组成部分，也是基于短语的系统中最接近短语重排模型的模型。注意力模型与编码器隐藏状态表示一起形成神经MT中编码源侧语言信息的主要组件。为此，我们还分析了神经MT系统的编码器隐藏状态表示中捕获的信息。我们调查的程度，从源侧的语法和词汇语义信息被捕获的隐藏状态表示不同的神经MT架构。
2021-03-04 cs.AI cs.CL cs.LG
Crowdsourced Phrase-Based Tokenization for Low-Resourced Neural Machine Translation: The Case of Fon Language
Jacobs University Bremen（雅各布大学不来梅）；Technical University of Munich（慕尼黑工业大学）
为资源非常贫乏且形态丰富的非洲土著语言构建有效的神经机器翻译（NMT）模型是一个开放的挑战。除了为它们找到可用资源的问题外，还需要进行大量的预处理和标记化工作。最近的研究表明，标准的标记化方法并不总是能够充分处理某些非洲语言的语法、变音和音调属性。再加上训练样本的可用性极低，阻碍了可靠的NMT模型的产生。在本文中，使用Fon语言作为案例研究，我们重新审视了标准的标记化方法，并引入了基于单词表达式（WEB）的标记化，这是一种人工参与的超词标记化策略，可以创建更好的代表性词汇进行训练。此外，我们将我们的标记化策略与其他人在Fon-French和French-Fon翻译任务上进行了比较。
2021-03-17 cs.AI cs.CL
Six Challenges for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们探讨了神经机器翻译的六个挑战：领域不匹配、训练数据量、稀有词、长句、词对齐和束搜索。我们显示了基于短语的统计机器翻译的质量的不足和改进。
2017-06-12 cs.CL
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
Université de Montréal（蒙特利尔大学）；Jacobs University（雅各布大学）；Université du Maine（曼恩大学）
在本文中，我们提出了一种新的神经网络模型称为RNN编码器-解码器，由两个递归神经网络（RNN）。一个RNN将符号序列编码为固定长度的向量表示，另一个将表示解码为另一个符号序列。所提出的模型的编码器和解码器联合训练，以最大限度地提高给定源序列的目标序列的条件概率。通过使用由RNN编码器-解码器计算的短语对的条件概率作为现有对数线性模型中的附加特征，经验地发现统计机器翻译系统的性能得到改善。定性，我们表明，该模型学习语义和语法有意义的语言短语表示。
2014-09-03 cs.CL cs.LG cs.NE
Continuous Learning in Neural Machine Translation using Bilingual Dictionaries
Maastricht University（马斯特里赫特大学）
虽然深度学习的最新进展导致机器翻译的显著改进，但神经机器翻译通常仍然无法持续适应环境。对于人类和机器翻译来说，双语词典是一个有前途的知识来源，可以不断地整合新知识。然而，它们的开发带来了一些挑战：系统需要能够执行一次性学习，以及对源语言和目标语言的形态进行建模。在这项工作中，我们提出了一个评估框架来评估神经机器翻译不断学习新短语的能力。我们将神经机器翻译的一次性学习方法与不同的单词表示相结合，并表明为了成功地使用双语词典，解决这两个问题是很重要的。通过解决这两个挑战，我们能够将新的、罕见的单词和短语的翻译能力从30%提高到70%。正确的引理甚至超过90%。
2021-02-12 cs.CL
