Learning Efficient Lexically-Constrained Neural Machine Translation with External Memory
iFLYTECK Research（科大讯飞研究院）
近年来，神经机器翻译取得了巨大的进展，然而，人工指导翻译过程的方法仍有待于更好地探索。先前的工作提出通过在解码阶段中的词汇约束的束搜索来处理这样的问题。不幸的是，这些受词汇约束的波束搜索方法具有两个致命的缺点：高计算复杂性和硬束搜索，其产生意外的翻译。在本文中，我们提出了学习的词汇限制翻译的能力与外部记忆，它可以克服上述缺点。在训练过程中，自动提取的短语对是从对齐和句子分析中提取的，然后进一步编码到外部存储器中。然后，该存储器用于通过存储器-注意力机制提供用于训练的词汇约束信息。本文对WMT中译英和英译德任务进行了多项实验。所有的结果都证明了我们的方法的有效性。
2019-01-31 cs.AI cs.CL
Towards Example-Based NMT with Multi-Levenshtein Transformers
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）；Systran（Systran公司）
本研究提出一种多莱文斯坦变换器架构，通过同时编辑多个检索到的模糊匹配示例，提升检索增强机器翻译的决策透明度，并实验证明其能提高翻译得分及目标片段复制率。
2023-10-13 cs.CL
Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）
我们提出了网格束搜索（GBS），一种算法，它扩展了束搜索，允许列入预先指定的词汇约束。该算法可以与通过最大化$ p(\mathbf{y} | \mathbf{x}) = \prod\limits_{t}p(y_{t} | \mathbf{x}; \{y_{0} \ldots y_{t-1}\}) $来生成序列$ \mathbf{\hat{y}} = \{y_{0}\ldots y_{T}\} $的任何模型一起使用。词汇约束采用必须出现在输出序列中的短语或单词的形式。这是一种非常通用的方法，可以将额外的知识合并到模型的输出中，而不需要对模型参数或训练数据进行任何修改。我们通过对神经交互预测翻译和神经机器翻译的领域自适应进行实验，证明了词汇约束解码的可行性和灵活性。实验表明，GBS可以在交互式场景中提供翻译质量的大幅度提高，并且即使没有任何用户输入，GBS也可以用于在领域自适应场景中实现显著的性能增益。
2017-05-02 cs.CL
Accurate Online Posterior Alignments for Principled Lexically-Constrained Decoding
IIT Bombay（印度理工学院孟买分校）
机器翻译中的在线对齐是指当目标序列仅被部分解码时将目标词与源词对齐的任务。良好的在线对齐有助于重要的应用程序，例如词汇约束翻译，其中用户定义的字典用于将词汇约束注入翻译模型。我们提出了一种新的后对齐技术，是真正的在线执行和优越的对齐出错率相比，现有的方法。我们提出的推理技术联合考虑对齐和令牌概率的原则性方式，可以无缝集成在现有的约束波束搜索解码算法。在五个语言对，包括两个遥远的语言对，我们实现了一致的下降对齐出错率。当部署在七个词汇约束的翻译任务，我们实现了显着的改进，特别是在BLEU的约束位置。
2022-04-02 cs.CL cs.LG
Improving Lexically Constrained Neural Machine Translation with Source-Conditioned Masked Span Prediction
Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
准确的术语翻译对于确保神经机器翻译（NMT）系统的实用性和可靠性至关重要。为了解决这个问题，词汇约束NMT探索了各种方法来确保翻译输出中出现预先指定的单词和短语。然而，在许多情况下，这些方法是在一般领域语料库中研究的，其中术语大多是uni-gram和bi-gram（>98%）。在本文中，我们解决了一个更具挑战性的设置，由特定领域的语料库组成，具有更长的n-gram和高度专业化的术语。受最近成功的掩蔽跨度预测模型的启发，我们提出了一种简单有效的训练策略，该策略在两种语言对中的三个特定领域语料库的术语和句子级别翻译上实现了一致的改进。
2021-08-12 cs.AI cs.CL cs.LG
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
Lexically Grounded Subword Segmentation
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出词汇接地的子词切分方法，结合Morfessor预分词、词嵌入代数推导和子词二元模型高效切分，在8种语言的形态合理性与词性标注上取得一致提升。
2024-10-03 cs.CL
ParaCotta: Synthetic Multilingual Paraphrase Corpora from the Most Diverse Translation Sample Pair
Kata.ai Research Team（Kata.ai研究团队）；Kumamoto University（熊本大学）；University of Edinburgh（爱丁堡大学）；Universitas Indonesia（印度尼西亚大学）；Oracle Digital Assistant（甲骨文数字助手）；Brawijaya University（布拉维贾亚大学）
我们发布了17种语言的合成平行释义语料库：阿拉伯语，加泰罗尼亚语，捷克语，德语，英语，西班牙语，爱沙尼亚语，法语，印地语，印度尼西亚语，意大利语，荷兰语，罗马尼亚语，俄语，瑞典语，越南语和中文。我们的方法仅依赖于单语数据和神经机器翻译系统来生成释义，因此应用简单。我们使用束搜索生成多个翻译样本，并根据它们的句子BLEU选择词汇最多样化的对。我们比较我们生成的语料库与\texttt{ParaBank2}。根据我们的评估，我们的合成释义对语义相似，词汇多样。
2022-05-10 cs.CL
BFGAN: Backward and Forward Generative Adversarial Networks for Lexically Constrained Sentence Generation
Sichuan University（四川大学）；MILA（蒙特利尔学习算法研究所）；IVADO（IVADO研究所）；Polytechnique Montreal（蒙特利尔理工学院）
将词汇约束等先验知识引入到模型的输出中以生成有意义和连贯的句子在对话系统、机器翻译、图像描述等中有许多应用。然而，现有的基于RNN的模型通过束搜索从左到右递增地生成句子，这使得难以将词汇约束直接引入到生成的句子中。在本文中，我们提出了一个新的算法框架，称为BFGAN，以解决这一挑战。具体来说，我们采用一个反向生成器和一个正向生成器来一起生成词汇约束的句子，并使用一个训练器来指导两个生成器的联合训练，为它们分配奖励信号。由于BFGAN训练的困难，我们提出了几种训练技术，使训练过程更加稳定和高效。我们在两个大规模数据集上进行的大量实验表明，BFGAN比以前的方法有显着的改进。
2018-09-07 cs.CL
Incorporating Terminology Constraints in Automatic Post-Editing
Columbia University（哥伦比亚大学）；University of Maryland（马里兰大学）
机器翻译（MT）的用户可能希望确保使用特定的词汇术语。虽然存在用于在MT的推理期间并入术语约束的技术，但是当前的APE方法不能确保它们将出现在最终的翻译中。在本文中，我们提出了词汇约束APE的自回归和非自回归模型，证明了我们的方法可以保留95%的术语，并提高了英语-德语基准的翻译质量。即使当应用到词汇约束MT输出，我们的方法是能够提高保留的术语。然而，我们表明，我们的模型不学习系统地复制约束，并提出了一个简单的数据增强技术，从而提高性能和鲁棒性。
2020-10-19 cs.CL
Levenshtein Transformer
Facebook AI Research（Facebook人工智能研究院）；New York University（纽约大学）；Tigerobo Inc.（虎博科技）
现代神经序列生成模型被构建为从零开始逐步生成令牌，或者（迭代地）修改由固定长度限定的令牌序列。在这项工作中，我们开发Levenshtein Transformer，一个新的部分自回归模型，设计更灵活，更适合序列生成。与以前的方法不同，我们模型的原子操作是插入和删除。它们的组合不仅有利于生成，而且有利于允许动态长度变化的序列细化。我们还提出了一套专门针对它们的新训练技术，由于它们的互补性，有效地利用一个作为另一个的学习信号。应用该模型的实验实现了相当的性能，但大大提高了效率的生成（例如机器翻译，文本摘要）和细化任务（例如自动后期编辑）。我们通过展示由机器翻译训练的Levenshtein Transformer可以直接用于自动后期编辑来进一步确认我们模型的灵活性。
2019-10-28 cs.CL cs.LG
Show Me How To Revise: Improving Lexically Constrained Sentence Generation with XLNet
The University of Hong Kong（香港大学）
词汇约束的句子生成允许将诸如词汇约束的先验知识并入输出。该技术已应用于机器翻译和对话响应生成。以前的工作通常使用马尔可夫链蒙特卡罗（MCMC）抽样来生成词汇限制的句子，但他们随机确定要编辑的位置和要采取的行动，导致许多无效的改进。为了克服这一挑战，我们使用了一个分类器来指导基于MCMC的模型在哪里以及如何细化候选句子。首先，我们开发了两种方法来创建合成数据，在此基础上对预训练模型进行微调，以获得可靠的分类器。接下来，我们提出了一个两步的方法，“预测和修改”，约束句子生成。在预测步骤中，我们利用分类器来计算候选句子的学习先验。在修改步骤中，我们采取MCMC采样，通过在从学习到的先验知识中抽取的采样位置进行采样动作来修改候选句子。我们将我们提出的模型与两个任务的许多强基线进行了比较，即生成具有词汇约束的句子和文本填充。实验结果表明，我们提出的模型表现出更好的句子流畅性和多样性方面比以前的工作。我们的代码和预培训模型可在https://github.com/NLPCode/MCMCXLNet上获得。
2021-09-13 cs.CL
EDITOR: an Edit-Based Transformer with Repositioning for Neural Machine Translation with Soft Lexical Constraints
University of Maryland（马里兰大学）
我们介绍了一个基于编辑的Transformer与重新定位（EDITOR），这使得序列生成灵活，无缝地允许用户指定的偏好在输出词汇的选择。基于最近的非自回归序列生成模型（Gu等人，2019），EDITOR通过迭代编辑假设来生成新序列。它依赖于一种新的重新定位操作，旨在将词汇选择从单词定位决策中解脱出来，同时在解码时实现有效的模仿学习和并行编辑。经验上，EDITOR比Levenshtein Transformer更有效地使用软词汇约束（Gu等人，2019），同时与受约束的束搜索相比，大大加快了解码速度（Post和Vilar，2018）。在标准的罗马尼亚语-英语、英语-德语和英语-日语机器翻译任务中，EDITOR的解码速度比Levenshtein Transformer快，翻译质量相当或更好。
2021-01-19 cs.CL cs.LG
Optimizing example selection for retrieval-augmented machine translation with translation memories
Sorbonne Université（索邦大学）；ChapsVision（沙普斯视觉公司）
本研究针对检索增强机器翻译，利用子模函数理论优化翻译记忆示例选择，以最大化源句覆盖率，提升多莱文斯坦变换器的翻译性能。
2024-05-23 cs.CL
Integrating Translation Memories into Non-Autoregressive Machine Translation
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（法国国家科学研究中心跨学科数字科学实验室）；SYSTRAN（赛迪翻译）
非自回归机器翻译（NAT）近年来取得了很大的进展。然而，迄今为止，大多数工作都集中在标准的翻译任务，即使一些基于编辑的NAT模型，如Levenshtein Transformer（LevT），似乎很适合翻译记忆库（TM）的翻译。这就是这里考虑的情况。我们首先分析了香草LevT模型，并解释了为什么它在这种情况下做得不好。然后，我们提出了一个新的变种，TM-LevT，并展示了如何有效地训练这个模型。通过修改数据表示和引入额外的删除操作，我们获得了与自回归方法相当的性能，同时降低了解码负载。我们还表明，将TM在培训期间免除使用知识蒸馏，一个众所周知的技巧，用于减轻多模态问题。
2023-02-18 cs.CL
Neural Machine Translation with Explicit Phrase Alignment
Institute for Artificial Intelligence（人工智能研究院）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Sogou Inc.（搜狗公司）
虽然神经机器翻译（NMT）已经达到了最先进的翻译性能，但它无法在翻译过程中捕获输入和输出之间的对齐。NMT模型缺乏对齐导致三个问题：（1）难以解释翻译过程，（2）难以施加词汇限制，（3）难以施加结构限制。为了缓解这些问题，我们建议引入显式短语对齐到任意NMT模型的翻译过程中。其关键思想是建立一个搜索空间，类似于基于短语的统计机器翻译的NMT短语对齐是现成的。我们设计了一个新的解码算法，可以很容易地施加词汇和结构的限制。实验表明，该方法在不牺牲翻译质量的前提下，使NMT的翻译过程更具可解释性。此外，我们的方法在词汇和结构约束的翻译任务中取得了显着的改善。
2019-11-28 cs.CL
Neural Machine Translation with Noisy Lexical Constraints
Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
词汇约束解码的机器翻译已被证明是有益的，在以前的研究。不幸的是，用户提供的约束在现实世界中可能包含错误。如何在实际应用中处理这些噪声约束仍然是一个悬而未决的问题。我们提出了一个新的框架，把约束作为外部记忆。以这种软方式，可以校正错误的约束。实验表明，我们的方法可以实现大量的BLEU增益处理噪声约束。这些结果促使我们将所提出的方法应用到一个新的场景中，在没有用户的帮助下生成约束。实验表明，我们的方法确实可以提高翻译质量与自动生成的约束。
2021-01-26 cs.CL
How Does Distilled Data Complexity Impact the Quality and Confidence of Non-Autoregressive Machine Translation?
University of Maryland（马里兰大学）；Microsoft Research Asia（微软亚洲研究院）
虽然非自回归（NAR）模型在机器翻译中显示出巨大的前景，但它们的使用受到其依赖于自回归模型的知识蒸馏的限制。为了解决这个问题，我们试图了解为什么蒸馏如此有效。先前的工作表明，提取的训练数据没有手动翻译复杂。基于Levenshtein Transformer和Mask-Predict NAR模型在WMT 14德-英任务上的实验，本文表明不同类型的复杂性具有不同的影响：虽然减少词汇多样性和降低重新排序复杂性都有助于NAR学习源和目标之间的更好对齐，从而提高翻译质量，但词汇多样性是蒸馏增加模型置信度的主要原因，这对不同NAR模型的校正有不同的影响。
2021-05-27 cs.CL
Towards Tailored Recovery of Lexical Diversity in Literary Machine Translation
Aalborg University（奥尔堡大学）；University of Groningen（格罗宁根大学）
本文针对文学机器翻译中词汇多样性损失问题，提出用区分原文与译文的分类器对候选翻译重排序，以恢复机器翻译丢失的词汇多样性，在31本英译荷书籍上验证了其效果接近人工翻译。
2024-08-30 cs.CL
Multi-perspective Alignment for Increasing Naturalness in Neural Machine Translation
CLCG, University of Groningen（格罗宁根大学CLCG）；Department of Computer Science, Aalborg University（奥尔堡大学计算机科学系）；Departament de Llenguatges i Sistemes Informàtics, Universitat d’Alacant（阿莱康特大学语言与信息系统系）
受人类反馈强化学习框架启发，提出一种多视角对齐方法，在英译荷兰语文学翻译中同时奖励自然度和内容保留，生成词汇更丰富且不损失准确性的翻译。
2025-05-30 cs.CL
FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation
Google Research（谷歌研究院）
本研究提出面向少样本区域感知机器翻译的基准FRMT，含英语转葡语、普通话各地域变体的专业译文，探索验证了自动评估指标与人工评估的相关性，给出基线模型及研究指南，相关资源已公开。
2023-10-03 cs.CL
DICTDIS: Dictionary Constrained Disambiguation for Improved NMT
Indian Institute of Technology Bombay（印度理工学院孟买分校）
提出DictDis，一个具备词汇约束的NMT系统，通过在训练数据中扩充多个词典候选词并隐式对齐来促进多候选翻译消歧，在多领域翻译任务中实现了更优的约束复制与消歧性能及流畅度提升。
2024-09-27 cs.CL cs.LG
Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
虽然大多数神经机器翻译（NMT）系统仍然使用最大似然估计进行训练，但最近的工作表明，优化系统以直接改善BLEU等评估指标可以大大提高最终的翻译准确性。然而，使用BLEU进行训练有一些局限性：它不分配部分信用，它的输出值范围有限，并且如果它们在词汇上与参考不同，它可能会惩罚语义正确的假设。在本文中，我们介绍了一种替代的奖励函数优化NMT系统，是基于最近的工作，语义相似性。我们对翻译成英语的四种不同语言进行了评估，发现使用我们提出的指标进行训练可以获得更好的翻译，如BLEU，语义相似性和人类评估，并且优化过程收敛得更快。分析表明，这是因为所提出的指标更有利于优化，分配部分信用，并提供更多的分数比BLEU的多样性。
2019-09-14 cs.CL
Integrating Vectorized Lexical Constraints for Neural Machine Translation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Quan Cheng Laboratory（之江实验室）
词汇约束神经机器翻译（NMT）控制具有预先指定的约束的NMT模型的生成，在许多实际场景中是重要的。由于NMT模型中离散约束和连续向量之间的表示差距，现有的研究大多选择构造合成数据或修改解码算法来施加词汇约束，将NMT模型视为黑箱。在这项工作中，我们建议通过直接将约束集成到NMT模型中来打开这个黑盒子。具体来说，我们将源和目标约束向量化为连续的键和值，这些键和值可以被NMT模型的注意力模块利用。所提出的集成方法是基于这样的假设，即注意力模块中的键和值之间的对应关系自然适合于建模约束对。实验结果表明，我们的方法在四种语言对上的性能始终优于几个代表性基线，证明了集成矢量化词汇约束的优越性。
2022-03-23 cs.CL
A Template-based Method for Constrained Neural Machine Translation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；International Innovation Center of Tsinghua University, Shanghai（清华大学上海国际创新中心）；Quan Cheng Laboratory（之江实验室）；Zhongguancun Laboratory（中关村实验室）；Tencent AI Lab（腾讯人工智能实验室）
期望机器翻译系统在许多实际场景中应对各种类型的约束。虽然神经机器翻译（NMT）在无约束的情况下取得了很好的性能，但在NMT模型的翻译过程中施加预先指定的约束是不平凡的。虽然已经提出了许多方法来解决这个问题，但大多数现有方法不能同时满足以下三个要求：（1）高翻译质量，（2）高匹配准确率，（3）低延迟。在这项工作中，我们提出了一种基于模板的方法，可以产生高翻译质量和匹配精度的结果，我们的方法的推理速度与无约束NMT模型相当。我们的基本思想是通过一个模板重新安排约束和非约束令牌的生成。我们的方法不需要在模型架构和解码算法的任何变化。实验结果表明，基于模板的方法可以优于几个代表性的基线在词汇和结构约束的翻译任务。
2022-10-21 cs.CL
Reinforcement Learning for Edit-Based Non-Autoregressive Neural Machine Translation
Waseda University（早稻田大学）；CyberAgent
本文针对基于编辑的非自回归NMT的性能与训练数据问题，将强化学习应用于Levenshtein Transformer，比较逐步与回合奖励最大化，并验证温度设置的作用。
2024-07-02 cs.CL
Easy Guided Decoding in Providing Suggestions for Interactive Machine Translation
Alibaba Group Inc.（阿里巴巴集团）
针对交互式机器翻译的翻译建议任务，本文提出无需额外训练的约束解码算法PSGD，在翻译质量、解码效率及监督系统对比中均取得显著优势。
2023-06-02 cs.CL
Phonetically-Oriented Word Error Alignment for Speech Recognition Error Analysis in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种用于语音识别评估的常用字错误率（WER）指标的变体，该指标在没有时间边界信息的情况下结合了音素的对齐。在计算参考和假设成绩单中的单词的Levenshtein对齐之后，相邻错误的跨度被转换成具有单词和音节边界的音素，并且执行语音Levenshtein对齐。对齐的音素被重新组合成对齐的单词，这些单词调整每个错误区域中的单词对齐标签。我们证明，我们的语音导向的单词错误率（POWER）产生类似的分数WER与更好的单词对齐的附加优势，并能够捕捉对应于语音识别假设中的同音错误的一对多单词对齐。这些改进的比对使我们能够更好地跟踪Levenshtein错误类型对语音翻译等下游任务的影响。
2019-04-24 cs.CL
Learning Parse and Translation Decisions From Examples With Rich Context
我们提出了一个解析和翻译自然语言的系统，从例子中学习，并使用一些背景知识。作为我们的分析模型，我们选择了一个确定性的移位-归约类型的分析器，它集成了词性标注和句法语义处理。应用机器学习技术，该系统使用在监督下获得的解析动作示例来生成决策结构形式的解析器，这是决策树的泛化。为了学习良好的解析和翻译决策，我们的系统在很大程度上依赖于上下文，目前编码在205个功能描述的形态，语法和语义方面的一个给定的解析状态。与最近使用40，000个句子进行训练的概率系统相比，我们的系统依赖于更多的背景知识和更深入的分析，但样本数量更少，目前只有256个句子。我们测试我们的分析器从华尔街日报词汇限制的句子，并实现准确率为89.8%的标记精度，98.4%的词性标记和56.3%的测试句子没有任何交叉括号。10名双语志愿者对32个《华尔街日报》句子的机器翻译进行了评估，并在1.0（最好）到6.0（最差）的范围内对语法正确性和意义保留进行了评分。
1997-06-30 cmp-lg cs.CL
Levenshtein Training for Word-level Quality Estimation
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软）
我们提出了一种新的方案，使用Levenshtein Transformer来执行字级质量估计的任务。Levenshtein Transformer天生适合这项任务：经过训练以迭代方式执行解码，Levenshtein Transformer可以在没有明确监督的情况下学习后期编辑。为了进一步减少翻译任务和单词级QE任务之间的不匹配，我们提出了一个两阶段的迁移学习过程增强数据和人类编辑后的数据。我们还提出了构造与子词级微调和推理兼容的参考标签的方法。在WMT 2020 QE共享任务数据集上的实验结果表明，该方法在数据约束条件下具有较高的数据效率，在无约束条件下具有较好的性能.
2021-09-15 cs.CL
SemMT: A Semantic-based Testing Approach for Machine Translation Systems
The Hong Kong University of Science and Technology（香港科技大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science and Technology（华中科技大学）
机器翻译在日常生活中有着广泛的应用。在翻译官方文件等关键任务应用中，错误的翻译可能会带来令人不快甚至有时是灾难性的后果。这激发了最近对机器翻译系统测试方法的研究。现有的方法主要依赖于在文本级设计的变形关系（例如，Levenshtein距离）或句法级别（例如，语法结构之间的距离）来确定翻译结果的正确性。但是，这些变形关系并没有考虑原文和译文是否具有相同的含义（即，语义相似性）。因此，在本文中，我们提出了SemMT，自动测试方法的机器翻译系统的语义相似性检查的基础上。SemMT应用往返翻译并测量原始句子和翻译句子之间的语义相似度。我们的见解是，在句子中的逻辑和数字约束所表达的语义可以使用正则表达式（或确定性有限自动机），有效的等价性/相似性检查算法是可用的。利用洞察力，我们提出了三个语义相似性度量，并在SemMT中实现它们。实验结果表明，SemMT可以实现更高的效率相比，国家的最先进的作品，实现了21%和23%的准确率和F-Score，分别增加。我们还探讨了当采用适当的指标组合时可以实现的潜在改进。最后，我们讨论了一种在往返翻译中定位可疑行程的解决方案，为进一步的探索提供了参考。
2021-10-09 cs.CL cs.SE
Incorporating Discourse Aspects in English -- Polish MT: Towards Robust Implementation
翻译的主要目的是准确地传递意义，使翻译结果不仅在语法和词汇上正确，而且在交际上充分。本文强调语篇分析的必要性，其目的是在英语-波兰语机器翻译中保持交际意义。与英语不同，英语是一种位置语言，词序由语法决定，波兰语表现出强烈的倾向，根据其显着程度对成分进行排序，因此最显着的信息元素被放置在子句的末尾，而不管它们的语法功能如何。为追踪英语中给定的信息单位而发展起来的中心理论和预测后续成分信息性的功能句视角理论为这项工作提供了理论背景。对{\em center}的概念进行了扩展，使其不仅适用于代词化和精确重复，而且适用于确定性和其他中心指向结构。中心信息另外被分级并且适用于给定话语中的所有主要成分。这些信息被用来正确地排序后转移成分，依赖于统计数据和一些句法线索。
1995-10-15 cmp-lg cs.CL
PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale
University of Pennsylvania（宾夕法尼亚大学）
PAXQA提出一种利用平行语料间接监督的合成数据生成方法，通过问题生成和标注投影，生成大规模跨语言问答数据，在多个抽取式问答数据集上优于先前模型。
2023-10-17 cs.CL
Directed Beam Search: Plug-and-Play Lexically Constrained Language Generation
ETH Zurich（苏黎世联邦理工学院）
大型预训练语言模型能够生成逼真的文本。然而，控制这些模型使得生成的文本满足词汇约束，即，包含特定的单词，是一个具有挑战性的问题。考虑到最先进的语言模型太大而无法在可管理的时间内从头开始训练，因此希望在不重新训练它们的情况下控制这些模型。能够做到这一点的方法被称为即插即用。最近的即插即用方法已经成功地在具有受限搜索空间的任务中约束小的双向语言模型以及前向模型，机器翻译。然而，控制大型基于transformer的模型以满足词汇约束而不重新训练它们仍然是一个挑战。在这项工作中，我们提出了定向束搜索（DBS），即插即用的词汇约束语言生成的方法。该方法适用于任何语言模型，易于实现，可用于一般的语言生成。在我们的实验中，我们使用DBS来控制GPT-2。我们展示了它的性能上的关键字到短语的生成，我们获得了可比的结果作为一个国家的最先进的非即插即用模型的词汇约束的故事生成。
2020-12-31 cs.AI cs.CL cs.LG
Edit Distances and Their Applications to Downstream Tasks in Research and Commercial Contexts
Centre for Translation Studies（翻译研究中心）；Institute for People-Centred AI（以人为本人工智能研究所）；University of Surrey（萨里大学）
本教程介绍多种编辑距离指标及其实现，论证其在文本对比中的脆弱性，分析其捕捉译后纠错工作的局限性，并探讨相关应用对研究及商业翻译场景的影响。
2024-10-08 cs.CL
Knowledge Representation for Lexical Semantics: Is Standard First Order Logic Enough?
交互式规划和面对面翻译等自然语言理解应用需要广泛的推理。这些推论中的许多都是基于特定的开放类词的含义。提供一个表示，可以支持这种基于词汇的推理是词汇语义的主要关注。一阶逻辑的表示语言具有很好的语义理解能力，并且已经实现了大量的推理系统，因此它是作为词汇语义表示的最佳候选语言。然而，我们认为，FOL，虽然是一个很好的起点，需要扩展之前，它可以有效地和简洁地支持所有基于词汇的推理所需的。
1994-12-10 cmp-lg cs.CL
Towards Accurate Translation via Semantically Appropriate Application of Lexical Constraints
KAIST（韩国科学技术院）；Korea University（高丽大学）；Papago, NAVER Corp.（NAVER公司Papago）
针对词汇约束神经机器翻译在真实条件下应对同形异义词和未见词汇的不足，提出同形异义词消歧模块和PLUMCOT方法，并发布HOLLY基准，实验证明其有效性。
2023-06-21 cs.CL
InsNet: An Efficient, Flexible, and Performant Insertion-based Text Generation Model
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了InsNet，这是一个基于插入的文本生成器，具有高效的训练和灵活的解码（并行或顺序）。与大多数现有的基于插入的文本生成工作不同，这些工作需要在每次插入操作之后重新编码上下文，因此训练效率低下，InsNet通过引入新颖的面向插入的位置编码和轻量级槽表示策略来实现计算共享，从而在训练期间仅需要对整个序列进行一次上下文编码。此外，我们提出了一个算法InsNet-Dinic，以更好地确定插入操作的并行化，提供了一个可控的并行和顺序解码之间的切换，使其灵活地处理更多的并行化任务，如机器翻译与有效的解码，或较少的并行化任务，如开放域文本生成，以保证高质量的输出。在两个词汇约束文本生成数据集和三个机器翻译数据集上的实验证明了InsNet在训练速度、推理效率和生成质量方面优于以前基于插入的方法。
2022-10-15 cs.CL
A Graph Diffusion Algorithm for Lexical Similarity Evaluation
Slovak University of Technology（斯洛伐克技术大学）；Faculty of Civil Engineering（土木工程学院）
本文提出一种基于加权有向图和狄利克雷边界条件图扩散方程的词汇相似度评估算法，利用音标转写和改进的Damerau-Levenshtein距离计算翻译间距离，并通过欧洲语言案例验证其在多语言关系分析中的有效性。
2025-04-09 cs.CL
