What about em? How Commercial Machine Translation Fails to Handle (Neo-)Pronouns
Universität Hamburg(汉堡大学);Bocconi University(博科尼大学);University of South Carolina(南卡罗来纳大学);Aarhus University(奥胡斯大学)
本文研究商业机器翻译系统在处理第三人称新代词和性别中立代词时的失败,通过多语言翻译错误分析和母语者调查,为改进身份包容性机器翻译提供建议。
2023-05-25 cs.AI cs.CL cs.CY
Translation of Pronominal Anaphora between English and Spanish: Discrepancies and Evaluation
University of Alicante(阿利坎特大学)
本文评价了在机器翻译(MT)系统中代词回指翻译的不同任务。MT interlingua方法命名为AGIR(照应生成与Interlingua表示)改进了迄今为止提出的其他建议,因为它能够翻译插入照应,检测共指链,并将西班牙语零代词翻译成英语-其他系统很少考虑的问题。本文提出了解决和评估这些回指问题的AGIR使用不同种类的知识(词汇,形态,句法和语义)。本文在非限制性语料库上对英语和西班牙语照应性第三人称代词(包括西班牙语零人称代词)到目标语言的翻译进行了评估。在西班牙语和英语代词的翻译中,我们分别获得了80.4%和84.8%的准确率。虽然我们只学习了西班牙语和英语,但我们的方法可以很容易地扩展到其他语言,如葡萄牙语,意大利语或日语。
2011-06-24 cs.AI cs.CL
A Large-Scale Test Set for the Evaluation of Context-Aware Pronoun Translation in Neural Machine Translation
University of Zurich(苏黎世大学);Amazon Research(亚马逊研究院);Yandex Research(Yandex研究院);University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
代词的翻译对机器翻译提出了一个特殊的挑战,因为它经常需要当前句子之外的上下文。最近的工作模型,可以访问跨句子边界的信息已经看到只有适度的改进,如BLEU的自动评估指标。然而,量化整体翻译质量的指标不足以衡量额外上下文带来的收益。我们认为,需要一种不同的评估,以评估如何以及模型翻译间的现象,如代词。因此,本文提出了一个测试套件的对比翻译,专门侧重于代词的翻译。此外,我们进行实验与几个上下文感知模型。我们表明,虽然这些系统的BLEU增益适中,但在我们的对比测试集上,它们在准确性方面大大优于基线。我们的实验也显示了多编码器架构的参数绑定的有效性。
2019-03-06 cs.CL
Mention Attention for Pronoun Translation
School of Information Science(信息科学学院);Beijing Language and Culture University(北京语言大学);Department of Computer Science(计算机科学系);IT University of Copenhagen(哥本哈根信息技术大学)
本文针对机器翻译中的代词翻译难题,提出在解码器中引入 mention attention 模块和 mention 分类器,以额外关注源 mentions 并结合目标侧上下文,实验证明该方法提升了 WMT17 英德翻译的 BLEU 和 APT 分数且不影响整体翻译质量。
2024-12-19 cs.CL
Contextual Neural Machine Translation Improves Translation of Cataphoric Pronouns
Monash University(莫纳什大学)
语境感知的名词性翻译理论的出现,极大地提高了翻译的整体质量,尤其是代词等语篇现象的翻译质量。以往的研究主要集中在过去句子作为语境的使用上,侧重于回指翻译。在这项工作中,我们调查的影响,未来的句子作为上下文的上下文,通过比较的性能与未来的上下文训练的上下文NMT模型与过去的上下文训练。我们的实验和评估,使用通用的和代词为重点的自动指标,表明使用未来的上下文不仅实现了显着的改进,上下文无关的Transformer,但也表现出可比的,在某些情况下,提高了性能,其对应的过去的背景下训练。我们还执行了一个有针对性的下指测试套件的评估,并报告显着的收益超过上下文无关的Transformer的BLEU。
2020-04-28 cs.CL
Analyzing the Attention Heads for Pronoun Disambiguation in Context-aware Machine Translation Models
Maastricht University(马斯特里赫特大学)
本文分析上下文感知机器翻译模型中注意力头对代词消歧的影响,发现部分头未充分利用,微调后准确率提升最多5个百分点。
2024-12-15 cs.AI cs.CL cs.LG
Winograd Schemas and Machine Translation
New York University(纽约大学)
Winograd图式是一对句子,它们在一个单词上不同,并且包含一个歧义代词,其所指在两个句子中不同,需要使用常识知识或世界知识来消除歧义。本文讨论了如何Winograd模式和其他句子对可以被用作机器翻译的挑战,使用代词之间的区别,如性别,出现在目标语言,但没有在源。
2016-09-30 cs.AI cs.CL
A Novel Approach to Dropped Pronoun Translation
Dublin City University(都柏林城市大学);Huawei Technologies(华为技术有限公司)
代词脱落是机器翻译中的一个难题,代词脱落是指代词在源语言中经常脱落,而在目标语言中却应该保留。针对这一问题,我们提出了一种半监督的方法来回忆翻译中可能缺失的代词。首先,我们建立训练数据的DP生成的DP自动标记根据对齐信息从一个平行的语料库。其次,当不存在对应的参考时,我们为解码中的输入句子构建基于深度学习的DP生成器。更具体地说,生成是两个阶段:(1)DP位置检测,这是建模为一个连续的标签任务与循环神经网络;和(2)DP预测,它采用了多层感知器与丰富的功能。最后,我们将上述输出集成到我们的翻译系统中,通过从DP标记的训练数据中提取规则和翻译DP生成的输入句子来召回缺失的代词。实验结果表明,我们的方法取得了显着的改善1.58 BLEU点的翻译性能与66%的DP生成准确性的F-分数。
2016-04-21 cs.CL
One Model to Learn Both: Zero Pronoun Prediction and Translation
Tencent AI Lab(腾讯AI实验室)
零代词(ZPs)在亲降语中经常被省略,但在非亲降语中应该被记住。这种语篇现象给机器翻译从亲降语到非亲降语的翻译带来了巨大的挑战。在本文中,我们提出了一个统一的和话语感知的ZP翻译方法的神经MT模型。具体来说,我们共同学习以端到端的方式预测和翻译ZP,允许两个组件相互交互。此外,我们采用分层神经网络来利用语篇级上下文,这有利于ZP预测,从而翻译。在汉英和日英数据上的实验结果表明,我们的方法不仅在基线上,而且在使用外部ZP预测模型的以前的工作中,显著地和累积地提高了翻译性能和ZP预测准确性。大量的分析证实,性能的改善来自于减轻各种错误,特别是主观ZPs造成的。
2019-09-01 cs.CL
Possessive Pronouns as Determiners in Japanese-to-English Machine Translation
英语中的所有格代词在日语句子中没有对应词时用作限定词。本文提出了一种启发式的方法来生成这样的所有格代词,即使在日本没有对应的。该方法使用关于英语中的所有格代词的使用的信息被视为名词的词汇属性,以及关于名词短语指称性和名词短语出现在其中的句子的主语和主要动词的上下文信息。该方法已在NTT通信科学实验室的日英机器翻译系统ALT-J/E中实现。在6,200个句子的测试集中,所提出的方法将生成的具有适当所有格代词的名词短语的数量增加了263个到609个,代价是生成了83个具有不适当所有格代词的名词短语。
1996-01-23 cmp-lg cs.CL
Uncertainty-Aware Balancing for Multilingual and Multi-Domain Neural Machine Translation Training
Monash University(莫纳什大学);Huawei Technologies Co Ltd(华为技术有限公司)
多语言多领域翻译模型的学习是一个挑战,因为异构和不平衡的数据使得模型在现实世界中的不同语料库上收敛不一致。一种常见的做法是调整训练中每个语料库的份额,以便学习过程平衡,低资源案例可以从高资源案例中受益。然而,自动平衡方法通常取决于数据集内和数据集间的特征,这通常是不可知的或需要人为先验。在这项工作中,我们提出了一种方法,MultiUAT,动态调整训练数据的使用模型的不确定性的基础上的一小部分可信的清洁数据的多语料库机器翻译。我们用两类不确定性度量对多语言(16种语言,4种设置)和多域设置(4种用于域内,2种用于英德翻译的域外)进行了实验,并证明了我们的方法MultiUAT大大优于其基线,包括静态和动态策略。我们分析了跨域传输,并显示静态和基于相似性的方法的不足。
2021-09-06 cs.CL
Balancing Training for Multilingual Neural Machine Translation
Language Technology Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
在训练可以翻译成多种语言/从多种语言翻译的多语言机器翻译(MT)模型时,我们面临着不平衡的训练集:某些语言的训练数据比其他语言多得多。标准的做法是对资源较少的语言进行上采样以增加表示,上采样的程度对整体性能有很大的影响。在本文中,我们提出了一种方法,而不是自动学习如何通过数据评分器的权重训练数据,优化,以最大限度地提高所有测试语言的性能。在一对多和多对一MT设置下的两组语言上的实验表明,我们的方法不仅在平均性能方面始终优于启发式基线,而且还提供了对优化语言性能的灵活控制。
2020-09-05 cs.CL
On Measuring Gender Bias in Translation of Gender-neutral Pronouns
Seoul National University(首尔大学);INMC
关于社会偏见的伦理学最近在自然语言处理中提出了引人注目的问题。特别是对于与性别相关的主题,在诸如图像描述、内容推荐和自动化就业的领域中,对减少模型偏差的系统的需求已经增长。然而,机器翻译系统中的性别偏见的检测和评估尚未得到彻底的研究,因为任务是跨语言的,具有挑战性的定义。在本文中,我们提出了一个计划,使一个测试集,评估性别偏见的机器翻译系统,与韩国,一种语言的性别中性代词。三个词/短语集主要是构建,每个包含积极/消极的表达或职业;所有的术语都是性别独立的或至少没有严重偏向一侧。然后,根据代词的正式性和句子的礼貌性构建了附加的句子列表。在生成的句子集的大小为4,236,我们评估传统的机器翻译系统中的性别偏见,利用所提出的措施,这是在这里被称为翻译性别偏见指数(TGBI)。语料库和评价代码可在线查阅。
2019-05-28 cs.CL
Learning to Jointly Translate and Predict Dropped Pronouns with a Shared Reconstruction Mechanism
Tencent AI Lab(腾讯人工智能实验室);Dublin City University(都柏林城市大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
代词在诸如中文的亲降语言中经常被省略,通常导致关于完整翻译的产生的重大挑战。最近,Wang et al.(2018)提出了一种新的基于重构的方法来缓解神经机器翻译模型的代词(DP)翻译问题。在这项工作中,我们从两个角度改进了原始模型。首先,我们采用了一个共享的重建器,以更好地利用编码器和解码器表示。其次,我们共同学习以端到端的方式翻译和预测DP,以避免外部DP预测模型传播的错误。实验结果表明,我们的方法显着提高了翻译性能和DP预测精度。
2018-10-15 cs.CL
Evaluating Pronominal Anaphora in Machine Translation: An Evaluation Measure and a Test Suite
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(赛富时亚洲研究院);Sofia University(索非亚大学);Qatar Computing Research Institute(卡塔尔计算研究所)
机器翻译中正在进行的神经革命使得更容易在句子级别之外对更大的上下文进行建模,这可能有助于解决一些话语级别的歧义,例如代词回指,从而实现更好的翻译。不幸的是,即使人类认为由此产生的改进是实质性的,它们仍然几乎没有被BLEU等传统的自动评估措施所注意到,因为只有少数单词最终受到影响。因此,需要专门的评价措施。考虑到这一目标,我们贡献了一个广泛的,有针对性的数据集,可用作代词翻译的测试套件,涵盖多个源语言和不同的代词错误从真实的系统翻译,英语。我们进一步提出了一个评价指标来区分好的和坏的代词翻译。我们还进行了用户研究,以报告与人类判断的相关性。
2019-08-31 cs.AI cs.CL cs.LG
Pronoun-Targeted Fine-tuning for NMT with Hybrid Losses
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
流行的神经机器翻译模型训练使用反向翻译等策略来提高BLEU分数,这需要大量的额外数据和训练。我们引入了一类条件生成-判别混合损失,我们使用它来微调训练好的机器翻译模型。通过结合有针对性的微调目标和直观的重用训练数据的模型未能充分学习,我们提高了模型的性能,一个层次和上下文模型,而不使用任何额外的数据。我们的目标是通过微调来改进代词翻译,并在代词基准测试集上评估我们的模型。我们的上下文级别模型在WMT 14和IWSLT 13 De-En测试集上都显示出0.5 BLEU的改进,而我们的上下文模型则取得了最佳结果,在WMT 14 De-En测试集上从31.81 BLEU提高到32 BLEU,在IWSLT 13 De-En测试集上从32.10提高到33.13 BLEU,代词翻译也有相应的改进。我们进一步显示了我们的方法的普遍性,通过复制两个额外的语言对,Fr-En和CS-En的改进。代码可在<https://github.com/ntunlp/pronoun-finetuning>获得。
2020-10-15 cs.CL
A Tale of Pronouns: Interpretability Informs Gender Bias Mitigation for Fairer Instruction-Tuned Machine Translation
Bocconi University(博科尼大学);University of Hamburg(汉堡大学)
本文研究了指令微调机器翻译模型中的性别偏见问题,通过可解释性方法发现模型会忽略指示职业性别的代词并默认男性翻译,进而提出了一种基于少样本学习的有效偏见缓解方案以实现更公平的翻译。
2023-10-25 cs.CL cs.LG
Does Neural Machine Translation Benefit from Larger Context?
New York University(纽约大学)
我们提出了一种神经机器翻译架构,除了源句子之外,还可以对周围的文本进行建模。这些模型在小语料库上训练时,在一般翻译质量和代词预测方面都有更好的性能,尽管在使用较大语料库训练时,这种改进基本上消失了。我们还发现,基于注意力的神经机器翻译非常适合代词预测,并且与专门为此任务设计的其他方法相比毫不逊色。
2017-04-17 cs.CL cs.LG stat.ML
Context-Aware Neural Machine Translation Learns Anaphora Resolution
Yandex;University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
标准的机器翻译系统孤立地处理句子,因此忽略了额外的信息,即使扩展的上下文既可以防止歧义情况下的错误,又可以提高翻译的连贯性。我们引入了一个上下文感知的神经机器翻译模型,其设计方式是可以控制和分析从扩展上下文到翻译模型的信息流。我们用英语-俄语字幕数据集进行了实验,并观察到我们的模型捕获的大部分内容都涉及改善代词翻译。我们测量诱导注意分布和共指关系之间的对应关系,并观察到该模型隐含地捕捉回指。这与代词在翻译中需要性别化的句子的收益是一致的。除了在照应情况下的改进之外,该模型还在整体BLEU方面有所改进,无论是在其上下文不可知版本(+0.7)还是在上下文和源句子的简单连接(+0.6)上。
2018-05-25 cs.CL
Autocorrect in the Process of Translation -- Multi-task Learning Improves Dialogue Machine Translation
ByteDance AI Lab(字节跳动人工智能实验室);School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
对话文本的自动翻译是许多现实生活场景中非常需要的需求。然而,目前现有的神经机器翻译提供不令人满意的结果。本文通过对一个对话语料库的深入分析,总结了对话翻译中的三个主要问题:代词省略(\droppro)、标点省略(\droppun)和错别字(\typo)。针对这些挑战,我们提出了一种联合学习方法来识别遗漏和错别字,并利用上下文来翻译对话话语。为了正确评估性能,我们提出了一个人工标注的数据集,其中包含来自300个对话的1,931个汉英平行话语作为对话翻译的基准测试平台。我们的实验表明,所提出的方法提高了3.2 BLEU的基线翻译质量。省略代词的回收率也从26.09%提高到47.16%。我们将在https://github.com/rgwt123/DialogueMT上公开发布代码和数据集。
2021-04-21 cs.CL
Do Context-Aware Translation Models Pay the Right Attention?
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究所);Unbabel
上下文感知的机器翻译模型被设计为利用上下文信息,但通常无法做到这一点。因此,他们不准确地消除歧义代词和多义词,需要上下文的决议。在本文中,我们提出了几个问题:人类译者使用什么语境来解决歧义词?模型是否对相同的上下文投入了大量的注意力?如果我们明确地训练他们这样做呢?为了回答这些问题,我们介绍了SCAT(支持上下文的歧义翻译),一个新的英语-法语数据集,包括支持上下文单词的14 K翻译,专业翻译发现有用的代词消歧。使用SCAT,我们进行了深入的分析,用于消除歧义,检查位置和词汇特征的支持词的上下文。此外,我们测量模型的注意力分数和SCAT的支持上下文之间的对齐程度,并应用引导注意力策略来鼓励两者之间的一致性。
2021-08-07 cs.AI cs.CL cs.LG
Decoding and Diversity in Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Amazon AWS AI(亚马逊AWS人工智能)
神经机器翻译(NMT)系统通常使用自动化度量来评估,该自动化度量评估生成的翻译与地面实况候选之间的一致性。为了改进这些指标的系统,NLP研究人员采用了各种启发式技术,包括搜索条件模式(与采样)和结合各种训练算法(例如,标签平滑)。虽然搜索策略显著提高了BLEU分数,但它们产生的确定性输出缺乏人工翻译的多样性。此外,搜索倾向于偏向翻译性别代词的分布。这使得人类水平的BLEU成为一个误导性的基准,因为现代MT系统无法在保持人类水平翻译多样性的同时接近人类水平的BLEU。在本文中,我们的特征之间的分布差异生成和真实的翻译,检查的成本支付的多样性享受NMT的BLEU分数。此外,我们的研究表明,搜索作为一个显着的来源,已知的偏见时,翻译性别代词。
2020-11-26 cs.CL cs.LG
Competence-based Curriculum Learning for Multilingual Machine Translation
Peking University(北京大学);Pattern Recognition Center, WeChat AI, Tencent Inc, China(腾讯公司微信人工智能模式识别中心)
目前,多语言机器翻译正受到越来越多的关注,因为它为低资源语言(LRL)带来了更好的性能,并节省了更多的空间。然而,现有的多语种机器翻译模型面临着一个严峻的挑战:不平衡。因此,不同语言在多语言翻译模型中的翻译性能差异很大。我们认为,这种不平衡的问题源于不同的语言学习能力的不同。因此,我们着眼于平衡不同语言的学习能力,提出了基于能力的多语种机器翻译课程学习,命名为CCL-M。具体来说,我们首先定义了两种能力来帮助安排高资源语言(HRL)和低资源语言:1)自我评估能力,评估语言本身的学习情况; 2)HRL评估能力,根据HRL的自我评估能力评估LRL是否准备好学习。基于上述能力,我们利用所提出的CCL-M算法,以课程学习的方式逐渐将新的语言添加到训练集中。此外,我们提出了一种新的竞争力的动态平衡抽样策略,更好地选择训练样本的多语言训练。实验结果表明,我们的方法已经取得了稳定和显着的性能增益相比,以前的国家的最先进的方法在TED会谈数据集。
2021-09-09 cs.CL
Recovering Dropped Pronouns in Chinese Conversations via Modeling Their Referents
Beijing University of Posts and Telecommunications(北京邮电大学);Brandeis University(布兰迪斯大学)
代词在汉语句子中经常被省略,这种情况在会话类型中更常见,因为它们的所指可以很容易地从上下文中理解。恢复丢失的代词对于诸如需要解析这些丢失的代词的指称的信息抽取或当中文是源语言时的机器翻译等应用是必不可少的。在这项工作中,我们提出了一种新的端到端的神经网络模型来恢复会话数据中丢失的代词。我们的模型是基于一个结构化的注意力机制,模型的下降代词的参考利用两个句子级和单词级的信息。三种不同的会话类型的结果表明,我们的方法实现了显着的改进,目前的艺术状态。
2019-05-17 cs.CL
A General Framework for Adaptation of Neural Machine Translation to Simultaneous Translation
Shanghai University of Finance and Economics(上海财经大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
尽管神经机器翻译(NMT)取得了成功,但同时神经机器翻译(SNMT)由于句法结构差异和语义要求,在观察到完整句子之前进行实时的翻译任务仍然具有挑战性。在本文中,我们提出了一个通用的框架,用于适应神经机器翻译同时翻译。我们的框架包含两个部分:前缀翻译,利用一个连续的NMT模型来翻译源前缀和一个停止标准,确定何时停止前缀翻译。在三个翻译语料库和两个语言对上的实验表明,该框架在平衡NMT执行同声翻译的质量和延迟方面是有效的。
2020-10-04 cs.CL
Translating Pro-Drop Languages with Reconstruction Models
ADAPT Centre, Dublin City University(都柏林城市大学 ADAPT 中心);Tencent AI Lab(腾讯人工智能实验室)
代词在诸如中文的亲降语言中经常被省略,通常导致关于完整翻译的产生的重大挑战。神经机器翻译中的代词脱落问题至今还没有引起足够的重视。在这项工作中,我们提出了一种新的基于重建的方法来减轻DP翻译问题的NMT模型。首先,所有源句子中的DP自动标注与双语训练语料库中提取的平行信息。接下来,从NMT模型中的隐藏表示重建带注释的源句子。利用辅助训练目标,在重建分数方面,与NMT模型相关联的参数被引导以产生尽可能多地被鼓励嵌入注释的DP信息的增强的隐藏表示。在汉英和日英对话翻译任务上的实验结果表明,该方法在强NMT基线上显著且一致地提高了翻译性能,该NMT基线直接建立在用DP标注的训练数据上。
2018-01-10 cs.CL
Diving Deep into Context-Aware Neural Machine Translation
eBay, Inc.(易趣公司);RWTH Aachen University(亚琛工业大学);Human Language Technology and Pattern Recognition GroupRWTH Aachen University(亚琛工业大学人类语言技术与模式识别小组)
上下文感知的神经机器翻译(NMT)是利用附加上下文(例如,文档级翻译,或具有元信息。虽然有各种各样的架构和分析,不同的上下文感知NMT模型的有效性还没有得到很好的探讨。本文分析了文档级NMT模型在四个不同领域的性能与不同数量的并行文档级双语数据。我们进行了一组全面的实验,以调查文档级NMT的影响。我们发现,文档级NMT没有单一的最佳方法,而是不同的架构在不同的任务中脱颖而出。看看特定于任务的问题,如代词解析或标题翻译,我们发现上下文感知系统的改进,即使在像BLEU这样的语料库级别指标没有显着改善的情况下。我们还表明,文档级回译显着有助于弥补缺乏文档级的双文本。
2020-10-19 cs.AI cs.CL
Investigating Lexical Sharing in Multilingual Machine Translation for Indian Languages
Saarland University(萨尔大学);Inria(法国国家信息与自动化研究所)
本研究聚焦印度语言多语言机器翻译的词汇共享,探究数据采样与词表大小的性能权衡、音译对跨文字泛化的作用及对未见语言的泛化性,发现音译无明显提升,原文字训练的模型已具备跨文字鲁棒性。
2023-05-04 cs.AI cs.CL
Controlling Extra-Textual Attributes about Dialogue Participants -- A Case Study of English-to-Polish Neural Machine Translation
University of Sheffield(谢菲尔德大学)
与英语不同,形态丰富的语言可以通过代词、词的形态结尾和句法来揭示说话者或其对话伙伴的特征,如性别和数量。当从英语翻译到这些语言时,机器翻译模型需要选择对文本上下文的某种解释,如果文本外信息不可用,则可能导致严重的翻译错误。我们在英语到波兰语方向调查这一挑战。我们专注于利用外部元数据在电视对话的自动翻译的研究不足的问题,提出了一个案例研究,在一个多属性的情况下,广泛的方法来控制翻译中的属性。最好的模型实现了+5.81 chrF++/+6.03 BLEU的改进,其他模型实现了具有竞争力的性能。我们还贡献了一个新的属性注释数据集的波兰电视对话和形态分析脚本用于评估模型中的属性控制。
2022-05-30 cs.AI cs.CL
An Analysis on Automated Metrics for Evaluating Japanese-English Chat Translation
Tokyo Denki University(东京电机大学)
本文分析了传统与神经网络指标在日英聊天翻译评估中的表现,发现传统指标在模型排名上与神经网络指标一致且更高效,但神经网络指标(尤其是COMET)与人工判断相关性更高,且所有指标在处理含指代性零代词的句子时均存在困难。
2024-12-24 cs.AI cs.CL
Data-Driven Adaptive Simultaneous Machine Translation
Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
在同声翻译(SimulMT)中,最广泛使用的策略是wait-k策略,因为它在平衡翻译质量和延迟方面既简单又有效。然而,wait-k有两个主要的限制:(a)它是一个固定的策略,不能自适应地调整给定上下文的延迟,(b)它的训练比整句翻译慢得多。为了缓解这些问题,我们提出了一种新的和有效的自适应SimulMT的训练方案,通过增加训练语料库与自适应前缀前缀对,而训练的复杂性保持相同的训练整句翻译模型。在两个语言对上的实验表明,我们的方法在翻译质量和延迟方面优于所有强基线。
2022-04-27 cs.CL
Exploring Paracrawl for Document-level Neural Machine Translation
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Saarland University(萨尔大学);Hasso-Plattner-Institut (HPI)(哈索·普拉特纳研究所)
本文针对文档级 NMT 缺乏大规模通用领域训练数据的问题,利用自动句子对齐从 Paracrawl 平行网页提取平行段落并训练模型,在 TED、News 和 Europarl 上取得优于句子级模型的效果。
2023-04-20 cs.CL
Transformer-GCRF: Recovering Chinese Dropped Pronouns with General Conditional Random Fields
Beijing University of Posts and Telecommunications(北京邮电大学);Renmin University of China(中国人民大学);Brandeis University(布兰迪斯大学)
在中文对话中,代词经常被丢弃,恢复丢弃的代词对于机器翻译等NLP应用非常重要。现有的方法通常将其表述为预测每个标记之前是否有丢弃的代词及其类型的序列标记任务。每个话语被认为是一个序列,并独立标记。虽然这些方法已经显示出了希望,但独立地标记每个话语忽略了相邻话语中的代词之间的依赖关系。对这些依赖关系进行建模对于提高丢弃代词恢复的性能至关重要。在本文中,我们提出了一个新的框架,结合Transformer网络的强度与一般条件随机场(GCRF)的模型之间的依赖关系在相邻的话语代词。三个中文对话数据集的结果表明,Transformer-GCRF模型的性能优于最先进的丢弃代词恢复模型。探索性分析也表明,GCRF确实有助于捕捉相邻话语中代词之间的依赖关系,从而有助于提高性能。
2020-10-07 cs.CL
A Case Study on Context Encoding in Multi-Encoder based Document-Level Neural Machine Translation
Indian Institute of Technology Patna(印度理工学院巴特那分校);Wipro AI(威普罗人工智能)
本文通过多编码器文档级神经机器翻译实验,研究不同上下文设置对代词翻译的影响,发现随机上下文也能取得良好效果,且混合选定与随机上下文通常表现更优。
2023-08-11 cs.CL
Balancing Cost and Benefit with Tied-Multi Transformers
National Institute of Information and Communications Technology(信息通信技术国家研究所)
我们提出并评估了一种新的程序,用于训练多个Transformers与捆绑参数,压缩多个模型成一个,使动态选择的编码器和解码器层的数量在解码过程中。在序列到序列建模中,通常,N层编码器的最后一层的输出被馈送到M层解码器,并且最后一个解码器层的输出被用于计算损失。相反,我们的方法计算由NXM个损失组成的单个损失,其中每个损失是从连接到N个编码器层之一的M个解码器层之一的输出计算的。这样的模型包含具有不同数量的编码器和解码器层的NXM模型,并且可以用于具有少于最大数量的编码器和解码器层的解码。然后,我们提出了一种机制,选择先验的编码器和解码器层的数量更快的解码,并探讨了经常性的堆栈层和知识蒸馏的模型压缩。我们提出了一个成本效益分析的神经机器翻译,并表明他们降低解码成本,同时保持翻译质量。
2020-02-20 cs.CL cs.LG
Opportunistic Decoding with Timely Correction for Simultaneous Translation
Oregon State University(俄勒冈州立大学);Baidu Research(百度研究院)
同声翻译有许多重要的应用场景,近年来引起了学术界和工业界的广泛关注。然而,大多数现有框架在翻译质量和延迟之间的平衡方面存在困难,即,解码策略通常要么太激进要么太保守。我们提出了一个机会主义的解码技术,及时纠正能力,总是(过)产生一定数量的额外的话在每一步,以保持观众的轨道上的最新信息。同时,在观察更多的源语语境时,也能及时纠正以往过度生成词的错误,以保证较高的翻译质量。实验表明,我们的技术实现了显着减少延迟和高达+3.1 BLEU的增加,与修订率在8%以下的中文到英文和英文到中文的翻译。
2020-05-02 cs.CL
Analysing Coreference in Transformer Outputs
Saarland University(萨尔兰大学);DFKI GmbH(德国人工智能研究中心)
我们分析了三个神经机器翻译系统中的共指现象,这些系统使用不同的数据设置进行训练,有或没有访问显式的内部和跨领域的回指信息。我们比较了两种不同类型的系统性能:新闻和TED演讲。为此,我们手动注释MT输出中的(可能不正确的)共指链,并评估共指链翻译。我们定义了一个错误类型学,旨在进一步比代词翻译的充分性,包括类型,如不正确的词选择或遗漏的话。本文还将自动翻译中的共指链特征与源文本和人工翻译中的共指链特征进行了比较。分析表明,机器翻译输出比人工翻译更强的潜在的反译效应。
2019-11-04 cs.CL
Learning a Multi-Domain Curriculum for Neural Machine Translation
Google Research(谷歌研究院);Google Brain(谷歌大脑)
机器翻译中的大多数数据选择研究集中在改进单个领域。我们一次为多个域执行数据选择。这是通过仔细引入实例级域相关性特征并自动构建训练课程以逐渐集中于多域相关和噪声降低的数据批次来实现的。无论是选择的功能和使用的课程是至关重要的平衡和改善所有领域,包括域外。在大规模的实验中,多领域课程同时达到或超过个人表现,并带来了坚实的收益比无课程培训。
2020-05-02 cs.CL cs.LG
Teaching BERT to Wait: Balancing Accuracy and Latency for Streaming Disfluency Detection
New York University(纽约大学);Google Research(谷歌研究院)
在现代的基于语音的交互式系统中,在消除不流利之前,语音被逐渐消耗和转录。这一后处理步骤对于产生干净的转录本和下游任务(例如机器翻译)的高性能至关重要。然而,大多数当前最先进的NLP模型(如Transformer)都是非增量运行的,可能会导致不可接受的延迟。我们提出了一个基于流BERT的序列标记模型,结合一个新的训练目标,能够实时检测不流畅,同时平衡准确性和延迟。这是通过训练模型来决定是立即输出当前输入的预测还是等待进一步的上下文来实现的。从本质上讲,模型学习动态调整其前瞻窗口的大小。我们的结果表明,我们的模型产生了非常准确的预测,并且比我们的基线更快,闪烁更低。此外,与最近的增量不流利检测工作相比,该模型达到了最先进的延迟和稳定性分数。
2022-05-02 cs.CL
Mind the Language Gap in Digital Humanities: LLM-Aided Translation of SKOS Thesauri
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对数字人文领域语言多样性限制知识资源利用的问题,提出结合外部翻译服务与LLM优化的开源流水线WOKIE,可在普通硬件运行,经15种语言叙词表验证,能提升翻译质量与本体匹配效果,助力多语言研究基础设施建设。
2025-07-29 cs.CL
Context-Aware or Context-Insensitive? Assessing LLMs' Performance in Document-Level Translation
University of Amsterdam(阿姆斯特丹大学)
本研究针对文档级翻译中需句外上下文的词汇翻译问题,通过扰动和归因分析评估9个不同家族LLMs及2个基线模型的上下文利用能力,发现其文档翻译性能提升未体现在代词翻译上,强调需针对性微调以提升可靠性。
2025-02-14 cs.CL
On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation
Peking University(北京大学);Microsoft Research(微软研究院)
针对零样本多语言神经机器翻译的脱靶问题,本文提出 LAVS 词汇构建算法,通过增大语言间 KL 散度将脱靶率由 29% 降至 8%,并平均提升 BLEU 1.9 分。
2023-06-02 cs.AI cs.CL
Investigating Markers and Drivers of Gender Bias in Machine Translations
Edinburgh Napier University(爱丁堡龙比亚大学);School of Computing, Engineering, and Built Environment(计算、工程与建筑环境学院)
本文通过DeepL回译56项软件工程任务,比较五种无性别中间语言并提出新的性别变化度量指标,识别主要动词为偏见驱动因素,验证了回译方法用于分析语言模型性别偏见的有效性与可重复性。
2024-04-02 cs.CL cs.CY cs.SE
FairTranslate: An English-French Dataset for Gender Bias Evaluation in Machine Translation by Overcoming Gender Binarity
IRT Saint Exupery(IRT圣埃克苏佩里);Université Lumière Lyon 2(里莫大学 Lyon 2);Université Claude Bernard Lyon 1(克劳德·贝尔纳大学 Lyon 1);ERIC(埃里克)
本文提出FairTranslate英法翻译数据集,通过2418个职业相关句子对评估LLMs的非二元性别偏见,并在四个主流模型上验证了机器翻译中性别公平性的持续挑战。
2025-05-05 cs.AI cs.CL
Hermes the Polyglot: A Unified Framework to Enhance Expressiveness for Multimodal Interlingual Subtitling
MAIS, Institute of Automation, Chinese Academy of Sciences Beijing China;School of AI, University of\ Academy of Sciences Beijing China;Beijing Jiaotong University Beijing China;Geely AI lab Ningbo Zhejiang China;MAIS, Institute of Automation, Chinese Academy of Sciences;School of AI, University of\ Academy of Sciences;Beijing Jiaotong University;Geely AI lab
赫мес通过整合说话人分离、术语识别和表达力增强模块,提升了多模态跨语言字幕的表达力和连贯性,实现了最先进的字幕生成性能。
2026-01-31 cs.AI cs.CL
DelTA: An Online Document-Level Translation Agent Based on Multi-Level Memory
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳计算与智能研究院);Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯微信AI模式识别中心);NLP2 CT Lab, Department of Computer and Information Science, University of Macau(澳门大学计算机与信息科学系NLP2 CT实验室)
针对LLM在文档机器翻译中难以保持一致性和准确性的问题,提出基于多级记忆结构的在线文档级翻译智能体DelTA,通过逐句翻译策略和辅助LLM组件持续检索更新记忆,显著提升了翻译质量与上下文准确性。
2025-03-05 cs.AI cs.CL
Resolving Gendered Ambiguous Pronouns with BERT
University of Pennsylvania(宾夕法尼亚大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Kitsong;PJSC Sberbank(俄罗斯联邦储蓄银行);Jet Infosystems;Sofia University(索非亚大学)
代词消解是共指消解的一部分,共指消解的任务是将一个表达式与其指称实体配对。这是自然语言理解的重要任务,也是机器翻译系统、聊天机器人和助手的必要组成部分。神经机器学习系统在这项任务中的表现远非理想,在现代基准数据集上的F1分数低至73%。此外,他们往往表现得更好的男性代词比女性的。因此,这个问题对NLP研究人员和实践者来说既具有挑战性又很重要。在这个项目中,我们描述了我们基于BERT的方法来解决性别平衡的代词解决问题。我们能够在Google AI语言团队共享的基准数据集上达到92%的F1分数和更低的性别偏见。
2019-06-13 cs.CL cs.LG stat.ML
Yall should read this! Identifying Plurality in Second-Person Personal Pronouns in English Texts
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
区分英语中的单数和复数“you”是一项具有挑战性的任务,它具有下游应用的潜力,例如机器翻译或共指消解。虽然正式的书面英语并没有区分这些情况,但其他语言(如西班牙语)以及英语的其他方言(通过短语,如“yall”)确实做出了这种区分。我们利用这一点来获得两个领域中大规模任务的远程监督标签。接下来,我们训练了一个模型来区分单个/多个你,发现尽管域内训练达到了合理的准确率(超过77%),但仍有很大的改进空间,特别是在域转移场景中,这被证明是极具挑战性的。我们的代码和数据是公开的。
2019-10-26 cs.CL
Causes and Cures for Interference in Multilingual Translation
Tel Aviv University(特拉维夫大学);Meta AI
本研究系统探究了多语言机器翻译中干扰现象的主要成因,发现干扰主要由模型规模、数据规模及各语言对比例决定,并提出通过使用十亿参数以下标准transformer配置及调节采样温度来有效缓解干扰、促进协同并提升整体性能。
2023-05-19 cs.AI cs.CL cs.LG
Different Speech Translation Models Encode and Translate Speaker Gender Differently
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·克塞勒基金会);Unbabel;Instituto Superior Técnico(技术高级学院);Instituto de Telecomunicações(电信研究所)
本文通过探测方法研究语音翻译模型对说话人性别的编码能力,发现传统编码器-解码器模型能捕捉性别信息,而基于适配器集成语音编码器与机器翻译系统的新架构则不能,且低性别编码能力会导致更明显的阳性默认翻译偏差。
2025-06-02 cs.CL
Word Alignment as Preference for Machine Translation
The University of Tokyo(东京大学);NTT Corporation(NTT公司)
本文提出将词对齐作为偏好信号,通过直接偏好优化引导基于大语言模型的机器翻译系统,以缓解幻觉和遗漏问题,并设计了基于GPT-4的评估方法进行验证。
2024-11-20 cs.AI cs.CL
Analyzing and Improving Cross-lingual Knowledge Transfer for Machine Translation
本研究分析并改进了机器翻译中的跨语言知识迁移,探讨了语言相似性、检索辅助监督及平行数据微调对翻译效果的影响,以提升多语言NLP系统的鲁棒性和泛化能力。
2026-01-07 cs.CL
Implementation of nlization framework for verbs, pronouns and determiners with eugene
Thapar University(塔帕尔大学)
UNL系统是由非营利组织UNDL基金会于1999年在日内瓦设计和实施的。UNL应用程序是应用软件,允许最终用户完成自然语言任务,如翻译,总结,检索或提取信息等。两个主要的基于Web的应用软件是交互式分析器(IAN),这是一个自然语言分析系统。它将自然语言句子表示为UNL格式的语义网络。其他应用软件是dEep-to-sUrface GENErator(EUGENE),这是一个开放源代码的交互式NLizer。它从UNL格式表示的语义网络中生成自然语言句子。本文重点介绍了基于Eugene的自然语言化框架,并利用UNL系统完成机器翻译任务。在整个NL化过程中,EUGENE采用UNL输入并以自然语言输出,无需任何人工干预。它与语言无关,必须通过字典和语法(作为单独的可解释文件提供)参数化为自然语言输入。在本文中,它是解释如何UNL输入的句法和语义分析与UNL-NL的T-语法NL化的UNL句子涉及动词,代词和限定词的旁遮普语自然语言。
2013-09-10 cs.CL
Measuring and Increasing Context Usage in Context-Aware Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究所);Unbabel
神经机器翻译的最新研究已经证明了使用中间语境的必要性和可行性,中间语境是指来自当前翻译句子以外的句子的语境。然而,尽管目前的许多方法提出了理论上可以使用这种额外上下文的模型架构,但通常不清楚它们在翻译时实际使用了多少。在本文中,我们引入了一个新的度量,条件交叉互信息,量化这些模型的上下文的使用。使用这个度量标准,我们测量文档级机器翻译系统使用特定上下文的程度。我们发现,目标上下文被引用的源上下文,并在一个较长的上下文条件有一个递减的效果。然后,我们引入了一种新的,简单的训练方法,上下文感知的词辍学,增加上下文感知模型的上下文的使用。实验表明,我们的方法增加了上下文的使用,这反映了根据BLEU和COMET等指标的翻译质量,以及在照应代词解析和词汇衔接对比数据集上的性能。
2021-06-02 cs.CL