Syntax-Enhanced Neural Machine Translation with Syntax-Aware Word Representations
Tianjin University(天津大学);Soochow University(苏州大学)
在神经机器翻译(NMT)中,神经网络翻译被证明是非常有效的。先前的NMT模型通过表示来自良好训练的解析系统的1-最佳树输出来集成语法,例如,代表性的Tree-RNN和Tree-Linearization方法,可能会受到错误传播的影响。在这项工作中,我们提出了一种新的方法来集成源端语法隐式NMT。其基本思想是使用经过良好训练的端到端依赖解析器的中间隐藏表示,这被称为语法感知单词表示(SAWR)。然后,我们简单地将这样的SAWR与普通的词嵌入连接起来,以增强基本的NMT模型。该方法可以直接集成到广泛使用的序列到序列(Seq 2Seq)NMT模型中。我们从一个具有代表性的基于RNN的Seq 2Seq基线系统开始,分别在汉英和英越翻译任务的两个基准数据集上测试了我们提出的方法的有效性。实验结果表明,与基线相比,该方法能够显著提高两个数据集的BLEU评分,汉英翻译为1.74分,英越翻译为0.80分。此外,该方法还优于显式Tree-RNN和Tree-Linearization方法。
2019-05-08 cs.CL
Enhanced Simultaneous Machine Translation with Word-level Policies
XL8 Inc.(XL8公司)
针对现有同声机器翻译在子词级别操作与实际词级别需求不匹配的问题,提出在单步中处理多个子词的词级策略,并利用该策略结合语言模型有效解决了子词差异,显著提升了模型性能。
2023-10-25 cs.CL
SJTU-NICT's Supervised and Unsupervised Neural Machine Translation Systems for the WMT20 News Translation Task
Shanghai Jiao Tong University (SJTU)(上海交通大学);National Institute of Information and Communications Technology (NICT)(日本信息通信研究机构(NICT));Department of Computer Science and Engineering, Shanghai Jiao Tong University (SJTU)(上海交通大学计算机科学与工程系)
在本文中,我们介绍了我们的联合团队SJTU-NICT参与WMT 2020机器翻译共享任务。在这个共享任务中,我们参与了三种语言对的四个翻译方向:英语-汉语,英语-波兰语的有监督机器翻译轨道,德语-上索布语的低资源和无监督机器翻译轨道。基于不同的语言对条件,我们实验了不同的神经机器翻译(NMT)技术:文档增强的NMT,XLM预训练的语言模型增强的NMT,双向翻译作为预训练,基于参考语言的UNMT,数据依赖的高斯先验目标,和BT-BLEU协同过滤自训练。我们还使用TF-IDF算法对训练集进行过滤,以获得与测试集更相似的领域集进行微调。在我们提交的文件中,主要系统在英语到中文,波兰语到英语和德语到上索布语翻译方向上获得了第一名。
2020-10-11 cs.CL
ChatGPT as a Translation Engine: A Case Study on Japanese-English
Yaraku, Inc.(yaraku公司);The University of Tokyo(东京大学);Rikkyo University(立命馆大学)
本研究通过自动和人工评估,比较了 ChatGPT 在日英翻译中不同提示词和翻译粒度下的表现,发现文档级翻译优于句子级,且 ChatGPT 与商用系统竞争力相当。
2025-10-09 cs.CL
Enhanced back-translation for low resource neural machine translation using self-training
Ahmadu Bello University(艾哈迈德·贝罗大学);Bayero University(拜罗大学)
使用单语目标数据(合成并行数据)的反向翻译来改进神经机器翻译(NMT)模型是目前用于训练改进的翻译系统的最先进的方法。反向系统的质量-在可用的并行数据上进行训练并用于反向翻译-在许多研究中已被证明会影响最终NMT模型的性能。在低资源条件下,可用的并行数据通常不足以训练能够产生训练标准翻译模型所需的定性合成数据的后向模型。这项工作提出了一种自我训练策略,其中向后模型的输出用于通过向前翻译技术来改进模型本身。该技术被证明可以分别将基线低资源的IWALK '14英语-德语和IWALK'15英语-越南语向后翻译模型提高11.06和1.5 BLEU。由改进的英德后向模型生成的合成数据被用于训练前向模型,该前向模型的性能优于使用2.7 BLEU的标准后向翻译训练的另一前向模型。
2020-12-24 cs.CL cs.LG
Beyond Glass-Box Features: Uncertainty Quantification Enhanced Quality Estimation for Neural Machine Translation
Alibaba Group(阿里巴巴集团);College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院)
质量评估在机器翻译的应用中起着至关重要的作用。传统上,QE系统接受来自黑盒MT系统的原始源文本和翻译作为输入。近年来,有研究表明,量化引擎作为翻译的副产品,得益于翻译源机器翻译系统的模型和训练数据信息,被称为“玻璃盒子量化引擎”。本文将“玻璃盒QE”的定义推广到一般的不确定性量化,并设计了“黑箱”和“玻璃盒”两种方法,为改进QE的性能进行了新的尝试。我们提出了一个框架,融合不确定性量化的特征工程到一个预先训练的跨语言语言模型,以预测翻译质量。实验结果表明,该方法在WMT 2020 QE共享任务数据集上取得了较好的性能.
2021-09-15 cs.AI cs.CL
Dictionary-based Data Augmentation for Cross-Domain Neural Machine Translation
Artificial Intelligence Application Research Center, Huawei Technologies(华为技术有限公司人工智能应用研究中心);Beijing University of Posts and Telecommunications(北京邮电大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
现有的神经机器翻译(NMT)数据增强方法主要依赖于域内(IND)单语语料库的回译。这些方法遭受与域信息差距相关的问题,这导致低频和词汇表外术语的翻译错误。提出了一种基于字典的跨域NMT数据增强方法。DDA将领域词典与通用领域语料库相结合,自动生成大规模的伪IND并行语料库。生成的伪IND数据可用于增强一般领域训练的基线。实验表明,DDA增强的NMT模型表现出一致的显着改善,优于基线模型3.75-11.53 BLEU。所提出的方法也能够进一步提高性能的反向平移和IND微调的NMT模型。这种改进与DDA产生的增强域覆盖有关。
2020-04-06 cs.CL
Full-Sentence Models Perform Better in Simultaneous Translation Using the Information Enhanced Decoding Strategy
同声翻译是在接收到源句中的几个单词后开始翻译每一个句子,在许多场景中起着至关重要的作用。尽管先前的前缀到前缀框架被认为适合于同时翻译并且实现了良好的性能,但是它仍然具有两个不可避免的缺点:由于需要为每个延迟$k$训练单独的模型而导致的高计算资源成本,以及由于每个目标令牌只能关注特定的源前缀而导致的对信息进行编码的能力不足。我们提出了一个新的框架,采用了一个简单而有效的解码策略,这是专为整句模型。在这个框架内,训练单个整句模型可以实现任意给定的延迟并节省计算资源。此外,利用整句模型对整句进行编码的能力,我们的解码策略可以实时的增强解码状态中保持的信息。实验结果表明,该方法在Zh $\rightarrow$ En、En $\rightarrow$ Ro和En $\leftrightarrow$ De 4个方向上的翻译质量优于基线。
2021-12-30 cs.AI cs.CL
Coverage Embedding Models for Neural Machine Translation
T.J. Watson Research Center(托马斯·J·沃森研究中心);IBM(IBM公司)
在本文中,我们通过添加显式覆盖嵌入模型来增强基于注意力的神经机器翻译(NMT),以减轻NMT中的重复和丢弃翻译的问题。对于每个源词,我们的模型从一个完整的覆盖嵌入向量开始跟踪覆盖状态,然后随着翻译的进行,用神经网络不断更新它。在大规模汉英翻译任务上的实验表明,与强大的大词汇量NMT系统相比,我们的改进模型在各种测试集上的翻译质量都有显著提高。
2016-08-29 cs.CL
Towards an Arabic-English Machine-Translation Based on Semantic Web
通信工具使世界像一个小村庄,因此人们可以与来自不同社会或讲不同语言的人联系。如果没有机器翻译,这种沟通就无法有效地进行,因为它们可以随时随地找到。有一些研究已经开发了英语的机器翻译,除了阿拉伯语之外,还有许多其他语言尚未考虑。因此,我们的目标是强调我们提出的翻译机的路线图,以提供基于语义的增强的阿拉伯语英语翻译。
2017-09-14 cs.CL
Non-Autoregressive Neural Machine Translation with Enhanced Decoder Input
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Research(微软研究院);Peking University(北京大学)
非自回归翻译(NAT)模型,从解码器的输入中去除了对先前目标令牌的依赖,实现了显著的推理加速,但与自回归翻译(AT)模型相比,其精度较差。以前的工作表明,解码器的输入的质量是重要的,在很大程度上影响模型的准确性。在本文中,我们提出了两种方法来增强解码器的输入,以改善NAT模型。第一种方法直接利用由传统SMT方法生成的短语表来将源令牌转换为目标令牌,然后将其作为输入馈送到解码器中。第二种方法通过词级对齐和词级对手学习将源端词嵌入转换为目标端词嵌入,然后将转换后的词嵌入作为输入输入送入解码器。实验结果表明,我们的方法在WMT 14英语-德语任务上的$5.11$ BLEU得分和WMT 16英语-罗马尼亚语任务上的$4.72$ BLEU得分上大大优于NAT基线~ \citep{gu2017non}。
2018-12-23 cs.CL cs.LG
Building a Neural Machine Translation System Using Only Synthetic Parallel Data
Seoul National University(首尔大学)
最近的工作表明,翻译模型自动生成的合成并行数据可以有效地用于各种神经机器翻译(NMT)问题。在这项研究中,我们建立NMT系统只使用合成并行数据。作为一种有效的替代真正的并行数据,我们还提出了一种新的类型的合成并行语料库。所提出的伪并行数据与以前的作品不同,因为在句子对的两侧混合了地面真值和合成示例。捷克-德国和法国-德国的翻译实验表明,建议的伪平行语料库,这不仅显示出增强的结果,双向翻译任务,但也有很大的改善与地面真实的真实平行语料库的帮助下的有效性。
2017-09-17 cs.CL
Modeling Coverage for Neural Machine Translation
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
注意力机制通过联合学习对齐和翻译,增强了最先进的神经机器翻译(NMT)。然而,它往往会忽略过去的对齐信息,这往往会导致过度翻译和翻译不足。为了解决这个问题,本文提出了基于覆盖的NMT。我们维护一个覆盖向量来跟踪注意力历史。覆盖向量被输入到注意力模型中,以帮助调整未来的注意力,这使得NMT系统能够更多地考虑未翻译的源词。实验表明,该方法显着提高了翻译质量和对齐质量比标准的注意力为基础的NMT。
2016-08-06 cs.CL
Enhanced Auto Language Prediction with Dictionary Capsule -- A Novel Approach
VIT Chennai(韦洛尔理工学院金奈校区);Samsung R&D Institute India – Bangalore(三星研发研究院印度班加罗尔)
本研究提出结合神经网络与符号表示的ALPDC框架,实现语言预测与多语言到英语字面翻译,在多个基准数据集上达SOTA,提升翻译准确率,具实际应用潜力。
2024-03-09 cs.CL
Two Intermediate Translations Are Better Than One: Fine-tuning LLMs for Document-level Translation Refinement
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Huawei Translation Services Center(华为翻译中心)
本文提出利用句子级和文档级两个中间翻译微调大语言模型进行文档级翻译精炼,并引入质量感知加权方法,在多个翻译任务上验证了其有效性。
2025-04-08 cs.CL
Doubly Attentive Transformer Machine Translation
本文提出了一种双注意力Transformer机器翻译模型(DATNMT),该模型中双注意力Transformer解码器通常将通过预训练的卷积神经网络获得的空间视觉特征连接起来,克服了图像描述和翻译之间的任何间隙。在这个框架中,Transformer解码器在生成目标语言的单词时,通过双注意力Transformer的增强型多头注意力层中的两个独立注意力组件的方法来自由地处理源语言单词和图像的部分。我们发现,该模型不仅可以有效地利用稀缺的多模态机器翻译数据,但也大一般领域的纯文本机器翻译语料库,或图像-文本图像描述语料库。实验结果表明,本文提出的双注意转换器-解码器模型的性能优于单解码器Transformer模型,并在英-德多模态机器翻译任务中取得了较好的效果。
2018-07-30 cs.CL
Quality expectations of machine translation
Adapt Centre(Adapt中心);Dublin City University(都柏林城市大学)
机器翻译(MT)每天都被数百万人部署在一系列用例中。因此,MT的效用是毫无疑问的。然而,并不是每个人都相信机器翻译是有用的,特别是作为人类翻译的生产力提高者。在本章中,我将解决这个问题,描述MT目前是如何部署的,其输出是如何评估的,以及如何增强这一点,特别是随着MT质量本身的提高。这些问题的核心是承认不再有单一的质量“黄金标准”,因此需要考虑到采用机器翻译的情况,特别是翻译本身的预期“保存期限”。
2018-03-22 cs.CL
ExTrans: Multilingual Deep Reasoning Translation via Exemplar-Enhanced Reinforcement Learning
Pattern Recognition Center, WeChat AI, Tencent Inc(模式识别中心、微信AI、腾讯公司)
本研究提出ExTrans方法,设计基于强LRM对比的奖励建模策略,通过强化学习训练翻译模型,在文学翻译上超越OpenAI-o1等模型,并实现90个多语言翻译方向的性能提升。
2025-05-19 cs.AI cs.CL
A Hybrid Model for Enhancing Lexical Statistical Machine Translation (SMT)
Sadat Academy for Management Sciences(萨达特管理科学院)
统计机器翻译系统的兴趣增加,目前由于在世界上的政治和社会事件。提出了一种基于统计机器翻译(SMT)的模型,该模型可以用于通过有效地结合不同的统计和自然语言处理(NLP)模型(诸如语言模型、对齐模型、基于短语的模型、重排序模型和翻译模型)来自动地将句子从源语言(英语)翻译成目标语言(阿拉伯语)。这些模型相结合,以提高统计机器翻译(SMT)的性能。在这项工作中使用了许多实现工具,如Moses,Gizaa++,IRSTLM,KenLM和BLEU。通过对该模型的实现和评价,以及与Google Translate等其他机器翻译系统的比较,证明了该模型增强了统计机器翻译的效果,是该领域一种可靠、高效的翻译模型。
2015-06-03 cs.CL
VBD-MT Chinese-Vietnamese Translation Systems for VLSP 2022
VinBigData
本文提出参加 VLSP 2022 的中越双向机器翻译系统,结合 Transformer、mBART、回译采样、集成与后处理,在公共测试集上取得优于强基线的 BLEU 成绩。
2023-08-15 cs.CL
Reasoning Before Translation: Enhancing Legal Machine Translation with Structured Reasoning
研究法律领域神经机器翻译难题,通过比较多种方法,评估小型语言模型在不同再训练范式下的表现,以瑞士法律系统为测试平台,发现强化学习效果好,增强小型模型接近前沿推理模型,再训练范式随模型规模收益递减。
2026-11-11 cs.AI cs.CL cs.LG
On Vision Features in Multimodal Machine Translation
Northeastern University(东北大学);NiuTrans Research(小牛翻译研究院)
以前关于多模式机器翻译(MMT)的工作主要集中在将视觉特征融入翻译的方式上,但很少关注视觉模型的质量。在这项工作中,我们调查的影响,视觉模型的MMT。鉴于Transformer在计算机视觉中越来越流行,我们尝试了各种强大的模型(如视觉Transformer)和增强的功能(如对象检测和图像描述)。我们开发了一个选择性注意模型来研究MMT中图像的块级贡献。在详细的探索任务中,我们发现更强的视觉模型有助于从视觉模态学习翻译。我们的研究结果还表明,需要仔细研究MMT模型,特别是当目前的基准是小规模和偏见。我们的代码可以在\url{https://github.com/libeineu/fairseq_mmt}中找到。
2022-03-17 cs.CL
Advancing Bangla Machine Translation Through Informal Datasets
Department of Computer Science and Engineering, BRAC University(计算机科学与工程系,BRAC大学)
本研究通过开发非正式数据集和改进模型,推动孟加拉语机器翻译,提升数字世界中孟加拉语使用者的信息可及性。
2025-12-15 cs.CL
How effective is Multi-source pivoting for Translation of Low Resource Indian Languages?
Indian Institute of Technology Bombay(印度理工学院孟买分校);NICT(日本情报通信研究机构);IIT Madras(印度理工学院马德拉斯分校)
本文针对低资源印度语言机器翻译问题,探索结合源语句与枢轴语句的多源枢轴翻译方法,实验发现该方法较现有最优仅获边际提升,但可通过合成目标语数据增强效果,为低资源翻译提供了有前景的方向。
2024-06-19 cs.CL
Exposing the Cracks: Vulnerabilities of Retrieval-Augmented LLM-based Machine Translation
针对检索增强型大语言模型机器翻译(REAL-MT)在嘈杂检索语境下可靠性不明的问题,提出噪声合成框架与新指标评估其鲁棒性,发现低资源语言对及大型推理模型更易受噪声影响,揭示权衡并强调自验证集成机制的必要性。
2025-11-17 cs.CL
Translation-Enhanced Multilingual Text-to-Image Generation
University of Cambridge(剑桥大学);Amazon Alexa AI(亚马逊Alexa AI)
本研究探讨多语言文本到图像生成(mTTI),利用神经机器翻译系统评估跨语言NLP方法,并提出参数高效的Ensemble Adapter(EnsAd)整合多语言知识以缓解语言鸿沟,在多个数据集上取得一致提升。
2023-05-30 cs.AI cs.CL cs.CV
Towards Making the Most of Dialogue Characteristics for Neural Chat Translation
Beijing Jiaotong University(北京交通大学);Xiamen University(厦门大学);Tencent Inc(腾讯公司)
神经聊天翻译(NCT)旨在翻译不同语言的说话者之间的对话文本。尽管会话级和上下文感知的神经机器翻译模型具有良好的性能,但由于忽略了对话的内在特征,如对话连贯性和说话人个性,当前的NCT模型仍然存在局限性。在本文中,我们提出了促进聊天翻译的NCT模型中引入的对话特征建模。为此,我们设计了四个辅助任务,包括单语反应生成,跨语言反应生成,下一个话语辨别,和说话人辨识。与主要的聊天翻译任务一起,我们通过所有这些任务的训练目标来优化NCT模型。通过这种方式,NCT模型可以通过捕获固有的对话特征来增强,从而生成更连贯和与说话者相关的翻译。在四个语言方向(英德和英汉)上的综合实验验证了该方法的有效性和优越性。
2021-09-02 cs.CL
Joint Training for Neural Machine Translation Models with Monolingual Data
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
单语数据已被证明有助于提高统计机器翻译(SMT)系统和神经机器翻译(NMT)系统的翻译质量,特别是在资源贫乏或并行数据不够丰富的领域自适应任务中。在本文中,我们提出了一种新的方法,以更好地利用单语数据的神经机器翻译通过联合学习源到目标和目标到源NMT模型的语言对与联合EM优化方法。训练过程开始于在每个方向的并行数据上预训练的两个初始NMT模型,并且通过递增地减少训练数据上的平移损失来迭代地更新这两个模型。在每个迭代步骤中,两个NMT模型首先用于将单语数据从一种语言翻译成另一种语言,形成另一NMT模型的伪训练数据。然后从并行数据和伪训练数据中学习两个新的NMT模型。这两种NMT模型都有待于进一步改进,以产生更好的伪训练数据。在汉英和英德翻译任务上的实验结果表明,该方法可以同时提高源到目标和目标到源模型的翻译质量,显著优于使用单语数据进行模型训练(包括回译)的强基线系统。
2018-03-01 cs.CL
Interactive Attention for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent Technology Co., Ltd.(腾讯科技有限公司);Huawei Technologies(华为技术有限公司);Dublin City University(都柏林城市大学)
传统的基于注意力的神经机器翻译(NMT)在生成目标句子时进行动态对齐。通过重复读取源句子的表示,其在由编码器生成之后保持固定(Bahdanau等人,2015),注意力机制极大地增强了最先进的NMT。本文提出了一种新的注意力机制,称为交互注意力(INTERACTIVE ATTENTION),它通过阅读和写作两种操作来模拟翻译过程中解码者和源语句表征之间的交互。交互式注意可以跟踪交互历史,从而提高翻译性能。在NIST汉英翻译任务上的实验表明,交互式注意力可以实现比先前的基于注意力的NMT基线和基于注意力的NMT的一些最先进的变体(即,覆盖模型(Tu等人,2016))。在多个测试集上,具有我们的交互式注意力的神经机器翻译器可以比基于注意力的开源NMT系统Groundhog平均高出4.22个BLEU点,比基于短语的开源系统Moses平均高出3.94个BLEU点。
2016-10-17 cs.CL
How Well Do Large Reasoning Models Translate? A Comprehensive Evaluation for Multi-Domain Machine Translation
Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能学院);School of Informatics, Xiamen University(厦门大学信息学院);Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University),Ministry of Culture and Tourism(福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室(厦门大学),文化部)
本研究比较了大型推理模型与传统大型语言模型在15个领域和四个翻译方向上的性能,发现LRMs在语义复杂、长文本和高难度翻译中表现更优,领域自适应提示策略可进一步提升效果。
2025-05-26 cs.CL
ATD-Trans: A Geographically Grounded Japanese-English Travelogue Translation Dataset
National Institute of Information and Communications Technology(信息与通信技术国家研究所);Nara Institute of Science and Technology(奈良科学技术研究所)
本文提出ATD-Trans数据集,用于评估机器翻译在地理实体层面的性能,探讨模型语言倾向和地理区域对翻译质量的影响。
2026-05-13 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示,发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征,并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
Simultaneous Translation with Offline Speech and LLM Models in CUNI Submission to IWSLT 2025
Charles University(查理大学)
本文提出基于离线 Whisper 和 EuroLLM 的级联同声翻译系统,采用 AlignAtt 策略并注入术语,在 IWSLT 2025 任务中较基线提升 2-22 BLEU,并引入新的延迟度量。
2025-06-20 cs.CL
PJAIT Systems for the IWSLT 2015 Evaluation Campaign Enhanced by Comparable Corpora
Polish-Japanese Academy of Information Technology(波兰-日本信息技术学院)
在本文中,我们试图改善统计机器翻译(SMT)系统上的一个非常多样化的语言对(在两个方向):捷克语-英语,越南语-英语,法语-英语和德语-英语。为了实现这一目标,我们进行了翻译模型训练,为每个语言对创建了训练设置的适应性,并为我们的SMT系统获得了可比的语料库。采用了创新工具和数据调整技术。用于IWITH 2015评估活动的TED平行文本语料库被用于训练语言模型,以及开发,调整和测试系统。此外,我们准备了基于维基百科的可比语料库,用于我们的SMT系统。该数据被指定为IWEC 2015评价的允许数据。我们探讨了使用领域自适应技术,对称词对齐模型,无监督音译模型和KenLM语言建模工具。为了评估不同准备对翻译结果的影响,我们进行了实验,并使用了BLEU,NIST和TER指标。我们的研究结果表明,我们的方法产生了积极的影响SMT质量。
2015-12-05 cs.CL stat.ML
English to Arabic machine translation of mathematical documents
Ibnou Zohr University(伊本佐赫尔大学)
本文提出面向英文 LATEX 数学文档的阿语翻译系统,以 Transformer 为核心并结合 RyDArab 与规则式表达式翻译,提升复杂数学内容翻译的准确性和流畅性。
2023-12-02 cs.CL
Test-Time Scaling of Reasoning Models for Machine Translation
University of Helsinki(赫尔辛基大学);ELLIS Institute Finland(芬兰ELLIS研究所);University of Turku(图尔库大学)
本文研究了推理模型在机器翻译中的测试时扩展效果,发现领域特定微调能提升翻译质量,但通用模型在直接翻译中效果有限,而多步骤自我纠正流程中表现更佳。
2026-01-11 cs.CL
Towards Robust k-Nearest-Neighbor Machine Translation
Xiamen University(厦门大学);Tencent Inc(腾讯公司);Dalian University of Technology(大连理工大学);Pengcheng Laboratory(鹏城实验室)
最近邻机器翻译(kNN-MT)是近年来NMT的一个重要研究方向。它的主要思想是从一个额外的索引中检索有用的键值对来修改翻译,而不需要更新NMT模型。然而,底层检索到的噪声对将显著恶化模型性能。在本文中,我们进行了初步的研究,发现这一问题的结果没有充分利用NMT模型的预测。为了减轻噪声的影响,我们提出了一种具有鲁棒训练的置信度增强的kNN-MT模型。具体而言,我们引入NMT置信度来细化kNN-MT的两个重要组成部分的建模:kNN分布和插值权重。同时,我们注入两种类型的扰动到检索对鲁棒训练。在四个基准数据集上的实验结果表明,我们的模型不仅取得了显着的改进,目前kNN-MT模型,但也表现出更好的鲁棒性。我们的代码可在https://github.com/DeepLearnXMU/Robust-knn-mt上获得。
2022-10-17 cs.CL
Knowledge-Prompted Estimator: A Novel Approach to Explainable Machine Translation Assessment
Huawei Technologies CO., LTD(华为技术有限公司)
针对现有大语言模型机器翻译质量评估指标缺乏句子级分析的问题,提出融合三种单步提示技术的知识提示估计器(KPE),提升了句子级评估性能与可解释性。
2023-06-13 cs.CL
Embedding-Enhanced Giza++: Improving Alignment in Low- and High- Resource Scenarios Using Embedding Space Geometry
Johns Hopkins University(约翰斯·霍普金斯大学);The Chinese University of Hong Kong(香港中文大学)
几十年前,单词对齐是一项流行的自然语言处理任务,直到最近,它一直由GIZA++主导,GIZA ++是一种基于30年前IBM模型的统计方法。优于GIZA++的新方法主要依赖于大型机器翻译模型、大规模多语言语言模型或GIZA++比对本身的监督。我们引入了嵌入增强的GIZA++,并且在没有任何上述因素的情况下优于GIZA++。仅利用源语言和目标语言的单语嵌入空间,我们在三种语言对的每个测试场景中都超过了GIZA++的性能。在最低的资源设置中,我们分别以8.5,10.9和12 AER的Ro-En,De-En和En-Fr优于GIZA++。我们在https://github.com/kellymarchisio/ee-giza上发布代码。
2022-10-11 cs.CL
Translating Pro-Drop Languages with Reconstruction Models
ADAPT Centre, Dublin City University(都柏林城市大学 ADAPT 中心);Tencent AI Lab(腾讯人工智能实验室)
代词在诸如中文的亲降语言中经常被省略,通常导致关于完整翻译的产生的重大挑战。神经机器翻译中的代词脱落问题至今还没有引起足够的重视。在这项工作中,我们提出了一种新的基于重建的方法来减轻DP翻译问题的NMT模型。首先,所有源句子中的DP自动标注与双语训练语料库中提取的平行信息。接下来,从NMT模型中的隐藏表示重建带注释的源句子。利用辅助训练目标,在重建分数方面,与NMT模型相关联的参数被引导以产生尽可能多地被鼓励嵌入注释的DP信息的增强的隐藏表示。在汉英和日英对话翻译任务上的实验结果表明,该方法在强NMT基线上显著且一致地提高了翻译性能,该NMT基线直接建立在用DP标注的训练数据上。
2018-01-10 cs.CL
FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding
Microsoft Dynamics 365 AI Research(微软 Dynamics 365 AI 研究院)
mBERT、Unicoder和XLM等大规模跨语言语言模型在跨语言表示学习中取得了巨大的成功。然而,当应用于zero-shot跨语言迁移任务时,大多数现有方法仅使用单一语言输入进行LM微调,而不利用不同语言之间的内在跨语言对齐,这对于多语言任务来说是必不可少的。在本文中,我们提出了过滤器,一个增强的融合方法,跨语言的数据作为输入XLM微调。具体来说,FILTER首先在浅层对源语言输入的文本及其在目标语言中的翻译进行独立编码,然后在中间层进行跨语言融合以提取多语言知识,最后进行进一步的特定语言编码。在推理过程中,该模型根据目标语言的文本输入及其在源语言中的翻译进行预测。对于分类等简单任务,目标语言的翻译文本与源语言共享相同的标签。然而,这种共享标签变得不太准确,甚至不可用于更复杂的任务,例如问答、NER和POS标记。为了解决这个问题,我们进一步提出了一个额外的KL发散自学损失模型训练,基于自动生成的软伪标签的翻译文本在目标语言。大量的实验表明,FILTER在两个具有挑战性的多语言多任务基准测试(XTREME和XGLUE)上达到了新的水平。
2020-12-15 cs.CL
Decoding Multilingual Topic Dynamics and Trend Identification through ARIMA Time Series Analysis on Social Networks: A Novel Data Translation Framework Enhanced by LDA/HDP Models
Research Laboratory in Algebra Numbers theory and Intelligent Systems(代数数论与智能系统研究实验室);CNRS(法国国家科学研究中心);Bordeaux INP(波尔多国立高等工程技术学院);LaBRI(波尔多计算机科学实验室);Laboratory LIG(LIG实验室)
本研究提出一种新型多语言数据翻译框架,结合LDA/HDP模型与ARIMA时间序列分析,解码危机期间社交网络的主题动态与趋势,在突尼斯多语言数据集上表现优于标准方法。
2024-03-18 cs.AI cs.CL cs.LG
Monotonic Simultaneous Translation with Chunk-wise Reordering and Refinement
Samsung Research(三星研究院);New York University(纽约大学)
最近的同步机器翻译工作通常是用传统的整句翻译语料库进行训练的,这导致在处理语序显著不同的语言对时,过度的延迟或需要预测尚未到达的单词。这与同声传译不同,同声传译人员以牺牲被翻译句子的语法性为代价,产生大量单调的翻译。因此,在本文中,我们提出了一种算法来重新排序和完善的目标方的一个完整的句子翻译语料库,使源和目标句子之间的单词/短语主要是单调对齐,使用单词对齐和非自回归神经机器翻译。然后,我们训练一个广泛使用的wait-k同声翻译模型在这个重新排序和细化语料库。所提出的方法提高了BLEU分数,并产生的翻译表现出增强的单调性与源句子。
2021-10-18 cs.AI cs.CL cs.LG
Improving LLM-based Document-level Machine Translation with Multi-Knowledge Fusion
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Huawei Translation Services Center(华为翻译服务中心)
本文提出融合文档摘要与实体翻译的多知识策略,用于改进基于 LLM 的文档级机器翻译,并在八项任务及三个模型上验证其 COMET 提升。
2025-03-15 cs.CL
Adapting Multilingual Neural Machine Translation to Unseen Languages
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
针对低资源语言(LRL)的多语言神经机器翻译(MNMT)可以通过相关高资源语言(HRL)的存在来增强,但是HRL的相关性通常依赖于关于语言相似性的预定义语言假设。最近,MNMT适应LRL已被证明可以大大提高性能。在这项工作中,我们探讨了MNMT模型适应一个看不见的LRL使用数据选择和模型自适应的问题。为了改进LRL的NMT,我们使用困惑度来选择与LRL最相似的HRL数据。我们广泛地探索了流行的多语言NMT设置中的数据选择,即在(zero-shot)翻译中,以及在两个方向(LRL-en)的多语言预训练模型的适应中。我们进一步表明,动态适应模型的词汇结果在一个更有利的分割LRL相比,直接适应。实验表明,即使LRL数据为零(+13.0 BLEU),也可以减少训练时间,并在LRL基线上获得显着的性能提升,对于预训练的多语言模型动态自适应与相关数据选择,最高可达+17.0 BLEU。我们的方法优于目前的方法,如大规模多语言模型和数据增强,在四个LRL。
2019-10-30 cs.CL
Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model
Ho Chi Minh City University of Technology (HCMUT)(胡志明市理工大学);Vietnam National University Ho Chi Minh City(越南胡志明市国家大学)
为解决巴拿语-越南语翻译中资源不足问题,利用基于序列到序列预训练语言模型的迁移学习方法,借助预训练越南语模型,结合有限双语资源继续训练,并通过数据增强等优化,有效实现翻译,促进民族文化交流。
2026-07-28 cs.CL
Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning
Northeastern University(东北大学);Meituan Inc.(美团公司);Microsoft Research(微软研究院);Tsinghua University(清华大学)
本文提出预测-校正增强Transformer,通过高阶预测器与多步校正器最小化ODE截断误差,并采用指数移动平均系数学习,在多项基准上以更少参数超越强基线。
2024-11-05 cs.CL
Learning cross-lingual phonological and orthagraphic adaptations: a case study in improving neural machine translation between low-resource languages
MNNIT Allahabad(莫蒂拉尔·尼赫鲁国家理工学院阿拉哈巴德分校);IIT (BHU)(印度理工学院(贝纳拉斯印度教大学))
词汇表外(OOV)单词可能对机器翻译(MT)任务构成严重挑战,特别是对低资源语言(LRL)对,即,很少或没有平行语料库存在的语言对。我们的工作适应seq 2seq模型的变体来执行从印地语到Bhojpuri(LRL实例)的这些单词的转导,从印地语-Bhojpuri单词的双语词典中构建的一组同源对中学习。我们证明,我们的模型可以有效地用于语言对有限的平行语料库,我们的模型工作在字符水平上把握语音和正字法的相似性,跨多种类型的词适应,无论是共时或历时,借词或同源词。我们描述了几个字符级别的NMT系统,我们适应这项任务的培训方面,并描述其典型的错误。我们的方法在Hindi到Bhojpuri翻译任务上将BLEU分数提高了6.3。此外,我们表明,这种转换可以推广到其他语言成功地将其应用到印地语-孟加拉语同源对。我们的工作可以被看作是一个重要的步骤,在这个过程中:(i)解决机器翻译任务中出现的OOV单词问题,(ii)为资源受限的语言创建有效的并行语料库,以及(iii)利用增强的语义知识捕获的单词级嵌入执行字符级任务。
2019-07-22 cs.CL
EIT: Enhanced Interactive Transformer
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);NiuTrans Research(牛转研究)
针对多头自注意力忽略共识原则的问题,提出增强型多头自注意力(EMHA),通过解除查询与键的一对一映射约束并引入子空间内与跨子空间交互模型来同时满足互补与共识原则,在多项语言任务上表现优异且模型规模仅适度增加。
2024-06-05 cs.CL
Search Engine Guided Non-Parametric Neural Machine Translation
The University of Hong Kong(香港大学);New York University(纽约大学)
在本文中,我们扩展了一个基于注意力的神经机器翻译(NMT)模型,允许它在训练后访问整个平行句子对训练集。拟议的办法包括两个阶段。在第一阶段-检索阶段-,一个现成的,黑盒搜索引擎被用来检索一个小的子集的句子对从一个给定的源句子的训练集。这些对基于基于编辑距离的模糊匹配分数被进一步过滤。在第二阶段-翻译阶段-,一种新的翻译模型,称为翻译记忆增强的NMT(TM-NMT),无缝地使用源句子和一组检索到的句子对来执行翻译。对三种语言对(En-Fr、En-De和En-Es)的实验结果表明,该方法的性能明显优于基线方法,并且当检索到更多相关句子对时,这种改进更为显著。
2018-03-08 cs.AI cs.CL cs.LG
Finding Better Subword Segmentation for Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学)
对于不同的语言对,具有固定大小词汇表的词级神经机器翻译(NMT)模型遇到了表示词汇表外(OOV)词的相同问题。通常的做法是用一个词符来代替这些生僻词或陌生词<UNK>,这在一定程度上限制了翻译的效果。最近的大多数工作通过将单词拆分为字符或其他专门提取的子单词单元来处理这样的问题,以实现开放词汇翻译。字节对编码(BPE)是一种成功的尝试,通过为NMT系统提供有效的子词切分而显示出极具竞争力。在本文中,我们将BPE风格分割扩展到一个通用的无监督框架,具有三个统计指标:频率(FRQ),访问者多样性(AV)和描述长度增益(DLG)。我们在两个翻译任务上测试我们的方法:德语到英语和汉语到英语。实验结果表明,AV和DLG增强系统在不同的显着水平上的频率加权方案优于FRQ基线。
2018-07-25 cs.AI cs.CL cs.LG
LEPOR: An Augmented Machine Translation Evaluation Metric
University of Macau(澳门大学)
机器翻译是自然语言处理领域的研究热点之一。机器翻译中的一个重要问题是如何对机器翻译系统进行合理的评价,并告诉我们翻译系统是否有所改进。传统的人工判断方法成本高、耗时长、不可重复、一致性差。另一方面,目前流行的机器翻译自动评测方法也存在一些不足。首先,他们在以英语为目标语言的语言对上表现较好,而在以英语为源语言的语言对上表现较弱。其次,一些方法依赖于许多额外的语言特征来实现良好的性能,这使得度量无法复制和应用于其他语言对。第三,一些流行的指标使用不全面的因素,这导致在一些实际任务的性能低下。在本论文中,我们针对现有的问题,设计了新的机器翻译评估方法,并研究了它们在不同语言上的性能。首先,我们设计增强因子以产生高度准确的评估。其次,我们设计了一个可调的评估模型,其中的因素的权重可以根据语言的特点进行优化。第三,在我们的方法的增强版本中,我们使用词性(POS)设计简洁的语言特征,以表明我们的方法在使用一些外部语言资源时可以产生更高的性能。最后,我们介绍了我们的指标在ACL-WMT研讨会共享任务中的实际性能,这表明所提出的方法在不同语言中具有鲁棒性。此外,我们还提出了一些新的工作质量估计MT不使用参考翻译,包括使用概率模型的朴素贝叶斯(NB),支持向量机(SVM)分类算法,和CRF。
2022-01-24 cs.CL
Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders
Microsoft Research(微软研究院);The University of Hong Kong(香港大学);Shanghai University of Finance and Economics(上海财经大学);Texas A&M University(德克萨斯A&M大学)
以前的工作主要集中在使用多语言预训练编码器(MPE)改善NLU任务的跨语言迁移,或者使用BERT提高监督机器翻译的性能。然而,MPE是否有助于促进NMT模型的跨语言可移植性,这一点还有待进一步研究。本文重点研究了NMT中的零镜头(zero-shot)跨语言迁移任务。在该任务中,NMT模型仅使用一种语言对的并行数据集和现成的MPE进行训练,然后直接在zero-shot语言对上进行测试。我们提出了SixT,这是一个简单而有效的模型。SixT利用两阶段训练计划的MPE,并通过位置解纠缠编码器和容量增强的解码器得到进一步改进。使用这种方法,SixT的性能明显优于mBART,mBART是一种为NMT显式设计的预训练多语言编码器-解码器模型,在14种源语言的zero-shot任何英语测试集上平均提高了7.1 BLEU。此外,与CRISS和m2m-100两个强大的多语言NMT基线相比,我们的模型在15个任意到英语的测试集上具有更少的训练计算成本和训练数据,实现了更好的性能。
2021-11-05 cs.CL
Enhanced Bilingual Evaluation Understudy
Polish Japanese Institute of Information Technology(波兰日本信息技术学院)
我们的研究扩展了统计机器翻译的双语评估替代(BLEU)评估技术,使其更具可调整性和鲁棒性。我们打算使它更像人类的评估。我们进行实验,以评估我们的技术对现有的主要评估方法的性能。我们描述并展示了它对现有方法的改进以及与它们的相关性。当人类翻译人员翻译文本时,他们经常使用同义词,不同的词序或风格以及其他类似的变化。我们提出了一种SMT评估技术,增强了BLEU指标,考虑变化,如这些。
2015-09-30 cs.CL stat.ML