The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks
OpenAI;NeurIPS 2025 workshop(NeurIPS 2025 工作坊)
本文通过反事实审计揭示翻译税并非单一标量,指出翻译基准测试中存在估计器和项目依赖的有效性风险,并提供相关证据和检查清单。
2026-05-08 cs.AI cs.CL cs.LG
Vietnamese Poem Generation & The Prospect Of Cross-Language Poem-To-Poem Translation
FPT University(FPT大学)
本文提出使用大型语言模型根据自然语言提示生成多种体裁的越南语诗歌,GPT-3 Babbage变体在“luc bat”体裁评估中得分0.8,并探索了诗歌改写为文本提示的方法,为跨语言诗对诗翻译提供了潜力。
2024-01-04 cs.AI cs.CL
Toxicity-Aware Few-Shot Prompting for Low-Resource Singlish Translation
Singapore University of Technology and Design(新加坡科技设计大学);GovTech, Singapore(新加坡政府科技局)
针对低资源语言对中有毒内容翻译的挑战,本文提出可复现的两阶段毒性保留翻译框架,通过人工验证的少样本提示工程和模型-提示对优化,在新加坡英语语料库上提升了翻译质量并支持文化敏感审核。
2025-07-16 cs.AI cs.CL cs.CY
Content Translation: Computer-assisted translation tool for Wikipedia articles
University of Helsinki(赫尔辛基大学);Wikimedia Foundation(维基媒体基金会)
每种语言维基百科条目的质量和数量差异很大。从另一个维基百科翻译是添加更多内容的自然方式,但维基百科使用的软件不支持翻译过程。过去为维基百科建立的计算机辅助翻译工具并不常用。我们创建了一个工具,可以适应开放社区的特定需求和维基百科的内容类型。定性和定量数据表明,新工具可以帮助用户更容易,更快地翻译文章。
2015-06-05 cs.CL
Missing the human touch? A computational stylometry analysis of GPT-4 translations of online Chinese literature
The University of Hong Kong(香港大学);Swinburne University of Technology(斯威本科技大学)
本研究通过计算风格分析,发现GPT-4在中文文学翻译中能复现人类翻译的风格特征,表明大型语言模型可能在文学翻译中再现'人文关怀'。
2025-06-16 cs.AI cs.CL
MDQE: A More Accurate Direct Pretraining for Machine Translation Quality Estimation
评估机器翻译(MT)的结果是昂贵的,它通常需要人工翻译作为参考。机器翻译质量评估(QE)是指在不依赖任何参考的情况下,对机器翻译的质量进行预测的任务。最近,预测器-估计器框架的出现,其将预测器训练为特征提取器,将估计器训练为QE预测器,以及预训练的语言模型(PLM)已经实现了有希望的QE性能。然而,我们认为,在数据质量和训练目标方面,预测器和估计器之间仍然存在差距,这使得QE模型无法更直接地从大量平行语料库中受益。基于以前的相关工作,在一定程度上缓解了差距,我们提出了一个新的框架,提供了一个更准确的直接预训练QE任务。在这个框架中,生成器被训练来生成更接近真实QE数据的伪数据,估计器在这些数据上进行预训练,其目标与QE任务相同。在广泛使用的基准测试上的实验表明,我们提出的框架优于现有的方法,而不使用任何预训练模型,如BERT。
2022-04-18 cs.CL
Knowledge-Prompted Estimator: A Novel Approach to Explainable Machine Translation Assessment
Huawei Technologies CO., LTD(华为技术有限公司)
针对现有大语言模型机器翻译质量评估指标缺乏句子级分析的问题,提出融合三种单步提示技术的知识提示估计器(KPE),提升了句子级评估性能与可解释性。
2023-06-13 cs.CL
Modeling Past and Future for Neural Machine Translation
Nanjing University(南京大学);Toutiao AI Lab(字节跳动人工智能实验室);University of Waterloo(滑铁卢大学);Tencent AI Lab(腾讯人工智能实验室)
现有的神经机器翻译系统在解码阶段没有明确地对已经翻译的内容和没有翻译的内容进行建模。为了解决这个问题,我们提出了一种新的机制,将源信息分为两部分:翻译过去的内容和未翻译的未来的内容,这是由两个额外的递归层建模。过去和未来的内容被馈送到注意力模型和解码器状态,这为NMT系统提供了翻译和未翻译内容的知识。实验结果表明,该方法在汉英、德英和英德翻译任务中显著提高了翻译性能。具体而言,该模型优于传统的覆盖模型的翻译质量和对齐出错率。
2017-12-26 cs.CL
A Multi-task Learning Framework for Evaluating Machine Translation of Emotion-loaded User-generated Content
Centre for Translation Studies(翻译研究中心);Institute for People-Centred AI(以人为本人工智能研究所);University of Surrey(萨里大学)
针对现有机器翻译指标难以适配带情感的用户生成内容翻译评估的问题,研究构建了多任务数据集,提出带新型组合损失的多任务学习架构,取得了最优性能并给出全面分析。
2024-10-04 cs.CL
Automatic Quality Assessment for Speech Translation Using Joint ASR and MT Features
Laboratoire d’Informatique de Grenoble, University of Grenoble Alpes(格勒诺布尔计算机科学实验室,格勒诺布尔阿尔卑斯大学)
本文研究口语翻译质量的自动评估。这个相对较新的任务被定义和形式化为一个序列标签问题,其中根据一个大的特征集,将假设中的每个单词标记为好或坏。我们提出了几个字的信心估计(WCE)的基础上,我们的自动评估转录(ASR)的质量,翻译(MT)的质量,或两者兼而有之(结合ASR+MT)。这项研究工作是可能的,因为我们建立了一个特定的语料库,其中包含6.7k的话语,其中一个五元组包括:ASR输出,逐字记录,文本翻译,语音翻译和翻译后编辑。我们使用联合ASR和MT特征进行WCE的多次实验的结论是,MT特征仍然是最有影响力的,而ASR特征可以带来有趣的补充信息。我们的鲁棒质量估计器可用于重新评分语音翻译图或在交互式语音翻译或计算机辅助语音到文本场景中向用户提供反馈。
2016-09-20 cs.CL
Evaluation of Pose Estimation Systems for Sign Language Translation
本文系统比较了多种姿态估计器在基于姿态的手语翻译中的表现,发现SDPose和Sapiens在翻译性能上表现最佳,且在遮挡情况下表现更稳健。
2026-04-27 cs.CL
QE-EBM: Using Quality Estimators as Energy Loss for Machine Translation
Seoul National University(首尔大学)
提出QE-EBM方法,将质量估计器作为可训练损失网络直接反向传播至NMT模型,克服了强化学习无法利用QE分数梯度的缺陷,在多语言机器翻译任务中显著优于REINFORCE、PPO及监督微调等基线方法。
2024-10-14 cs.AI cs.CL
PheMT: A Phenomenon-wise Dataset for Machine Translation Robustness on User-Generated Contents
Tohoku University(东北大学);RIKEN(日本科学技术研究所);NTT Communication Science Laboratories(NTT通信科学实验室)
本文提出PheMT数据集,用于评估机器翻译系统在日英翻译中对特定语言现象的鲁棒性,实验表明现有模型和商用系统均受特定现象影响。
2020-11-04 cs.CL
Dynamic Past and Future for Neural Machine Translation
Nanjing University(南京大学);Tencent AI Lab(腾讯人工智能实验室)
先前的研究表明,神经机器翻译(NMT)模型可以通过部分到整体的分配将翻译(过去)和未翻译(未来)明确建模为翻译和未翻译内容的组。通过协议路由机制的新变体来学习分配(Sabour等人,2017),即{ \em引导动态路由},其中每个解码步骤的翻译状态{ \em引导}路由过程将每个源字分配给其相关联的组(即,翻译的或未翻译的内容),使得能够从整体上下文进行翻译。实验表明,我们的方法通过产生更适当的翻译实现了RNMT和Transformer的实质性改进。大量的分析表明,我们的方法是高度可解释的,这是能够识别翻译和未翻译的内容,如预期的。
2019-09-19 cs.CL
Future-Prediction-Based Model for Neural Machine Translation
Peking University(北京大学)
提出了一种新的神经机器翻译模型。与传统方法不同的是,我们的模型可以预测未来的文本长度和单词在每个解码时间步,使生成可以帮助与未来预测的信息。有了这些信息,模型不会在没有翻译足够内容的情况下停止生成。实验结果表明,我们的模型可以显着优于基线模型。此外,我们的分析表明,我们的模型是有效的预测的长度和未翻译的内容的单词。
2018-09-02 cs.CL
Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability
Google(谷歌)
研究以PaLM为例,通过混合方法大规模测量附带双语现象,发现PaLM接触超3000万跨44种语言翻译对,并证实其对零样本翻译能力有重大影响且随模型规模增大而减弱。
2023-05-17 cs.CL
Challenges in Translation of Emotions in Multilingual User-Generated Content: Twitter as a Case Study
Centre for Translation Studies(翻译研究中心);University of Surrey(萨里大学);RGCL(语言计算研究组);University of Wolverhampton(伍尔弗汉普顿大学)
虽然情感是普遍的概念,但将不同色调的情感从一种语言转换到另一种语言对人类翻译人员来说可能并不总是那么简单,更不用说机器翻译系统了。此外,认知状态是通过对经验的言语解释来建立的,而言语解释又受到言语语境和文化语境的双重影响。在许多语言语境中,情感的表达构成了信息的关键组成部分。对于用户生成内容(UGC)来说尤其如此,它可以是对产品或服务的评论,推文或社交媒体帖子的形式。最近,Twitter等多语言网站提供UGC的自动翻译以接触其语言多样的用户已成为普遍做法。在这种情况下,翻译用户的情感的过程是完全自动的,没有人为干预,既不用于后期编辑也不用于准确性检查。在这项研究中,我们评估自动翻译工具是否可以在用户生成的多语言数据(如推文)中成功地传递情感。我们发现,有特定的Twitter数据的语言现象,在不同语言的情感翻译构成了挑战。我们总结了这些挑战的语言特征列表,并显示这些功能在不同的语言对是多么频繁。我们还评估了常用方法的能力,用于评估MT系统在保留源文本中的情感方面的性能。
2021-06-20 cs.CL
Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
反向翻译是无监督神经机器翻译(UNMT)的一个关键组成部分,它从目标单语数据生成伪并行数据。UNMT模型在具有翻译源的伪并行数据上训练,并在推理中翻译自然源语句。训练和推理之间的源差异阻碍了UNMT模型的翻译性能。通过精心设计的实验,我们确定了源数据缺口的两个代表性特征:(1)风格缺口(即,翻译文本风格与自然文本风格),这导致泛化能力差;(2)内容差距,这导致模型产生偏向于目标语言的幻觉内容。为了缩小数据差距,我们提出了一种在线自训练方法,该方法同时使用伪并行数据{自然源,翻译目标}来模拟推理场景。几个广泛使用的语言对的实验结果表明,我们的方法优于两个强基线(XLM和MASS)通过弥补风格和内容的差距。
2022-03-23 cs.CL
DirectQE: Direct Pretraining for Machine Translation Quality Estimation
Nanjing University(南京大学);Tencent AI Lab(腾讯AI实验室)
机器翻译质量评估(QE)是指在不依赖任何参考的情况下,对机器翻译的质量进行预测的任务。最近,预测器-估计器框架将预测器训练为特征提取器,其利用没有QE标签的额外并行语料库,实现了有希望的QE性能。然而,我们认为预测器和估计器在数据质量和训练目标方面都存在差距,这使得QE模型无法更直接地从大量平行语料库中受益。我们提出了一个新的框架称为DirectQE,提供了一个直接的预训练QE任务。在DirectQE中,生成器被训练以产生更接近真实QE数据的伪数据,并且检测器在这些数据上进行预训练,具有类似于QE任务的新目标。在广泛使用的基准测试上的实验表明,DirectQE优于现有的方法,而不使用任何预训练模型,如BERT。我们还进行了广泛的分析,说明如何解决这两个差距有助于我们的改进。
2021-05-15 cs.CL
BLEU, METEOR, BERTScore: Evaluation of Metrics Performance in Assessing Critical Translation Errors in Sentiment-oriented Text
University of Wolverhampton(伍尔弗汉普顿大学);University of Surrey(萨里大学)
社交媒体公司和当局广泛使用人工智能(AI)工具来监控仇恨言论,庆祝暴力或亵渎的帖子。由于人工智能软件需要大量数据来训练计算机,因此在线内容的机器翻译(MT)通常用于处理用多种语言编写的帖子,从而增加训练所需的数据。然而,在翻译情感导向的用户生成内容(UGC)时,机器翻译错误是经常发生的,特别是当涉及低资源语言时。整个过程的充分性取决于这样一个假设,即所使用的评价标准能够可靠地表明翻译的质量。在本文中,我们评估的能力,自动质量指标检测关键的机器翻译错误,可能会导致严重的误解的影响消息。我们比较了三个规范的性能指标无意义的翻译,语义内容严重受损相比,有意义的翻译与要害差错,专门扭曲的感情的源文本。我们的结论是,有必要微调的自动指标,使他们更强大的检测情感要害差错。
2021-09-29 cs.CL
Identifying Intensity of the Structure and Content in Tweets and the Discriminative Power of Attributes in Context with Referential Translation Machines
AI Enablement(AI赋能部门);Huawei Türkiye R&D Center(华为土耳其研发中心)
本文提出用堆叠RTM将属性—词语相似性及多语言推文情感强度预测建模为MTPP,在任务10与任务1上均取得良好效果。
2024-07-06 cs.AI cs.CL
Applying Automated Machine Translation to Educational Video Courses
University of California Davis(加州大学戴维斯分校)
本文研究将自动化机器翻译应用于在线教育视频,通过先进翻译模型、语音合成和音视频同步翻译可汗学院视频,并建立基于往返翻译的置信度估计器及可部署系统以管理质量和收集用户反馈。
2023-09-19 cs.CL
Content-Localization based Neural Machine Translation for Informal Dialectal Arabic: Spanish/French to Levantine/Gulf Arabic
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);University of Ottawa(渥太华大学)
针对高资源语言资源未有效用于低资源语言的问题,提出利用AI将高资源语言内容本地化到阿拉伯方言的框架,构建首个西/法语与非正式阿方言的平行数据集,验证了资源利用能力及方言对社会行为分析的影响。
2023-12-12 cs.CL
Estimating Machine Translation Difficulty
Sapienza NLP Group, Sapienza University of Rome(Sapienza 大学自然语言处理小组,Sapienza 罗马大学);ETH Zurich(苏黎世联邦理工学院);Cohere
本文形式化翻译难度估计任务,提出评估指标与专用模型,证明其优于启发式和 LLM-as-a-judge 方法,并发布 Sentinel-src-24/25 用于构建更难的机器翻译基准。
2025-08-28 cs.CL
Multi-perspective Alignment for Increasing Naturalness in Neural Machine Translation
CLCG, University of Groningen(格罗宁根大学CLCG);Department of Computer Science, Aalborg University(奥尔堡大学计算机科学系);Departament de Llenguatges i Sistemes Informàtics, Universitat d’Alacant(阿莱康特大学语言与信息系统系)
受人类反馈强化学习框架启发,提出一种多视角对齐方法,在英译荷兰语文学翻译中同时奖励自然度和内容保留,生成词汇更丰富且不损失准确性的翻译。
2025-05-30 cs.CL
Noisy UGC Translation at the Character Level: Revisiting Open-Vocabulary Capabilities and Robustness of Char-Based Models
CNRS(法国国家科学研究中心);LISN(计算机科学实验室);Université Paris-Saclay(巴黎萨克雷大学);Inria Paris(法国国家信息与自动化研究所巴黎中心);Université de Paris(巴黎大学);LLF(形式语言学实验室)
这项工作探讨了基于字符的神经机器翻译翻译嘈杂的用户生成内容(UGC)的能力,重点是探索这种方法在处理富有成效的UGC现象方面的局限性,根据定义,这种现象在训练时几乎看不到。在严格的zero-shot场景中,我们首先研究了我们开发的小型注释数据集上各种用户生成内容现象对翻译性能的不利影响,然后表明这种模型确实无法处理未知字母,一旦遇到此类字符,就会导致灾难性的翻译失败。我们通过一个简单但有见地的复制任务实验进一步证实了这一行为,并强调了减少词汇量超参数以提高机器翻译基于字符模型的鲁棒性的重要性。
2021-10-24 cs.CL
MQM-Chat: Multidimensional Quality Metrics for Chat Translation
Tohoku University(东北大学);RIKEN(理化学研究所);Future Corporation(未来公司);Machine Learning Solutions Inc.(机器学习解决方案公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出 MQM-Chat 多维质量度量,通过五个模型的实验揭示聊天翻译中遗漏、过度纠正和流行语等错误,强调风格化内容与对话一致性对评估和未来研究的重要性。
2025-02-02 cs.CL
Representation Purification for End-to-End Speech Translation
School of Informatics, Xiamen University(厦门大学信息学院)
针对语音到文本翻译中音色、节奏等内容无关因素限制知识迁移效率的问题,提出SRPSE框架纯化语音表示,排除无关成分,在MuST-C等数据集上显著提升多设置下的翻译性能。
2024-12-05 cs.CL cs.SD eess.AS
Data Expansion using Back Translation and Paraphrasing for Hate Speech Detection
Center for Machine Vision and Signal Analysis(机器视觉与信号分析中心);University of Oulu(奥卢大学)
随着社交媒体平台中用户生成内容的激增,建立自动识别有毒和滥用内容的机制成为监管机构、研究人员和社会的主要关注点。在言论自由和尊重彼此尊严之间保持平衡是社交媒体平台监管机构的主要关注点。虽然使用深度学习方法自动检测攻击性内容似乎提供了令人鼓舞的结果,但基于训练深度学习的模型需要大量高质量的标记数据,而这些数据往往是缺失的。在这方面,我们在本文中提出了一种新的基于深度学习的方法,该方法融合了反向翻译方法和用于数据增强的释义技术。我们的管道研究了不同的基于单词嵌入的架构,用于仇恨言论的分类。反向翻译技术依赖于在大型语料库上预先训练的编码器-解码器架构,并且主要用于机器翻译。此外,释义利用Transformer模型和混合专家模型来生成不同的释义。最后,将LSTM和CNN进行比较,以寻求增强的分类结果。我们评估了我们的建议五个公开可用的数据集,即,AskFm语料库,Formspring数据集,华纳和Waseem数据集,Olid和维基百科有毒评论数据集。该方案的性能与一些相关的国家的最先进的结果比较证明了我们的建议的有效性和合理性。
2021-05-25 cs.CL
Unpaired Sentiment-to-Sentiment Translation: A Cycled Reinforcement Learning Approach
Peking University(北京大学);Hong Kong Polytechnic University(香港理工大学)
情感到情感“翻译”的目标是改变句子的潜在情感,同时保持其内容。主要挑战是缺乏并行数据。为了解决这个问题,我们提出了一种循环的强化学习方法,该方法通过中和模块和情感化模块之间的协作来对未配对的数据进行训练。我们在两个评论数据集上评估了我们的方法,Yelp和Amazon。实验结果表明,我们的方法显着优于国家的最先进的系统。特别是,所提出的方法大大提高了内容保存性能。在两个数据集上,BLEU得分分别从1.64提高到22.46和从0.56提高到14.06。
2018-08-05 cs.CL
Content4All Open Research Sign Language Translation Datasets
University of Surrey(萨里大学);Fincons Group(Fincons集团);SWISSTXT
计算手语研究缺乏能够创建有用的现实应用程序的大规模数据集。迄今为止,大多数研究仅限于小型话语领域的原型系统,例如天气预报。为了解决这个问题并推动该领域的发展,我们发布了六个数据集,包括更大新闻领域的190小时镜头。其中,20个小时的镜头已由聋人专家和口译员注释,并公开供研究之用。在本文中,我们分享了为实现手语视频和字幕的对齐而开发的数据集收集过程和工具,以及基线翻译结果,以支持未来的研究。
2021-05-05 cs.CL cs.CV
Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality?
Alibaba Group Inc.(阿里巴巴集团)
神经机器翻译(NMT)经常因在没有意识的情况下发生故障而受到批评。能力意识的缺乏使NMT不可信。这与人工翻译形成鲜明对比,人工翻译在对预测有疑问时会提供反馈或进行进一步调查。为了填补这一空白,我们提出了一种新的能力意识的NMT扩展传统的NMT与自我估计,提供翻译的源语句,并估计其能力。自估计器对解码过程中的信息进行编码,然后检查它是否能重建源句子的原始语义。四个翻译任务的实验结果表明,该方法不仅完成翻译任务的完整性,但也提供了出色的性能质量评估。不依赖于任何参考或注释数据通常所需的国家的最先进的度量和质量估计方法,我们的模型产生了更高的相关性与人类的质量判断比各种上述方法,如BLEURT,彗星,BERTScore。定量和定性分析表明,在我们的模型更好的能力意识的鲁棒性。
2022-11-25 cs.AI cs.CL
The Effect of Alignment Objectives on Code-Switching Translation
African Institute for Mathematical Sciences(非洲数学科学研究所)
本文提出一种单一机器翻译模型训练方法,通过生成合成语码转换数据并在编码器上应用对齐损失,实现单语与语码转换句子的双向翻译,在WMT14英法数据集上显著优于基线。
2023-09-10 cs.CL
Is 42 the Answer to Everything in Subtitling-oriented Speech Translation?
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
由于每天都有大量视听内容,字幕对传播信息越来越重要。虽然神经机器翻译(NMT)可以加快翻译视听内容的过程,但是仍然需要大量的手动工作来转录源语言,以及将文本定位和分割成适当的字幕。在时间和分段方面创建适当的字幕在很大程度上取决于音频中存在的信息(话语持续时间,自然停顿)。在这项工作中,我们探讨了两种方法应用语音翻译(ST)的字幕:a)直接端到端和b)一个经典的级联方法。我们讨论的好处,有机会获得的源语言的语音,以提高所生成的字幕的空间和时间的字幕限制的一致性,并表明,长度是不是一切的情况下,面向字幕ST的答案。
2020-06-01 cs.CL
Efficient Machine Translation Corpus Generation
aiXplain Inc.(aiXplain公司)
本文提出一种在线训练质量估计指标的半自动后期编辑方法,优先处理差假设并自动关闭优假设,以低成本提升MT语料库质量并改善模型生命周期。
2023-06-20 cs.CL
Using crowdsourcing system for creating site-specific statistical machine translation engine
Prism LTD(Prism有限公司);SibSAU(西伯利亚国立航空航天大学)
众包翻译方法是网站内容全球化的有效工具,但它也是并行语言数据的重要来源。对于给定的网站,用众包系统处理,可以获取与语料库对齐的语料库,该语料库覆盖非常狭窄的术语和语言模式域-特定于网站的域。这些数据可以用于特定于站点的统计机器翻译引擎的训练和估计
2014-09-19 cs.CL
Exploring the Necessity of Visual Modality in Multimodal Machine Translation using Authentic Datasets
College of Big Data and Internet, Shenzhen Technology University(深圳技术大学大数据与互联网学院);College of Application and Technology, Shenzhen University(深圳大学应用技术学院)
本文基于 Tang 等人(2022)的通用 MMT 框架,利用真实翻译数据集和探测任务重新评估视觉模态,发现其对多数数据集有益但仅起可替代的补充作用,效果取决于图文对齐与一致性。
2024-04-09 cs.CL
Interrogating the Explanatory Power of Attention in Neural Machine Translation
Simon Fraser University(西蒙弗雷泽大学)
注意力模型已成为神经机器翻译(NMT)的重要组成部分。它们通常被隐式或显式地用于证明模型在生成特定令牌时的决策,但尚未严格确定注意力在多大程度上是NMT中的可靠信息来源。为了评估注意力对NMT的解释力,我们研究了产生相同预测的可能性,但使用反事实注意力模型来修改训练注意力模型的关键方面。利用这些反事实的注意力机制,我们评估了在翻译过程中它们在多大程度上仍然保留了功能词和实词的生成。与最先进的注意力模型相比,我们的反事实注意力模型在德语-英语数据集中产生了68%的功能词和21%的内容词。我们的实验表明,注意力模型本身不能可靠地解释NMT模型所做的决定。
2019-09-30 cs.CL
Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task
Moscow Institute of Physics and Technology(莫斯科物理技术学院);AIRI
针对Transformer缺乏显式记忆的问题,研究了其解码器新增的符号工作记忆的特性,发现该记忆可提升机器翻译质量,其内容与文本相关,且存储的词元、词性多样性与语料复杂度正相关。
2024-06-20 cs.CL
Contextual effects of sentiment deployment in human and machine translation
University of California, Los Angeles(加州大学洛杉矶分校)
本文揭示翻译中整体情感偏移对自动化情感分析的影响,指出机器翻译会缩小文本语义场,尤其影响认知性词汇,而人工翻译则不会。研究通过对比两种翻译方式,为情感分析应用提供重要警示。
2025-02-25 cs.CL
Lesan -- Machine Translation for Low Resource Languages
全世界有数百万人无法访问Web上的内容,因为大多数内容都无法以他们的语言提供。机器翻译(MT)系统有可能改变许多语言的这种情况。当前的MT系统为高资源语言对提供非常准确的结果,例如,德语和英语。然而,对于许多低资源语言,机器翻译仍处于积极的研究之中。关键的挑战是缺乏建立这些系统的数据集。我们提出Lesan,低资源语言的MT系统。我们的流水线通过利用在线和离线资源、针对多目标的自定义OCR系统和自动对齐模块,解决了低资源MT的关键瓶颈。流水线的最后一步是序列到序列模型,它将并行语料库作为输入,并为我们提供翻译模型。Lesan的翻译模型基于Transformer架构。在构建了一个基本模型之后,使用回译来利用单语语料库。目前,Lesan支持提格里尼亚语、阿姆哈拉语和英语之间的翻译。我们进行了广泛的人工评估,并表明Lesan在所有六对中的表现优于最先进的系统,如Google翻译和Microsoft翻译。Lesan是免费的,到目前为止已经提供了超过1000万个翻译。目前,只有217个提格里尼亚语和15,009个阿姆哈拉语维基百科条目。我们相信,Lesan将为数百万人通过MT实现网络访问的民主化做出贡献。
2021-12-15 cs.CL
Incorporating Bilingual Dictionaries for Low Resource Semi-Supervised Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
我们探索了结合双语词典来实现半监督神经机器翻译的方法。传统的反向翻译方法已经在利用目标侧单语数据方面取得了成功。然而,由于回译模型的质量与可用并行语料库的大小有关,因此这可能会对低资源设置中的合成生成的句子产生不利影响。我们提出了一个简单的数据增强技术来解决这两个缺点。我们将广泛使用的双语词典,产生逐字翻译生成合成句子。这会自动扩展模型的词汇表,同时保持高质量的内容。我们的方法在强基线上显示出明显的性能改善。
2020-04-05 cs.CL
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women(卡明斯女子工程学院);Banasthali University(班纳斯塔利大学)
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译,翻译的有效性可以得到提高。我们已经表明,古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
Semantic Prosody in Machine Translation: the English-Chinese Case of Passive Structures
Centre de Llenguatge i Computacio (CLiC), Universitat de Barcelona(巴塞罗那大学语言与计算中心);Institut de Recerca en Sistemes Complesos (UBICS), Universitat de Barcelona(巴塞罗那大学复杂系统研究所)
针对机器翻译忽视语义韵律的问题,本文构建英汉“被”字句数据集并微调多个模型,使其在翻译中正确使用被动结构,且知识可跨语言迁移。
2025-10-16 cs.CL
Incorporating Discrete Translation Lexicons into Neural Machine Translation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学)
神经机器翻译(NMT)在翻译对理解句子含义至关重要的低频内容词时经常出错。我们提出了一种方法来缓解这个问题,通过增加NMT系统与离散翻译词典,有效地编码这些低频词的翻译。我们描述了一种通过使用NMT模型的注意向量来选择模型应该关注的源词词汇概率来计算翻译候选中下一个词的词汇概率的方法。我们测试了两种方法来将此概率与标准NMT概率相结合:(1)将其用作偏差,(2)线性插值。在两个语料库上的实验表明,BLEU和NIST评分分别提高了2.0-2.3和0.13-0.44,收敛速度也更快。
2016-10-05 cs.CL
Dual Past and Future for Neural Machine Translation
Tencent Inc(腾讯公司)
近年来,神经机器翻译取得了显著的成就,但仍存在翻译不足的问题。以往的研究表明,明确地模拟源句的过去和未来内容有利于翻译性能。然而,目前还不清楚常用的启发式目标是否足以指导过去和未来。在本文中,我们提出了一种新的双重框架,利用源到目标和目标到源NMT模型,为过去和未来模块提供更直接和准确的监督信号。实验结果表明,我们提出的方法显着提高了足够的NMT预测,并超过以前的方法在两个充分研究的翻译任务。
2020-07-17 cs.CL
Machine Translation using Semantic Web Technologies: A Survey
University of Leipzig(莱比锡大学);University of Paderborn(帕德博恩大学)
最近已经开发了大量的机器翻译方法来促进跨语言的内容的流畅迁移。然而,文献表明,许多障碍仍然必须处理,以实现更好的自动翻译。这些障碍之一是词汇和句法歧义。解决这个问题的一个有希望的方法是使用语义Web技术。本文介绍了一个系统的审查结果的机器翻译方法,依赖于语义网技术翻译文本。总体而言,我们的调查表明,虽然语义Web技术可以提高各种问题的机器翻译输出的质量,但两者的结合仍处于起步阶段。
2018-07-17 cs.CL
Understanding the Impact of UGC Specificities on Translation Quality
CNRS(法国国家科学研究中心);LISN(计算机科学实验室);Université Paris-Saclay(巴黎萨克雷大学);Inria Paris(法国国家信息与自动化研究所巴黎中心);Université de Paris(巴黎大学);LLF(形式语言学实验室)
这项工作需要一个批判性的眼光在评估用户生成的内容自动翻译,其中众所周知的特点提出了许多挑战的机器翻译。我们的分析表明,使用UGC测试集上的标准度量来测量平均情况性能远远不能给出UGC翻译质量的可靠图像。这就是为什么我们引入了一个新的数据集来评估UGC翻译,其中UGC的特异性已经使用细粒度的类型学进行了手动注释。使用这个数据集,我们进行了几个实验,以衡量不同类型的UGC特异性对翻译质量的影响,比以前更精确。
2021-10-24 cs.CL
Exploiting Social Media Content for Self-Supervised Style Transfer
Saarland University(萨尔兰大学);DFKI GmbH(德国人工智能研究中心)
最近关于风格转换的研究受到无监督神经机器翻译(UNMT)的启发,通过利用循环一致性损失,反向翻译和去噪自动编码器从大量非并行数据中学习。相比之下,使用自监督NMT(SSNMT),它利用隐藏在非并行数据中的(近)并行实例比UNMT更有效,尚未被探索用于风格转换。在本文中,我们提出了一种新的自监督风格转移(3ST)模型,该模型使用UNMT方法增强SSNMT,以识别和有效利用非并行社交媒体帖子中的监督信号。我们比较3ST与国家的最先进的(SOTA)风格的传输模型在民间改写,正式和极性的任务。我们表明,3ST能够最好地平衡三个主要目标(流畅性,内容保存,属性传输准确性),在自动和人工评估的测试任务中,其平均性能优于SOTA模型。
2022-05-18 cs.CL
Toward a full-scale neural machine translation in production: the Booking.com use case
虽然神经机器翻译(NMT)的研究已经取得了一些显着的进展,但还没有太多的报告,它的发展和评估在实践中。本文试图填补这一空白,提出我们的一些研究结果,从建立一个内部旅游领域的NMT系统在一个大规模的电子商务环境。我们涵盖的三个主要主题是优化和训练(包括不同的优化策略和语料库大小),处理真实世界的内容和评估结果。
2017-09-25 cs.CL
Neural and Statistical Methods for Leveraging Meta-information in Machine Translation
eBay Inc.(eBay公司);RWTH Aachen University(亚琛工业大学)
在本文中,我们讨论了不同的方法,使用Meta信息和丰富的上下文,可能伴随着源语言输入,以提高机器翻译质量。我们专注于输入文本的类别信息作为Meta信息,但所提出的方法可以扩展到所有的文本和非文本的Meta信息,可能是可用的输入文本或自动预测使用的文本内容。这项工作的主要新颖之处是使用最先进的神经网络方法来解决这个问题的统计机器翻译(SMT)的框架内。我们观察到,在某些文本类别中,BLEU评分的翻译质量提高高达3%。
2017-08-10 cs.CL
Machine Translation of Restaurant Reviews: New Corpus for Domain Adaptation and Robustness
Naver Labs Europe(Naver欧洲实验室)
我们分享了Foursquare餐厅评论的法语-英语平行语料库(https://europe.naverlabs.com/research/natural-language-processing/machine-translation-of-restaurant-reviews),并定义了一个新的任务,以鼓励对神经机器翻译鲁棒性和领域自适应的研究,在现实世界中,更好的MT将非常有益。我们讨论了这样的用户生成的内容的挑战,并训练良好的基线模型,建立在最新的技术MT的鲁棒性。我们还进行了广泛的评估(自动和人工),显示了对现有在线系统的显着改进。最后,我们提出了基于情感分析或领域特定的多义词的翻译准确性的特定任务的度量。
2019-10-31 cs.CL
Semantic Web for Machine Translation: Challenges and Directions
University of Paderborn(帕德博恩大学)
最近已经开发了大量的机器翻译方法来促进跨语言的内容的流畅迁移。然而,文献表明,许多障碍仍然必须处理,以实现更好的自动翻译。这些障碍之一是词汇和句法歧义。解决这个问题的一个有希望的方法是使用语义Web技术。这篇文章是我们对机器翻译方法的系统综述的扩展摘要,这些方法依赖于语义网技术来改善文本的翻译。总体而言,我们提出的挑战和机遇,在使用语义Web技术的机器翻译。此外,我们的研究表明,虽然语义Web技术可以提高各种问题的机器翻译输出的质量,两者的结合仍处于起步阶段。
2019-07-23 cs.CL
Isochrony-Aware Neural Machine Translation for Automatic Dubbing
Amazon(亚马逊)
我们介绍了任务的等时意识的机器翻译,其目的是在生成翻译适合配音。配音需要将源语言的内容以及语音停顿结构转换为目标语言,以实现视听连贯。实际上,这意味着正确地将停顿从源投影到目标,并确保目标语音段具有与对应的源语音段大致相同的持续时间。在这项工作中,我们提出了隐式和显式建模方法,将等时信息集成到神经机器翻译中。英语-德语/法语语言对自动度量的实验表明,最简单的考虑方法效果最好。结果通过翻译和配音视频的人工评估得到证实。
2022-07-08 cs.CL