Simple and Effective Paraphrastic Similarity from Parallel Translations
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);University of California San Diego(加利福尼亚大学圣地亚哥分校)
我们提出了一个模型和方法来学习直接从bitext释义句子嵌入,消除了耗时的中间步骤创建释义语料库。此外,我们表明,由此产生的模型可以应用于跨语言的任务,它都优于更复杂的国家的最先进的基线,是数量级更快。
2019-09-30 cs.CL
Identifying Gender Stereotypes and Biases in Automated Translation from English to Italian using Similarity Networks
Department of Computer Science(计算机科学系);Università degli Studi di Milano(米兰大学);Department of Italian and Supranational Public Law(意大利与超国家公法系)
该跨学科研究聚焦英意自动化翻译的性别偏见问题,通过结合法学与语言学定义、分析性别特定术语的余弦相似度及数值特征评估偏见强度方向,为性别中立翻译算法开发提供了洞见。
2025-02-17 cs.AI cs.CL
Exploring Linguistic Similarity and Zero-Shot Learning for Multilingual Translation of Dravidian Languages
PES University(PES大学)
本文利用音译和语言相似性构建单编码器-解码器模型,在达罗毗荼语系多语言翻译中实现零样本翻译,并在50%语言方向上训练时达到与大规模枢轴模型相差3 BLEU以内的性能。
2023-08-10 cs.CL cs.CV
Detecting and Mitigating Hallucinations in Machine Translation: Model Internal Workings Alone Do Well, Sentence Similarity Even Better
Meta AI
虽然神经机器翻译中的幻觉问题早已被认识到,但到目前为止,其缓解进展甚微。事实上,最近的事实证明,如果没有人为地鼓励模型产生幻觉,以前现有的方法就不够了,甚至标准的序列对数概率也更有信息量。这意味着模型内部的特征可以提供比我们预期的更多的信息,在使用外部模型和度量之前,我们首先需要问:如果我们只使用翻译模型本身,我们能走多远?我们建议使用一种方法来评估源贡献对生成的翻译的百分比。直觉上,幻觉是与源“分离”的翻译,因此它们可以通过低源贡献来识别。该方法将最严重幻觉的检测准确性提高了2倍,并且能够在测试时减轻幻觉,与依赖于外部模型的先前最佳方法相当。接下来,如果我们远离内部模型特征并允许外部工具,我们表明使用跨语言嵌入的句子相似性进一步改善了这些结果。
2022-12-20 cs.CL
Data Augmentation with Unsupervised Machine Translation Improves the Structural Similarity of Cross-lingual Word Embeddings
The University of Tokyo(东京大学)
无监督跨语言词嵌入(CLWE)方法学习线性变换矩阵,该矩阵映射两个用单语语料库单独训练的单语嵌入空间。该方法依赖于两个嵌入空间在结构上相似的假设,这通常不一定成立。在本文中,我们认为,使用一个伪平行语料库生成的无监督机器翻译模型有利于两个嵌入空间的结构相似性,提高质量的CLWEs在无监督映射方法。我们表明,在相同的数据量下,我们的方法优于其他替代方法,并且,通过详细的分析,我们表明,使用来自无监督机器翻译的伪数据的数据增强对于基于映射的CLWE特别有效,因为(1)伪数据使源语料库和目标语料库(部分)并行;(2)伪数据包含关于原始语言的信息,其有助于学习源语言和目标语言之间的类似嵌入空间。
2021-06-03 cs.CL
Is Prosody Lost in Translation? Fine-Grained Cross-Lingual Prosody Similarity Across Languages
Center for Language and Speech Processing (CLSP), Johns Hopkins University(约翰斯·霍普金斯大学语言与语音处理中心)
本研究利用多语言配音数据开展跨语言韵律细粒度分析,发现特定语言间韵律结构存在内在相关性,为表达性语音到语音翻译系统提供了实证指导。
2026-08-31 cs.CL cs.SD eess.AS
Targeted Adversarial Attacks against Neural Machine Translation
EPFL(洛桑联邦理工学院);University of Tehran(德黑兰大学);Armasuisse S+T(瑞士联邦国防采购局科技中心)
神经机器翻译(NMT)系统用于各种应用中。然而,已经表明,它们容易受到输入的非常小的扰动,称为对抗攻击。在本文中,我们提出了一种新的针对NMT模型的定向对抗攻击。特别是,我们的目标是将预定义的目标关键字插入到对抗句子的翻译中,同时保持原始句子与源域中的扰动句子之间的相似性。为此,我们提出了一个优化问题,包括一个对抗损失项和一个相似项。我们在嵌入空间中使用梯度投影来制作一个对抗性句子。实验结果表明,我们的攻击优于Seq2Sick,另一个针对NMT模型的对抗攻击,在成功率和翻译质量下降。我们的攻击成功地将关键字插入到超过75%的句子的翻译中,同时保持与原始句子的相似性。
2023-03-02 cs.CL cs.CR cs.LG
Character-level NMT and language similarity
Charles University(查理大学)
本文研究字符级Transformer神经机器翻译在不同语言相似度与数据规模下的表现,发现相似语言间字符级切分更优,而远距离语言中子词级更佳,并验证通过子词级模型微调可缩小字符级模型的性能差距。
2023-08-08 cs.CL
Learning from Many Voices: Literary MT Using Multi-Reference Human and Synthetic Data
Northeastern University(东北大学);Google DeepMind(谷歌DeepMind)
本文提出基于语义相似度的过滤框架,利用多参考人工与合成数据开展文学机器翻译研究,发现中高语义相似度数据微调效果更优,且人工专家译文的微调效果优于合成数据。
2026-09-17 cs.CL
Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation
Home Lab(家庭实验室)
本文以9种欧盟语言为对象,对比3款本地LLM与专用MT基线,研究提示范围、示例选择对机器翻译的影响,发现专用MT系统仍最优,嵌入检索对强LLM效果较好,语族范围提示对强LLM可行但存在小型模型缺陷。
2026-07-30 cs.CL
POSESTITCH-SLT: Linguistically Inspired Pose-Stitching for End-to-End Sign Language Translation
Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎浦尔学院(IIT坎浦尔))
针对手语翻译数据集稀缺问题,提出受语言学模板启发的预训练方案POSESTITCH-SLT,通过引入模板生成的合成句子对训练简单的Transformer模型,在How2Sign和iSign数据集上显著提升了BLEU-4分数并超越现有方法。
2025-10-31 cs.AI cs.CL cs.CV
Incorporate Semantic Structures into Machine Translation Evaluation via UCCA
Yuanpei College, Peking University(北京大学元培学院);Key Laboratory of Computational Linguistics, School of EECS, Peking University(北京大学电子信息工程学院计算语言学重点实验室)
在神经释义网络和其他文本生成任务中,通常使用一种隐式机制,即在输出序列中保留输入序列中的一些重要单词。同样,在机器翻译中,我们注意到在一个源文本的所有好的翻译中出现了某些词或短语,并且这些词倾向于传达重要的语义信息。因此,本文将句子中具有重要语义意义的词定义为语义核心词。此外,我们提出了一个MT评估方法命名为语义加权句子相似度(SWSS)。它利用UCCA的功能来识别语义核心词,然后计算语义核心词重叠的句子相似度得分。实验结果表明,SWSS可以持续改善流行的机器翻译评价指标,这是基于词汇相似性的性能。
2020-10-22 cs.CL
A Matching Technique in Example-Based Machine Translation
本文研究了基于实例的机器翻译(EBMT)中的一个重要问题,即如何度量句子片段与存储的实例集之间的相似性。提出了一种新的方法,根据表面结构和内容的相似性度量。第二个贡献是使用聚类,使检索的最佳匹配的例子从数据库中更有效。大量的CELEX数据库的测试案例的结果。
1995-08-10 cmp-lg cs.CL
Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity
Johns Hopkins University(约翰斯·霍普金斯大学)
最近的研究表明,多语言神经机器翻译(NMT)模型可以用来判断一个句子对同一语言中另一个句子的释义程度(Thompson and Post,2020);然而,试图使用标准束搜索从这样的模型中生成释义会产生微不足道的副本或近似副本。我们引入了一个简单的释义生成算法,该算法不鼓励在输入中产生n元语法。我们的方法可以从一个单一的多语言NMT模型中生成多种语言的释义。此外,输入和输出之间的词汇多样性的量可以在生成时控制。我们进行了一次人工评估,将我们的方法与在大型英语合成释义数据库ParaBank 2上训练的释义器进行比较(Hu等人,2019 c),并发现我们的方法产生的释义,更好地保留意义,更符合语法,为同一水平的词汇多样性。其他较小的人类评估表明,我们的方法也适用于两种非英语语言。
2020-10-28 cs.CL
Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity
CyberAgent(赛博代理)
针对非英语单语语义文本相似度性能落后的问题,对比跨语言迁移与机器翻译两种数据增强技术,发现二者性能相当,且维基百科领域数据优于NLI领域数据,结合后可提升单语STS性能。
2024-03-08 cs.CL
CharSpan: Utilizing Lexical Similarity to Enable Zero-Shot Machine Translation for Extremely Low-resource Languages
IIT Hyderabad(印度理工学院海得拉巴分校);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Microsoft(微软公司)
本文提出CharSpan方法,通过字符跨度噪声增强利用高资源语言与极低资源语言的词汇相似性,实现零样本机器翻译,在多个语系上达到最先进性能。
2024-02-04 cs.CL
A Resource-Light Method for Cross-Lingual Semantic Textual Similarity
University of Mannheim(曼海姆大学);Symanto Research;Universitat Politècnica de València(瓦伦西亚理工大学)
识别跨语言语义相似的句子或段落对于许多任务都是有益的,从跨语言信息检索和剽窃检测到机器翻译。然而,最近提出的用于预测短文本的跨语言语义相似性的方法利用工具和资源(例如,机器翻译系统、句法分析器或命名实体识别),这些对于许多语言(或语言对)来说是不存在的。相比之下,我们提出了一个无监督的和一个非常资源轻的方法来测量不同语言的文本之间的语义相似性。为了在双语(或多语言)空间中操作,我们投影连续的词向量(即,词嵌入)经由线性翻译模型从一种语言到另一种语言的向量空间。然后,我们根据双语嵌入空间中的向量的相似性对齐单词,并研究利用双语嵌入和单词对齐的语义相似性的不同无监督措施。只需要一个有限大小的一组语言之间的单词翻译对,所提出的方法是适用于几乎任何一对语言,其中存在一个足够大的语料库,需要学习单语词嵌入。在三个不同的数据集上测量语义文本相似性的实验结果表明,我们简单的资源轻方法达到了接近监督和资源密集型方法的性能,在不同的语言对中显示出稳定性。此外,我们评估所提出的方法上的两个外在的任务,即从可比语料库和跨语言剽窃检测平行句子的提取,并表明它产生的性能相媲美的复杂的资源密集型国家的最先进的模型为各自的任务。
2018-01-19 cs.CL
Improving Polish to English Neural Machine Translation with Transfer Learning: Effects of Data Volume and Language Similarity
Prefectural University of Kumamoto(熊本県立大学);Kitami Institute of Technology(北见工业大学)
本文针对波兰语—英语翻译,用 OPUS-100 微调 mBART,系统比较迁移源语言、数据量及 zero/few-shot 设置,证明亲属语言与更多数据结合效果最佳。
2023-06-01 cs.CL
Contrastive Token Learning with Similarity Decay for Repetition Suppression in Machine Translation
Alibaba Group(阿里巴巴集团);Northwestern Polytechnical University(西北工业大学);Zhejiang Gongshang University(浙江工商大学)
本文提出CTSD算法,通过信息熵分析重复成因,利用注意力权重与token距离动态抑制重复,并在自建电商标题数据集及阿里巴巴国际站八个站点全量上线中验证了其优于现有方法的翻译精确度、泛化性和商业转化效果。
2024-09-30 cs.AI cs.CL
PESTS: Persian_English Cross Lingual Corpus for Semantic Textual Similarity
Iran University of Science and Technology(伊朗科技大学)
本文首次构建波斯语-英语语义文本相似度语料库 PESTS(含5375个句子对),并微调多种 transformer 模型,使 XLM ROBERTa 的 Pearson 相关系数从 85.87% 提升至 95.62%。
2024-09-05 cs.AI cs.CL
ODE Transformer: An Ordinary Differential Equation-Inspired Model for Neural Machine Translation
Northeastern University(东北大学);NiuTrans Research(小牛翻译研究院)
已经发现,残差网络是常微分方程(ODE)的解的欧拉离散化。在本文中,我们探讨了Transformer和常微分方程数值方法之间更深层次的关系。我们表明,在Transformer层的残留块可以被描述为一个高阶的解决方案常微分方程。这导致我们设计一个新的架构(称之为ODE Transformer)类似的龙格库塔方法,在常微分方程的动机。作为对Transformer的自然扩展,ODE Transformer具有易于实现和参数高效的特点.我们在三个WMT任务上的实验证明了该模型的通用性,以及在几个强基线上的性能大幅提高。在WMT'14 En-De和En-Fr测试数据上,其BLEU得分分别为30.76和44.11。这为WMT'14 En-Fr任务设定了一个新的最先进水平。
2021-04-06 cs.CL
Context-Dependent Translation Selection Using Convolutional Neural Network
Huawei Technologies Noah’s Ark Lab(华为技术诺亚方舟实验室);Harbin Institute of Technology, Shenzhen Graduate School(哈尔滨工业大学深圳研究生院)
提出了一种新的统计机器翻译译文选择方法,利用卷积神经网络对两种语言中的短语对进行相似性判断。专门设计的卷积架构不仅对翻译对的语义相似性进行编码,还对包含源语言中的短语的上下文进行编码。因此,我们的方法是能够捕捉上下文相关的翻译对的语义相似性。采用课程学习策略对模型进行训练:将训练样本分为易、中、难三类,由易到难逐步建立使用训练样本表示短语和句子层次上下文的能力。实验结果表明,我们的方法显着优于基线系统高达1.4 BLEU点。
2015-06-24 cs.CL cs.LG cs.NE
TransFool: An Adversarial Attack against Neural Machine Translation Models
EPFL(洛桑联邦理工学院);Armasuisse S+T(瑞士军备局科学与技术部)
该研究提出针对神经机器翻译模型的对抗攻击算法TransFool,通过多目标优化与梯度投影生成流畅高相似的对抗样本,在白盒黑盒场景下均优于现有攻击,可用于刻画NMT模型脆弱性并推动鲁棒系统研发。
2023-06-16 cs.CL
Multilingual Coreference Resolution via Cycle-Consistent Machine Translation
Department of Computer Science, University of Bucharest(布加勒斯特大学计算机科学系)
提出一种利用循环一致性机器翻译生成或扩展训练数据的管道,通过BERT潜在空间余弦相似度评估翻译质量并加权损失函数,显著提升低资源语言的共指消解性能。
2026-06-03 cs.AI cs.CL cs.LG
On Neurons Invariant to Sentence Structural Changes in Neural Machine Translation
The Hebrew University of Jerusalem(希伯来大学)
我们提出了一种方法,探讨句子结构是如何反映在神经表征的机器翻译系统。我们展示了我们的模型不可知的方法与Transformer英-德翻译模型。我们分析了神经元水平的相关性之间的激活释义,同时讨论了方法的挑战和需要混淆分析,以隔离浅线索的影响。我们发现,激活模式之间的相似性,主要可以占相似的词的选择和句子长度。接下来,我们操纵神经元激活来控制输出的句法形式。我们证明这种干预是成功的,表明深层模型捕捉到了神经元结构的差异,尽管在神经元水平上没有发现这种迹象。为了进行我们的实验,我们开发了一种半自动的方法来生成保持意义的最小对释义(主动-被动语态和状语从句-名词短语),并编译这样的对语料库。
2022-11-02 cs.CL
Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation
Institute of Science Tokyo(东京科学研究所);National Institute of Information and Communications Technology(信息与通信技术国家研究所);Nara Institute of Science and Technology(奈良科学技術研究所)
本文提出使用最小贝叶斯风险解码改进无参考自动机器翻译评估中的错误跨度检测,通过减少计算成本并提升性能。
2026-07-24 cs.AI cs.CL cs.LG
A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards
Carnegie Mellon University(卡内基梅隆大学)
跨语言文本摘要的目的是在一种语言输入的情况下生成另一种语言的文档摘要。这是一项具有实际意义的重要任务,但尚未得到充分探讨,主要原因是缺乏可用数据。现有的方法求助于机器翻译来合成训练数据,但是这样的流水线方法遭受错误传播。在这项工作中,我们提出了一个端到端的跨语言文本摘要模型。该模型使用强化学习来直接优化以目标语言生成的摘要与以源语言生成的黄金摘要之间的双语语义相似性度量。我们还介绍了利用单语摘要和机器翻译目标对模型进行预训练的技术。在英汉和英德两种跨语言摘要环境下的实验结果证明了本文方法的有效性。此外,我们发现,以双语语义相似度作为奖励的强化学习模型比强基线生成更流畅的句子。
2020-06-27 cs.CL
A Relaxed Optimization Approach for Adversarial Attacks against Neural Machine Translation Models
EPFL(洛桑联邦理工学院);Armasuisse S+T(瑞士军备局科学与技术部)
本研究针对神经机器翻译模型,提出基于连续松弛的离散优化对抗攻击方法,可生成语义相似的对抗样本,在多项指标上优于基线,还实现了黑盒攻击扩展。
2023-06-14 cs.CL
Discourse Structure in Machine Translation Evaluation
Arabic Language Technologies (ALT), Qatar Computing Research Institute (QCRI), Hamad bin Khalifa University (HBKU), Qatar Foundation(阿拉伯语言技术组,卡塔尔计算研究所,哈马德·本·哈利法大学,卡塔尔基金会)
在这篇文章中,我们探讨了潜在的使用水平的话语结构的机器翻译评估。我们首先设计了话语感知的相似性度量,它使用所有子树内核来比较话语解析树,根据修辞结构理论(Rectorical Structure Theory,简称Rectorical Theory)。然后,我们表明,这些措施的一个简单的线性组合,可以帮助改善各种现有的机器翻译评估指标与人类的判断在段和系统级的相关性。这表明,话语信息是互补的信息使用的许多现有的评估指标,因此,它可以考虑在开发更丰富的评估指标,如WMT-14获奖的组合指标DiscoTKparty。我们还提供了一个详细的相关性分析的各种话语元素和关系的语义分析树的机器翻译评估。特别是,我们表明:(i)翻译树的所有方面都是相关的,(ii)核性比关系类型更有用,以及(iii)翻译翻译树与参考树的相似性与翻译质量正相关。
2017-10-04 cs.CL
Selecting Parallel In-domain Sentences for Neural Machine Translation Using Monolingual Texts
Tilburg University(蒂尔堡大学)
不断增长的数据量导致更大的通用模型。特定的用例通常被忽略,因为通用模型在特定领域的情况下往往表现不佳。我们的工作解决了这一差距,从通用域(平行文本)语料库中选择域数据的方法,机器翻译的任务。该方法根据句子与单语领域数据集的余弦相似度,对并行通用领域数据中的句子进行排序。然后,我们选择具有最高相似度分数的前K个句子来训练一个新的机器翻译系统,该系统针对特定的域内数据进行调整。我们的实验结果表明,在该域内数据上训练的模型优于在通用数据或通用数据和域数据的混合数据上训练的模型。也就是说,我们的方法以较低的计算成本和数据大小选择高质量的特定于领域的训练实例。
2022-02-06 cs.AI cs.CL cs.LG
Automatic Identification of Document Translations in Large Multilingual Document Collections
文本及其翻译是一种丰富的语言资源,可用于训练和测试基于语法的机器翻译系统和许多其他应用。在本文中,我们提出了一个工作系统,可以识别翻译和其他非常相似的文件之间的大量的候选人,通过表示文档内容与一个向量的词库术语从多语言词库,然后测量向量之间的语义相似性。对不同文本类型的测试表明,该系统可以在820个或更多文档的大搜索空间中以超过96%的精度检测翻译。该系统被调整为忽略特定语言的相似性,并给予第二语言的类似文档与相同语言的等效文档相同的相似性得分。该应用程序还可用于检测跨语言文档剽窃。
2006-09-12 cs.CL cs.IR
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示,发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征,并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
RMBR: A Regularized Minimum Bayes Risk Reranking Framework for Machine Translation
Sichuan University(四川大学);University of Macau(澳门大学)
束搜索是神经机器翻译(NMT)中使用最广泛的解码方法。在实践中,在n个候选中具有最高对数概率的前1个候选被选择为优选的一个。然而,该前1候选可能不是n最佳列表中的最佳整体翻译。最近,有人提出了最小贝叶斯风险(MBR)解码来提高NMT的质量,NMT寻求平均最接近n最佳列表中其他候选的共识翻译。我们认为MBR仍然存在以下问题:效用函数只考虑候选者之间的词汇级相似性;期望效用考虑整个n-最佳列表,这是耗时的,尾列表中的候选者不足可能会损害性能;只考虑候选者之间的关系。为了解决这些问题,我们设计了一个正则化的MBR重排序框架(RMBR),它考虑基于语义的相似性,并通过截断列表来计算每个候选人的预期效用。我们期望所提出的框架进一步考虑每个候选者的翻译质量和模型不确定性。因此,建议的质量正则化和不确定性正则化纳入框架。在多个翻译任务上的大量实验证明了该方法的有效性。
2022-03-01 cs.CL
On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation
EPFL(洛桑联邦理工学院);Royal Holloway University of London(伦敦大学皇家霍洛威学院);Technische Universität Darmstadt(达姆施塔特工业大学);University of Mannheim(曼海姆大学)
跨语言编码器的评估通常通过在有监督的下游任务中的zero-shot跨语言迁移或通过无监督的跨语言文本相似性来执行。在本文中,我们关注的是无参考机器翻译(MT)评估,我们直接将源文本与(有时是低质量的)系统翻译进行比较,这代表了多语言编码器的自然对抗设置。无参考评估有望对机器翻译系统进行网络规模的比较。我们系统地研究了一系列基于最先进的跨语言语义表示的指标,这些语义表示是通过预训练的M-BERT和LASER获得的。我们发现,它们作为无参考机器翻译评估的语义编码器表现不佳,并确定了它们的两个关键限制,即,(a)相互翻译表示之间的语义不匹配,更突出的是,(b)无法惩罚“翻译”,即,低质量的直译。我们提出了两个部分补救措施:(1)事后重新对齐的向量空间和(2)耦合的语义相似性为基础的指标与目标端语言建模。在段级MT评估中,我们的最佳度量超过基于参考的BLEU 5.7个相关点。
2020-06-08 cs.CL
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology(奈良先端科学技术大学);Tokyo Metropolitan University(东京都立大学)
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性,特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验,使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明,我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Contextual effects of sentiment deployment in human and machine translation
University of California, Los Angeles(加州大学洛杉矶分校)
本文揭示翻译中整体情感偏移对自动化情感分析的影响,指出机器翻译会缩小文本语义场,尤其影响认知性词汇,而人工翻译则不会。研究通过对比两种翻译方式,为情感分析应用提供重要警示。
2025-02-25 cs.CL
Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊公司)
针对现有检索增强机器翻译策略统一化的问题,提出智能体强化学习框架SRAT,通过优化翻译质量学习检索决策,实验显示其在多类翻译任务上优于基线,将检索视为可学习动作更具优势。
2026-10-15 cs.AI cs.CL cs.IR
Using natural language prompts for machine translation
Google(谷歌)
我们探索使用自然语言提示来控制由机器翻译模型生成的输出的各个方面。我们证明,自然语言提示允许我们影响的输出像正式或特定方言的属性。我们表明,使用语言名称来控制多语言翻译模型的输出语言,可以为看不见的语言对实现正迁移。这解锁了通过使用他们的英文名字翻译成微调期间看不到的语言的能力。我们研究了规模,预训练步骤的数量,微调中的语言数量以及语言相似性如何影响这种现象。
2022-02-23 cs.CL
Training Neural Machine Translation using Word Embedding-based Loss
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
在神经机器翻译(NMT)中,输出层的计算成本随着目标端词汇的大小而增加。使用有限的词汇量可能会导致翻译质量的显著下降。这种折衷是从基于softmax的损失函数导出的,该函数独立地处理字典中的单词,其中不考虑单词相似性。在本文中,我们提出了一种新的NMT损失函数,包括在词嵌入空间中的距离形式的词相似性。所提出的损失函数鼓励NMT解码器生成接近其在嵌入空间中的参考的词;这有助于解码器在实际最佳候选者由于其大小限制而不包括在词汇表中时选择类似的可接受的词。在使用ASPEC日语到英语和IWSLT 17英语到法语数据集的实验中,所提出的方法在两个数据集中都显示出对标准NMT基线的改进;特别是使用IWSLT 17 En-Fr,它在BLEU中达到了+1.72,在METEOR中达到了+1.99。当目标端词汇量非常有限,只有1,000个单词时,所提出的方法在METEOR中表现出了显著的增益,+1.72。
2018-07-30 cs.CL
Knowledge-Prompted Estimator: A Novel Approach to Explainable Machine Translation Assessment
Huawei Technologies CO., LTD(华为技术有限公司)
针对现有大语言模型机器翻译质量评估指标缺乏句子级分析的问题,提出融合三种单步提示技术的知识提示估计器(KPE),提升了句子级评估性能与可解释性。
2023-06-13 cs.CL
Data Augmentation for Low-Resource Neural Machine Translation
University of Amsterdam(阿姆斯特丹大学)
神经机器翻译系统的质量在很大程度上取决于大量并行语料库的可用性。对于低资源语言对,情况并非如此,导致翻译质量差。受计算机视觉工作的启发,我们提出了一种新的数据增强方法,该方法通过在新的合成创建的上下文中生成包含罕见单词的新句子对来针对低频单词。在模拟低资源设置上的实验结果表明,我们的方法比基线提高了2.9个BLEU点,比反向翻译提高了3.2个BLEU点。
2017-05-01 cs.CL
Moral Semantics Survive Machine Translation: Cross-Lingual Evidence from Moral Foundations Corpora
University of Luxembourg(卢森堡大学)
本研究探讨了基于LLM的翻译是否能弥合道德价值观分类中语言特定标注语料库的差距,通过波兰语案例展示直接翻译能有效保留微妙的道德线索,为资源匮乏语言的道德研究提供了可行路径。
2026-09-14 cs.AI cs.CL
Doubly-Trained Adversarial Data Augmentation for Neural Machine Translation
Center for Language and Speech Processing, Johns Hopkins University(约翰斯·霍普金斯大学语言与语音处理中心)
神经机器翻译(NMT)模型受到噪声输入的影响。为了使模型鲁棒,我们生成对抗性增强样本,攻击模型,同时保留源端语义。为了生成这样的样本,我们提出了一种双重训练的架构,该架构将两个具有相反翻译方向的NMT模型与联合损失函数配对,该联合损失函数结合了目标端攻击和源端语义相似性约束。我们在三种不同语言对和两种评估指标上的实验结果表明,这些对抗性样本提高了模型的鲁棒性。
2021-10-12 cs.CL
Neural Machine Translation with Monolingual Translation Memory
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
先前的工作已经证明,翻译记忆(TM)可以提高神经机器翻译(NMT)的性能。在现有的工作,使用双语语料库TM和采用源端相似性搜索的记忆检索相比,我们提出了一个新的框架,使用单语记忆,并进行可学习的记忆检索在跨语言的方式。我们的框架具有独特的优势。首先,跨语言记忆检索器允许大量的单语数据被TM。第二,记忆检索器和NMT模型可以联合优化最终的翻译目标。实验结果表明,该方法具有明显的改进效果.值得注意的是,它甚至优于使用双语TM的强大TM增强NMT基线。由于能够利用单语数据,我们的模型还在低资源和领域自适应场景中表现出有效性。
2021-06-02 cs.AI cs.CL
Principled Paraphrase Generation with Parallel Corpora
HiTZ Center, University of the Basque Country (UPV/EHU)(巴斯克大学HiTZ中心);Meta AI
本文针对往返机器翻译复述生成易受歧义翻译影响的问题,提出基于信息瓶颈的对抗方法,通过匹配翻译分布学习表示,无需枢轴翻译即可生成复述,实现可控的保真度-多样性权衡且效果更优。
2023-05-23 cs.CL
One Sentence One Model for Neural Machine Translation
神经机器翻译(NMT)是一种新的机器翻译技术,它使用一个简单的编码器-解码器神经网络,取得了很好的翻译效果。该神经网络在平行语料库上训练一次,固定网络用于翻译所有测试句子。我们认为,一般的固定网络不能最好地适合特定的测试句子。在本文中,我们提出了动态NMT,它像往常一样学习一般网络,然后为每个测试句子微调网络。微调工作是在一小部分双语训练数据上完成的,这些训练数据是根据测试句子通过相似性搜索获得的。大量的实验表明,该方法可以显着提高翻译性能,特别是当高度相似的句子。
2016-09-21 cs.CL
Learning Joint Multilingual Sentence Representations with Neural Machine Translation
Facebook AI Research(Facebook 人工智能研究院)
在本文中,我们使用神经机器翻译的框架来学习六种不同语言的联合句子表示。我们的目标是一个表示,这是独立的语言,很可能会捕捉到潜在的语义。我们定义了一种新的跨语言相似性度量,比较了多达1.4M的句子表示,并研究了接近句子的特征。我们提供的实验证据表明,在嵌入空间接近的句子确实是语义高度相关的,但往往有相当不同的结构和语法。这些关系在比较不同语言的句子时也成立。
2017-08-08 cs.CL
An Automatic Machine Translation Evaluation Metric Based on Dependency Parsing Model
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Dublin City University(都柏林城市大学)
基于句法的度量大多通过比较从假设树和参考树中提取的子结构来获得相似性。这些子结构是由人工定义的,由于子结构的长度有限,不能表达树中的所有信息。此外,这些子结构之间的重叠部分被重复计算。为了避免这些问题,我们提出了一种新的自动评价指标的基础上依存句法分析模型,无需定义子结构的人。首先,我们用参考依存树训练一个依存句法分析模型。然后利用依存句法分析模型生成假设依存树和对应的概率。假设的质量可以通过这个概率来判断。为了获得词汇相似度,我们还引入了一元F-分数的新的度量。实验结果表明,新的度量方法在系统级上取得了最佳的性能,在句子级上与METEOR相当。
2016-11-04 cs.CL
BabelEnconding at SemEval-2020 Task 3: Contextual Similarity as a Combination of Multilingualism and Language Models
Amazonas State Univ.(亚马孙州立大学);Federal Univ. of Amazonas(亚马孙联邦大学)
本文描述了我们的团队(BabelEnconding)提交给SemEval-2020任务3的系统:预测上下文在单词相似度中的分级效应。我们提出了一种方法,依赖于翻译和多语言语言模型,以计算词对之间的上下文相似度。我们的假设是,来自其他语言的证据可以利用与人类生成的分数的相关性。BabelEnconding应用于两个子任务,并在八个任务/语言组合中的六个中排名前三,并且三次成为最高评分系统。
2020-08-19 cs.CL
Feature-based Decipherment for Large Vocabulary Machine Translation
University of Rochester(罗切斯特大学)
跨语言的正字法相似性为概率破译提供了强有力的信号,特别是对于密切相关的语言对。现有的解码模型,但是,不太适合利用这些正字法的相似性。我们提出了一个对数线性模型的潜变量,采用正交相似性功能。对于所提出的对数线性模型,最大似然训练在计算上昂贵。为了解决这一挑战,我们通过MCMC采样和对比发散进行近似推理。我们的研究结果表明,提出的对数线性模型与对比发散规模大的词汇,并通过利用正字法功能优于现有的生成式解密模型。
2015-08-10 cs.CL
Neural Machine Translation for Malayalam Paraphrase Generation
Institute of Linguistics, RAS(俄罗斯科学院语言学研究所)
本研究借助英语释义资源与预训练NMT模型探索四种马拉雅拉姆语释义生成方法,经自动指标与人工标注评估发现自动指标与人工判断存在偏差,凸显黏着语言需更精细的释义评估方案。
2024-01-31 cs.AI cs.CL
Echo State Neural Machine Translation
Google Research(谷歌研究(Google Research))
我们提出了受回声状态网络(ESN)启发的神经机器翻译(NMT)模型,称为回声状态NMT(ESNMT),其中编码器和解码器层权重随机生成,然后在整个训练过程中固定。我们表明,即使使用这种非常简单的模型构建和训练过程,ESNMT也可以达到70-80%的完全可训练基线质量。我们研究如何光谱半径的水库,一个关键的数量,表征模型,确定模型的行为。我们的研究结果表明,随机网络甚至可以很好地用于复杂的序列到序列预测NLP任务。
2020-02-27 cs.CL cs.LG cs.NE
Quality Estimation Using Round-trip Translation with Sentence Embeddings
Dublin City University(都柏林城市大学)
评估机器翻译系统的质量一直是该领域研究人员面临的挑战。许多以前尝试使用往返翻译作为衡量质量的标准都失败了,对于它是否可以作为一种可行的质量评估方法存在很大分歧。在本文中,我们重新审视往返翻译,提出了一个系统,旨在解决以前的陷阱发现的方法。我们的方法利用语言表示学习的最新进展,更准确地衡量原始和往返翻译句子之间的相似性。实验表明,虽然我们的方法没有达到目前最先进的方法的性能,它可能仍然是一个有效的方法,一些语言对。
2021-10-31 cs.CL cs.LG
A Multifaceted Evaluation of Neural versus Phrase-Based Machine Translation for 9 Language Directions
Dublin City University(都柏林城市大学);University of Groningen(格罗宁根大学);Prompsit Language Engineering(Prompsit语言工程公司)
我们的目标是阐明新引入的神经机器翻译范式的优点和缺点。为此,我们进行了多方面的评估,其中我们比较了最先进的神经机器翻译和基于短语的机器翻译系统在多个维度上为9个语言方向产生的输出。具体来说,我们测量输出的相似性,它们的流畅性和重新排序的数量,句子长度的影响和不同错误类别的表现。我们发现,与基于短语的系统相比,神经机器翻译系统产生的翻译在词序方面有很大的不同,更流畅,更准确。神经机器翻译系统在产生屈折形式方面也更准确,但在翻译非常长的句子时表现不佳。
2017-01-11 cs.CL