Analyzing Context Contributions in LLM-based Machine Translation
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院);Unbabel(Unbabel公司);MICS
本文系统分析大语言模型在机器翻译中如何利用少样本示例和源文本等上下文,发现源语言部分贡献更大、微调会改变贡献模式、存在位置偏差,并证明异常贡献可用于检测幻觉等病态翻译。
2024-10-21 cs.CL
Steering Large Language Models for Machine Translation with Finetuning and In-Context Learning
针对大语言模型机器翻译中少样本提示脆弱及传统微调成本高且削弱上下文学习能力的问题,提出在LoRA微调中结合少样本示例的方法,在10个语言对上既恢复了少样本适应能力又保留了微调优势。
2023-10-20 cs.CL
LLMs Are Zero-Shot Context-Aware Simultaneous Translators
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nara Women’s University(奈良女子大学)
本文证明开源LLMs在零样本同声机器翻译任务中表现媲美最先进基线,注入背景信息可提升技术主题翻译性能,凸显其无需训练即可构建多语言上下文感知系统的潜力。
2024-06-25 cs.CL
Dissecting In-Context Learning of Translations in GPTs
Microsoft Azure AI(微软 Azure AI)
通过扰动高质量示例,发现目标端文本分布是GPT翻译上下文学习的关键信号,据此提出Zero-Shot-Context方法,显著提升GPT-3零样本翻译性能至媲美少样本水平。
2023-10-24 cs.AI cs.CL
TreePrompt: Leveraging Hierarchical Few-Shot Example Selection for Improved English-Persian and English-German Translation
Department of Computer Science(计算机科学系);Institute for Advanced Studies in Basic Sciences(基础科学高级研究所)
针对现有少样本翻译示例选择仅重相似度、忽略示例质量的问题,提出TreePrompt分层示例选择方法,结合LLM偏好与树结构筛选优质相关示例,搭配AFSP等策略在两个翻译数据集上实现性能提升。
2025-10-04 cs.AI cs.CL
When Many-Shot Prompting Fails: An Empirical Study of LLM Code Translation
Yildiz Technical University, Department of Computer Engineering(Yildiz技术大学计算机工程系)
本研究发现代码翻译中少量精心挑选的示例比大量示例更有效,挑战了ICL中'更多更好'的普遍假设。
2025-12-09 cs.AI cs.CL cs.PL
Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
本研究针对预训练语言模型零样本词义消歧效果不佳的问题,提出基于上下文词级翻译的零样本WSD方法,在18种语言上无需微调即超越全监督基线,为利用PLM跨语言知识实现鲁棒零样本推理提供了思路。
2023-04-26 cs.CL
Few-shot learning through contextual data augmentation
Ecole Normale Supérieure(巴黎高等师范学院);Inria(法国国家信息与自动化研究所);University of Edinburgh(爱丁堡大学)
在主题不断变化的行业(如翻译或新闻机构)中使用的机器翻译(MT)模型需要适应新数据,以保持其性能。我们的目标是教一个预先训练好的MT模型准确地翻译以前看不见的单词,基于很少的例子。我们提出了(i)一个实验设置,允许我们模拟出现在人类提交的翻译中的新词汇,以及(ii)相应的评估指标来比较我们的方法。我们扩展了一个数据增强的方法,使用预先训练的语言模型,以创建训练样本与新的单词类似的上下文。我们比较了不同的微调和数据增强的方法,并表明,适应规模的一到五个例子是可能的。将数据增强与随机选择的训练句子相结合,可以获得最高的BLEU分数和准确性提高。令人印象深刻的是,仅使用1到5个示例,我们的模型报告的准确性分数比平均使用313个并行示例训练的参考系统更好。
2021-03-31 cs.CL
Adaptive Few-shot Prompting for Machine Translation with Pre-trained Language Models
Guangdong University of Technology(广东工业大学);The Chinese University of Hong Kong(香港中文大学)
本文提出自适应少样本提示框架AFSP,通过基于LLM嵌入的示例检索和候选重排序提升机器翻译效果,并构建外交中英平行数据集验证其有效性。
2025-01-03 cs.AI cs.CL
Anti-LM Decoding for Zero-shot In-context Machine Translation
Johns Hopkins University(约翰斯·霍普金斯大学)
针对零样本上下文机器翻译中 LLM 校准不足的问题,提出带衰减因子的 Anti-Language Model 对比解码目标,并在多种模型、语言方向和解码方式下取得最高 20 BLEU 的提升。
2024-04-02 cs.AI cs.CL
How Multilingual Are Large Language Models Fine-Tuned for Translation?
University of Maryland(马里兰大学);AMSC
本文评估了TOWER系列语言模型在FLORES-200的132个翻译任务上的表现,发现翻译微调平均能提升零样本语言的翻译质量,但效果因语言对而异,呼吁进一步研究基于LLM的大规模多语言翻译。
2024-05-30 cs.CL cs.LG
Toxicity-Aware Few-Shot Prompting for Low-Resource Singlish Translation
Singapore University of Technology and Design(新加坡科技设计大学);GovTech, Singapore(新加坡政府科技局)
针对低资源语言对中有毒内容翻译的挑战,本文提出可复现的两阶段毒性保留翻译框架,通过人工验证的少样本提示工程和模型-提示对优化,在新加坡英语语料库上提升了翻译质量并支持文化敏感审核。
2025-07-16 cs.AI cs.CL cs.CY
Investigating Zero-Shot Generalizability on Mandarin-English Code-Switched ASR and Speech-to-text Translation of Recent Foundation Models with Self-Supervision and Weak Supervision
National Taiwan University(国立台湾大学);ASUS Intelligent Cloud Services(华硕智能云服务)
本研究在三个语码转换语料库上评估了SeamlessM4T和Whisper等前沿基础模型,发现自监督模型接近监督模型性能,但句内语码转换表现仍有待提升,且Whisper变体在语码转换场景中保持有效。
2023-12-30 cs.CL eess.AS
SCALE: Synergized Collaboration of Asymmetric Language Translation Engines
Peking University(北京大学);Microsoft(微软);Renmin University of China(中国人民大学)
提出SCALE框架,通过三元组上下文示例协同专用翻译模型与LLM,在低资源翻译中显著优于GPT-4和NLLB。
2023-09-29 cs.AI cs.CL
DePlot: One-shot visual language reasoning by plot-to-table translation
Google DeepMind(谷歌DeepMind);University of Cambridge(剑桥大学)
本文提出首个视觉语言推理一次性解决方案DePlot,通过将图表图像转换为线性化表格并利用LLM推理,在仅使用一次性提示的情况下,比微调SOTA模型提升了24.0%。
2023-05-23 cs.AI cs.CL cs.CV
Bidirectional Language Models Are Also Few-shot Learners
University of Pennsylvania(宾夕法尼亚大学);Microsoft(微软);Google Research(谷歌研究院);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
大语言模型,例如GPT-3(Brown等人,2020)可以执行任意任务,而无需在仅使用几个标记示例进行提示后进行微调。一个任意的任务可以被重新表述为一个自然语言提示,一个语言模型可以被要求生成完成,间接地执行任务的范式称为基于语义的学习。到目前为止,基于突现的学习能力主要是针对单向语言模型来证明的。然而,在去噪目标上预训练的双向语言模型(例如掩蔽语言建模)为迁移学习产生更强的学习表示。这激发了促进双向模式的可能性,但它们的预培训目标使它们在很大程度上与现有的激励范式不相容。我们提出了SAP(顺序自回归拟合),一种技术,使双向模型的提示。利用机器翻译任务作为案例研究,我们提出了双向mT5模型(Xue et al.,2021)与SAP进行比较,并证明其Few-Shot和zero-shot转换优于单向模型(如GPT-3和XGLM)的Few-Shot转换(Lin et al.,2021),尽管mT5的参数减少了约50%。我们进一步表明SAP在问答和摘要方面是有效的。这是第一次,我们的研究结果表明,基于语义的学习是一个更广泛的一类语言模型,而不仅仅是单向模型的新兴属性。
2023-02-06 cs.CL cs.LG
Self-Augmented In-Context Learning for Unsupervised Word Translation
University of Cambridge(剑桥大学)
针对LLMs在无监督双语词典归纳中表现不佳的问题,提出SAIL方法,通过迭代提取高置信度翻译对进行上下文学习,显著超越零样本提示和基于映射的基线方法。
2024-06-05 cs.AI cs.CL cs.IR
BELT:Bootstrapping Electroencephalography-to-Language Decoding and Zero-Shot Sentiment Classification by Natural Language Supervision
提出 BELT 框架,利用预训练语言模型的自然语言监督与对比学习增强 EEG 表示,在脑到语言翻译和零样本情感分类上取得最优性能。
2023-12-10 cs.AI cs.CL eess.SP
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI;Inria(法国国家信息与自动化研究所)
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后,我们比较了解码这些多模式和多语言固定大小表示的不同方法,从而实现语言和模式之间的零镜头翻译(zero-shot translation)。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示,我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是,我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器,我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Language Tags Matter for Zero-Shot Neural Machine Translation
ByteDance(字节跳动)
多语言神经机器翻译(MNMT)由于其高效性而引起了广泛的关注。MNMT模型的一个令人兴奋的优点是,它们还可以在无监督(zero-shot)语言方向之间进行翻译。在多媒体翻译中,语言标记策略常被用来指示翻译方向。在本文中,我们证明,LT不仅是翻译方向的指标,但也是至关重要的zero-shot翻译质量。不幸的是,以前的工作往往忽略了LT策略的重要性。我们证明了一个合适的LT策略可以提高语义表示的一致性和减轻脱靶问题的zero-shot方向。实验结果表明,在IWSLT17、Europarl和TED演讲翻译任务中,通过忽略源语言标签(NML)并在编码器中添加目标语言标签(TLT),zero-shot翻译策略可以获得比其他LT策略高出+8的BLEU评分。
2021-06-15 cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学)
神经机器翻译(NMT)的大规模多语言模型在理论上很有吸引力,但通常表现不佳的双语模型,并且提供较差的zero-shot翻译。在本文中,我们将探讨如何改善它们。我们认为,多语言NMT需要更强的建模能力,以支持不同类型特征的语言对,并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题(即翻译成错误的目标语言)作为低zero-shot性能的主要来源,并提出随机在线回译,以强制翻译看不见的训练语言对。在OPUS-100(一种包含100种语言的新型多语言数据集)上的实验表明,我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距,并将zero-shot性能提高了约10 BLEU,接近传统的基于XML的方法。
2020-04-24 cs.CL
Effective Strategies in Zero-Shot Neural Machine Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在本文中,我们提出了两个策略,可以应用于多语言神经机器翻译系统,以更好地解决zero-shot的情况下,即使没有任何平行语料库。实验结果表明,该算法在性能和计算资源方面都是有效的,尤其是在零资源条件下对不平衡数据的多语种翻译时,能够有效缓解语言偏见问题。
2017-11-22 cs.CL
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University(马斯特里赫特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文研究零样本多语言神经机器翻译中的性别偏见,发现语言无关表示可减轻男性偏见,且桥接语言性别屈折程度越高,枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL
Evaluating the Supervised and Zero-shot Performance of Multi-lingual Translation Models
Aylien Ltd.(Aylien有限公司)
我们研究了几种方法的全部或部分共享的多语言NMT模型的解码器参数。我们仅使用WMT 2019共享任务并行数据集进行训练,在110个独特的翻译方向上评估完全监督和zero-shot翻译性能。我们使用额外的测试集和重新评估方法最近用于无监督MT,以评估zero-shot翻译性能的语言对没有黄金标准的并行数据。据我们所知,就我们使用的训练数据的总大小而言,这是迄今为止对多语言翻译进行的最大评估,就我们评估的zero-shot翻译对的多样性而言。我们对不同模型的翻译性能进行了深入的评估,突出了共享解码器参数的方法之间的权衡。我们发现,具有特定于任务的解码器参数的模型优于解码器参数在所有任务中完全共享的模型。
2019-06-24 cs.CL
Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables
Rutgers University(罗格斯大学);Alibaba DAMO Academy(阿里巴巴达摩院);University of Science and Technology of China(中国科学技术大学)
Zero-shot翻译,直接在训练中看不到的语言对之间进行翻译,是多语言神经机器翻译(NMT)的一种有前途的能力。然而,由于最大似然训练目标,它通常会捕获输出语言和语言不变语义之间的虚假相关性,从而导致zero-shot翻译的传输性能较差。本文在传统的训练目标中引入了一种基于主元语言的去噪自编码目标,以提高zero-shot方向上的翻译精度。从隐变量的角度进行的理论分析表明,我们的方法实际上隐式地最大化了zero-shot方向的概率分布。在两个基准机器翻译数据集上,我们证明了该方法能够有效地消除虚假相关性,并显著优于最先进的方法,具有显着的性能。我们的代码可在https://github.com/Victorwz/zs-nmt-dae上获得。
2021-09-10 cs.CL
Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
Zero-shot神经机器翻译是一个有吸引力的目标,因为获取数据和为新的翻译方向构建翻译系统的成本很高。然而,以前的论文报道了混合成功的zero-shot翻译。与完全监督的系统相比,很难预测它在哪些设置中有效,以及什么限制了性能。在本文中,我们研究了zero-shot性能的多语种EN $\leftrightarrow$ {FR,CS,DE,FI}系统上训练的WMT数据。我们发现,zero-shot性能是非常不稳定的,可以通过超过6 BLEU的训练运行之间的变化,使其难以可靠地跟踪改进。我们观察到一个偏向复制源在zero-shot翻译,并探讨如何选择子词切分影响这种偏见。我们发现,特定于语言的子词切分的结果在训练时的子词复制较少,并导致更好的zero-shot性能相比,联合训练的分割。多语言模型中的最近趋势是不在所有语言对之间的并行数据上进行训练,而是具有单个桥接语言,例如英语。我们发现,这会对zero-shot翻译产生负面影响,并导致失败模式,即模型忽略语言标签,而是在zero-shot方向上产生英语输出。我们表明,这种偏向英语可以有效地减少,即使是少量的平行数据,在一些非英语对。
2020-11-03 cs.CL
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI;Inria(法国国家信息与自动化研究所)
该研究针对语音到文本翻译任务,提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练,显著提升了零样本跨模态语音翻译效果,在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
Adapting to Non-Centered Languages for Zero-shot Multilingual Translation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
多语言神经机器翻译可以在训练过程中翻译看不见的语言对,即zero-shot翻译。然而,zero-shot翻译总是不稳定的。虽然以前的作品将不稳定性归因于中心语言(例如英语)的统治,但我们用非中心语言的严格依赖性来补充这一观点。在这项工作中,我们提出了一个简单的,轻量级的,但有效的语言特定的建模方法,通过适应非中心的语言,并结合共享信息和语言特定的信息,以抵消不稳定的zero-shot翻译。在IWSLT17、Europarl、TED talks和OPUS-100数据集上使用Transformer进行的实验表明,该方法不仅在中心数据条件下表现得比强基线更好,而且可以很容易地适应非中心数据条件。通过进一步研究层属性,我们表明,我们提出的方法可以解开耦合表示在正确的方向。
2022-09-09 cs.CL
The unreasonable effectiveness of few-shot learning for machine translation
Google Research(谷歌研究院);Google Translate(谷歌翻译)
我们展示了Few-Shot翻译系统的潜力,该系统使用未配对的语言数据进行训练,用于高资源和低资源语言对。我们表明,只有5个高质量的翻译数据的例子显示在推理,一个Transformer解码器的模型训练完全与自监督学习,能够匹配专业的监督国家的最先进的模型,以及更一般的商业翻译系统。特别是,在WMT'21英汉新闻翻译任务中,我们仅使用五个英汉平行数据进行推理,就超过了表现最好的系统。此外,我们建立这些模型的方法不需要联合多语言训练或回译,概念上很简单,并显示出扩展到多语言环境的潜力。此外,所得到的模型比最新的语言模型小两个数量级。然后,我们分析了影响Few-Shot翻译系统性能的因素,并强调了Few-Shot演示的质量在很大程度上决定了我们的模型生成的翻译质量。最后,我们表明,Few-Shot范式也提供了一种方法来控制某些属性的翻译-我们表明,我们能够控制区域品种和正式使用只有五个例子在推理,铺平了道路,走向可控的机器翻译系统。
2023-02-02 cs.CL
Zero-shot Speech Translation
Maastricht University(马斯特里赫特大学)
语音翻译是将一种语言的语音翻译成另一种语言的文本。使用自动语音识别(ASR)和机器翻译(MT)系统的用于ST的传统级联方法易于错误传播。端到端方法仅使用一个系统来避免传播错误,但由于数据稀缺而难以使用。我们探索了zero-shot翻译,它可以翻译一对在训练过程中看不到的语言,从而避免使用端到端ST数据。Zero-shot翻译已被证明适用于多语言机器翻译,但尚未针对语音翻译进行研究。我们试图建立zero-shot ST模型,这些模型只在ASR和MT任务上训练,但可以在推理过程中执行ST任务。挑战在于文本和音频的表示方式明显不同,因此模型以不同的方式学习ASR和MT任务,使得执行zero-shot变得不容易。这些模型在执行zero-shot ST时往往会输出错误的语言。我们通过添加额外的训练数据和辅助损失函数来解决这个问题,该函数可以最大限度地减少文本-音频差异。我们的实验结果和分析表明,该方法是有前途的zero-shot ST。此外,我们的方法是特别有用的,在Few-Shot设置,其中ST数据的数量有限,与直接端到端ST模型相比,提高了+11.8 BLEU点和+3.9 BLEU点相比,ST模型从预先训练的ASR模型微调。
2021-07-13 cs.CL
Improving Zero-Shot Translation of Low-Resource Languages
FBK(布鲁诺·凯斯勒基金会)
最近关于多语言神经机器翻译的工作报告了双语模型的竞争性能,甚至在训练时没有观察到的(零拍)翻译方向上也有令人惊讶的良好性能。我们在这里调查一个zero-shot翻译在一个特别低资源的多语言环境。我们提出了一个简单的迭代训练过程,利用直接由系统生成的zero-shot方向的平移的对偶性。然后,系统产生的翻译(次优,因为它们包含来自共享词汇表的混合语言)与原始并行数据一起用于馈送和迭代地重新训练多语言网络。随着时间的推移,这允许系统从自己生成的越来越好的输出中学习。我们的方法被证明是有效的,在改善我们的多语言模型的两个zero-shot方向。特别是,我们观察到在基线多语言模型上获得约9个BLEU点,在使用两个双语模型的旋转机制上获得高达2.08个BLEU点。进一步的分析表明,在非零镜头语言方向上也有轻微的改善。
2018-11-04 cs.CL
Improving Zero-Shot Translation by Disentangling Positional Information
Maastricht University(马斯特里赫特大学);Facebook AI(脸书人工智能研究院)
多语言神经机器翻译已经显示出在训练中看不到的语言对之间直接翻译的能力,即zero-shot翻译。尽管在概念上很有吸引力,但它往往受到低输出质量的影响。推广到新的翻译方向的困难表明,模型表示对于训练中看到的语言对是高度特定的。我们证明了一个主要因素,导致特定语言的表示是位置对应的输入令牌。我们表明,这可以很容易地减轻通过删除编码器层中的残留连接。通过这种修改,我们在zero-shot翻译上获得了高达18.5个BLEU点,同时保持了监督方向的质量。这些改进在相关语言之间尤为突出,我们提出的模型优于基于XML的翻译。此外,我们的方法允许轻松集成新语言,这大大扩展了翻译范围。通过对隐藏层输出的彻底检查,我们表明我们的方法确实导致了更多的语言独立的表示。
2021-06-30 cs.CL
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University(乌普萨拉大学);Dep. of Linguistics and Philology(语言学与文献学系)
我们探讨了多语言神经机器翻译模型的可移植性,看不见的语言时,转移是完全基于跨语言的词嵌入。我们的实验结果表明,翻译知识可以弱迁移到其他语言,可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面,并建议如何减轻限制。
2020-11-03 cs.CL
Improved Zero-shot Neural Machine Translation via Ignoring Spurious Correlations
Facebook AI Research(脸书人工智能研究院);The University of Hong Kong(香港大学);New York University(纽约大学)
在神经机器翻译(NMT)系统从未训练过的语言对之间进行Zero-shot翻译,是在多语言环境中训练系统时出现的一种特性。然而,zero-shot NMT的朴素训练容易失败,并且对超参数设置敏感。性能通常远远落后于更传统的基于XML的方法,该方法使用第三种语言作为枢轴翻译两次。在这项工作中,我们解决退化问题,由于捕获虚假的相关性,通过定量分析源和解码句子的语言ID之间的互信息。受此分析的启发,我们建议使用两种简单但有效的方法:(1)解码器预训练;(2)反向翻译。这些方法在三个具有挑战性的多语言数据集上显示出比vanilla zero-shot翻译显著的改进(4~22个BLEU点),并且实现了与基于BLEU的方法相似或更好的结果。
2019-06-04 cs.CL
Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出将词汇与句法学习解耦、冻结跨语言词嵌入的多语言NMT方法,实现完全未见语言零样本翻译,并在无监督翻译中接近监督性能。
2024-08-05 cs.CL
Machine Translation Models are Zero-Shot Detectors of Translation Direction
Department of Computational Linguistics, University of Zurich(计算语言学系,苏黎世大学)
本研究提出一种基于翻译简化效应的无监督翻译方向检测方法,利用多语言机器翻译模型验证了其在高资源语言对上的有效性,对机器翻译和人工翻译均取得较高准确率。
2025-05-28 cs.CL
Variable-length Neural Interlingua Representations for Zero-shot Neural Machine Translation
Kyoto University(京都大学);NICT(日本信息通信研究机构);NII(日本国立信息学研究所)
针对零样本翻译,提出变长神经中间语言表示方法以克服固定长度表示的灵活性限制,在多个数据集上取得更优结果,并定位了特定源语言翻译效能欠佳的缺陷组件。
2023-05-17 cs.CL
TPDM: Selectively Removing Positional Information for Zero-shot Translation via Token-Level Position Disentangle Module
University of Michigan(密歇根大学);University of Waterloo(滑铁卢大学);BAAI(北京智源人工智能研究院)
本文提出词元级位置解耦模块TPDM,从语言学角度选择性保留有用位置信息,在提升零样本翻译的同时减少有监督方向性能损失。
2023-05-31 cs.CL
Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
多对多多语言神经机器翻译可以在训练期间看不到的语言对之间进行翻译,即,zero-shot翻译改进zero-shot翻译需要模型学习通用表示和交叉映射关系,以将在监督方向上学习的知识转移到zero-shot方向。在这项工作中,我们提出了基于最优理论的状态移动器距离来对编码器输出的表示的差异进行建模。然后,我们通过最小化建议的距离来学习通用表示,从而在令牌级别上弥合不同语言的语义等价表示之间的差距。此外,我们提出了一个基于协议的训练方案,它可以帮助模型做出一致的预测的基础上语义等价的句子学习通用的交叉映射关系的所有翻译方向。在多种多语言数据集上的实验结果表明,与基线系统和其他对比方法相比,该方法可以提高一致性。分析表明,该方法能更好地对齐语义空间,提高预测一致性。
2022-10-28 cs.CL
Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts
ByteDance AI Lab(字节跳动人工智能实验室);Nanjing University(南京大学)
领域自适应是神经机器翻译面临的一个重要挑战。然而,传统的微调解决方案需要多次额外的训练,并产生高成本。在本文中,我们提出了一个非调优的范例,解决领域自适应与基于调优的方法。具体来说,我们构建了一个双语短语级数据库,并从中检索相关对作为输入句子的提示。通过使用检索短语级语料库(RePP),我们有效地提高了翻译质量。实验表明,我们的方法提高了特定领域的机器翻译为6.2 BLEU分数,并提高了11.5%的准确率,而无需额外的训练翻译约束。
2022-09-23 cs.CL
Cross-lingual Pre-training Based Transfer for Zero-shot Neural Machine Translation
Soochow University(苏州大学);Alibaba DAMO Academy(阿里巴巴达摩院)
不同语言对之间的迁移学习在低资源环境下的神经机器翻译(NMT)中显示出了其有效性。然而,现有的涉及共同目标语言的转换方法在zero-shot翻译的极端场景下远未成功,这是由于源侧的转换者(父模型)和转换者(子模型)之间的语言空间失配问题。为了应对这一挑战,我们提出了一种有效的基于跨语言预训练的迁移学习方法。我们的核心思想是使所有源语言共享相同的特征空间,从而实现zero-shot翻译的平滑过渡。为此,我们引入了一种单语预训练方法和两种双语预训练方法,以获得适用于不同语言的通用编码器。一旦构建了通用编码器,在这种编码器上构建的父模型用大规模注释数据训练,然后直接应用于zero-shot翻译场景。在两个公共数据集上的实验表明,我们的方法显着优于强基于NMT的基线和各种多语言NMT方法。
2019-12-03 cs.CL
Towards one-shot learning for rare-word translation with external experts
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
神经机器翻译(NMT)显著提高了自动翻译模型的质量。当前系统中的主要挑战之一是稀有词的翻译。我们提出了一种通用的方法来解决这个弱点,通过外部模型将训练数据注释为专家,并使用指针网络和强化学习控制模型与专家的交互。我们使用基于短语的模型来模拟专家以补充神经机器翻译模型的实验表明,该模型可以被训练成一致地将注释复制到输出中。我们证明了我们提出的框架在只有词汇资源的域外翻译场景中的好处,在英语到西班牙语和德语到英语的两个翻译方向上提高了1.0 BLEU点以上
2018-09-10 cs.CL
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China(电子科技大学);Microsoft(微软)
最近,通用神经机器翻译(NMT)与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同,联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示,每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点,特别是当共享词汇表和模型参数的大小受到限制时。然而,在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中,我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意,我们探索最大限度地提高表示的普遍性,实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码(DAE)目标,以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明,我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外,我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力,这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
Benchmarking Arabic--Russian Machine Translation: A Comparison of Fine-tuned NMT and Few-shot LLMs under Rich Morphology and Low Lexical Overlap
Kazan Federal University(喀山联邦大学)
本研究针对阿拉伯语-俄语低资源翻译,对比微调NMT与少样本LLM,发现微调NLLB-1.3B以BLEU 16.3领先,显著优于LLM,低词汇重叠为主要挑战。
2026-09-25 cs.CL
Self-Learning for Zero Shot Neural Machine Translation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
神经机器翻译(NMT)方法采用单语数据,在资源丰富的条件下显示出稳定的改进。然而,使用现实世界中资源少的语言进行评价,仍然导致业绩不令人满意。这项工作提出了一种新的zero-shot NMT建模方法,学习没有现在的标准假设的枢轴语言共享并行数据与zero-shot源和目标语言。我们的方法基于三个阶段:从任何预先训练的NMT模型初始化,至少观察目标语言,利用目标单语数据增强源端,以及学习将初始模型优化为zero-shot对,其中后两个构成自学习循环。涉及四个不同的(在语言家庭,脚本和相关性方面)zero-shot对的实证研究结果表明,我们的方法的有效性与高达+5.93 BLEU改善对监督双语基线。与无监督NMT相比,即使在域不匹配的设置中也观察到一致的改进,证明了我们方法的可用性。
2021-03-10 cs.CL
Improving Zero-shot Translation with Language-Independent Constraints
Maastricht University(马斯特里赫特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
训练多语言神经机器翻译(NMT)的一个重要问题是在训练过程中看不到的语言对之间进行翻译,即zero-shot翻译。通过提供一种替代枢轴翻译的方法来提高这种能力,这也使我们能够更好地理解模型如何捕获语言之间的信息,从而实现一石二鸟的效果。在这项工作中,我们进行了调查的多语言NMT模型的这种能力。首先,我们有意创建一个编码器架构,这是独立于源语言。总体而言,此类实验揭示了NMT编码器学习多语言表示的能力。基于这样的概念证明,我们能够将正则化方法设计到标准Transformer模型中,从而使整个架构在zero-shot条件下变得更加健壮。我们研究了这些模型在标准IWIT2017多语言数据集上的行为。与最先进的多语言系统的zero-shot性能相比,我们在12种语言对上实现了平均2.23 BLEU点的改进。此外,我们进行了进一步的实验中,效果得到证实,即使是多个中间枢纽语言对。
2019-06-20 cs.CL
PsFuture: A Pseudo-Future-based Zero-Shot Adaptive Policy for Simultaneous Machine Translation
South China University of Technology(华南理工大学);Shien-Ming Wu School of Intelligent Engineering(史维智能工程学院);Hong Kong Polytechnic University(香港理工大学);Research Centre for Data Science & Artificial Intelligence(数据科学与人工智能研究中心)
该研究提出首个用于同声传译的零样本自适应读/写策略PsFuture,无需额外训练即可让模型自主决策读写动作,还提出适配SiMT的P2F训练策略,在多个基准上实现了翻译质量与延迟的出色权衡。
2024-10-05 cs.CL
FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation
Google Research(谷歌研究院)
本研究提出面向少样本区域感知机器翻译的基准FRMT,含英语转葡语、普通话各地域变体的专业译文,探索验证了自动评估指标与人工评估的相关性,给出基线模型及研究指南,相关资源已公开。
2023-10-03 cs.CL
Languages Transferred Within the Encoder: On Representation Transfer in Zero-Shot Multilingual Translation
Nara Institute of Science and Technology(奈良科学技术研究所);National Institute of Information and Communications Technology(信息通信研究机构)
本文通过恒等对分析多语言神经机器翻译的表示迁移问题,揭示零样本翻译缺陷源于表示与多语言纠缠,并提出低秩语言特定嵌入和语言特定对比学习两种方法,在多个数据集上显著提升零样本翻译性能。
2025-04-08 cs.CL
BM25-Augmented Many-Shot Translation for Low-Resource North-Eastern Indian Languages
University of Florida(佛罗里达大学)
该研究针对WMT26低资源印度东北语言翻译任务,采用BM25检索示例、Gemini 2.5 Flash翻译的无微调方案,通过网格搜索确定最优参数,实现英语与11种印度东北语言的双向翻译。
2026-08-17 cs.CL
Automatic Machine Translation Evaluation in Many Languages via Zero-Shot Paraphrasing
Johns Hopkins University(约翰斯·霍普金斯大学)
我们将机器翻译评估的任务定义为以人类参考为条件,用序列到序列释义器对机器翻译输出进行评分。我们建议将释义器训练为多语言NMT系统,将释义视为zero-shot翻译任务(例如,捷克语(Czech)这导致释义器的输出模式以输入序列的副本为中心,这表示MT系统输出与人类参考匹配的最佳情况。我们的方法简单直观,不需要人为判断来训练。我们的单一模型(用39种语言训练)在所有语言(不包括古吉拉特语,因为该模型没有训练数据)的WMT 2019段级共享指标任务中优于或统计上与所有先前指标保持一致。我们还探索了使用我们的模型进行质量估计任务作为度量标准-以源代码而不是参考为条件-并发现它在每个语言对中的质量估计方面明显优于WMT 2019共享任务的每个提交。
2020-10-27 cs.CL
Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders
TALP Research Center, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学TALP研究中心);Telefónica I+D(西班牙电信研发部)
目前的端到端口语翻译(Spoken Language Translation,缩写为多语)方法依赖于有限的培训资源,尤其是在多语言环境中。另一方面,多语言神经机器翻译(MultiNMT)方法依赖于更高质量和更大规模的数据集。我们所提出的方法扩展了多NMT架构的基础上,特定语言的编码器-解码器的任务,多语种翻译(多语种翻译)。我们的方法完全消除了对MultiNMT数据的依赖性,并且能够在仅对ASR和MultiNMT数据进行训练时进行翻译。我们在四种不同语言上的实验表明,将语音编码器耦合到MultiNMT架构,与双语基线($\pm 0.2$ BLEU)相比,可以产生类似质量的翻译,同时有效地允许zero-shot Multiplexer。此外,我们建议使用适配器模块耦合的语音输入。此适配器模块在建议的架构上产生了+6 BLEU点的一致改进,在端到端基线上产生了+1 BLEU点。
2021-09-15 cs.CL
Zero-Shot Translation Quality Estimation with Explicit Cross-Lingual Patterns
The University of Sydney(悉尼大学);Nagoya University(名古屋大学)
本文介绍了我们提交的WMT 2020句子水平直接评估,质量评估(QE)共享任务。在本研究中,我们经验性地揭示了直接采用BERTScore进行量化评估时的\textit{mismatching issue}。具体而言,在具有标记对相似度的翻译候选句和源句之间存在大量的不匹配错误。针对这一问题,我们提出了明确的跨语言模式,\textit{e.g.}词对齐和生成分数,我们提出的zero-shot模型。实验表明,我们提出的QE模型与明确的跨语言模式可以减轻不匹配的问题,从而提高性能。令人鼓舞的是,我们的zero-shot QE方法可以实现与监督QE方法相当的性能,甚至在6个方向中的2个方向上优于监督QE方法。我们希望我们的工作可以阐明zero-shot QE模型的改进。
2020-10-10 cs.CL
Grammatical Error Correction and Style Transfer via Zero-shot Monolingual Translation
University of Tartu(塔尔图大学);Tilde
语法错误纠正和文本风格迁移都可以被视为单语序列到序列转换任务,但缺乏直接注释的数据,使它们对大多数语言都不可行。我们提出了一种方法,在同一个训练模型中完成这两个任务,并且只使用正则语言并行数据,而不需要纠错或风格适应的文本。我们将我们的模型应用于三种语言,并对这两项任务进行了全面的评估,表明该模型对于一些错误类型和风格转移方面是可靠的。
2019-10-22 cs.CL