Efficient Speech Translation through Model Compression and Knowledge Distillation
ADAPT Centre School of Computer Science and Statistics(ADAPT中心计算机科学与统计学学院)
针对大型音频语言模型计算需求大的问题,本文结合迭代层剪枝、QLoRA和知识蒸馏,在IWSLT 2025模型压缩赛道中使Qwen2-Audio-7B-Instruct的参数与存储减半,且保留97-100%翻译质量。
2025-06-02 cs.CL cs.SD eess.AS
Efficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case Study
本文针对多语言神经机器翻译的高内存消耗问题,提出语料驱动词汇剪枝结合定向微调的框架,在英语-阿拉伯语对实验中实现60%内存节省且性能无损失,优化模型表现优于专用双语基线。
2026-08-05 cs.CL
Speeding Up Neural Machine Translation Decoding by Cube Pruning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Oregon State University(俄勒冈州立大学);Baidu Research(百度研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
虽然神经机器翻译已经取得了令人鼓舞的成果,但它的翻译速度很慢。其直接后果是翻译质量和速度之间的平衡,从而不能充分发挥其性能。我们应用立方体修剪,一种流行的技术,以加快动态规划,到神经机器翻译,以加快翻译。为了构造等价类,类似的目标隐藏状态被组合在一起,从而减少了目标端的RNN扩展操作,并减少了大型目标词汇表上的\$ \mathrm{softmax} \$操作。实验表明,在相同甚至更好的翻译质量下,与朴素束搜索相比,该方法在GPU上的翻译速度可达3.3 \times,在CPU上的翻译速度可达3.5 \times.
2018-09-09 cs.AI cs.CL
Iterative Layer Pruning for Efficient Translation Inference
ADAPT Centre(ADAPT中心);Trinity College Dublin(三一学院);Kreasof AI Research Labs(Kreasof人工智能研究实验室)
本文针对LLM高效部署难题,提出基于层重要性分析的迭代层剪枝方法,在WMT 2025压缩赛道中,用Aya-Expanse-8B模型验证,显著减小模型规模与推理时间且保持翻译质量。
2025-10-26 cs.CL cs.PF
Compression of Neural Machine Translation Models via Pruning
Stanford University(斯坦福大学)
神经机器翻译(NMT)与许多其他深度学习领域一样,通常会受到过度参数化的影响,从而导致存储空间过大。本文研究了三个简单的基于幅度的修剪方案来压缩NMT模型,即类盲,类均匀,类分布,不同的修剪阈值是如何计算的NMT架构中的不同类别的权重。我们证明了一个国家的最先进的NMT系统的压缩技术的权重修剪的功效。我们发现,一个拥有超过2亿个参数的NMT模型可以被修剪40%,而在WMT'14英语-德语翻译任务上测得的性能损失非常小。这揭示了NMT架构中冗余的分布。我们的主要结果是,通过再训练,我们可以恢复甚至超过原始性能,并将模型修剪80%。
2016-06-29 cs.AI cs.CL cs.NE
Pruning Multilingual Large Language Models for Multilingual Inference
Tokyo Metropolitan University(东京都立大学);Tohoku University(东北大学);Hitotsubashi University(一桥大学)
本文提出利用多语言大语言模型的跨语言对齐能力,识别并保留翻译关键大幅度特征对应权重、剪枝其余权重,从而提升其非英语零样本推理性能。
2024-10-02 cs.CL
Memory-efficient NLLB-200: Language-specific Expert Pruning of a Massively Multilingual Machine Translation Model
NAVER LABS Europe(NAVER LABS欧洲);University of Amsterdam(阿姆斯特丹大学)
本文提出一种专家剪枝方法,可在不微调的情况下移除NLLB-200中多达80%的专家,翻译质量损失可忽略,使54.5B参数模型能在单块32GB GPU上推理,并能识别语言特定专家。
2023-07-07 cs.AI cs.CL cs.LG
Extracting Small Translation Specialists from LLMs by Aggressively Pruning Experts
University of California, Los Angeles(加州大学洛杉矶分校)
提出一种从混合专家LLM中激进剪枝与翻译无关的专家,实现大幅压缩MoE块而不显著降低翻译质量的方法。
2026-09-01 cs.AI cs.CL cs.LG
What Knowledge Is Needed? Towards Explainable Memory for kNN-MT Domain Adaptation
Nanjing University(南京大学);Collaborative Innovation Center of Novel Software Technology and Industrialization(软件新技术与产业化协同创新中心)
kNN-MT通过构建外部语义库,将所有目标语言的语义标记保存在并行语料库中,为领域自适应提供了一种新的范例。因此,构造的数据库通常很大,并且可能是冗余的。在本文中,我们调查这种方法的可解释性问题:什么知识的NMT模型需要?我们提出了局部正确性(LAC)的概念作为一个新的角度,它描述了潜在的翻译正确性为一个单一的条目,并为一个给定的邻居。实证研究表明,我们的研究成功地找到了NMT模型容易失败的条件,需要相关的知识。在六个不同的目标领域和两个语言对上的实验表明,根据局部正确性进行剪枝,为kNN-MT领域自适应带来了更轻和更可解释的记忆。
2022-12-20 cs.CL
Machine Translation Testing via Syntactic Tree Pruning
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Manning College of Information & Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院)
本文提出基于语法树剪枝(STP)的蜕变测试方法,通过保留核心语义的剪枝策略生成源句子对,有效发现Google Translate和Bing Microsoft Translator中的大量独特翻译错误,精度和召回率显著优于现有技术。
2024-01-01 cs.CL cs.SE
Critical Learning Periods: Leveraging Early Training Dynamics for Efficient Data Pruning
Cohere For AI Community(Cohere For AI社区);University of Cape Town(开普敦大学);African Institute for Mathematical Sciences(非洲数学科学研究所);South African Astronomical Observatory(南非天文台);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Washington(华盛顿大学);Cohere For AI
针对神经机器翻译高数据算力需求问题,提出利用早期训练动态的CAT数据剪枝技术,在多语言翻译任务中剪枝50%数据仍保持与全量训练相当性能,优于现有基准方法。
2024-06-21 cs.CL
The Low-Resource Double Bind: An Empirical Study of Pruning for Low-Resource Machine Translation
Masakhane NLP(Masakhane自然语言处理);Google Research(谷歌研究院);Google Research, Brain(谷歌研究院大脑团队)
深度神经网络中参数数量的“越大越好”爆炸使得在计算受限的环境中访问最先进的网络变得越来越具有挑战性。压缩技术作为弥合这一差距的一种方式,具有新的重要性。然而,流行的压缩技术所带来的权衡评估一直集中在高资源数据集。在这项工作中,我们反而考虑在数据有限的制度压缩的影响。我们引入术语低资源双重绑定来指代数据限制和计算资源约束的同时出现。这是低资源语言的NLP的常见设置,但对性能的权衡研究很少。我们的工作为机器翻译的任务提供了令人惊讶的见解,在数据有限的制度能力和泛化之间的关系。我们的实验幅度修剪翻译从英语到约鲁巴语,豪萨语,伊博语和德语表明,在低资源制度,稀疏保留频繁的句子的性能,但有不同的影响不频繁的。然而,它提高了对分布偏移的鲁棒性,特别是对于与训练分布非常不同的数据集。我们的研究结果表明,稀疏性可以发挥有益的作用,抑制记忆的低频属性,因此提供了一个有前途的解决方案,低资源的双重束缚。
2021-10-06 cs.AI cs.CL
Expanding FLORES+ Benchmark for more Low-Resource Settings: Portuguese-Emakhuwa Machine Translation Evaluation
Laboratório de Inteligência Artificial e Ciência de Computadores (LIACC / LASI)(人工智能与计算机科学实验室(LIACC / LASI));Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院);Centro de Linguística da Universidade do Porto (CLUP)(波尔图大学语言学中心(CLUP));Faculdade de Engenharia da Universidade Lúrio(卢里奥大学工程学院);Faculdade de Letras da Universidade do Porto(波尔图大学文学院)
本文扩展了 FLORES+ 基准以纳入低资源语言 Emakhuwa,通过葡萄牙语翻译并经质量检查构建了多参考数据集,基线实验表明拼写不一致导致模型表现不佳,强调了进一步研究的必要性。
2024-08-21 cs.CL
Expanding the WMT24++ Benchmark with Rumantsch Grischun, Sursilvan, Sutsilvan, Surmiran, Puter, and Vallader
University of Zurich(苏黎世大学);Lia Rumantscha(里亚罗曼察)
本文为六种罗曼什语变体构建了基于WMT24++的平行基准,评估显示译入德语较好,但译入罗曼什语仍具挑战。
2025-09-24 cs.CL
Sequence-Level Knowledge Distillation
Harvard University(哈佛大学)
神经机器翻译(NMT)提供了一种新的替代翻译公式,可能比统计方法更简单。然而,为了达到有竞争力的性能,NMT模型需要非常大。在本文中,我们考虑应用知识蒸馏方法(Bucila等人,2006; Hinton等人,2015年),已被证明成功地减少了NMT问题在其他领域的神经模型的大小。我们证明了应用于单词级预测的标准知识蒸馏对NMT是有效的,并且还介绍了两种新的序列级版本的知识蒸馏,它们进一步提高了性能,并且有点令人惊讶的是,似乎消除了对束搜索的需要(即使应用于原始教师模型)。我们最好的学生模型运行速度比其最先进的老师快10倍,性能几乎没有损失。它也明显优于在没有知识蒸馏的情况下训练的基线模型:通过具有贪心解码/束搜索的4.2/1.7 BLEU。在知识蒸馏的基础上应用权重修剪,学生模型的参数比原始教师模型少13倍,减少了0.4 BLEU。
2016-09-22 cs.CL cs.LG cs.NE
Dissecting Lottery Ticket Transformers: Structural and Behavioral Study of Sparse Neural Machine Translation
MIT(麻省理工学院)
最近对彩票假说的研究已经为NMT产生了高度稀疏的Transformers,同时保持了BLEU。然而,目前还不清楚这种修剪技术如何影响模型的学习表示。通过探测具有越来越多的低量级权重被修剪掉的Transformers,我们发现复杂的语义信息首先被降级。内部激活的分析表明,高层分歧最修剪的过程中,逐渐变得不那么复杂,比密集的同行。同时,稀疏模型的早期层开始执行更多的编码。随着稀疏度的增加,注意力机制保持显著一致。
2020-10-12 cs.CL cs.LG stat.ML
Understanding and Analyzing Model Robustness and Knowledge-Transfer in Multilingual Neural Machine Translation using TX-Ray
University of Potsdam(波茨坦大学)
本研究探讨极低资源下多语言神经机器翻译的跨语言知识迁移,通过顺序迁移学习提升性能,并利用 TX-Ray 分析剪枝对鲁棒性与泛化的影响。
2024-12-18 cs.AI cs.CL
On The Alignment Problem In Multi-Head Attention-Based Neural Machine Translation
RWTH Aachen University(亚琛工业大学)
本文研究了基于Transformer结构的多头注意力模型中的对齐问题。我们证明,对准提取Transformer模型可以通过增加一个额外的对准头的多头源到目标的注意力组件。这用于计算更清晰的注意力权重。我们描述了如何使用对准头来实现有竞争力的性能。为了研究添加对齐头的效果,我们模拟了一个字典引导的翻译任务,其中用户希望使用预定义的字典条目来指导翻译。使用所提出的方法,我们实现了$3.8$ % BLEU的改善时,使用的字典相比,在基线情况下的$2.4$ % BLEU。我们还提出了对齐修剪,以加快解码基于语义的神经机器翻译(ANMT),这加快了翻译的一个因素的$1.8$没有损失的翻译性能。我们在共享的WMT 2016英语$\to$罗马尼亚语新闻任务和BOLT中文$\to$英语论坛任务上进行实验。
2018-09-11 cs.CL
Domain Specific Sub-network for Multi-Domain Neural Machine Translation
Microsoft Egypt Development Center(微软埃及开发中心)
本文提出了特定域子网(Domain-Specific Sub-Network,DoSS)。它使用通过修剪获得的一组掩码来为每个域定义子网络,并对域数据的子网络参数进行微调。与在每个域上微调整个网络相比,这非常接近并大大减少了参数的数量。此外,提出了一种方法,使每个域的面具唯一的,并大大提高了未见过的域的推广。在我们的德英机器翻译的实验中,所提出的方法比多领域(医疗,技术和宗教)数据的连续训练的强基线高出1.47个BLEU点。此外,继续培训DoSS在新领域(法律)的表现优于多领域(医疗,技术,宗教,法律)基线1.52 BLEU点。
2022-10-18 cs.CL
Open Language Data Initiative: Advancing Low-Resource Machine Translation for Karakalpak
Tahrirchi(塔希尔奇)
该研究面向卡拉卡尔帕克语低资源机器翻译,构建FLORES+评测集与三向各10万句对平行语料,开源微调神经模型并验证其优于基线。
2024-09-06 cs.CL
Machine Translation Model based on Non-parallel Corpus and Semi-supervised Transductive Learning
虽然平行语料库在机器翻译中有着不可替代的作用,但其规模和覆盖面仍超出实际需要。网络上的非平行语料资源在机器翻译和其他自然语言处理任务中具有不可估量的潜在价值。本文提出了一种半监督直推学习方法,用于统计机器翻译系统中训练语料的扩充,即从非平行语料中抽取平行句子。该方法只需要少量的标注语料和大量的未标注语料就可以构造出高性能的分类器,特别是在标注语料不足的情况下。实验结果表明,将非平行语料对齐和半监督直导学习方法相结合,可以更有效地利用各自的优势来提高机器翻译系统的性能。
2014-05-22 cs.CL
Improved English to Russian Translation by Neural Suffix Prediction
Soochow University(苏州大学);Alibaba Group(阿里巴巴集团);Singapore University of Technology and Design(新加坡科技设计大学)
神经机器翻译(NMT)在处理形态丰富的语言时经常发生,当有限的词汇表不能充分覆盖源语言或目标语言时,会出现性能缺陷。为了解决这个问题,以前的工作集中在调整翻译粒度或扩大词汇量。然而,在NMT架构中,形态信息被相对地考虑不足,这可以进一步提高翻译质量。我们提出了一种新的方法,它不仅可以减少数据稀疏性,但通过一个简单而有效的机制,形态模型。通过在解码过程中分别预测词干和后缀,我们的系统实现了高达1.98 BLEU的改进,与以前的工作相比,英语到俄语的翻译。我们的方法是正交的不同NMT架构,并稳定地获得各种领域的改进。
2018-01-11 cs.CL
Efficient Inference For Neural Machine Translation
Johns Hopkins University(约翰斯·霍普金斯大学);Apple Inc.(苹果公司)
大型Transformer模型在神经机器翻译中取得了最先进的成果,并已成为该领域的标准。在这项工作中,我们寻找已知技术的最佳组合,以优化推理速度,而不牺牲翻译质量。我们进行了一项实证研究,将各种方法叠加在一起,并证明了将解码器自注意力替换为简化的递归单元,采用深层编码器和浅层解码器架构以及多头注意力修剪的组合可以在CPU和GPU上分别实现高达109%和84%的加速比,并将参数数量减少25%,同时保持相同的BLEU翻译质量。
2020-10-07 cs.CL cs.LG
Controlling the Output Length of Neural Machine Translation
Amazon(亚马逊)
神经机器翻译(NMT)的最新进展正在迅速扩大机器翻译的应用领域,并重塑目标质量水平。特别是,如果翻译必须符合某种特定的布局,则质量不仅应根据适当性和流畅性来衡量,还应根据长度来衡量。示例性情况是文档文件、字幕和配音脚本的翻译,其中输出长度理想地应该尽可能接近输入文本的长度。本文地址的第一次,尽我们所知,在NMT的输出长度控制的问题。我们研究了两种使用Transformer架构偏置输出长度的方法:i)将输出调节为给定的目标源长度比类,ii)使用长度信息丰富Transformer位置嵌入。我们的实验表明,这两种方法都可以诱导网络生成更短的翻译,并获得可解释的语言技能。
2019-10-25 cs.CL
Mini-GPTs: Efficient Large Language Models through Contextual Pruning
Massachusetts Institute of Technology(麻省理工学院)
本文提出基于上下文剪枝的Mini-GPTs方法,在保留核心功能的同时大幅减小模型规模,并在多个领域数据集上验证了其高效性,为开发资源高效的领域特定LLMs提供了实用方案。
2023-12-20 cs.AI cs.CL
Ensembling Factored Neural Machine Translation Models for Automatic Post-Editing and Quality Estimation
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学)
本文提出了一种基于神经机器翻译(NMT)系统的自动后期编辑(APE)和词级质量估计(QE)的新方法。已被证明对QE有效的词级特征被包括作为输入因素,扩展了原始源和机器翻译假设的表示,其用于生成自动编辑后的假设。我们训练了一套NMT模型,这些模型使用不同的输入表示,但共享相同的输出空间。然后,将这些模型组合在一起,并针对APE和QE任务进行调整。因此,我们试图在一个单一的框架内连接国家的最先进的方法,以APE和QE。我们的模型在这两项任务中都取得了最先进的结果,唯一的区别在于调整步骤,即学习集合中每个组件的权重。
2017-07-15 cs.CL
Efficient Cluster-Based k-Nearest-Neighbor Machine Translation
Tianjin University(天津大学)
最近提出的k近邻机器翻译(kNN-MT)是神经机器翻译(NMT)领域自适应的一种非参数解决方案。它的目的是减轻先进的机器翻译系统在翻译领域外的句子的性能下降,通过协调与一个额外的令牌级的基于特征的检索模块构建从域内数据。以前的研究已经证明,非参数NMT甚至优于对域外数据进行微调的模型。尽管取得了这一成功,但kNN检索是以高延迟为代价的,特别是对于大型数据存储。为了使其实用,在本文中,我们探索了一个更有效的kNN-MT,并提出使用聚类来提高检索效率。具体地说,我们首先提出了一个基于聚类的紧凑网络的对比学习方式的特征约简压缩到90+%的低维向量的上下文特征。然后,我们提出了一个基于集群的修剪解决方案,过滤掉10%-40%的冗余节点在大型数据存储,同时保持翻译质量。我们提出的方法实现了更好的或相当的性能,同时减少了57%的推理延迟对先进的非参数MT模型在几个机器翻译基准。实验结果表明,所提出的方法保持了原始网络的最有用的信息,紧凑网络在未知领域表现出良好的泛化能力。
2022-05-03 cs.CL
An Empirical study of Unsupervised Neural Machine Translation: analyzing NMT output, model's behavior and sentences' contribution
Boston University(波士顿大学)
该研究实证分析了无监督神经机器翻译(UNMT)在法语、古吉拉特语和哈萨克语上的输出质量、模型行为及句子贡献,发现UNMT在低资源场景下具有优势,并利用逐层相关性传播揭示了句子对翻译结果的贡献机制。
2023-12-19 cs.CL
Sampling and Filtering of Neural Machine Translation Distillation Data
Institute of Formal and Applied Linguistics, Charles University(查尔斯大学形式与应用语言学研究所)
在大多数神经机器翻译提取或窃取场景中,目标是保留目标模型(教师)的性能。教师模型的最高分假设通常用于训练新模型(学生)。如果参考翻译也可用,则可以对更好的假设(相对于参考)进行上采样,并且去除或欠采样差的假设。本文探讨了重要性采样方法景观(修剪,假设上采样和欠采样,重复数据删除及其组合)与英语到捷克语和英语到德国的MT模型使用标准的MT评估指标。我们表明,与仅在原始数据或合成数据或其直接组合上进行训练相比,仔细的上采样和与原始数据的组合会带来更好的性能。
2021-04-01 cs.CL cs.LG
Bootstrapping Multilingual Intent Models via Machine Translation for Dialog Automation
Interactions, LLC;Murray Hill, NJ, USA(美国新泽西州默里希尔(注:此处为地址,非机构,按要求不应提取。正确机构仅为Interactions, LLC))
随着基于聊天的对话系统在消费者和企业应用中的复兴,在开发数据驱动和基于规则的自然语言模型以理解人类意图方面取得了很大成功。由于这些模型需要大量的数据和领域内的知识,因此将等效服务扩展到新市场会受到语言障碍的干扰,这些语言障碍阻碍了对话自动化。本文提出了一个用户研究,以评估实用的开箱即用的机器翻译技术(1)快速引导多语言口语对话系统和(2)使现有的人类分析师理解外语话语。我们还评估了机器翻译在人工辅助环境中的实用性,其中一部分流量由分析师处理。在英语->西班牙语的实验中,我们观察到对话自动化的高潜力,以及人类分析师以高精度处理外语话语的潜力。
2018-05-11 cs.CL
Exploring Intrinsic Language-specific Subspaces in Fine-tuning Multilingual Neural Machine Translation
Nara Institute of Science and Technology(奈良科学技术研究所)
本文提出语言特定 LoRA、架构学习与渐进剪枝,以隔离并探索多语言 NMT 微调中的最小语言子空间,在 FLORES-101 上提升 spBLEU 并大幅减少可训练参数。
2024-09-08 cs.CL
Finding Sparse Structures for Domain Specific Neural Machine Translation
ByteDance AI Lab(字节跳动AI实验室)
神经机器翻译通常采用微调的方法来适应特定的领域。然而,无限制的微调可以很容易地降低一般域和过拟合的目标域。为了缓解这个问题,我们提出了修剪调整,一种新的领域自适应方法,通过逐步修剪。它在对新域进行微调时学习微小的特定于域的子网络。修剪-调整消除了过度拟合和退化问题,而无需修改模型。此外,Prune-Tune能够顺序地学习单个网络,该网络具有用于多个域的多个不相交的特定于域的子网络。实验结果表明,Prune-Tune在目标领域测试集上的性能优于几个强有力的竞争者,而在单领域和多领域测试集上的质量都没有下降。源代码和数据可在https://github.com/ohlionel/Prune-Tune上获得。
2021-03-26 cs.AI cs.CL
Data-Informed Global Sparseness in Attention Mechanisms for Deep Neural Networks
Massachusetts Institute of Technology(麻省理工学院)
该研究提出注意力剪枝(AP)框架,通过观测固定数据集的注意力模式生成全局稀疏掩码,可大幅降低不同NLP任务中注意力模型的计算量与内存需求,同时保持性能,还揭示了自注意力与交叉注意力的模式差异。
2024-05-17 cs.CL
More Parameters? No Thanks!
IIIT-H(海得拉巴国际信息技术学院);University of Bath(巴斯大学)
本文研究了多语言神经机器翻译MNMT长期存在的模型容量和负干扰问题。我们使用网络修剪技术,并观察到从经过训练的MNMT模型中修剪50-70%的参数只会导致BLEU分数下降0.29-1.98。这表明即使在MNMT模型中也存在较大的冗余。这些观察促使我们使用冗余参数并有效地对抗干扰问题。我们提出了一种新的自适应策略,我们迭代地修剪和重新训练的MNMT的冗余参数,以提高双语表示,同时保留多语言。负干扰严重影响高资源语言,我们的方法不需要任何额外的适配器模块。因此,我们称之为无参数自适应策略,为MNMT的有效自适应铺平了道路。我们证明了我们的方法在9种语言的MNMT上训练TED演讲的有效性,并报告了在高资源对上平均提高了+1.36 BLEU。代码将在这里发布。
2021-07-20 cs.CL
Efficient Machine Translation Corpus Generation
aiXplain Inc.(aiXplain公司)
本文提出一种在线训练质量估计指标的半自动后期编辑方法,优先处理差假设并自动关闭优假设,以低成本提升MT语料库质量并改善模型生命周期。
2023-06-20 cs.CL
Rethinking Data Augmentation for Low-Resource Neural Machine Translation: A Multi-Task Learning Approach
Universitat d’Alacant(阿利坎特大学)
在神经机器翻译的上下文中,当可用并行数据稀缺时,数据增强(DA)技术可用于生成附加训练样本。许多DA方法旨在通过生成包含不频繁单词的新句子对来扩展经验数据分布的支持,从而使其更接近并行句子的真实数据分布。在本文中,我们建议遵循一个完全不同的方法,并提出了一个多任务DA方法,在该方法中,我们生成新的句子对转换,如反转的目标句子,产生不流利的目标句子的顺序。在训练过程中,这些增强的句子被用作多任务框架中的辅助任务,目的是提供新的上下文,其中目标前缀的信息量不足以预测下一个单词。这加强了编码器,并迫使解码器更加关注编码器的源表示。在六个低资源翻译任务上进行的实验表明,与基线和DA方法相比,旨在扩展对经验数据分布的支持的改进是一致的。用我们的方法训练的系统更多地依赖于源令牌,对域转移更鲁棒,并且遭受更少的幻觉。
2021-09-08 cs.CL
Difficulty-Aware Machine Translation Evaluation
University of Macau(澳门大学)
机器翻译(MT)系统产生的高质量翻译结果仍然对自动评估提出了巨大的挑战。目前的机器翻译评估对每个句子成分给予了同样的关注,而现实世界考试的问题(例如,大学考试)有不同的难度和权重。在本文中,我们提出了一种新的难度意识的机器翻译评价指标,扩大了评估维度,考虑到翻译难度。大多数机器翻译系统无法预测的翻译将被视为困难的翻译,并在最终的评分函数中分配较大的权重,反之亦然。在WMT 19英语-德语机器人共享任务上的实验结果表明,我们提出的方法在人类相关性方面优于常用的MT指标。特别是,我们提出的方法表现良好,即使所有的MT系统都非常有竞争力,这是当大多数现有的指标无法区分它们。源代码可在https://github.com/NLP2CT/Difficulty-Aware-MT-Evaluation上免费获得。
2021-07-30 cs.AI cs.CL
Mind Which Bird You Favour: Parameterizing Adequacy-Fluency Balance in Meta-Evaluation of Machine Translation
本文提出一种可调平衡方法,通过重新加权系统控制机器翻译元评估中充分性与流畅性的平衡,并设计优化算法与评分器增强框架,验证了其有效性和内部一致性。
2026-09-15 cs.AI cs.CL cs.LG
Communication Efficient Federated Learning for Multilingual Neural Machine Translation with Adapter
Peking University(北京大学)
提出通信高效的Fed-MNMT框架,通过冻结PLMs并仅传输轻量级适配器模块,结合聚类策略解决语言分布差异导致的参数冲突,在保持或提升性能的同时将通信成本降低98%以上。
2023-05-21 cs.AI cs.CL
Algorithm to Compilation Co-design: An Integrated View of Neural Network Sparsity
Fidelity Investments(富达投资)
减少神经网络的计算成本、推理延迟和内存占用经常被引用作为修剪和稀疏的研究动机。然而,操作这些好处和理解算法设计和正则化对运行时执行的端到端影响并不经常深入研究。在这里,我们应用结构化和非结构化修剪注意权的Transformer块的BERT语言模型,同时还扩展块稀疏表示(BSR)的TVM编译器中的操作。BSR操作的集成使得TVM运行时执行能够利用由模型正则化引起的结构化模式稀疏性。这种修剪算法的综合视图使我们能够研究建模决策及其对稀疏增强执行的直接影响之间的关系。我们的主要发现是:1)我们验证了结构化稀疏块正则化的性能优势必须通过对TVM的BSR增强来实现,相对于vanilla PyTorch的加速是4倍,相对于标准TVM编译的加速是2.2倍(没有扩展的BSR支持)。2)对于BERT注意力权重,在该CPU推断上下文中的端到端最优块稀疏形状不是正方形块(如在\cite{gray2017gpu}中),而是线性32 × 1块。3)性能和块大小/形状之间的关系暗示了模型正则化参数如何与任务调度器优化相互作用,从而导致观察到的端到端性能。
2021-06-17 cs.AI cs.CL cs.LG
Parallel Corpora for Machine Translation in Low-resource Indic Languages: A Comprehensive Review
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);Boston University(波士顿大学);Santa Clara University(圣克拉拉大学)
本文首次系统评述低资源印度语言机器翻译的平行语料库,分类梳理现有资源,分析创建挑战与开放问题,并提出跨语言学习等未来方向。
2025-04-22 cs.CL cs.LG
Reducing Transformer Depth on Demand with Structured Dropout
Facebook AI Research(Facebook人工智能研究(FAIR));LORIA(洛林研究所(法国国家信息与自动化研究所洛林分部))
过参数化的Transformer网络已经在各种自然语言处理任务(例如机器翻译、语言建模和问答)中获得了现有技术水平的结果。这些模型包含数以亿计的参数,需要大量的计算,并使它们易于过拟合。在这项工作中,我们探索了LayerDrop,这是一种结构化dropout,它在训练过程中具有正则化效果,并允许在推理时进行有效的修剪。特别是,我们表明,它是可能的,从一个大型网络中选择任何深度的子网络,而不必微调它们,对性能的影响有限。我们证明了我们的方法的有效性,通过提高最先进的机器翻译,语言建模,摘要,问答和语言理解基准。此外,我们表明,与从头开始训练或使用蒸馏相比,我们的方法可以产生更高质量的小型BERT模型。
2019-09-25 cs.CL cs.LG stat.ML
Merging Feed-Forward Sublayers for Compressed Transformers
Johns Hopkins University(约翰斯·霍普金斯大学)
提出一种通过选择、对齐和合并Transformer中相似前馈子层的新型模型压缩方法,在保持99%性能的同时移除超21%参数,优于层剪枝基线。
2025-03-28 cs.CL cs.LG
Multi-domain machine translation enhancements by parallel data extraction from comparable corpora
平行文本是一种相对稀缺的语言资源,但它是一种非常有用的研究材料,有着广泛的应用。本研究提出并分析了新的方法,我们开发了从以前建立的可比语料库获得这样的数据。这些方法是自动的和无监督的,这使得它们适合大规模的研究。这项任务是非常实用的,因为非平行的多语言数据比平行语料库更频繁地出现,并且访问它们很容易,尽管平行句子是一个更有用的资源。在这项研究中,我们提出了一种自动网络爬行的方法,以建立主题对齐的可比语料库,例如基于维基百科或Euronews.com。我们还开发了新的方法,从可比数据中获得平行句子,并提出了能够选择不一致或部分等价翻译的语料库过滤方法。我们的方法很容易扩展到其他语言。通过分析其使用对统计机器翻译系统的影响,对所创建语料库的质量进行了评估。实验的基础上提出的波兰语-英语对文本从不同的领域,即讲座,短语手册,电影对话,欧洲议会议事录和文本包含药品传单。我们还测试了第二种基于可比语料库的数据创建平行语料库的方法,该方法允许基于它们之间的类比自动扩展关于给定域的现有句子语料库。因此,它不需要具有过去的并行资源来训练分类器。
2016-03-22 cs.CL stat.ML
Improving Conditioning in Context-Aware Sequence to Sequence Models
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院)
神经序列到序列模型很好地建立了应用程序,可以将其转换为将单个输入序列映射到单个输出序列。在这项工作中,我们专注于生成条件的情况下,一个简短的查询和一个长的上下文,如抽象的问答或文档级的翻译。我们修改了标准的序列到序列的方法,以更好地利用查询和上下文扩展的条件机制,interrupt查询和上下文的注意。我们还介绍了一个简单而有效的数据增强方法所提出的模型。在三个不同的任务上的实验表明,这两种变化都会导致一致的改进。
2019-11-21 cs.CL cs.LG
LLM Augmented LLMs: Expanding Capabilities through Composition
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本文提出CALM方法,通过引入交叉注意力组合现有基础模型与特定任务模型,在保留原有能力的同时实现新任务的高效扩展,显著提升低资源语言和代码任务的性能。
2024-01-04 cs.AI cs.CL cs.CV