SignBind-LLM: Multi-Stage Modality Fusion for Sign Language Translation
CVSSP, University of Surrey（计算机视觉与模式识别研究所，萨里大学）
SignBind-LLM通过多阶段模态融合提升手语翻译的准确性和鲁棒性，实现高保真翻译效果。
2026-09-03 cs.CL cs.CV
Pointer-based Fusion of Bilingual Lexicons into Neural Machine Translation
Simon Fraser University（西蒙弗雷泽大学）
神经机器翻译（NMT）系统需要大量高质量的域内并行语料库进行训练。最先进的NMT系统仍然面临着与词汇表外单词和处理低资源语言对相关的挑战。在本文中，我们提出并比较了几种模型的融合双语词典的端到端训练序列到序列模型的机器翻译。其结果是一个融合模型与两个信息源的解码器：神经条件语言模型和双语词典。该融合模型学习如何结合两种信息源，以产生更高质量的翻译输出。我们的实验表明，我们提出的模型在相对低资源的情况下工作得很好，也有效地减少了NMT的参数大小和训练成本，而不牺牲性能。
2019-09-17 cs.CL
Can Linguistically Related Languages Guide LLM Translation in Low-Resource Settings?
Prediction Guard（预测守护）；Scale AI；Independent（独立）；INTI International College Penang（INTI国际学院巴生）
本研究探讨在数据稀缺情况下，语言相似的pivot语言和少量示例能否指导LLM的即席适应，通过数据高效实验发现，pivot提示在某些配置下能提升翻译效果，但收益有限且依赖示例构建。
2026-03-17 cs.AI cs.CL
Dynamic Fusion: Attentional Language Model for Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）
神经机器翻译（NMT）可用于生成流畅的输出。因此，语言模型已经被研究用于与NMT结合。在先前的研究中，已经使用了两个模型：翻译模型和语言模型。翻译模型的预测由语言模型预先用手工制作的比率加权。然而，这些方法未能采用语言模型加权关于翻译历史。在另一种方法中，通过联合考虑源和目标信息，将语言模型预测合并到翻译模型中。然而，这种方法是有限的，因为它在很大程度上忽略了翻译输出的适当性。因此，本工作采用两种机制，即翻译模型和语言模型，并将对语言模型的关注架构作为翻译模型的辅助元素。与以前的工作相比，在英语-日语机器翻译使用语言模型，所获得的实验结果与建议的动态融合机制提高BLEU和基于排名的直观双语评价分数（RIBES）的分数。此外，在语言模型的注意力和预测性的分析中，动态融合机制允许符合适当语法结构的预测语言建模。
2019-09-11 cs.CL
Language Modelling Approaches to Adaptive Machine Translation
Dublin City University（都柏林城市大学）；South East Technological University（东南理工大学）；Maynooth University（梅努斯大学）
针对机器翻译领域自适应中领域内数据稀缺、实时自适应受上下文与效率限制的问题，本研究探索利用大语言模型的上下文学习能力，分别研究推理阶段人机反馈下的自适应翻译质量提升与少领域数据下的领域自适应流程优化。
2024-01-25 cs.AI cs.CL cs.HC
Lost in Translation: Analysis of Information Loss During Machine Translation Between Polysynthetic and Fusional Languages
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统科学研究所）；Facultad de Estudios Superiores Acatlán, Universidad Nacional Autónoma de México（墨西哥国立自治大学阿卡特朗高等研究学院）；Centro de Estudios Lingüísticos y Literarios, El Colegio de México（墨西哥学院语言与文学研究中心）；Center for Data Science, New York University（纽约大学数据科学中心）
从多合成语言到融合语言的机器翻译是一项具有挑战性的任务，由于可用的并行文本数量有限，这一任务变得更加复杂。因此，对于高资源和更深入研究的语言对，翻译性能远远达不到最先进的水平。为了阐明阻碍自动翻译的现象，从多合成语言，我们研究翻译从三个低资源，多合成语言（纳瓦特尔语，Wixarika和Yorem Nokki）到西班牙语，反之亦然。这样做，我们发现，在一个词素到词素对齐的一个重要的信息量包含在多合成词素没有西班牙语对应，其翻译往往被省略。我们进一步进行定性分析，从而确定在翻译过程中通常难以对齐或忽略的语素类型。
2018-07-01 cs.CL
Multi-layer Representation Fusion for Neural Machine Translation
Northeastern University（东北大学）；YingKou Institute of Technology（营口理工学院）
神经机器翻译系统需要许多堆叠层用于深度模型。但是预测依赖于最顶层的句子表示，无法访问低级表示。这使得训练模型变得更加困难，并对预测造成信息丢失的风险。在本文中，我们提出了一种多层表示融合（MLRF）的方法来融合堆叠层。特别是，我们设计了三个融合函数来从堆栈中学习更好的表示。实验结果表明，我们的方法产生的提高了0.92和0.56 BLEU点的强Transformer基线上的IWESTA德-英和NIST中-英MT任务分别。其结果是新的国家的最先进的德英翻译。
2020-02-16 cs.CL
A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation
Xiamen University（厦门大学）；Tencent Inc（腾讯公司）；University of Rochester（罗切斯特大学）
多模态神经机器翻译（NMT）旨在将源语句翻译成与图像配对的目标语言。然而，占主导地位的多模态NMT模型没有充分利用不同模态的语义单元之间的细粒度语义对应关系，这有可能细化多模态表示学习。为了解决这个问题，在本文中，我们提出了一种新的基于图的NMT多模态融合编码器。具体来说，我们首先表示输入的句子和图像使用统一的多模态图，它捕捉多模态语义单位（单词和视觉对象）之间的各种语义关系。然后，我们堆叠多个基于图的多模态融合层，这些层迭代地执行语义交互以学习节点表示。最后，这些表示为解码器提供了基于注意力的上下文向量。我们在Multi30K数据集上评估了我们提出的编码器。实验结果和深入的分析表明了多模态NMT模型的优越性。
2020-07-17 cs.CL
TransModality: An End2End Fusion Method with Transformer for Multimodal Sentiment Analysis
Peking University（北京大学）
多模态情感分析是一个重要的研究领域，它通过从文本、视觉和听觉模态中提取特征来预测说话人的情感倾向。其核心挑战是多模态信息的融合方法。目前已经提出了多种融合方法，但很少有采用端到端的翻译模型来挖掘模态之间的细微相关性。受最近Transformer在机器翻译领域的成功启发，我们提出了一种新的融合方法TransModality，来解决多模态情感分析的任务。我们假设模态之间的翻译有助于更好地联合表示说话人的话语。使用Transformer，学习的特征体现了来自源模态和目标模态的信息。我们在多个多模态数据集上验证了我们的模型：CMU-MOSI，MELD，IEMOCAP。实验结果表明，我们提出的方法达到了国家的最先进的性能。
2020-09-28 cs.CL
Improving LLM-based Document-level Machine Translation with Multi-Knowledge Fusion
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Huawei Translation Services Center（华为翻译服务中心）
本文提出融合文档摘要与实体翻译的多知识策略，用于改进基于 LLM 的文档级机器翻译，并在八项任务及三个模型上验证其 COMET 提升。
2025-03-15 cs.CL
Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
本文提出一种语音引导的机器翻译框架，通过融合语音和文本提升多语言翻译性能，并在多个基准上取得新突破。
2026-03-03 cs.CL
Explicit Sentence Compression for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）
现有的基于transformer的神经机器翻译（NMT）系统仍然遵循标准的编码器-解码器框架，其中源句子表示可以由具有自注意力机制的编码器很好地完成。虽然基于transformer的编码器可以有效地捕捉其产生的源句子表示的一般信息，骨干信息，代表一个句子的要旨，没有特别关注。本文中，我们提出了一个显式的句子压缩方法，以提高NMT的源句子表示。在实践中，一个显式的句子压缩目标用于学习句子中的主干信息。我们提出了三种方法，包括骨干源端融合，目标端融合，双方融合，压缩句子集成到NMT。我们的WMT英语到法语和英语到德语的翻译任务的实证测试表明，所提出的句子压缩方法显着提高了翻译性能超过强基线。
2019-12-27 cs.CL
Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction
Georgia Institute of Technology（佐治亚理工学院）
针对大语言模型在低资源语言信息抽取中表现受限的问题，提出TransFusion翻译融合框架及跨语言指令微调模型GoLLIE-TF，在多语言数据集上实现更优零样本跨语言迁移，且适配多种模型架构均能提升低资源语言命名实体识别性能。
2024-06-20 cs.CL
Quantifying Synthesis and Fusion and their Impact on Machine Translation
University of Edinburgh（爱丁堡大学）；New York University（纽约大学）；Aalborg University（奥尔堡大学）
形态类型学的理论工作提供了在连续尺度上测量形态多样性的可能性。然而，自然语言处理（NLP）的文献通常用严格的形态类型（例如融合或粘着）来标记整个语言。在这项工作中，我们建议减少刚性的索赔，通过量化形态类型学在词和段的水平。我们考虑Payne（2017）使用两个指标对形态进行分类的方法：合成（例如，分析到多合成）和融合（凝集到融合）。对于计算合成，我们测试无监督和监督形态分割方法的英语，德语和土耳其语，而融合，我们提出了一个半自动的方法，使用西班牙语作为案例研究。然后，我们分析了机器翻译质量与词（英语-土耳其语中的名词和动词，英语-西班牙语中的动词）和段水平（先前的语言对加上英语-德语两个方向）的合成和融合程度之间的关系。我们用人工评估来补充词级分析，总体而言，我们观察到这两个指标对机器翻译质量的影响是一致的。
2022-05-06 cs.AI cs.CL
Simple Fusion: Return of the Language Model
University of Cambridge（剑桥大学）；Facebook（脸书）
神经机器翻译（NMT）通常通过反向翻译在训练中利用单语数据。我们研究了一种使用单语数据进行NMT训练的替代简单方法：我们将预先训练和固定的语言模型（LM）的分数与翻译模型（TM）的分数相结合，同时从头开始训练TM。为了实现这一点，我们训练翻译模型来预测添加到LM预测中的训练数据的剩余概率。这使得TM能够将其能力集中在对源句子进行建模上，因为它可以依赖LM来实现流畅性。我们表明，我们的方法优于以前的方法将LM集成到NMT，而架构更简单，因为它不需要门控网络来平衡TM和LM。我们在所有四个测试集（英语-土耳其语，土耳其语-英语，爱沙尼亚语-英语，科萨语-英语）上观察到在没有LM的合奏之上的+0.24和+2.36 BLEU之间的增益。我们将我们的方法与其他方法进行比较，以利用单语数据，如反向翻译，浅融合和冷融合。
2019-01-24 cs.CL
Controlling Neural Machine Translation Formality with Synthetic Supervision
Amazon AWS AI（亚马逊AWS人工智能）；University of Maryland（马里兰大学）
这项工作的目的是产生翻译，传达源语言内容在正式的水平，是适合特定的观众。将这个问题框架为神经序列到序列任务，理想情况下需要训练由标有目标语言形式的双语句子对组成的三元组。然而，在实践中，现有的训练样本仅限于不同风格的英语句子对和形式不明的双语平行句。我们为多任务模型引入了一种新的训练方案，该方案通过动态推断缺失的元素来自动生成合成训练三元组，从而实现端到端训练。全面的自动和人工评估表明，我们的最佳模型通过生成更好地匹配所需正式级别的翻译，同时保留源含义，从而优于现有模型。
2019-11-28 cs.CL
Speculative Beam Search for Simultaneous Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
束搜索普遍用于整句翻译，但其应用于同声翻译仍然是不平凡的，其中输出单词是动态提交的。特别是，最近提出的等待k政策（Ma等人，2019 a）是一种简单而有效的方法，其（在初始等待之后）在接收到每个输入字时提交一个输出字，使得束搜索看起来是不可能的。为了解决这一挑战，我们提出了一个投机性的束搜索算法，幻觉几个步骤到未来，以达到一个更准确的决定，隐含受益于目标语言模型。这使得束搜索第一次适用于在每个步骤中生成单个单词。不同语言对的实验表明，在以前的工作有很大的改进。
2019-09-12 cs.CL
Don't Rank, Combine! Combining Machine Translation Hypotheses Using Quality Estimation
HEIG-VD / HES-SO（沃州高等工程学院 / 瑞士应用科学大学联盟）
本文提出QE-fusion方法，利用质量估计指标组合多个候选翻译片段，在多个大语言模型和多语言翻译模型上相比束搜索和重排序方法持续提升翻译质量，并验证其随候选数量线性扩展。
2024-06-06 cs.CL cs.LG
Unifying the Convergences in Multilingual Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）
尽管多语言神经机器翻译（多语NMT）的多模型化已经取得了显著的进展，但联合训练中的收敛不一致性被忽视，即，不同的语言对在不同的时代达到趋同。这导致训练好的MNMT模型过度拟合低资源语言翻译，而不拟合高资源翻译。在本文中，我们提出了一种新的训练策略LSSD（特定于语言的自蒸馏），它可以减轻收敛不一致性，并帮助MNMT模型同时在每个语言对上实现最佳性能。具体来说，LSSD为每个语言对挑选特定于语言的最佳检查点，以动态地教授当前模型。此外，我们系统地探讨了三个样本级的知识转移操作。在三个数据集上的实验结果表明，LSSD对所有语言对都取得了一致的改进，达到了最先进的水平。
2022-10-19 cs.CL
On-the-fly Text Retrieval for End-to-End ASR Adaptation
Amazon Alexa（亚马逊Alexa）
端到端语音识别模型通过合并外部文本源来改进，通常通过与外部语言模型融合来改进。每当感兴趣的语料库发生变化时，这种语言模型必须重新训练。此外，由于它们将整个语料库存储在其参数中，因此罕见单词可能很难回忆。在这项工作中，我们提出了一个检索语言模型，它直接从外部文本语料库检索似是而非的部分ASR假设的完成，增强基于转换器的ASR模型。然后，这些完成被一个适配器整合到后续的预测中，该适配器只训练一次，这样就可以在不产生重新训练的计算开销的情况下切换感兴趣的语料库。我们的实验表明，该模型显着提高了性能的传感器基线对问答数据集。此外，它在命名实体识别方面优于浅融合约7个相对值;当两者结合时，相对改善增加到13%。
2023-03-20 cs.CL cs.SD eess.AS
Online Learning for Effort Reduction in Interactive Neural Machine Translation
Universitat Politècnica de València（瓦伦西亚理工大学）
神经机器翻译系统需要大量的训练数据和资源。即使这样，翻译的质量可能对某些用户或域来说是不够的。在这种情况下，系统的输出必须由人类代理修改。这可以在后期编辑阶段或遵循交互式机器翻译协议来完成。我们探讨了神经机器翻译系统在后期编辑或交互式翻译过程中的增量更新。这样的修改旨在将新的知识，从编辑的句子，到翻译系统。通过在线学习技术，当句子被纠正时，对模型的更新被实时执行。此外，我们实现了一个新的交互式，自适应系统，能够对单个字符的相互作用。该系统大大减少了获得高质量翻译所需的人力。为了强调我们的建议，我们进行了详尽的实验，改变了可用于训练的数据的数量和类型。结果表明，在线学习有效地实现了减少后期编辑或交互式机器翻译阶段所需的人力的目标。此外，这些自适应系统在资源稀缺的情况下也表现良好。我们表明，神经机器翻译系统可以快速适应特定的域，完全通过在线学习技术。
2019-04-08 cs.CL
The Impact of Syntactic and Semantic Proximity on Machine Translation with Back-Translation
Laboratoire de Sciences Cognitives et Psycholinguistique（认知科学与心理语言学实验室）；École Normale Supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；University of Washington（华盛顿大学）
本文通过人工语言受控实验探究回译在无监督机器翻译中有效的原因，发现词汇、句法相似性不足以解释其成功，而跨语言平行的语义依赖关系才是关键。
2024-03-26 cs.CL
Faster Machine Translation Ensembling with Reinforcement Learning and Competitive Correction
Media Analysis Group, Sony Research India, Bangalore（索尼印度研究所在班加罗尔的媒体分析组）
本文提出SmartGen，一种基于强化学习的机器翻译集成策略，通过选择少量候选并利用融合模块反馈训练，结合竞争修正模块，在英印翻译中实现更快且更优的集成性能。
2025-01-25 cs.CL
Leveraging Graph-based Cross-modal Information Fusion for Neural Sign Language Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；City University of Hong Kong（香港城市大学）；Xiamen University（厦门大学）
手语作为聋人的母语，是一种特殊的视觉语言，大多数听力正常的人无法理解。近年来，神经手语翻译作为一种弥合聋人与听力正常人之间沟通鸿沟的可能途径，引起了学术界的广泛关注。我们发现，目前主流的端到端神经网络模型试图以弱监督的方式学习语言知识，在数据资源不足的情况下，无法挖掘足够的语义信息。因此，我们建议引入手语语言学的额外单词级语义知识，以帮助改进当前的端到端神经元模型。具体地说，我们提出了一种基于动态图的多模态特征融合神经翻译模型，该模型首先将文本和视频等跨模态信息根据它们之间的相关性组装成动态图，然后通过多模态图编码器对动态图进行处理，生成多模态嵌入，以进一步用于后续的神经翻译模型。据我们所知，我们是第一个引入图神经网络，融合多模态信息，神经手语翻译模型。此外，我们在公开可用的流行天气数据集RWTH-PHOENIX-Weather-2014 T上进行了实验。定量实验表明，该方法可以改善模型。
2022-11-01 cs.AI cs.CL
Local Byte Fusion for Neural Machine Translation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；ProtagoLabs；Microsoft Research（微软研究院）
针对子词分词在跨语料库及多语言低资源场景下过度分割导致性能下降的问题，提出局部字节融合（LOBEF）方法，利用字节 $n$-gram 和词边界聚合局部语义信息，在多语言翻译等任务上超越传统字节模型甚至子词技术，且参数高效、训练更快。
2023-06-28 cs.AI cs.CL
Chunk-based Nearest Neighbor Machine Translation
Instituto de Telecomunicações（电信研究所）；Unbabel（Unbabel公司）；Institute of Systems and Robotics（系统与机器人研究所）；DeepMind（深度思维）；Instituto Superior Técnico（里斯本高等理工学院）
半参数模型通过检索来增强生成，由于其从大量示例中检索细粒度信息的能力，在语言建模和机器翻译中取得了令人印象深刻的结果。最突出的方法之一，$k$ NN-MT，表现出强大的领域自适应能力，从特定领域的数据存储\citep{khandelwal2020nearest}检索令牌。然而，$k$ NN-MT需要对每个生成的令牌进行昂贵的检索操作，导致解码速度非常低（比参数模型慢8倍左右）。在本文中，我们介绍了一个\textit{chunk-based} $k$ NN-MT模型，检索块的令牌，而不是一个单一的令牌。我们提出了几种策略，将检索到的块到生成过程中，并选择的步骤，模型需要搜索的邻居在pseudo。在静态和动态两种情况下对机器翻译进行的实验表明，基于块的$k$ NN-MT模型在翻译质量略有下降的情况下，速度显著提高（高达4倍）。
2022-11-07 cs.CL
Contextual Cues in Machine Translation: Investigating the Potential of Multi-Source Input Strategies in LLMs and NMT Systems
LILT
本文比较GPT-4o与多语言NMT系统中多源输入策略对翻译质量的影响，发现中间语言上下文能提升领域特定及远距离语言对的翻译效果，并证明浅层融合结合高资源语言上下文可改善翻译质量。
2025-03-10 cs.CL
Efficient Machine Translation Corpus Generation
aiXplain Inc.（aiXplain公司）
本文提出一种在线训练质量估计指标的半自动后期编辑方法，优先处理差假设并自动关闭优假设，以低成本提升MT语料库质量并改善模型生命周期。
2023-06-20 cs.CL
An Effective Approach to Unsupervised Machine Translation
University of the Basque Country (UPV/EHU)（巴斯克大学）
虽然机器翻译传统上依赖于大量的平行语料库，但最近的研究路线已经成功地仅使用单语语料库来训练神经机器翻译（NMT）和统计机器翻译（SMT）系统。在本文中，我们确定和解决现有的无监督SMT方法的几个不足之处，利用子字信息，开发一个理论上有充分依据的无监督调整方法，并将联合细化过程。此外，我们使用我们改进的SMT系统初始化一个双NMT模型，这是进一步微调，通过在飞回翻译。总之，我们在无监督机器翻译中比以前的最先进技术有了很大的改进。例如，我们在2014年英语到德语的WMT中获得了22.5分的BLEU分数，比之前最好的无监督系统高出5.5分，比2014年的（有监督）共享任务冠军高出0.5分。
2019-07-24 cs.AI cs.CL cs.LG
Continuous Bangla Sign Language Translation: Mitigating the Expense of Gloss Annotation with the Assistance of Graph
University of Dhaka（达卡大学）
本研究提出将图方法与transformer架构融合以实现无gloss的连续孟加拉手语翻译，在多个数据集上取得最先进性能，并首次在BornilDB v1.0上建立基准。
2025-08-14 cs.AI cs.CL
FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding
Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）
mBERT、Unicoder和XLM等大规模跨语言语言模型在跨语言表示学习中取得了巨大的成功。然而，当应用于zero-shot跨语言迁移任务时，大多数现有方法仅使用单一语言输入进行LM微调，而不利用不同语言之间的内在跨语言对齐，这对于多语言任务来说是必不可少的。在本文中，我们提出了过滤器，一个增强的融合方法，跨语言的数据作为输入XLM微调。具体来说，FILTER首先在浅层对源语言输入的文本及其在目标语言中的翻译进行独立编码，然后在中间层进行跨语言融合以提取多语言知识，最后进行进一步的特定语言编码。在推理过程中，该模型根据目标语言的文本输入及其在源语言中的翻译进行预测。对于分类等简单任务，目标语言的翻译文本与源语言共享相同的标签。然而，这种共享标签变得不太准确，甚至不可用于更复杂的任务，例如问答、NER和POS标记。为了解决这个问题，我们进一步提出了一个额外的KL发散自学损失模型训练，基于自动生成的软伪标签的翻译文本在目标语言。大量的实验表明，FILTER在两个具有挑战性的多语言多任务基准测试（XTREME和XGLUE）上达到了新的水平。
2020-12-15 cs.CL
Hybrid Self-Attention Network for Machine Translation
Nanjing University of Science and Technology（南京理工大学）；Microsoft Research（微软研究院）；Shanxi University（山西大学）
编码器-解码器是神经机器翻译（NMT）的典型框架，为了提高翻译性能，人们开发了不同的结构。Transformer是最有前途的结构之一，它可以利用自我注意力机制从全局角度捕捉语义依赖。但是，它不能很好地区分不同标记的相对位置，例如位于当前标记左侧或右侧的标记，并且也不能关注当前标记周围的局部信息。为了解决这些问题，本文提出了一种新的注意力机制--混合自注意力网络（HySAN），该机制采用特定的自注意力网络模板，提取全局/局部信息、左/右部分上下文等多种语义信息。最后，通过引入挤压门，将不同类型的SAN组合在一起进行融合。三个机器翻译任务的实验结果表明，我们提出的框架优于Transformer基线显着，并取得了优于国家的最先进的NMT系统的结果。
2018-12-10 cs.CL
Generating Synthetic Speech from SpokenVocab for Speech Translation
Monash University（莫纳什大学）
训练端到端语音翻译（ST）系统需要足够大规模的数据，这对于大多数语言对和域是不可用的。数据稀缺问题的一个实际解决方案是通过文本到语音（TTS）系统将机器翻译数据（MT）转换为ST数据。然而，使用TTS系统可能是繁琐和缓慢的，因为需要为每个MT数据集进行转换。在这项工作中，我们提出了一个简单的，可扩展的和有效的数据增强技术，即，SpokenVocab，将MT数据即时转换为ST数据。这个想法是根据MT序列中的单词从SpokenVocab库中检索和拼接音频片段。我们对Must-C中的多个语言对进行的实验表明，该方法的性能优于强基线，平均BLEU得分为1.83，并且与TTS生成的语音表现相同。我们还展示了如何SpokenVocab可以应用于代码切换ST，往往没有TTS系统退出。我们的代码可在https://github.com/mingzi151/SpokenVocab上获得
2023-02-08 cs.AI cs.CL
Cross-lingual Representation Learning via Centroid Intervention Fusion
KU Leuven（鲁汶大学）
本文针对大语言模型跨语言性能不均的问题，提出CIF框架整合多语言干预投影，在四类基准测试中提升了跨语言性能，尤其优化了低资源语言表现。
2026-08-28 cs.CL
SOTASTREAM: A Streaming Approach to Machine Translation Training
Microsoft（微软）
针对机器翻译中静态数据预处理耗时、占空间且不灵活的问题，本文提出并开源 SOTASTREAM 流式数据生成与训练框架，支持实时算子处理并保持模型准确率。
2023-08-14 cs.CL
Semantic Alignment across Ancient Egyptian Language Stages via Normalization-Aware Multitask Learning
本文研究古代埃及语言四个历史阶段的词级语义对齐，通过联合训练共享字级分词器的紧凑编码器-解码器模型，结合掩码语言模型、翻译语言模型、序列到序列翻译和词性标注任务，提升跨阶段对齐效果。
2026-03-25 cs.CL
Open-Domain Sign Language Translation Learned from Online Video
TTI-Chicago（芝加哥丰田技术研究院）
现有的手语翻译工作-即从手语视频翻译成书面语言的句子-主要集中在（1）在受控环境中收集的数据或（2）特定领域的数据，这限制了对现实世界设置的适用性。在本文中，我们介绍了OpenASL，这是一个从在线视频网站（例如，YouTube）。OpenASL包含来自200多个签名者的多个领域的288小时ASL视频，是迄今为止最大的公开可用ASL翻译数据集。为了解决现实环境中的手语翻译的挑战，没有掩饰，我们提出了一套技术，包括标志搜索作为预训练和融合的口形和手形特征的借口任务。所提出的技术在翻译质量上产生了一致的和大的改进，超过了基于先前工作的基线模型。我们的数据和代码可在https://github.com/chevalierNoir/OpenASL上公开获取
2022-11-19 cs.CL cs.CV
Adaptive Fusion Techniques for Multimodal Data
University of Waterloo（滑铁卢大学）
由于多模态数据的异构性，来自多模态（诸如视频、语音和文本）的数据的有效融合是具有挑战性的。在本文中，我们提出了自适应融合技术，旨在有效地从不同的模态建模上下文。我们没有为网络定义一个确定性的融合操作，比如级联，而是让网络决定“如何”更有效地组合一组给定的多模态特征。我们提出了两个网络：1）自动融合，它学习压缩来自不同模态的信息，同时保留上下文，以及2）GAN-Fusion，它从补充模态中正则化学习的潜在空间。对多模态机器翻译和情感识别任务的定量评估表明，我们的轻量级自适应网络可以比现有方法更好地从其他模态建模上下文，其中许多方法采用基于大规模transformer的网络。
2021-01-26 cs.CL cs.CV cs.LG
GLoT: A Novel Gated-Logarithmic Transformer for Efficient Sign Language Translation
针对手语机器翻译中传统 Transformer 难以建模动态时序依赖的问题，提出 GLoT 门控对数 Transformer，并在 Sign-to-Gloss-to-Text 任务上验证其性能全面优于基线。
2025-02-17 cs.CL cs.CV
AlloST: Low-resource Speech Translation without Source Transcription
Institute of Information Science, Academia Sinica, Taiwan（中国科学院信息科学研究所，台湾分院（注：此处“Academia Sinica”通常译为“中国科学院”，“Taiwan”为地区名，整体机构为中国科学院信息科学研究所台湾分院））
端到端架构在语音翻译领域取得了可喜的进展。然而，ST任务在低资源条件下仍然具有挑战性。大多数ST模型都表现出不令人满意的结果，特别是在缺乏来自源语音话语的单词信息的情况下。在这项研究中，我们调查的方法，以提高ST性能，而不使用源转录，并提出了一个学习框架，利用一个独立于语言的通用电话识别器。该框架基于基于注意力的序列到序列模型，其中编码器生成语音嵌入和语音感知声学表示，并且解码器控制两个嵌入流的融合以产生目标令牌序列。除了研究不同的融合策略，我们探讨了具体使用的字节对编码（BPE），压缩成一个音节的分段序列的电话序列。由于符号的转换，分段序列不仅表示发音，而且还表示音素中缺乏的依赖于语言的信息。在Fisher西班牙语-英语和台语-国语戏剧语料库上进行的实验表明，该方法的性能优于基于一致性的基线，并且性能接近于使用源转录的现有最佳方法。
2021-07-02 cs.AI cs.CL cs.LG
Improving Language Model Integration for Neural Machine Translation
RWTH Aachen University（亚琛工业大学）
本文将自动语音识别中中和隐式语言模型的思想迁移到机器翻译，以增强外部语言模型融合，并与回译方法进行比较。
2023-06-08 cs.AI cs.CL cs.LG
Improving Visual Sensitivity of LLMs on Multimodal Machine Translation with Metric-based Loss Weighting
Maastricht University（马斯特里赫特大学）；Warsaw University of Technology（华沙理工大学）；IDEAS Research Institute（IDEAS研究所）
提出基于度量的损失加权方法，利用PCXMI指标识别受益于图像的令牌并提高其损失，增强多模态翻译的视觉敏感性，在CoMMuTE数据集上准确率提升超7个百分点。
2026-09-28 cs.AI cs.CL
Memory Reviving, Continuing Learning and Beyond: Evaluation of Pre-trained Encoders and Decoders for Multimodal Machine Translation
Department of Automation, Shanghai Jiao Tong University（上海交通大学自动化系）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Labs, Huawei Technologies CO., LTD（华为技术有限公司2012实验室）
本研究系统评估预训练编码器与解码器在多模态机器翻译中的影响，发现预训练作用关键但不对称，解码器提升流畅度与准确性，编码器效果依赖视觉-文本对齐质量，为架构设计提供指导。
2025-04-25 cs.AI cs.CL
Document-Level Language Models for Machine Translation
eBay, Inc.（易趣公司）；RWTH Aachen University（亚琛工业大学）
本研究利用文档级单语数据，通过将句子级翻译模型与文档级语言模型结合并引入新颖加权技术，构建了上下文感知的机器翻译系统，在提升文档得分与计算效率的同时，也探索了大语言模型融合的潜力。
2023-10-18 cs.AI cs.CL cs.LG
