New Confidence Measures for Statistical Machine Translation
LORIA（洛里亚实验室）
置信度度量能够估计由机器翻译系统提供的假设的可靠性。置信度的问题可以看作是一个测试的过程：我们要决定由机器翻译系统提供的最可能的单词序列是否正确。在下文中，我们描述了几个原始的词级置信度的机器翻译，基于互信息，n-gram语言模型和词汇特征语言模型。我们评估他们如何单独或一起执行，并表明，使用基于互信息的置信度测量的组合产生的分类出错率低至25.1%，F-测量值为0.708。
2009-02-06 cs.CL
A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation
University of Cape Town（开普敦大学）
本文系统分析子词分割方法对多语言翻译中跨语言迁移的影响，发现子词正则化促进多语言建模协同，BPE更利于跨语言微调，并揭示正字法词边界差异比语言不相关性更阻碍迁移。
2024-03-29 cs.CL
Leveraging Sentence-oriented Augmentation and Transformer-Based Architecture for Vietnamese-Bahnaric Translation
本文提出基于句子增强和Transformer架构的方法，解决巴拿语翻译中的资源限制问题，提升翻译准确性和可及性。
2026-01-27 cs.CL
Machine Translation in the Wild: User Reaction to Xiaohongshu's Built-In Translation Feature
研究小红书2025年推出内置翻译功能的用户反应，通过情感分析和主题分析探讨用户对功能的认知与实验，发现整体反馈积极，但存在功能性和翻译准确性方面的担忧。
2026-04-03 cs.CL cs.HC
Unsupervised Multimodal Neural Machine Translation with Pseudo Visual Pivoting
Carnegie Mellon University（卡内基梅隆大学）；Monash University（莫纳什大学）
无监督机器翻译（MT）最近仅在单语语料库上取得了令人印象深刻的结果。然而，它仍然是具有挑战性的关联源-目标句子的潜在空间。由于说不同语言的人在生物学上共享相似的视觉系统，通过视觉内容实现更好对齐的潜力是有希望的，但在无监督多模态MT（MMT）中尚未充分探索。在本文中，我们研究如何利用视觉内容消歧和促进潜在的空间对齐在无监督MMT。我们的模型采用多模态反向翻译和伪视觉旋转的功能，我们学习一个共享的多语言视觉语义嵌入空间，并将视觉旋转字幕作为额外的弱监督。在广泛使用的Multi 30 K数据集上的实验结果表明，该模型显着改善了最先进的方法，并在测试时图像不可用时具有良好的泛化能力。
2020-05-06 cs.CL cs.CV
On Systematic Style Differences between Unsupervised and Supervised MT and an Application for High-Resource Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
现代无监督机器翻译（MT）系统在干净和受控的数据条件下达到合理的翻译质量。随着有监督和无监督机器翻译之间的性能差距缩小，有趣的是，不同的训练方法是否会导致系统性的不同输出，而不是通过适当性或BLEU等质量指标可见的输出。我们比较了来自类似质量的监督和无监督MT系统的翻译，发现无监督输出比监督MT更流畅，与人工翻译相比结构上更不同。然后，我们展示了一种将这两种方法的优点结合到单个系统中的方法，从而提高了人类评估人员评估的充分性和流畅性。我们的研究结果为有趣的讨论打开了大门，讨论监督和无监督的MT如何不同但互利。
2022-04-13 cs.CL
Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
The University of Tokyo（东京大学）
尽管已经提出了许多上下文感知神经机器翻译模型来将上下文纳入翻译中，但这些模型中的大多数都是在并行文档上进行端到端训练的。由于只有少数领域（和语言对）具有这样的文档级并行数据，因此我们无法在大多数领域中执行准确的上下文感知翻译。因此，我们提出了一个简单的方法，把一个文档级的语言模型的解码器转换成上下文感知的模型。我们的上下文感知解码器是建立在只有一个文档级并行语料库和单语语料库，因此没有文档级的并行数据是必要的。在理论上，本文的核心部分是利用上下文和当前句子之间的逐点互信息来表示上下文信息。我们证明了我们的方法的有效性，在三个语言对，英语到法语，英语到俄语，日语到英语，通过评估\textsc{bleu}和对比测试上下文感知翻译。
2021-11-15 cs.CL
Improved Zero-shot Neural Machine Translation via Ignoring Spurious Correlations
Facebook AI Research（脸书人工智能研究院）；The University of Hong Kong（香港大学）；New York University（纽约大学）
在神经机器翻译（NMT）系统从未训练过的语言对之间进行Zero-shot翻译，是在多语言环境中训练系统时出现的一种特性。然而，zero-shot NMT的朴素训练容易失败，并且对超参数设置敏感。性能通常远远落后于更传统的基于XML的方法，该方法使用第三种语言作为枢轴翻译两次。在这项工作中，我们解决退化问题，由于捕获虚假的相关性，通过定量分析源和解码句子的语言ID之间的互信息。受此分析的启发，我们建议使用两种简单但有效的方法：（1）解码器预训练;（2）反向翻译。这些方法在三个具有挑战性的多语言数据集上显示出比vanilla zero-shot翻译显著的改进（4~22个BLEU点），并且实现了与基于BLEU的方法相似或更好的结果。
2019-06-04 cs.CL
Regularized Context Gates on Transformer for Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；National Institute of Information and Communications Technology（信息通信研究机构）
在基于递归神经网络（RNN）的神经机器翻译（NMT）中，上下文门可以有效地控制源上下文和目标上下文的贡献。然而，将它们扩展到高级Transformer架构中具有挑战性，该架构比RNN更复杂。本文首先提出了一种识别源上下文和目标上下文的方法，然后在Transformer中引入门机制来控制源上下文和目标上下文的贡献。此外，为了进一步减少门机制中的偏差问题，本文提出了一种正则化方法来指导门的学习，并使用逐点互信息自动生成监督。在4个翻译数据集上的大量实验表明，该模型在强Transformer基线上获得了1.0 BLEU得分的平均增益。
2020-04-20 cs.CL
Jam or Cream First? Modeling Ambiguity in Neural Machine Translation with SCONES
Google Research（谷歌研究院）
神经机器翻译中的softmax层旨在对互斥令牌的分布进行建模。然而，机器翻译本质上是不确定的：同一个源语句可以有多个语义等价的翻译。因此，我们建议用多标签分类层代替softmax激活，这样可以更有效地对模糊性进行建模。我们称我们的损失函数为非排他性序列的单标签对比目标（SCONES）。我们表明，多标签输出层仍然可以使用SCONES损失函数在单个参考训练数据上进行训练。SCONES在六个翻译方向上产生一致的BLEU分数增益，特别是对于中等资源语言对和小波束大小。通过使用更小的光束尺寸，我们可以将推理速度提高3.9倍，并且仍然匹配或提高使用softmax获得的BLEU分数。此外，我们证明了SCONES可以用于训练NMT模型，该模型将最高概率分配给适当的翻译，从而减轻“束搜索诅咒”。对具有不同不确定性水平的合成语言对的额外实验表明，SCONES的改进可以归因于更好地处理歧义。
2022-05-02 cs.CL
Self-Induced Curriculum Learning in Self-Supervised Neural Machine Translation
Saarland University（萨尔兰大学）；DFKI GmbH（德国人工智能研究中心有限公司）
自监督神经机器翻译（SSNMT）联合学习从可比较（而不是平行）语料库中识别和选择合适的训练数据并进行翻译，这两个任务在良性循环中相互支持。在这项研究中，我们深入分析了SSNMT模型在训练过程中的采样选择。我们展示了在没有被告知的情况下，模型如何自我选择增加（i）复杂性和（ii）任务相关性的样本，并结合（iii）执行去噪课程。我们观察到，这两个系统内部表示类型的相互监督信号的动态是至关重要的提取和翻译性能。我们表明，在Gunning-Fog可读性指数方面，SSNMT开始从适合高中生的维基百科数据中提取和学习，并迅速转向适合一年级本科生的内容。
2020-10-06 cs.CL
Measuring and Increasing Context Usage in Context-Aware Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel
神经机器翻译的最新研究已经证明了使用中间语境的必要性和可行性，中间语境是指来自当前翻译句子以外的句子的语境。然而，尽管目前的许多方法提出了理论上可以使用这种额外上下文的模型架构，但通常不清楚它们在翻译时实际使用了多少。在本文中，我们引入了一个新的度量，条件交叉互信息，量化这些模型的上下文的使用。使用这个度量标准，我们测量文档级机器翻译系统使用特定上下文的程度。我们发现，目标上下文被引用的源上下文，并在一个较长的上下文条件有一个递减的效果。然后，我们引入了一种新的，简单的训练方法，上下文感知的词辍学，增加上下文感知模型的上下文的使用。实验表明，我们的方法增加了上下文的使用，这反映了根据BLEU和COMET等指标的翻译质量，以及在照应代词解析和词汇衔接对比数据集上的性能。
2021-06-02 cs.CL
Training Mixed-Domain Translation Models via Federated Learning
Amazon（亚马逊）
训练混合域翻译模型是一项复杂的任务，需要定制的架构和昂贵的数据准备技术。在这项工作中，我们利用联邦学习（FL）来解决这个问题。我们的研究表明，在训练过程中稍加修改，神经机器翻译（NMT）引擎可以很容易地适应时，基于FL的聚合应用于融合不同的领域。实验结果还表明，通过FL构建的引擎能够与依赖于集中式训练技术的最先进的基线相媲美。我们评估我们的假设，在存在的五个不同大小的数据集，从不同的领域，从德语翻译成英语，并讨论如何FL和NMT可以相互受益。除了提供FL和NMT联合的基准测试结果外，我们还提出了一种新技术，通过在FL更新期间选择有影响力的参数来动态控制通信带宽。考虑到需要在FL各方之间交换的NMT发动机的大尺寸，这是一项重大成就。
2022-05-03 cs.CL
On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation
EPFL（洛桑联邦理工学院）；Royal Holloway University of London（伦敦大学皇家霍洛威学院）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Mannheim（曼海姆大学）
跨语言编码器的评估通常通过在有监督的下游任务中的zero-shot跨语言迁移或通过无监督的跨语言文本相似性来执行。在本文中，我们关注的是无参考机器翻译（MT）评估，我们直接将源文本与（有时是低质量的）系统翻译进行比较，这代表了多语言编码器的自然对抗设置。无参考评估有望对机器翻译系统进行网络规模的比较。我们系统地研究了一系列基于最先进的跨语言语义表示的指标，这些语义表示是通过预训练的M-BERT和LASER获得的。我们发现，它们作为无参考机器翻译评估的语义编码器表现不佳，并确定了它们的两个关键限制，即，（a）相互翻译表示之间的语义不匹配，更突出的是，（b）无法惩罚“翻译”，即，低质量的直译。我们提出了两个部分补救措施：（1）事后重新对齐的向量空间和（2）耦合的语义相似性为基础的指标与目标端语言建模。在段级MT评估中，我们的最佳度量超过基于参考的BLEU 5.7个相关点。
2020-06-08 cs.CL
Robustness of Multi-Source MT to Transcription Errors
Charles University（查理大学）；Institute of Formal Applied Linguistics（形式应用语言学研究所）；National Institute of Information Communications Technology（国立信息通信技术研究所）
本文研究多源神经机器翻译对语音识别错误的鲁棒性，通过在ESIC语料库上验证英语、德语等多源信息的错误独立性，并在同声翻译场景中证明多源方法能提升翻译质量，为实时同声翻译提供了新思路。
2023-05-26 cs.CL
Specializing Multi-domain NMT via Penalizing Low Mutual Information
KAIST（韩国科学技术院）；NAVER Corp.（NAVER公司）
多域神经机器翻译（NMT）训练具有多个域的单个模型。它之所以吸引人，是因为它在一个模型中处理多个域的有效性。一个理想的多领域NMT应该同时学习不同的领域特征，然而，掌握领域特性是一个不平凡的任务。在本文中，我们研究领域特定的信息通过镜头的互信息（MI），并提出了一个新的目标，惩罚低MI变得更高。我们的方法达到了国家的最先进的性能之间的竞争，目前的多域NMT模型。此外，我们的经验表明，我们的目标促进低MI更高，导致领域专业化的多领域NMT。
2022-10-24 cs.AI cs.CL
Machine Translation Evaluation Benchmark for Wu Chinese: Workflow and Analysis
University of Washington（华盛顿大学）；East China Normal University（华东师范大学）；Shanghai Normal University（上海师范大学）
本文引入 FLORES+ 数据集作为现代吴语机器翻译模型的评估基准，提供了开源人工翻译数据集、完整文档、吴语规范化和分词工具，并分析了其优势、局限及对其他低资源语言的启示。
2024-10-14 cs.CL
InfoCTM: A Mutual Information Maximization Perspective of Cross-Lingual Topic Modeling
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
提出基于互信息的跨语言主题建模方法InfoCTM，通过互信息正则化对齐主题缓解重复问题，并利用跨语言词汇链接解决低覆盖率词典问题，在多语言实验中表现更优。
2024-03-27 cs.CL
Enhancing Context Through Contrast
VNIT（维什瓦拉亚国立理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出基于Barlow Twins损失最大化互信息的上下文增强步骤，将语言视为隐式增强以提升神经机器翻译性能，且适用于任意预训练嵌入。
2024-01-06 cs.AI cs.CL cs.LG
Reinforcement Learning with Large Action Spaces for Neural Machine Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
在最大似然估计（MLE）预训练之后应用强化学习（RL）是用于增强神经机器翻译（NMT）性能的通用方法。然而，最近的研究认为，RL为NMT带来的收益主要是由于提升了在预训练中已经获得相当高概率的令牌。我们假设大的动作空间是RL在机器翻译中有效性的主要障碍，并进行了两组实验来支持我们的假设。首先，我们发现减少词汇量可以提高RL的有效性。其次，我们发现，有效地减少行动空间的维度，而不改变词汇也产生了显着的改善，由BLEU，语义相似性，和人类的评价。事实上，通过初始化网络的最终全连接层（将网络的内部维度映射到词汇维度），并使用一个对类似动作进行泛化的层，我们获得了RL性能的实质性改善：平均1.5个BLEU点。
2022-10-06 cs.AI cs.CL cs.LG
Neural Machine Translation with Contrastive Translation Memories
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；Shandong University（山东大学）；Beijing Institute of General Artificial Intelligence（北京通用人工智能研究院）；Renmin University of China（中国人民大学）
检索增强神经机器翻译模型在许多翻译场景中取得了成功。不同于以往的工作，利用相互相似，但冗余的翻译记忆~（TM），我们提出了一个新的检索增强的NMT模型对比检索的翻译记忆是整体相似的源句，而单独的对比，以提供最大的信息增益在三个阶段。首先，在TM检索阶段，我们采用了对比检索算法，避免了相似译文的冗余和不完整。第二，在记忆编码阶段，给定一组TM，我们提出了一种新的分层组注意力模块，收集每个TM的局部上下文和整个TM集的全局上下文。最后，在训练阶段，多TM对比学习目标被引入到学习每个TM相对于目标句子的显著特征。实验结果表明，我们的框架在基准数据集上的强基线上得到了改进。
2022-12-06 cs.AI cs.CL
Context-aware Neural Machine Translation for English-Japanese Business Scene Dialogues
University of Potsdam（波茨坦大学）；Carnegie Mellon University（卡内基梅隆大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）
本文探讨上下文感知如何提升英日商务对话的神经机器翻译性能，通过微调mBART模型并引入编码说话人轮次和场景类型的上下文标记，结合CXMI分析，证实增加上下文信息显著提升了翻译质量。
2023-11-20 cs.CL
The Bottom-up Evolution of Representations in the Transformer: A Study with Machine Translation and Language Modeling Objectives
Yandex（Yandex（亚德斯））；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
我们试图理解在不同的学习目标下，个体标记的表示和学习特征空间的结构如何在深度神经网络的层之间演变。我们专注于Transformers进行分析，因为它们在各种任务中表现出了有效性，包括机器翻译（MT），标准的从左到右语言模型（LM）和掩码语言建模（MLM）。以前的工作使用黑盒探测任务，以表明由Transformer学习的表示显着不同的目标。在这项工作中，我们使用典型相关分析和互信息估计研究信息如何在Transformer层之间流动，以及这个过程如何取决于学习目标的选择。例如，当你从底层到顶层时，从左到右的语言模型中关于过去的信息会消失，而关于未来的预测会形成。相比之下，对于MLM，表示最初获取有关令牌周围的上下文的信息，部分忘记令牌身份并产生更一般化的令牌表示。然后，令牌身份在MLM顶层重新创建。
2019-09-03 cs.CL
Increasing Visual Awareness in Multimodal Neural Machine Translation from an Information Theoretic Perspective
Tencent（腾讯）；Fudan University（复旦大学）；Nanjing University（南京大学）
多模态机器翻译旨在通过为源语句提供相应的图像来提高翻译质量。尽管MMT模型具有良好的性能，但仍然存在输入退化的问题：模型更多地关注文本信息，而视觉信息通常被忽视。在本文中，我们努力提高MMT性能，从信息论的角度来看，增加视觉意识。具体地说，我们将视觉信号分解为两部分：源特定信息和目标特定信息。我们使用互信息来量化它们，并提出了两种目标优化方法，以更好地利用视觉信号。在两个数据集上的实验表明，该方法可以有效地增强MMT模型的视觉感知能力，并在强基线下取得优异的结果。
2022-10-16 cs.CL cs.CV
Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model
Ho Chi Minh City University of Technology (HCMUT)（胡志明市理工大学）；Vietnam National University Ho Chi Minh City（越南胡志明市国家大学）
为解决巴拿语-越南语翻译中资源不足问题，利用基于序列到序列预训练语言模型的迁移学习方法，借助预训练越南语模型，结合有限双语资源继续训练，并通过数据增强等优化，有效实现翻译，促进民族文化交流。
2026-07-28 cs.CL
A Simple, Fast Diverse Decoding Algorithm for Neural Generation
Stanford University（斯坦福大学）
在本文中，我们提出了一个简单，快速的解码算法，促进多样性的神经生成。该算法通过增加兄弟姐妹间的排序惩罚来修改标准的束搜索算法，有利于从不同的父母中选择假设。我们评估所提出的模型的对话响应生成，摘要摘要和机器翻译的任务。我们发现，不同的解码有助于所有的任务，特别是那些需要重新排序。我们进一步提出了一种变体，该变体能够使用强化学习（RL）针对不同输入自动调整其多样性解码率。我们观察到这种RL技术的进一步性能提升。本文包括来自未发表脚本“互信息和多样解码改善神经机器翻译“（Li和Jurafsky，2016）的材料。
2016-12-22 cs.CL
Towards Higher Pareto Frontier in Multilingual Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出帕累托互蒸馏框架 Pareto-MD，通过协同训练两个偏向不同语言的帕累托最优解并利用知识蒸馏互相学习，在 WMT 和 TED 数据集上显著推进多语言机器翻译的帕累托前沿，BLEU 最高提升 2.46。
2023-05-25 cs.CL
From Words to Sentences: A Progressive Learning Approach for Zero-resource Machine Translation with Visual Pivots
Renmin University of China（中国人民大学）；Microsoft Research Asia（微软亚洲研究院）
神经机器翻译模型缺乏大规模的并行语料库。相比之下，我们人类通过将我们的语言与外部世界联系起来，即使没有平行文本，也可以学习多语言翻译。为了模仿这种人类学习行为，我们使用图像作为支点来实现零资源翻译学习。然而，一张图片告诉一千个单词，这使得由同一图像旋转的多语言句子像相互翻译一样嘈杂，从而阻碍了翻译模型学习。在这项工作中，我们提出了一个渐进的学习方法，图像为中心的零资源机器翻译。由于基于图像的单词多样性较低，因此我们首先使用图像枢轴学习单词级翻译，然后通过利用学习的单词翻译来抑制图像枢轴多语言句子中的噪声来学习单词级翻译。在IAPR-TC 12和Multi 30 k两个常用的图像枢轴平移数据集上的实验结果表明，该方法的性能明显优于其他最先进的方法。
2019-06-03 cs.AI cs.CL cs.CV
A Diversity-Promoting Objective Function for Neural Conversation Models
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
用于生成会话响应的序列到序列神经网络模型倾向于生成安全的、普通的响应（例如，“I don't know”），而不管输入。我们建议，传统的目标函数，即，给定输入（消息）的输出（响应）的可能性不适合于响应生成任务。相反，我们建议使用最大互信息（MMI）作为神经模型的目标函数。实验结果表明，所提出的MMI模型产生更多样化，有趣，适当的反应，产生实质性的收益在两个会话数据集和人类评价的BLEU分数。
2016-06-10 cs.CL
Leveraging Diverse Modeling Contexts with Collaborating Learning for Neural Machine Translation
Cooperative Medianet Innovation Center（合作 medianet 创新中心）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出DCMCL协作学习框架，让AR与NAR模型通过token级互学习和序列级对比学习交换双向上下文，从而同时提升两类NMT模型的翻译性能。
2024-02-28 cs.CL
Improving Visual Sensitivity of LLMs on Multimodal Machine Translation with Metric-based Loss Weighting
Maastricht University（马斯特里赫特大学）；Warsaw University of Technology（华沙理工大学）；IDEAS Research Institute（IDEAS研究所）
提出基于度量的损失加权方法，利用PCXMI指标识别受益于图像的令牌并提高其损失，增强多模态翻译的视觉敏感性，在CoMMuTE数据集上准确率提升超7个百分点。
2026-09-28 cs.AI cs.CL
Learning Neural Sequence-to-Sequence Models from Weak Feedback with Bipolar Ramp Loss
Heidelberg University（海德堡大学）
在许多机器学习场景中，无法使用黄金标签进行监督，因此无法直接通过最大似然估计（MLE）来训练神经模型。在弱监督场景中，可以采用度量增强目标来将反馈分配给模型输出，其可以用于提取用于训练的监督信号。我们提出了两个独立的弱监督任务，机器翻译和语义解析的几个目标。我们表明，目标应该积极劝阻负输出，除了促进替代金结构。这种双极性的概念自然存在于斜坡损失目标中，我们将其应用于神经模型。我们表明，双极斜坡损失目标优于其他非双极斜坡损失目标和最小风险训练（MRT）的弱监督任务，以及监督机器翻译任务。此外，我们引入了一个新的令牌级斜坡损失目标，它能够在两个弱监督任务上甚至优于最好的序列级斜坡损失。
2019-07-06 cs.CL cs.LG stat.ML
Are Mutually Intelligible Languages Easier to Translate?
Tel Aviv University（特拉维夫大学）
如果两种语言的母语使用者可以使用自己的母语进行交流，则认为这两种语言是相互理解的。人类认为一对语言是相互理解的，这一事实如何影响学习它们之间的翻译模型的能力？我们假设训练神经机器翻译模型所需的数据量与语言的相互可懂度成反比。对罗曼语组的实验表明，模型的学习曲线下面积与通过研究人类说话者获得的相互可懂度分数之间确实存在很强的相关性。
2022-01-31 cs.CL cs.LG
Translating Similar Languages: Role of Mutual Intelligibility in Multilingual Transformers
The University of British Columbia（不列颠哥伦比亚大学）
我们研究了在低资源条件下在相似语言之间进行翻译的不同方法，作为我们对WMT 2020相似语言翻译共享任务的贡献的一部分。我们在两个方向上为所有语言对提交了基于Transformer的双语和多语言系统。我们还利用其中一个语言对的反向翻译，获得超过3个BLEU点的改进。我们解释我们的研究结果，根据每对之间的相互可懂度（基于Jaccard相似性），发现相互可懂度和模型性能之间存在正相关关系。我们的西班牙语-加泰罗尼亚语模型在所有五种语言对中表现最好。除了印地语-马拉地语的情况下，我们的双语模型实现了更好的性能比所有对的多语言模型。
2020-11-10 cs.CL cs.LG
Efficient Machine Translation Corpus Generation: Integrating Human-in-the-Loop Post-Editing with Large Language Models
aiXplain Inc.（aiXplain公司）
提出一种融合人在环后编辑与LLM的机器翻译语料库生成方法，通过翻译合成、辅助标注、伪标签和推荐系统提升质量、降低人工成本并开放源代码。
2025-02-18 cs.AI cs.CL cs.HC
A Novel Bilingual Word Embedding Method for Lexical Translation Using Bilingual Sense Clique
Shanghai Jiao Tong University（上海交通大学）；Centre National de la Recherche Scientifique（法国国家科学研究中心）；National Institute of Information and Communications Technology（信息通信研究机构）
现有的双语词嵌入方法大多只考虑了浅上下文或简单的共现信息。本文提出了一种潜在双语语义单元（Bilingual Sense Clique，BSC），它是由双语语料库上基于逐点互信息的图的最大完全子图导出的。这样，我们平等地对待源和目标词，并且不再需要在大多数现有作品中必须使用的单独的双语投影处理。几种降维方法进行评估，总结BSC的字的关系。在双语词典翻译任务上对所提出的方法进行了评估，实验结果表明，双语意义嵌入方法优于现有的双语词嵌入方法。
2016-08-02 cs.CL
Consensus-Aligned Neuron Efficient Fine-Tuning Large Language Models for Multi-Domain Machine Translation
本文提出一种神经高效微调框架，通过识别和更新共识对齐的神经元，提升大型语言模型在多领域机器翻译中的性能。
2026-02-05 cs.CL
Mutual exclusivity as a challenge for deep neural networks
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究）
强烈的归纳偏见使孩子们能够以快速和适应性强的方式学习。孩子们使用互斥性（ME）偏见来帮助消除单词如何映射到所指对象的歧义，假设如果一个对象有一个标签，那么它就不需要另一个标签。在本文中，我们研究了标准神经架构是否具有ME偏差，证明它们缺乏这种学习假设。此外，我们表明，他们的归纳偏见是不匹配的终身学习配方的分类和翻译。我们证明，有一个令人信服的情况下，设计神经网络的原因是相互排斥，这仍然是一个开放的挑战。
2020-10-21 cs.CL cs.LG
Generalized Biwords for Bitext Compression and Translation Spotting
Universitat d’Alacant（阿利坎特大学）；Universidad de Valladolid（巴利亚多利德大学）
大型双语平行文本（也称为双文本）通常以压缩形式存储，以前的工作表明，如果利用两个文本相互翻译的事实，它们可以更有效地压缩。例如，一个双文本可以被看作是一个双字序列-具有高概率同现的平行单词对-它可以在压缩过程中用作中间表示。然而，文献中描述的简单的双字方法只能利用一对一的单词对齐，不能解决单词的重新排序。因此，我们引入了一个泛化的双字，它可以描述多词的表达和重排。我们还描述了一些方法的二进制压缩的广义双字序列，并比较它们的性能时，不同的方案被应用到双字序列的提取。此外，我们表明，这种泛化的biwords允许实现一个有效的算法来寻找压缩的bitext中的一个文本中的单词或文本段，并检索其对应的翻译在其他文本-一个应用程序通常被称为翻译发现-只有一些微小的修改，在压缩算法。
2014-01-18 cs.CL
A Multilingual Dataset and Empirical Validation for the Mutual Reinforcement Effect in Information Extraction
Yokohama National University（横滨国立大学）；Shenzhen University of Advanced Technology（深圳理工大学）；Zhejiang University（浙江大学）；University of Chinese Academy of Sciences（中国科学院大学）；Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）；Southeast University（东南大学）；University of Tsukuba（筑波大学）；Pusan National University（釜山大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
本文提出多语言MRE混合数据集，通过LLM辅助框架减少标注工作，验证了多语言环境下信息提取中相互强化效应的普遍性。
2026-04-13 cs.CL
MCAT: Scaling Many-to-Many Speech-to-Text Translation with MLLMs to 70 Languages
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Laboratory（鹏城实验室）；Harbin Institute of Technology, Harbin（哈尔滨工业大学（哈尔滨））；University of Cambridge（剑桥大学）；Shanghai Jiao Tong University（上海交通大学）
MCAT框架通过课程学习和数据平衡策略扩展MLLMs支持70种语言并实现互译，同时优化语音适配模块将语音序列长度缩减至30个token，提升翻译效率。
2026-04-13 cs.CL
INFINITY: A Simple Yet Effective Unsupervised Framework for Graph-Text Mutual Conversion
Shanghai Jiao Tong University（上海交通大学）
图到图（G2 T）生成和图到图（T2 G）三元组抽取是知识图谱构建和应用的两个基本任务。现有的无监督方法是合适的候选人，共同学习这两个任务，由于他们避免使用图形-文本并行数据。然而，它们由多个模块组成，并且在训练过程中仍然需要实体信息和关系类型。为此，我们提出了INFINITY，一种简单而有效的无监督方法，不需要外部注释工具或额外的并行信息。它首次实现了完全无监督的图文相互转换。具体来说，INFINITY将G2 T和T2 G视为双向序列生成任务，只微调一个预训练的seq 2seq模型。然后设计了一种新的基于反向翻译的框架来自动生成连续的合成并行数据。为了从源文本中获得具有结构信息的合理图序列，INFINITY通过利用奖励增强最大似然的优势，采用基于奖励的训练损失。作为一个完全无监督的框架，INFINITY经过经验验证，在G2 T和T2 G任务中表现优于最先进的基线。
2022-09-22 cs.AI cs.CL
