Improving Retrieval-Augmented Neural Machine Translation with Monolingual Data
SYSTRAN by ChapsVision（ChapsVision 公司）；Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR）
本研究针对传统检索增强神经机器翻译依赖双语语料的局限，提出基于源语言查询检索目标语单语片段的方法，设计结合句级与词级匹配目标的跨语言检索系统，实验证明性能媲美标准TM模型，真实场景下优于基线与通用跨语言检索器。
2025-10-01 cs.CL
Rethinking Translation Memory Augmented Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
本文从概率检索和方差-偏差分解角度重思翻译记忆增强神经机器翻译，揭示其低偏差高方差特性以解释高低资源场景下的表现差异，提出提升方差的新模型，在多场景下均实现一致性能增益。
2023-06-12 cs.AI cs.CL
Mergen: The First Manchu-Korean Machine Translation Model Trained on Augmented Data
Seoul National University（首尔大学）
针对满语濒危及满韩平行语料稀缺问题，本文提出首个满韩机器翻译模型Mergen，利用GloVe词嵌入引导的词语替换扩充数据，并结合双向GRU编码器-解码器架构，使BLEU分数提升20-30点。
2024-01-12 cs.CL
Backtranslation Augmented Direct Preference Optimization for Neural Machine Translation
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
提出基于直接偏好优化的强化学习后训练框架，利用通用文本语料和专家反馈纠正神经机器翻译错误，在英德翻译任务上将COMET分数从0.703提升至0.747。
2026-08-04 cs.CL
Pluggable Neural Machine Translation Models via Memory-augmented Adapters
Tsinghua University（清华大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Zhongguancun Laboratory（中关村实验室）
为满足不同用户需求并降低从头训练成本，提出一种记忆增强适配器，通过多粒度记忆和新适配器架构以可插拔方式引导预训练NMT模型，并利用记忆dropout减少虚假依赖，实验证明其优于多种基线方法。
2024-03-21 cs.CL
SMDT: Selective Memory-Augmented Neural Document Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
现有的文档级神经机器翻译（NMT）模型已经充分探索了不同的上下文设置，为目标生成提供指导。然而，很少有人注意到开辟更多样化的语境丰富的语境信息。在本文中，我们提出了一个选择性记忆增强神经文档翻译模型来处理包含大的上下文假设空间的文档。具体来说，我们从训练语料库中检索相似的双语句子对来增强全局上下文，然后扩展具有选择机制的双流注意力模型来捕获局部上下文和多样化的全局上下文。这种统一的方法允许我们的模型在三个公开的文档级机器翻译数据集上进行优雅的训练，并且显著优于以前的文档级NMT模型。
2022-01-05 cs.AI cs.CL
Design of English-Hindi Translation Memory for Efficient Translation
平行语料库的建立是机器翻译的一项重要而又困难的工作。这需要人工翻译人员进行手动注释。重复翻译同样的文本是一种无用的活动。有工具可用于欧洲语言实现这一点，但没有这样的工具可用于印度语言。在本文中，我们提出了一个工具，印度语言，它不仅提供了自动翻译的先前可用的翻译，但也提供了多个翻译，在一个句子有多个翻译的情况下，在排名列表中的一个句子的暗示性翻译。此外，该工具还允许翻译人员对他们的工作进行全局和本地保存选项，以便他们可以与其他人共享，这进一步减轻了任务。
2012-10-19 cs.CL
Memory-Augmented Neural Networks for Machine Translation
Trinity College Dublin（都柏林圣三一学院）
记忆增强神经网络（MANN）已被证明在一系列人工序列学习任务上优于其他递归神经网络架构，但它们在现实世界任务中的应用有限。我们评估神经图灵机（NTM）和可微分神经计算机（DNC）直接应用于机器翻译。我们进一步提出并评估了两个模型，扩展了注意编码器-解码器的能力，灵感来自记忆增强神经网络。我们评估了我们提出的模型IWERTOS越南语到英语和ACL罗马尼亚语到英语数据集。我们提出的模型和记忆增强的神经网络在越南语到英语翻译任务上的表现类似于注意编码器-解码器，而在罗马尼亚语到英语任务上的BLEU得分低0.3-1.9。有趣的是，我们的分析表明，尽管配备了额外的灵活性和随机初始化的记忆增强神经网络学习机器翻译的算法几乎相同的注意编码器-解码器。
2019-09-18 cs.CL cs.LG stat.ML
MALM: Mixing Augmented Language Modeling for Zero-Shot Machine Translation
BITS Pilani（博拉理工学院）
大型预训练语言模型为NLP带来了显著的进步。预训练和微调在文本处理的任务中提供了最先进的性能。数据增强技术也有助于在低资源或零资源任务上构建最先进的模型。过去的许多工作都试图学习一个单一的多语种机器翻译模型的zero-shot翻译。虽然这些翻译模型产生了正确的翻译，但主要的挑战是这些模型产生了错误的语言用于zero-shot翻译。这项工作和它的结果表明，提示条件大模型不遭受小康目标语言的错误，即由于翻译错误的语言所产生的错误。我们实证证明了自监督预训练和数据增强对于zero-shot多语言机器翻译的有效性。
2022-10-01 cs.CL cs.LG
Sentence Simplification with Memory-Augmented Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Massachusetts Medical School（马萨诸塞大学医学院）；Microsoft Research（微软研究院）
句子简化旨在简化复杂句子的内容和结构，从而使它们更容易为人类读者解释，并更容易为下游NLP应用程序处理。神经机器翻译的最新进展为这项任务的新方法铺平了道路。在本文中，我们采用了一种具有增强记忆能力的架构，称为神经语义编码器（Munkhdalai和Yu，2017），用于句子简化。我们的实验证明了我们的方法在不同的简化数据集上的有效性，无论是在自动评估措施和人类的判断。
2018-04-20 cs.CL
Scalable Machine Translation in Memory Constrained Environments
University of Oxford（牛津大学）
机器翻译是一门关于开发自动化工具的学科，用于将一种人类语言翻译成另一种人类语言。统计机器翻译（SMT）是这一领域的主流范式。在SMT中，翻译是通过统计模型生成的，其参数是从双语数据中学习的。可伸缩性是SMT中的一个关键问题，因为人们希望利用尽可能多的数据来训练更好的翻译系统。近年来，具有足够计算能力的移动设备已经变得广泛可用。尽管非常成功，但依赖于NLP系统的移动应用程序继续遵循客户端-服务器架构，这是有限的使用，因为访问互联网通常是有限的和昂贵的。本论文的目标是展示如何构建一个可扩展的机器翻译系统，可以在移动终端上使用有限的资源。在移动设备上移植翻译系统的主要挑战是内存使用。移动终端上可用的内存量远小于客户端-服务器应用程序的服务器端上通常可用的内存量。在这篇论文中，我们研究了这两个组件的替代方案，这两个组件阻止标准翻译系统在移动设备上工作，由于高内存使用。我们表明，一旦这些标准组件被替换为我们提出的替代品，我们获得了一个可扩展的翻译系统，可以在内存有限的设备上工作。
2016-10-06 cs.CL
AdMix: A Mixed Sample Data Augmentation Method for Neural Machine Translation
Soochow University（苏州大学）
在神经机器翻译（NMT）中，诸如反向翻译的数据增强方法已经证明了它们在提高翻译性能方面的有效性。在本文中，我们提出了一种新的数据增强方法，这是独立于任何额外的训练数据的NMT。我们的方法，AdMix，包括两个部分：1）引入微弱的离散噪声（词替换，词丢弃，词交换）到原始的句子对，形成增强的样本; 2）产生新的合成训练数据，通过软混合的增强样本与它们的原始样本在训练语料库。在三个不同尺度的翻译数据集上的实验表明，AdMix在强Transformer基线上实现了显著的改进（1.0到2.7个BLEU点）。当与其他数据增强技术（例如，回译），我们的方法可以得到进一步的改进。
2022-05-10 cs.CL
Document Context Neural Machine Translation with Memory Networks
Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）
我们提出了一个文档级神经机器翻译模型，该模型使用记忆网络将源文档和目标文档上下文都考虑在内。我们将问题建模为结构化预测问题，观察变量和隐藏变量之间存在相互依赖关系，即，文档中的源句子及其未观察到的目标翻译。由此产生的结构化预测问题是用一个神经翻译模型来解决的，该模型配备了两个记忆组件，分别用于源端和目标端，以捕获文档的相互依赖性。我们对模型进行了端到端的训练，并提出了一种基于块坐标下降的迭代解码算法。从法语，德语和爱沙尼亚语文档的英语翻译的实验结果表明，我们的模型是有效的，在利用源和目标文档上下文，并在统计上显着优于以前的工作在BLEU和METEOR。
2018-05-16 cs.CL
Low-Resource Machine Translation through Retrieval-Augmented LLM Prompting: A Study on the Mambai Language
Catalpa International（卡特帕国际）；The University of Melbourne（墨尔本大学）；Timorlink（帝汶链接）；Seminario Menor Balide Dili（帝力巴利德神学院）
本研究探索利用少样本LLM提示结合TF-IDF、语义嵌入检索的平行句子和词典条目，进行英语到低资源Mambai语的机器翻译，发现该方法显著提升翻译质量，并揭示了测试集差异对评估的影响。
2024-04-07 cs.CL
LEPOR: An Augmented Machine Translation Evaluation Metric
University of Macau（澳门大学）
机器翻译是自然语言处理领域的研究热点之一。机器翻译中的一个重要问题是如何对机器翻译系统进行合理的评价，并告诉我们翻译系统是否有所改进。传统的人工判断方法成本高、耗时长、不可重复、一致性差。另一方面，目前流行的机器翻译自动评测方法也存在一些不足。首先，他们在以英语为目标语言的语言对上表现较好，而在以英语为源语言的语言对上表现较弱。其次，一些方法依赖于许多额外的语言特征来实现良好的性能，这使得度量无法复制和应用于其他语言对。第三，一些流行的指标使用不全面的因素，这导致在一些实际任务的性能低下。在本论文中，我们针对现有的问题，设计了新的机器翻译评估方法，并研究了它们在不同语言上的性能。首先，我们设计增强因子以产生高度准确的评估。其次，我们设计了一个可调的评估模型，其中的因素的权重可以根据语言的特点进行优化。第三，在我们的方法的增强版本中，我们使用词性（POS）设计简洁的语言特征，以表明我们的方法在使用一些外部语言资源时可以产生更高的性能。最后，我们介绍了我们的指标在ACL-WMT研讨会共享任务中的实际性能，这表明所提出的方法在不同语言中具有鲁棒性。此外，我们还提出了一些新的工作质量估计MT不使用参考翻译，包括使用概率模型的朴素贝叶斯（NB），支持向量机（SVM）分类算法，和CRF。
2022-01-24 cs.CL
Memory-enhanced Decoder for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Huawei Technologies（华为技术有限公司）；Dublin City University（都柏林城市大学）
我们建议在具有外部存储器的神经机器翻译器（NMT）中增强RNN解码器，作为解码RNN中状态的自然但强大的扩展。这种内存增强的RNN解码器被称为\textsc{MemDec}。在解码期间的每一次，\textsc{MemDec}将从该存储器读取并写入该存储器一次，两者都使用基于内容的寻址。与以前的工作\cite{RNNsearch}中存储源语句的表示的无界存储器不同，\textsc{MemDec}中的存储器是具有预定大小的矩阵，其设计用于在每个时间步更好地捕获对解码过程重要的信息。我们的汉英翻译实验表明，在相同的训练集下，使用$4.8$ BLEU对Groundhog和$5.3$ BLEU对Moses的翻译效果最好。
2016-06-07 cs.CL
Document-level Neural Machine Translation with Associated Memory Network
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（日本国立情报学研究所）
标准神经机器翻译（NMT）假设文档级上下文是独立的。大多数现有的文档级NMT方法都满足于对全局文档级信息的一知半解，而这项工作的重点是利用详细的文档级上下文的内存网络。从记忆中检测当前句子的最相关部分的记忆网络的能力呈现了对丰富的文档级上下文进行建模的自然解决方案。在这项工作中，建议的文档感知内存网络实现，以提高Transformer NMT基线。多个任务的实验表明，该方法显着提高了NMT的性能在强Transformer基线和其他相关研究。
2021-08-24 cs.CL
Neural Machine Translation with External Phrase Memory
The University of Hong Kong（香港大学）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）
在本文中，我们提出了phraseNet，一个神经机器翻译与短语记忆存储短语对符号形式，从语料库中挖掘或由人类专家指定。对于任何给定的源句子，phraseNet扫描短语存储器以确定候选短语对，并相应地将标记信息集成到源句子的表示中。该解码器采用词生成组件和短语生成组件的混合，并采用专门设计的策略一次生成多个词的序列。PhraseNet不仅向将外部知识融入神经机器翻译迈出了一步，而且还努力扩展了递归神经网络的逐词生成机制。我们对汉英翻译的实证研究表明，在记忆中仔细选择短语表，phraseNet比通用神经机器翻译器产生3.45 BLEU的改进。
2016-06-06 cs.CL
Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
针对现有检索增强机器翻译策略统一化的问题，提出智能体强化学习框架SRAT，通过优化翻译质量学习检索决策，实验显示其在多类翻译任务上优于基线，将检索视为可学习动作更具优势。
2026-10-15 cs.AI cs.CL cs.IR
Phrase Table as Recommendation Memory for Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）由于其良好的翻译性能而受到广泛关注。然而，一些研究表明，NMT往往产生流畅，但不忠实的翻译。在本文中，我们提出了一种方法来缓解这个问题，使用短语表作为推荐记忆。其主要思想是为值得推荐的单词添加奖金，以便NMT能够做出正确的预测。具体地说，我们首先根据源句子搜索短语翻译表，得到一个前缀树来容纳所有候选目标短语。然后，我们通过NMT将候选目标短语与先前翻译的目标词进行匹配来构建推荐词集。之后，我们通过使用注意向量和短语翻译概率来确定每个可重复单词的具体奖励值。最后，我们将此奖金值集成到NMT中，以改善翻译结果。大量的实验表明，所提出的方法得到显着的改善，基于强注意力的NMT。
2018-05-25 cs.CL
Speech-to-Text Translation with Phoneme-Augmented CoT: Enhancing Cross-Lingual Transfer in Low-Resource Scenarios
Barcelona Supercomputing CenterSpain（巴塞罗那超级计算中心西班牙）；Universitat Politècnica de CatalunyaSpain（巴塞罗那理工大学西班牙）
本研究提出将音素表示融入思维链框架的语音转文本翻译方法，通过课程学习训练扩展后的多语种大语言模型，提升低资源场景翻译质量并实现零资源翻译，为多语言S2TT普及提供新思路。
2025-05-30 cs.CL cs.SD eess.AS
Neural Machine Translation with Monolingual Translation Memory
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
先前的工作已经证明，翻译记忆（TM）可以提高神经机器翻译（NMT）的性能。在现有的工作，使用双语语料库TM和采用源端相似性搜索的记忆检索相比，我们提出了一个新的框架，使用单语记忆，并进行可学习的记忆检索在跨语言的方式。我们的框架具有独特的优势。首先，跨语言记忆检索器允许大量的单语数据被TM。第二，记忆检索器和NMT模型可以联合优化最终的翻译目标。实验结果表明，该方法具有明显的改进效果.值得注意的是，它甚至优于使用双语TM的强大TM增强NMT基线。由于能够利用单语数据，我们的模型还在低资源和领域自适应场景中表现出有效性。
2021-06-02 cs.AI cs.CL
Translating Phrases in Neural Machine Translation
Soochow University（苏州大学）；Tencent AI Lab（腾讯人工智能实验室）
短语在自然语言理解和机器翻译中发挥着重要作用（Sag等人，2002; Villavicencio等人，2005年）。然而，很难将它们集成到当前逐词阅读和生成句子的神经机器翻译（NMT）中。在这项工作中，我们提出了一种方法来翻译NMT中的短语，通过将存储目标短语的短语存储器从基于短语的统计机器翻译（SMT）系统集成到NMT的编码器-解码器架构中。在每个解码步骤中，短语存储器首先由SMT模型重写，SMT模型利用NMT模型提供的上下文信息动态地生成相关目标短语。然后，所提出的模型读取短语记忆中的所有短语的概率估计。如果进行短语生成，则NMT解码器从存储器中选择适当的短语以执行短语翻译，并通过消耗所选短语中的单词来更新其解码状态。否则，NMT解码器如一般NMT解码器那样从词汇表生成单词。实验结果表明，该模型在不同的测试集上都取得了显著的提高。
2017-08-07 cs.CL
Exposing the Cracks: Vulnerabilities of Retrieval-Augmented LLM-based Machine Translation
针对检索增强型大语言模型机器翻译（REAL-MT）在嘈杂检索语境下可靠性不明的问题，提出噪声合成框架与新指标评估其鲁棒性，发现低资源语言对及大型推理模型更易受噪声影响，揭示权衡并强调自验证集成机制的必要性。
2025-11-17 cs.CL
Bi-Decoder Augmented Network for Neural Machine Translation
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
神经机器翻译（NMT）是近年来的热门技术，其中编码器-解码器框架是主流。很明显，来自编码的语义表示的质量是非常关键的，并且可以显著影响模型的性能。然而，现有的单向源到目标的架构可能很难产生一个语言独立的文本表示，因为它们严重依赖于特定的语言对的关系。为了缓解这个问题，在本文中，我们提出了一种新的双解码器增强网络（BiDAN）的神经机器翻译任务。在训练时，除了原有的生成目标语言序列的解码器外，我们还增加了一个辅助解码器来生成回源语言序列。由于每个解码器将输入文本的表示转换为相应的语言，因此与两个目标端联合训练可以使共享的编码器具有产生语言无关的语义空间的潜力。我们进行了广泛的实验，在几个NMT基准数据集和结果证明了我们提出的方法的有效性。
2020-01-14 cs.CL cs.LG
Retrieval-Augmented Machine Translation with Unstructured Knowledge
Pattern Recognition Center, WeChat AI, Tencent Inc（模式识别中心、微信AI、腾讯公司）
针对非结构化、跨语言不完全配对的世界知识，本文构建含169K样本的RAGtrans基准，并提出无需额外标注的多任务训练方法，显著提升LLM多语言检索增强翻译性能。
2025-08-29 cs.AI cs.CL
Learning Efficient Lexically-Constrained Neural Machine Translation with External Memory
iFLYTECK Research（科大讯飞研究院）
近年来，神经机器翻译取得了巨大的进展，然而，人工指导翻译过程的方法仍有待于更好地探索。先前的工作提出通过在解码阶段中的词汇约束的束搜索来处理这样的问题。不幸的是，这些受词汇约束的波束搜索方法具有两个致命的缺点：高计算复杂性和硬束搜索，其产生意外的翻译。在本文中，我们提出了学习的词汇限制翻译的能力与外部记忆，它可以克服上述缺点。在训练过程中，自动提取的短语对是从对齐和句子分析中提取的，然后进一步编码到外部存储器中。然后，该存储器用于通过存储器-注意力机制提供用于训练的词汇约束信息。本文对WMT中译英和英译德任务进行了多项实验。所有的结果都证明了我们的方法的有效性。
2019-01-31 cs.AI cs.CL
High-Quality Data Augmentation for Low-Resource NMT: Combining a Translation Memory, a GAN Generator, and Filtering
Waseda University（早稻田大学）
本文提出一种结合GAN、翻译记忆和过滤流程的新方法，在源端利用单语语料进行高质量数据增强，有效提升了低资源神经机器翻译的性能。
2024-08-22 cs.AI cs.CL
Neural Machine Translation with Contrastive Translation Memories
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；Shandong University（山东大学）；Beijing Institute of General Artificial Intelligence（北京通用人工智能研究院）；Renmin University of China（中国人民大学）
检索增强神经机器翻译模型在许多翻译场景中取得了成功。不同于以往的工作，利用相互相似，但冗余的翻译记忆~（TM），我们提出了一个新的检索增强的NMT模型对比检索的翻译记忆是整体相似的源句，而单独的对比，以提供最大的信息增益在三个阶段。首先，在TM检索阶段，我们采用了对比检索算法，避免了相似译文的冗余和不完整。第二，在记忆编码阶段，给定一组TM，我们提出了一种新的分层组注意力模块，收集每个TM的局部上下文和整个TM集的全局上下文。最后，在训练阶段，多TM对比学习目标被引入到学习每个TM相对于目标句子的显著特征。实验结果表明，我们的框架在基准数据集上的强基线上得到了改进。
2022-12-06 cs.AI cs.CL
Enhancing Length Extrapolation in Sequential Models with Pointer-Augmented Neural Memory
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
本文提出指针增强神经记忆（PANM），通过外部神经记忆和物理指针操作增强序列模型，实现符号处理与长度外推，在算法推理、Dyck 语言识别及组合学习等任务中显著提升性能。
2024-04-18 cs.CL cs.LG
DelTA: An Online Document-Level Translation Agent Based on Multi-Level Memory
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳计算与智能研究院）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯微信AI模式识别中心）；NLP2 CT Lab, Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系NLP2 CT实验室）
针对LLM在文档机器翻译中难以保持一致性和准确性的问题，提出基于多级记忆结构的在线文档级翻译智能体DelTA，通过逐句翻译策略和辅助LLM组件持续检索更新记忆，显著提升了翻译质量与上下文准确性。
2025-03-05 cs.AI cs.CL
DATScore: Evaluating Translation with Data Augmented Translations
École Polytechnique（巴黎综合理工学院）；Linagora（Linagora公司）；AUEB（雅典经济与商业大学）
大型预训练语言模型的快速发展不仅彻底改变了自然语言生成（NLG）领域，也改变了其评估领域。BARTScore是一个利用BART语言模型从多个方面评估生成文本质量的指标。DATScore使用数据增强技术来改进机器翻译的评估。我们的主要发现是，引入源文本和参考文本的数据增强翻译在评估生成的翻译的质量方面非常有帮助。我们还提出了两个新的评分平均和术语加权策略，以改善BARTScore的原始评分计算过程。WMT上的实验结果表明，DATScore与人类元评估的相关性优于其他最新的最先进的指标，特别是对于低资源语言。消融研究证明了我们的新评分策略的附加值。此外，我们在扩展实验中报告了DATScore在翻译以外的3个NLG任务上的性能。
2022-10-12 cs.CL
BM25-Augmented Many-Shot Translation for Low-Resource North-Eastern Indian Languages
University of Florida（佛罗里达大学）
该研究针对WMT26低资源印度东北语言翻译任务，采用BM25检索示例、Gemini 2.5 Flash翻译的无微调方案，通过网格搜索确定最优参数，实现英语与11种印度东北语言的双向翻译。
2026-08-17 cs.CL
TAPO: Translation Augmented Policy Optimization for Multilingual Mathematical Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
TAPO通过引入翻译增强策略优化框架，提升多语言数学推理能力，有效结合语言理解和推理能力，优于基线方法并在未见语言和领域任务中表现良好。
2026-03-26 cs.CL
Streaming Simultaneous Speech Translation with Augmented Memory Transformer
Facebook（脸书）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于transformer的模型在语音翻译任务上取得了最先进的性能。然而，该模型架构对于流场景不够有效，因为自注意力是在整个输入序列上计算的，并且计算成本随着输入序列的长度二次增长。然而，大多数关于同时语音翻译的先前工作，即从部分音频输入生成翻译的任务，在分析延迟时忽略了生成翻译所花费的时间。在这种假设下，系统可能具有良好的延迟质量权衡，但在实时场景中不适用。在本文中，我们重点关注流同步语音翻译的任务，其中系统不仅能够在部分输入的情况下进行翻译，而且还能够处理非常长或连续的输入。我们提出了一个端到端的变压器为基础的序列到序列模型，配备了一个增强内存的Transformer编码器，它已显示出巨大的成功，在流自动语音识别任务与混合或基于传感器的模型。我们进行实证评估的建议模型段，上下文和内存大小，我们比较我们的方法与单向掩码的Transformer。
2020-10-30 cs.CL
RASST: Retrieval-Augmented Simultaneous Speech Translation
Johns Hopkins University（约翰霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
针对同声传译中罕见术语翻译不准的问题，提出检索增强方法RASST，通过轻量级语音-文本检索器提供分块术语提示，并合成训练数据教会模型何时应用检索术语，在ACL 60/60和ESO测试集上术语准确率提升近40%，BLEU提升最多3点。
2026-06-16 cs.CL
CRAT: A Multi-Agent Framework for Causality-Enhanced Reflective and Retrieval-Augmented Translation with Large Language Models
Peking University（北京大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯微信AI模式识别中心）
针对大模型翻译中术语不一致和RAG信息过载问题，本文提出多智能体框架CRAT，通过术语识别、KG构建检索、因果评判与翻译协作，显著提升上下文敏感词及新词翻译准确性。
2024-10-28 cs.CL
An Augmented Translation Technique for low Resource language pair: Sanskrit to Hindi translation
Malaviya National Institute of Technology（马拉维亚国家技术学院）
神经机器翻译（Neural Machine Translation，NMT）是一种利用大型人工神经网络进行机器翻译（Machine Translation，MT）的新兴技术。它已经展示了有希望的结果，并在解决具有挑战性的机器翻译练习方面显示出令人难以置信的潜力。其中一个练习是用一点准备信息为语言集提供大量MT的最佳方法。在这项工作中，Zero Shot Translation（ZST）检查低资源语言对。通过对高资源语言对进行工作，即西班牙语到葡萄牙语，并对数据集进行训练（西班牙语-英语和英语-葡萄牙语），我们为ZST系统准备了一个证明状态，该系统可以根据可用数据提供适当的结果。随后，通过在英语-印地语和梵语-英语语言对上训练模型，对数据稀疏的梵语到印地语翻译测试相同的架构。为了使用ZST系统进行准备和解密，我们扩展了Tensorflow中NMT seq 2seq模型的准备和解释管道，并结合了ZST功能。通过对词嵌入进行语义缩减，减少了数据存储的内存占用，加快了训练和翻译周期。在这项工作中，我们以富有想象力的方式利用现有的有用技术来执行我们的NLP问题，即梵语到印地语的翻译。一个梵语-印地语平行语料库的300构建测试。建立平行语料库所需的数据取自印度中央邦政府新闻部网站上发布的电视新闻。
2020-06-09 cs.CL
Intelligent Translation Memory Matching and Retrieval with Sentence Encoders
University of Wolverhampton（伍尔弗汉普顿大学）；University of Surrey（萨里大学）
从翻译记忆库中匹配和检索先前翻译的片段是翻译记忆库系统的关键功能。然而，这种匹配和检索过程仍然局限于基于编辑距离的算法，我们已经确定这是翻译记忆系统的一个主要缺点。在本文中，我们引入句子编码器，以改善翻译记忆系统的匹配和检索过程-一个有效和高效的解决方案，以取代基于编辑距离的算法。
2020-04-27 cs.CL
SCOI: Syntax-augmented Coverage-based In-context Example Selection for Machine Translation
Peking University（北京大学）
本文提出语法增强覆盖度上下文示例选择策略（SCOI），通过结合深层句法覆盖度与词汇覆盖度为机器翻译选择更优的上下文示例，在六个翻译方向上取得所有无学习方法中最高的平均COMET分数。
2024-09-25 cs.CL
Chinese Named Entity Recognition Augmented with Lexicon Memory
Fudan University（复旦大学）
受认知科学中内容可寻址检索概念的启发，本文提出了一种新的基于片段的模型，该模型结合了基于词汇的记忆，将字符级和词级特征相结合，为可能的候选名字生成更好的特征表示。据观察，定位实体名称的边界信息是有用的，以便将它们分类到预定义的类别。引入位置相关的特征，包括前缀和后缀的分布式表示形式的NER。基于词汇的记忆被用来帮助生成这样的位置依赖的功能和处理的问题，词汇表外的话。实验结果表明，所提出的模型，称为LEMON，达到了国家的最先进的四个数据集。
2020-06-20 cs.CL
Memory Augmented Language Models through Mixture of Word Experts
Google Research（谷歌研究院）
本文提出混合词专家模型，通过基于词汇的路由和大量特定词专家作为稀疏记忆，在相近计算量下显著提升性能，并在知识密集型任务上优于常规MoE及复杂记忆增强方法。
2023-11-15 cs.CL
Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling
Columbia University（哥伦比亚大学）
针对 Transformer 模型无法处理长对话历史导致上下文截断的问题，提出一种兼容现有预训练模型的记忆增强 Transformer，通过独立记忆模块实现记忆状态与当前输入的信息交互，在多个数据集上取得更优的效率与性能。
2023-05-23 cs.CL
Memory-augmented Query Reconstruction for LLM-based Knowledge Graph Reasoning
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
本文提出MemQ方法，通过LLM构建的查询记忆将工具调用与知识推理解耦，并结合自然语言推理与记忆增强查询重构，在WebQSP和CWQ基准上取得了最先进的KGQA性能。
2025-03-07 cs.CL
Memformer: A Memory-Augmented Transformer for Sequence Modeling
University of California, Davis（加州大学戴维斯分校）；Westlake University（西湖大学）；Facebook AI（脸书人工智能研究院）
Transformers在层序建模中取得了显著的成功。然而，这些模型存在效率问题，因为它们需要将所有历史标记级表示存储为内存。我们提出Memformer，一个有效的神经网络序列建模，利用外部动态记忆编码和检索过去的信息。我们的模型在处理长序列时达到了线性时间复杂度和恒定内存空间复杂度。我们还提出了一个新的优化方案，内存重放反向传播（MRBP），促进远程反向传播通过时间与显着降低内存需求。实验结果表明，Memformer与基线相比，通过使用少8.1倍的内存空间和快3.2倍的推理速度，实现了相当的性能。对注意模式的分析表明，我们的外部记忆槽可以通过时间步长编码和保留重要信息。
2022-04-12 cs.CL
Text normalization using memory augmented neural networks
VIT University（韦洛尔理工学院）
我们使用记忆增强的神经网络进行文本规范化，即将单词从书面形式转换为口语形式。随着动态内存访问和存储机制的增加，我们提出了一个神经架构，将作为一个语言无关的文本规范化系统，同时避免了基于LSTM的递归神经网络所造成的不可接受的错误。通过成功地减少这种错误的频率，我们表明，这种新颖的架构确实是一个更好的选择。我们提出的系统需要的数据量、训练时间和计算资源都要少得多。此外，我们进行数据上采样，绕过一些符号类中的数据稀疏问题，以表明在任何特定类中有足够的例子可以提高我们的文本规范化系统的性能。虽然在某些符号类中仍然存在一些这些错误，但我们证明了具有元学习能力的记忆增强网络可以为高级文本规范化系统打开许多大门。
2019-04-03 cs.CL
DGT-TM: A freely Available Translation Memory in 22 Languages
European Commission（欧洲委员会）；European Commission Joint Research Centre（欧洲委员会联合研究中心）
欧洲联盟委员会（EC）翻译总局与欧盟委员会联合研究中心一起，正在提供一个大型翻译记忆库（TM;即句子及其专业翻译），涵盖22种欧洲联盟（EU）官方语言及其231种语言对。这种资源通常由翻译专业人员与TM软件结合使用，以提高翻译的速度和一致性。然而，该资源在翻译研究和语言技术应用中也有许多用途，包括统计机器翻译（SMT）、术语提取、命名实体识别（NER）、多语言分类和聚类等等。在这篇DGT-TM参考文献中，我们介绍了这种新资源，提供了有关其大小的统计数据，并解释了它是如何产生的以及如何使用它。
2013-09-20 cs.CL
Exploring Learnability in Memory-Augmented Recurrent Neural Networks: Precision, Stability, and Empirical Insights
University of South Florida（南佛罗里达大学）
本文通过实验与理论分析发现，冻结记忆组件可稳定时间依赖并显著提升记忆增强 RNN 的长序列泛化能力，在 Penn Treebank 上将测试困惑度从 123.5 降至 120.5。
2024-10-04 cs.CL
Multi-Turn Reasoning When Context Arrives in Pieces: Scalable Sharding and Memory-Augmented RL
The University of Melbourne（墨尔本大学）；Google Research Australia（谷歌澳大利亚研究院）
针对多轮对话中信息碎片化导致LLM准确率下降65%的问题，提出通过训练模型维护紧凑滚动记忆而非增长历史来缓解，并引入低成本分片流水线将单轮QA转换为多轮碎片化情节，训练的记忆增强策略显著提升多轮准确率并零样本泛化到更难任务。
2026-06-15 cs.CL
Structured Prediction as Translation between Augmented Natural Languages
Amazon Web Services（亚马逊云服务）
我们提出了一个新的框架，增强自然语言之间的翻译（TANL），解决许多结构化的预测语言任务，包括联合实体和关系抽取，嵌套命名实体识别，关系分类，语义角色标注，事件提取，共指消解，对话状态跟踪。我们没有通过训练特定于任务的判别分类器来解决这个问题，而是将其视为增强自然语言之间的翻译任务，从中可以轻松提取任务相关信息。我们的方法可以匹配或优于所有任务的特定于任务的模型，特别是，在联合实体和关系抽取（CoNLL 04，ADE，NYT和ACE 2005数据集），关系分类（FewRel和TACRED），和语义角色标注（CoNLL-2005和CoNLL-2012）上实现了新的最先进的结果。我们在为所有任务使用相同的架构和超参数的同时实现了这一点，甚至在训练单个模型以同时解决所有任务（多任务学习）时也是如此。最后，我们表明，我们的框架也可以显着提高性能，在低资源制度，由于更好地使用标签语义。
2021-12-02 cs.CL cs.LG
Enhancing E-commerce Product Title Translation with Retrieval-Augmented Generation and Large Language Models
Amazon（亚马逊公司）
针对电商标题翻译中缺乏上下文和术语的问题，提出检索增强生成方法，利用双语示例作为少样本提示，提升LLM翻译质量，chrF最高提升15.3%。
2024-09-19 cs.AI cs.CL cs.LG
Streaming Attention-Based Models with Augmented Memory for End-to-End Speech Recognition
Facebook AI（Facebook人工智能实验室）
基于注意力的模型在机器翻译和自动语音识别等领域表现出了很强的性能，近年来得到了广泛的应用。基于注意力的模型的一个主要挑战是需要访问完整的序列和关于序列长度的二次增长的计算成本。这些特性带来了挑战，特别是对于低延迟场景，其中系统通常需要流式传输。在本文中，我们建立了一个紧凑的和流式语音识别系统的端到端的神经传感器架构与基于注意力的模块增强卷积的顶部。所提出的系统配备了端到端的模型与流的能力，并减少了大的足迹从流的注意力为基础的模型使用增强内存。在LibriSpeech数据集上，我们提出的系统在测试干净和测试其他上实现了2.7%的单词出错率和5.8%的错误率，据我们所知，这是迄今为止报道的流媒体方法中最低的。
2020-11-03 cs.CL
MZET: Memory Augmented Zero-Shot Fine-grained Named Entity Typing
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Google Research（谷歌研究院）
命名实体类型化（Named Entity Typing，NET）是一种在上下文中为实体指定特定语义类型的分类任务。然而，随着实体类型的规模和粒度的不断增大，以往的研究很少关注新出现的实体类型。在本文中，我们提出了MZET，一种新的内存增强的FNET（细粒度NET）模型，以处理不可见的类型在一个zero-shot的方式。MZET结合了字符级，单词级和上下文级信息来学习实体提及表示。此外，MZET将语义和层次结构纳入实体类型表示中。最后，通过记忆组件，该模型之间的关系实体提到和实体类型，MZET转移知识从看到的实体类型的zero-shot的。在三个公共数据集上进行的大量实验表明，MZET获得了出色的性能，超过了最先进的FNET神经网络模型，Micro-F1和Macro-F1得分提高了7%。
2020-11-02 cs.CL
When Errors Become Memories: Causal Pathway Tracing in Multi-Turn Memory-Augmented LLMs
Beike Language and Intelligence（贝壳语言与智能）
该研究针对记忆增强LLMs的错误传播问题，提出基于SCM的框架，识别两条错误路径并开展多层面评估，发现错误传播规律，路径引导修复可显著降低残留错误。
2026-09-01 cs.CL
