Speeding Up Neural Machine Translation Decoding by Cube Pruning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
虽然神经机器翻译已经取得了令人鼓舞的成果，但它的翻译速度很慢。其直接后果是翻译质量和速度之间的平衡，从而不能充分发挥其性能。我们应用立方体修剪，一种流行的技术，以加快动态规划，到神经机器翻译，以加快翻译。为了构造等价类，类似的目标隐藏状态被组合在一起，从而减少了目标端的RNN扩展操作，并减少了大型目标词汇表上的\$ \mathrm{softmax} \$操作。实验表明，在相同甚至更好的翻译质量下，与朴素束搜索相比，该方法在GPU上的翻译速度可达3.3 \times，在CPU上的翻译速度可达3.5 \times.
2018-09-09 cs.AI cs.CL
Exploring Kernel Functions in the Softmax Layer for Contextual Word Classification
RWTH Aachen University（亚琛工业大学）
核函数（kernels）主要用于支持向量机和逻辑回归，它可以隐式地将数据点映射到高维空间，使学习复杂的决策边界变得更容易。在这项工作中，通过替换softmax层中的内积函数，我们探索了使用内核进行上下文单词分类。为了比较各个内核，在标准语言建模和机器翻译任务上进行实验。我们在不同的内核设置中观察到广泛的性能。扩展的结果，我们看看梯度属性，调查各种混合策略，并检查消歧能力。
2019-10-28 cs.CL cs.LG stat.ML
Fast and Simple Mixture of Softmaxes with BPE and Hybrid-LightRNN for Language Generation
Carnegie Mellon University（卡内基梅隆大学）
Softmax混合模型（MoS）已被证明可以有效地解决基于Softmax模型的表达能力限制。尽管有已知的优势，但由于需要计算多个Softmax，MoS实际上被其大量的内存消耗和计算时间所密封。在这项工作中，我们开始释放的MoS在实际应用中的力量，通过调查改进的单词编码方案，这可以有效地减少词汇量，从而减轻内存和计算负担。我们证明了BPE和我们提出的Hybrid-LightRNN都可以改进编码机制，可以将MoS的时间和内存消耗减半，而不会造成性能损失。使用MoS，我们在IWITH2014德语到英语语料库上实现了1.5 BLEU分数的改进，在图像描述上实现了0.76 CIDER分数的改进。此外，在更大的WMT 2014机器翻译数据集上，我们的MoS增强型Transformer在英语到德语的BLEU得分为29.5，在英语到法语的BLEU得分为42.1，分别比单一Softmax Transformer高出0.8和0.4，在WMT 2014英语到德语任务上达到了最先进的结果。
2019-06-25 cs.CL
Neural Machine Translation with Gumbel-Greedy Decoding
The University of Hong Kong（香港大学）；AIFounded Inc.（AIFounded公司）
先前的神经机器翻译模型使用某些启发式搜索算法（例如，束搜索），以避免在测试时解决翻译句子的最大后验问题。在本文中，我们提出了Gumbel-贪心解码，它训练一个生成网络来预测翻译下训练的模型。我们使用Gumbel-Softmax重新参数化来解决这个问题，这使得我们的生成网络可以通过标准的随机梯度方法进行微分和训练。我们经验证明，我们提出的模型对于生成离散单词序列是有效的。
2017-06-22 cs.CL
Fast Neural Machine Translation Implementation
University of Edinburgh（爱丁堡大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）；Tilde Universitat d’Alacant（阿利坎特大学（Tilde））
本文介绍了爱丁堡大学、亚当密茨凯维奇大学、蒂尔德大学和阿利坎特大学的成员在神经机器翻译和生成研讨会上提交的GPU效率跟踪报告。我们专注于在神经机器翻译的快速推理引擎Amun中实现的循环深度学习模型的有效实现。我们通过一个高效的mini-square算法，并通过融合softmax操作与k-best提取算法来提高性能。使用Amun的提交在GPU效率跟踪中排名第一，第二和第三。
2018-06-07 cs.CL
Sparse Attention with Linear Units
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；ILLC, University of Amsterdam（阿姆斯特丹大学语言、逻辑与计算研究所）；Department of Computational Linguistics, University of Zurich（苏黎世大学计算语言学系）
最近，有人认为，编码器-解码器模型可以通过将注意力中的softmax函数替换为其稀疏变量来变得更可解释。在这项工作中，我们介绍了一种新的，简单的方法来实现注意力的稀疏性：我们用ReLU代替softmax激活，并表明稀疏性自然地从这样的公式中出现。训练稳定性是通过层归一化来实现的，该层归一化具有专门的初始化或附加的门控功能。我们的模型，我们称之为矫正线性注意力（ReLA），是很容易实现的，比以前提出的稀疏注意力机制更有效。我们将ReLA应用于Transformer，并在五个机器翻译任务上进行实验。ReLA实现了与几个强基线相当的翻译性能，其训练和解码速度与vanilla attention相似。我们的分析表明，ReLA提供了高稀疏率和头部多样性，诱导的交叉注意实现了更好的准确性，相对于源-目标词对齐比最近的稀疏softmax为基础的模型。有趣的是，ReLA头也学会了对某些查询不做任何事情（即“关闭”），这是稀疏化的softmax替代方案所不可能的。
2021-10-06 cs.CL cs.LG
Speeding Up Entmax
Nazarbayev University（纳扎尔巴耶夫大学）；NAVER LABS Europe（NAVER LABS欧洲）
Softmax是现代神经网络语言处理的事实标准。然而，通过产生密集的概率分布，词汇表中的每个标记在每个生成步骤中都有非零的机会被选择，从而导致文本生成中的各种报告问题。Peters等人的$α$ -entmax（2019，arXiv：1905.05702）解决了这个问题，但比softmax慢得多。在本文中，我们提出了一个替代$α$ -entmax，它保持了其良性的特点，但一样快，优化softmax，并实现了同等或更好的性能在机器翻译任务。
2022-05-19 cs.CL cs.LG
Extreme Adaptation for Personalized Neural Machine Translation
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
每个人都说或写自己的母语，受许多因素的影响：他们倾向于谈论的内容，他们的性别，他们的社会地位或他们的地理来源。当尝试执行机器翻译（MT）时，这些变化对系统应该如何执行翻译具有显著影响，但是标准的一刀切模型不能很好地捕捉到这一点。在本文中，我们提出了一个简单的和参数有效的自适应技术，只需要适应输出softmax的偏差MT系统的每个特定的用户，无论是直接或通过因子近似。在三种语言的TED演讲上的实验表明，翻译的准确性有所提高，并且在目标文本中更好地反映了演讲者的特征。
2018-05-04 cs.CL
Strategies for Training Large Vocabulary Neural Language Models
Washington University（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
与Kneser-Ney等基于计数的模型相比，在大型词汇表上训练神经网络语言模型在计算上仍然非常昂贵。与此同时，神经语言模型在许多应用中越来越受欢迎，例如语音识别和机器翻译，其成功取决于可扩展性。我们提出了一个系统的比较策略来表示和训练大词汇，包括softmax，分层softmax，目标采样，噪声对比估计和自归一化。我们进一步扩展自规范化是一个适当的估计的可能性，并介绍了一个有效的变种softmax。我们评估每种方法的三个流行的基准，检查性能的罕见的话，速度/准确性的权衡和互补Kneser-Ney。
2015-12-15 cs.CL cs.LG
CycleDistill: Bootstrapping Machine Translation using LLMs with Cyclical Distillation
Nilekani Centre at AI4Bharat（AI4Bharat的Nilekani中心）；Indian Institute of Technology（印度理工学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Engineering Science and Technology Shibpur（Shibpur的印度工程科学与技术学院）
提出CycleDistill方法，利用LLM和少样本翻译从单语语料库迭代生成合成平行语料库并微调模型，无需大量平行语料即可显著提升低资源语言的机器翻译质量。
2025-08-09 cs.AI cs.CL
Resolving Out-of-Vocabulary Words with Bilingual Embeddings in Machine Translation
TALP Research Center（TALP研究中心）；Univesitat Politècnica de Catalunya（加泰罗尼亚理工大学）
词汇表外的单词在机器翻译系统中占很大比例的错误，特别是当系统在与训练它的领域不同的领域中使用时。为了缓解这个问题，我们建议使用一个基于对数双线性softmax的模型进行词汇扩展，这样，给定一个词汇外的源单词，该模型生成一个概率列表的可能的翻译在目标语言。我们的模型只使用在相当大的未标记单语语料库上训练的词嵌入，并在相当小的词到词的双语词典上训练。我们将此概率列表输入到标准的基于短语的统计机器翻译系统中，并在英语-西班牙语对上获得翻译质量的一致改进。特别是，我们得到了3.9 BLEU点的改进时，测试的域外测试集。
2016-08-05 cs.CL
On Controllable Sparse Alternatives to Softmax
IBM Research（IBM研究院）；IIT Madras（印度理工学院马德拉斯分校）
将n维向量转换为n个对象上的概率分布是许多机器学习任务中常用的组件，如多类分类，多标签分类，注意力机制等。为此，已经提出了几种概率映射函数，并在文献中使用，如softmax，sum-normalization，softmax和sparsemax，但人们对它们之间的关系知之甚少。此外，上述公式都没有提供对稀疏度的显式控制。为了解决这个问题，我们开发了一个统一的框架，包括所有这些配方的特殊情况。这个框架确保了简单的封闭形式的解决方案和存在的子梯度适合通过反向传播学习。在这个框架内，我们提出了两个新的稀疏配方，sparsegen-lin和sparsehourglass，试图提供一个控制所需的稀疏程度。我们进一步开发了新的凸损失函数，有助于诱导上述配方在多标签分类设置的行为，表现出更好的性能。我们还实证表明，所提出的配方，当用于计算注意力权重，实现更好的或类似的性能标准seq 2seq任务，如神经机器翻译和抽象总结。
2018-10-30 cs.CL cs.LG stat.ML
Adaptively Sparse Transformers
Instituto de Telecomunicações（电信研究所）；Unbabel
注意力机制在NLP中已经变得无处不在。最近的架构，特别是Transformer，通过分层的、多头的注意力来学习强大的上下文感知单词表示。多个头学习不同类型的单词关系。然而，使用标准softmax attention，所有attention heads都是密集的，为所有上下文单词分配非零权重。在这项工作中，我们引入了自适应稀疏Transformer，其中注意头具有灵活的，上下文相关的稀疏模式。这种稀疏性是通过将softmax替换为$α$ -entmax来实现的：softmax的可微分推广，允许低得分单词精确地接收零权重。此外，我们推导出一种自动学习$α$参数的方法-该参数控制$α$ -entmax的形状和稀疏性-允许注意力头在集中或分散行为之间进行选择。与机器翻译数据集上的softmax Transformers相比，我们的自适应稀疏Transformer提高了可解释性和头部多样性。我们的方法的定量和定性分析的结果包括，头部在不同的层学习不同的稀疏偏好，往往是更多样化的注意力分布比softmax Transformers。此外，在不损失准确性的情况下，注意力头部的稀疏性有助于揭示不同的头部专业化。
2019-09-06 cs.CL stat.ML
Learning Confidence for Transformer-based Neural Machine Translation
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tencent（腾讯）
置信度估计旨在量化模型预测的置信度，提供成功的预期。当在现实环境中给定噪声样本和分布外数据时，经过良好校准的置信度估计可以实现准确的故障预测和适当的风险测量。然而，这一任务对于神经机器翻译（NMT）仍然是一个严峻的挑战，其中来自softmax分布的概率无法描述模型何时可能出错。为了解决这个问题，我们提出了一个无监督的置信度估计学习与NMT模型的训练。我们将置信度解释为NMT模型需要多少提示才能做出正确的预测，提示越多表明置信度越低。具体来说，NMT模型可以选择要求提示来提高翻译准确性，但代价是一些轻微的惩罚。然后，我们通过计算模型使用的提示数量来近似他们的置信水平。我们证明了我们学习的置信度估计在广泛的句子/单词级质量估计任务中达到了很高的准确性。分析结果验证了我们的置信度估计可以正确评估两种真实场景中的潜在风险：（1）发现噪声样本和（2）检测域外数据。我们进一步提出了一种新的基于置信度的特定于实例的标签平滑方法，该方法基于我们学习的置信度估计，其性能优于标准标签平滑。
2022-03-22 cs.AI cs.CL
Morphology Generation for Statistical Machine Translation using Deep Learning Techniques
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
非平衡语言的词法分析是机器翻译的一大挑战。在本文中，我们建议解耦机器翻译形态生成，以更好地处理这个问题。我们调查的形态简化与预期的增益和生成复杂性之间的合理权衡。对于汉语-西班牙语任务，最佳的形态简化是在性别和数量。为此，我们设计了一个新的分类架构，与其他标准的机器学习技术相比，获得了最好的结果。这种基于神经的架构由几层组成：嵌入，卷积，然后是递归神经网络，最后以sigmoid和softmax层结束。我们在性别分类中获得了98%以上的准确率，在数字分类中获得了93%以上的准确率，并且整体翻译改进了0.7 METEOR。
2017-02-06 cs.CL stat.ML
Character-Aware Decoder for Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）系统主要对单词（或子单词）进行操作，忽略较低级别的形态模式。我们提出了一个字符感知解码器，旨在捕捉这种模式时，翻译成形态丰富的语言。我们通过用卷积神经网络增强基于注意力的编码器-解码器模型的softmax和嵌入层来实现字符感知，该卷积神经网络对单词的拼写进行操作。为了研究各种形态现象的表现，我们使用TED多目标数据集将英语翻译成14种类型多样的目标语言。在这种低资源设置中，字符感知解码器提供了一致的改进，BLEU分数增益高达$+3.05$。此外，我们分析了所获得的收益和目标语言的属性之间的关系，并找到证据表明，我们的模型确实利用形态模式。
2019-06-18 cs.CL
Hybrid Data-Model Parallel Training for Sequence-to-Sequence Recurrent Neural Network Machine Translation
National Institute of Information and Communications Technology（信息通信研究机构）
减少训练时间是许多任务中的一个重要问题，例如涉及神经网络的专利翻译。数据并行和模型并行是在一台机器上使用多个图形处理单元（GPU）来减少训练时间的两种常见方法。本文提出了一种用于序列到序列（Seq 2Seq）循环神经网络（RNN）机器翻译的混合数据模型并行方法。我们将模型并行方法应用于Seq 2Seq模型的RNN编码器-解码器部分，并将数据并行方法应用于模型的attention-softmax部分。与使用1个GPU时的训练速度相比，使用4个GPU时，我们实现了4.13到4.20倍的速度提升，而不会影响机器翻译的准确性（以BLEU分数衡量）。
2019-09-09 cs.CL cs.DC cs.LG
Neural Architecture Search on Efficient Transformers and Beyond
SenseTime Research（商汤科技研究院）；Australian National University（澳大利亚国立大学）；Shanghai AI Lab（上海人工智能实验室）
近年来，许多高效的Transformers被提出来降低Softmax引起的标准Transformers的二次计算复杂性。然而，大多数人只是简单地将Softmax与有效的注意力机制交换，而没有考虑专门针对有效注意力的定制架构。在本文中，我们认为Softmax关注的手工香草Transformer架构可能不适合高效的Transformers。为了解决这个问题，我们提出了一个新的框架，找到最佳的架构，高效的Transformers与神经架构搜索（NAS）技术。该方法在流行的机器翻译和图像分类任务上进行了验证。我们观察到，高效的Transformer的最佳架构具有减少的计算相比，标准的Transformer，但一般的准确性是不太可比的。结果表明，Softmax注意和高效注意各有特点，但都不能很好地兼顾准确性和效率。这促使我们将两种类型的注意力混合起来，以减少表现的不平衡。除了现有的NAS Transformer方法中常用的搜索空间之外，我们提出了一个新的搜索空间，该空间允许NAS算法自动搜索注意力变量以及架构。在WMT' 14 En-De和CIFAR-10上的大量实验表明，我们搜索的架构保持了与标准Transformer相当的精度，并显着提高了计算效率。
2022-07-28 cs.CL
Japanese Predicate Conjugation for Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）
神经机器翻译（NMT）的缺点是由于输出层中softmax函数的计算成本，只能生成高频词。在日英NMT中，日语谓语动词变位导致词汇量的增加。例如，一个动词可以有多达19个表面变体。在本研究中，我们着重于压缩日语词汇量的谓词变位。词汇表上有各种形式的动词。我们提出了使用谓词共轭信息而不丢弃语言信息的方法。提出的方法可以产生低频词和处理未登录词。考虑了两种方法来引入共轭信息：第一种将其视为令牌（共轭令牌），第二种将其视为嵌入向量（共轭特征）。实验结果表明，NMT模型可以将词汇量压缩约86.1%（Tanaka语料库），并且可以输出训练数据集中没有的词汇。此外，BLEU分数在日语到英语翻译中提高了0.91分，在ASPEC的英语到日语翻译中提高了0.32分。
2018-05-25 cs.CL
Training Neural Machine Translation using Word Embedding-based Loss
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在神经机器翻译（NMT）中，输出层的计算成本随着目标端词汇的大小而增加。使用有限的词汇量可能会导致翻译质量的显著下降。这种折衷是从基于softmax的损失函数导出的，该函数独立地处理字典中的单词，其中不考虑单词相似性。在本文中，我们提出了一种新的NMT损失函数，包括在词嵌入空间中的距离形式的词相似性。所提出的损失函数鼓励NMT解码器生成接近其在嵌入空间中的参考的词;这有助于解码器在实际最佳候选者由于其大小限制而不包括在词汇表中时选择类似的可接受的词。在使用ASPEC日语到英语和IWSLT 17英语到法语数据集的实验中，所提出的方法在两个数据集中都显示出对标准NMT基线的改进;特别是使用IWSLT 17 En-Fr，它在BLEU中达到了+1.72，在METEOR中达到了+1.99。当目标端词汇量非常有限，只有1,000个单词时，所提出的方法在METEOR中表现出了显著的增益，+1.72。
2018-07-30 cs.CL
English to Bangla Machine Translation Using Recurrent Neural Network
East West University（东西大学）
在自然语言处理中，递归神经网络在机器翻译中的应用越来越多。除了其他语言，孟加拉语包含大量的词汇。改进英语到孟加拉语的机器翻译将是对孟加拉语处理的重大贡献。本文描述了一个英语到孟加拉语机器翻译系统的体系结构。该系统已实现的编码器-解码器的循环神经网络。该模型使用基于知识的上下文向量来映射英语和孟加拉语单词。在这里测量基于激活函数的模型的性能。在编码层采用线性激活函数，在解码层采用双曲正切激活函数，性能最佳。从GRU和LSTM层的执行来看，GRU的表现要优于LSTM。注意力层采用softmax和sigmoid激活函数实现。该模型的方法在交叉熵损失度量方面优于以前的最先进的系统。读者可以从本文中很容易地了解到英语到孟加拉语的机器翻译的结构和有效的激活函数。
2021-06-14 cs.CL cs.LG
Sparse Sequence-to-Sequence Models
Instituto de Telecomunicações（电信研究所）；Unbabel
序列到序列模型是NLP的强大主力。大多数变体在它们的注意力机制和输出层中都采用了softmax变换，从而导致密集对齐和严格的正输出概率。这种密度是浪费的，使模型更难解释，并将概率质量分配给许多不可信的输出。在本文中，我们提出了稀疏序列到序列模型，植根于一个新的家庭的$α$ -entmax变换，其中包括softmax和sparsemax作为特殊情况下，是稀疏的任何$α> 1$。我们提供了快速算法来评估这些转换及其梯度，这些算法可以很好地扩展大词汇量。我们的模型能够产生稀疏对齐，并分配非零概率的一个短列表的合理输出，有时渲染束搜索准确。形态学变形和机器翻译的实验表明，一致的增益密集模型。
2019-06-12 cs.CL cs.LG
Learning to Segment Inputs for NMT Favors Character-Level Processing
Heidelberg University（海德堡大学）；Amazon Research（亚马逊研究院）
大多数现代神经机器翻译（NMT）系统依赖于预先分割的输入。分割粒度重要地决定了输入和输出序列长度，从而决定了建模深度，以及源和目标词汇表，这反过来又决定了模型大小，softmax归一化的计算成本以及词汇表外单词的处理。然而，目前的做法是使用在NMT训练之前固定的静态的、基于几何学的分割。这就引出了一个问题，即所选择的分割是否是翻译任务的最佳选择。为了克服次优分割选择，我们提出了一种基于自适应计算时间算法（Graves 2016）的动态分割算法，该算法是可训练的端到端，并由NMT目标驱动。在对四个翻译任务的评估中，我们发现，考虑到在不同分割级别之间导航的自由度，该模型更喜欢在（几乎）字符级别上操作，从一个新的角度为纯字符级别的NMT模型提供支持。
2018-11-05 cs.CL stat.ML
Attention-based Vocabulary Selection for NMT Decoding
IBM T. J. Watson Research Center（IBM T. J. Watson研究中心）
神经机器翻译（NMT）模型通常使用大的目标词汇量来捕获目标语言中的大部分单词。在解码新句子时，词汇量是一个很大的因素，因为最终的softmax层会对所有可能的目标词进行归一化。为了解决这个问题，广泛使用基于源句子的候选列表来限制目标词汇。通常，候选列表是外部单词到单词对齐器、短语表条目或最频繁单词的组合。在这项工作中，我们提出了一种简单而新颖的方法，在NMT训练期间直接从注意力层学习候选列表。候选列表针对当前NMT模型进行了高度优化，并且不需要对候选池进行任何外部计算。与使用整个词汇表相比，我们显示出显着的解码速度加快，并且不会损失两种语言对的任何翻译质量。
2017-06-12 cs.CL
Pointing the Unknown Words
Université de Montréal（蒙特利尔大学）；IBM T.J. Watson Research（IBM T.J.沃森研究中心）
稀有和未知词的问题是一个重要的问题，可能会影响许多NLP系统的性能，包括传统的基于计数的模型和深度学习模型。我们提出了一种新的方法来处理罕见的和看不见的话的神经网络模型使用注意。我们的模型使用两个softmax层来预测条件语言模型中的下一个单词：一个预测单词在源句子中的位置，另一个预测候选词汇表中的单词。在每个时间步，使用哪个softmax层的决定由以上下文为条件的MLP自适应地做出。我们的工作动机来自一个心理学证据，即人类自然倾向于在不知道物体名称的情况下指向上下文或环境中的物体。我们观察到两个任务的改进，神经机器翻译的Europarl英语到法语的平行语料库和文本摘要的Gigaword数据集使用我们提出的模型。
2016-08-21 cs.CL cs.LG cs.NE
End-to-End Training for Back-Translation with Categorical Reparameterization Trick
Handong Global University（韩东全球大学）
本文提出类别重参数化技巧（CRT），使反向翻译中的离散翻译句子可微分，从而实现变分自编码器框架下的端到端训练，并在多个 WMT 基准上取得优于 Gumbel-softmax 及以往 BT 方法的 BLEU 分数。
2024-06-29 cs.CL cs.LG
A Regularized Framework for Sparse and Structured Neural Attention
Cornell University（康奈尔大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
现代神经网络通常增加了注意力机制，它告诉网络在输入中关注哪里。在本文中，我们提出了一个新的框架，稀疏和结构化的注意，建立在一个平滑的最大算子。我们表明，该算子的梯度定义了一个映射，从实际值的概率，适合作为一个注意力机制。我们的框架包括softmax和最近提出的sparsemax作为特例的轻微推广。然而，我们还展示了我们的框架如何结合现代结构化的惩罚，从而产生更可解释的注意力机制，专注于输入的整个部分或组。我们推导出有效的算法来计算我们的注意力机制的向前和向后传递，使其能够在用反向传播训练的神经网络中使用。为了展示它们作为现有替代品的潜力，我们在三个大规模任务上评估了我们的注意力机制：文本蕴涵，机器翻译和句子摘要。我们的注意力机制在不牺牲性能的情况下提高了可解释性;值得注意的是，在文本蕴涵和摘要方面，我们优于基于softmax和sparsemax的标准注意力机制。
2019-02-23 cs.CL cs.LG stat.ML
Language-agnostic BERT Sentence Embedding
Google AI（谷歌人工智能）
虽然BERT是学习单语句子嵌入以获得语义相似性和基于嵌入的迁移学习的有效方法（Reimers和Gurevych，2019），但基于BERT的跨语言句子嵌入还有待探索。我们通过结合学习单语和跨语言表示的最佳方法，系统地研究了学习多语言句子嵌入的方法，包括：掩蔽语言建模（MLM），翻译语言建模（TLM）（Conneau和Lample，2019），双编码器翻译排名（Guo等人，2018），以及附加边际softmax（Yang et al.，2019年a）。我们表明，引入一个预先训练的多语言语言模型显着减少了80%的并行训练数据，以实现良好的性能。组合这些方法中最好的一种方法产生了一个模型，在Tatoeba上的112种语言中实现了83.7%的双文本检索准确率，远高于Artetxe和Schwenk（2019 b）实现的65.5%，同时在单语迁移学习基准测试中仍然具有竞争力（Conneau和Kiela，2018）。使用我们最好的模型从CommonCrawl挖掘的并行数据可以训练en-zh和en-de的竞争性NMT模型。我们在https://tfhub.dev/google/LaBSE上公开发布了适用于109多种语言的最佳多语言句子嵌入模型。
2022-03-08 cs.CL
Low-Rank Softmax Can Have Unargmaxable Classes in Theory but Rarely in Practice
University of Edinburgh（爱丁堡大学）
自然语言处理（NLP）中的分类器通常具有大量的输出类。例如，神经语言模型（LM）和机器翻译（MT）模型都可以从数千个词汇中预测标记。这些模型的Softmax输出层通常接收密集特征表示作为输入，其维数比输出低得多。从理论上讲，结果是一些单词可能不可能通过argmax预测，无论输入特征如何，并且根据经验，有证据表明这种情况发生在小型语言模型中。在本文中，我们问它是否可以发生在实际的大语言模型和翻译模型。为此，我们开发了算法来检测公共模型中的此类\emph{unargmaxable}令牌。我们发现，150个模型中有13个确实有这样的令牌;但是，它们非常罕见，不太可能影响模型质量。我们发布我们的代码，以便其他人可以检查他们的模型。
2022-03-21 cs.CL cs.LG
Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation
Independent Researcher（独立研究者）
该研究提出了支持Transformer推理和多语言机器翻译的TFA INT8硬件加速器，其功能验证达标，端到端速度较22线程CPU提升约20倍，可实现预训练Transformer的比特精确执行。
2026-08-26 cs.AR cs.CL cs.LG
Lingua Custodi's participation at the WMT 2025 Terminology shared task
Lingua Custodia
该研究系统结合 MLM、TLM、双编码器翻译排序与加性间隔 softmax，训练多语言句子嵌入模型，显著降低平行数据需求并提升跨语言检索性能。
2025-10-20 cs.CL
Time-aware Large Kernel Convolutions
Carleton University（卡尔顿大学）
到目前为止，大多数最先进的序列建模架构使用注意力来构建基于语言的任务的生成模型。这些模型中的一些使用所有可用的序列令牌来生成注意力分布，这导致$O(n^2)$的时间复杂度。或者，它们利用具有大小为$k$的softmax归一化内核的dependency卷积作为有限窗口自注意，导致时间复杂度为$O(k{\cdot}n)$。在本文中，我们介绍了时间感知大内核（Taq）卷积，这是一种新的自适应卷积运算，它学习预测求和内核的大小，而不是使用固定大小的内核矩阵。该方法产生$O(n)$的时间复杂度，有效地使序列编码过程与令牌的数量成线性关系。我们评估了所提出的方法在大规模标准机器翻译，抽象摘要和语言建模数据集，并表明，TaLK卷积构成了一个有效的改进其他注意力/卷积为基础的方法。
2020-06-19 cs.CL cs.LG stat.ML
Compressing Word Embeddings via Deep Compositional Code Learning
The University of Tokyo（东京大学）
自然语言处理（NLP）模型通常需要大量参数用于词嵌入，从而导致大量存储或内存占用。将神经NLP模型部署到移动设备需要压缩词嵌入，而不会在性能上有任何重大牺牲。为此，我们建议用很少的基向量来构造嵌入。对于每个单词，基向量的组成由散列码确定。为了最大限度地提高压缩率，我们采用了多码书量化的方法，而不是二进制编码方案。每个代码由多个离散数字组成，例如（3，2，1，8），其中每个分量的值被限制在固定范围内。我们建议通过应用Gumbel-softmax技巧直接学习端到端神经网络中的离散代码。实验结果表明，该算法在情感分析和机器翻译任务中的压缩率分别达到了98%和94% ~ 99%，且没有性能损失。在这两个任务中，所提出的方法可以通过略微降低压缩率来提高模型性能。与字符级分割等其他方法相比，该方法与语言无关，不需要修改网络结构。
2017-11-17 cs.CL
DC-MBR: Distributional Cooling for Minimum Bayesian Risk Decoding
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Tsinghua University（清华大学）；Tencent（腾讯）；Westlake Institute for Advanced Study（西湖高等研究院）
针对MBR在标签平滑下因序列级分布过度倾斜而表现不佳的问题，提出分布冷却方法DC-MBR，通过调低Softmax温度操纵输出熵，理论证明其与预调标签平滑等价，并在NMT基准上验证了有效性。
2023-05-18 cs.CL
Less is More! A slim architecture for optimal language translation
Université de Sherbrooke（舍布鲁克大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对Transformer内存需求大的问题，提出结合KgV门控与H-SoftPOS分层嵌入的Anthe架构，在大幅减少参数的同时显著提升了语言翻译性能并降低了困惑度。
2023-05-18 cs.AI cs.CL
Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech
FAIR at Meta（Meta的FAIR）
提出OmniSONAR模型，通过渐进式训练和教师-学生蒸馏，在数千种语言上实现文本、语音、代码和数学表达式的统一语义嵌入，在跨语言检索和翻译任务上显著降低错误率，并支持零样本语音翻译。
2026-06-19 cs.CL
Softmax Q-Distribution Estimation for Structured Prediction: A Theoretical Interpretation for RAML
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
奖励增强最大似然（RAML），一个简单而有效的学习框架，直接优化结构化预测任务中的奖励函数，已经取得了许多令人印象深刻的经验成功。RAML通过对根据指数回报分布采样的候选输出执行最大似然更新来合并特定于任务的奖励，这为接近参考输出的候选者提供了更高的概率。虽然RAML以其简单、高效和令人印象深刻的经验成功而闻名，但RAML的理论性质，特别是指数化收益分布的行为，还没有得到彻底的研究。在这项工作中，我们介绍了软最大Q分布估计，一种新的理论解释RAML，揭示了RAML和贝叶斯决策理论之间的关系。softmax Q分布可以看作是贝叶斯决策边界的一个光滑近似，贝叶斯决策规则可以通过这个Q分布进行译码得到。我们进一步表明，RAML是等效的近似估计softmax Q分布，与温度$τ$控制近似误差。我们进行了两个实验，一个是多类分类的合成数据和一个真实的图像描述的数据，以证明RAML和所提出的softmax Q分布估计方法之间的关系，验证我们的理论分析。在三个结构化预测任务上进行的额外实验表明，与最大似然基线相比，在顺序（命名实体识别）、基于树的（依存句法分析）和不规则（机器翻译）结构上定义了奖励。
2017-10-27 cs.CL cs.LG stat.ML
Dimension Projection among Languages based on Pseudo-relevant Documents for Query Translation
University of Tehran（德黑兰大学）
在基于词典的跨语言信息检索中，使用排名靠前的文档响应查询被证明是提高查询翻译质量的有效方法。本文提出了一种基于嵌入向量维度投影的查询翻译方法，该方法将源语言中的伪相关文档映射到目标语言中的等价文档。为此，我们首先学习低维向量的单词在伪相关的集合分开，然后旨在找到一个查询依赖的转换矩阵之间的向量的翻译对出现在集合中。在下一步骤中，每个查询词的表示被投影到目标语言，然后，在使用softmax函数之后，建立依赖于查询的翻译模型。最后，该模型用于查询翻译。我们在法语，西班牙语，德语和意大利语的四个CLEF集合上的实验表明，所提出的方法优于基于双语洗牌的词嵌入基线和更多的竞争基线。所提出的方法达到高达87%的机器翻译（MT）的性能在短的查询和相当大的改进，在冗长的查询。
2016-10-08 cs.AI cs.CL cs.IR
Query-Key Normalization for Transformers
Cyndx Technologies（Cyndx Technologies（Cyndx科技公司））
低资源语言翻译是一项具有挑战性但具有社会价值的NLP任务。在最近的工作适应Transformer的规范化到这种设置的基础上，我们提出了QKNorm，一种规范化技术，修改了注意力机制，使softmax函数不太容易任意饱和，而不牺牲表现力。具体来说，我们在将它们相乘之前沿着每个查询和键矩阵的头部维度应用$\ell_2$归一化，然后通过可学习的参数而不是除以嵌入维度的平方根来扩大规模。对于来自TED Talks语料库和IWITAL '15的5个低资源翻译对，我们显示了平均0.928 BLEU的改进。
2020-10-08 cs.AI cs.CL cs.LG
Sparse and Continuous Attention Mechanisms
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；LUMLIS (Lisbon ELLIS Unit)（里斯本ELLIS单位（LUMLIS））；Unbabel；Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学院）；Instituto de Sistemas e Robótica（系统与机器人研究所）
指数族广泛用于机器学习;它们包括连续和离散域中的许多分布（例如，高斯分布、狄利克雷分布、泊松分布和分类分布（通过softmax变换）。每个家庭的分配都有固定的支持。相比之下，对于有限域，最近有关于softmax的稀疏替代方案（例如sparsemax和alpha-entmax）的工作，它们具有不同的支持度，能够将零概率分配给不相关的类别。本文从两个方向扩展了这一工作：首先，我们将alpha-entmax扩展到连续域，揭示了与Tsallis统计和变形指数族的联系。其次，我们引入连续域注意力机制，推导出{1，2}中alpha的高效梯度反向传播算法。基于注意力的文本分类，机器翻译，和视觉问答的实验说明了在1D和2D的连续注意力的使用，表明它允许出席的时间间隔和紧凑的区域。
2020-10-29 cs.CL cs.CV cs.LG
