SubCharacter Chinese-English Neural Machine Translation with Wubi encoding
Ocean University of China（中国海洋大学）；Global Tone Communication Technology Co., Ltd.（环球语音通信技术有限公司）
神经机器翻译是理解两种语言之间语义规则差异的最佳方法之一。特别是对于印欧语言，子词级模型已经取得了令人印象深刻的结果。然而，当翻译任务涉及到中文时，语义粒度仍然停留在词和字的层次上，因此仍然需要更细粒度的中文翻译模型。本文介绍了一种简单有效的子字级汉语翻译方法。我们的方法使用五笔字型的方法将中文翻译成英文，然后应用字节对编码（BPE）。我们的方法用于汉英翻译，消除了在预处理过程中复杂的分词算法的需要。此外，我们的方法允许基于递归神经网络（RNN）架构的子字符级神经翻译，而无需预处理。实验结果表明，对于汉英翻译任务，我们的子字符级模型具有可比的BLEU得分的子词模型，尽管有一个小得多的词汇。此外，小词汇量对于NMT模型压缩是非常有利的。
2019-11-07 cs.CL
Auto-Encoding Variational Neural Machine Translation
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出了一个面向机器翻译的双语句子对深度生成模型。该模型从一个共享的潜在表示中联合生成源语句和目标语句，并由神经网络进行参数化。我们使用摊销变分推理和重新参数化梯度进行有效的训练。此外，我们讨论了联合建模的统计意义，并提出了一个有效的近似最大后验解码快速测试时间预测。我们证明了我们的模型在三个机器翻译场景中的有效性：域内训练，混合域训练，以及从黄金标准和合成数据的混合中学习。我们的实验一致表明，我们的联合制定优于条件建模（即标准神经机器翻译）在所有这些情况下。
2019-05-31 cs.CL
Neural Machine Translation with Characters and Hierarchical Encoding
Technical University of Denmark (DTU)（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
大多数现有的神经机器翻译模型使用字符组或整个单词作为其输入和输出单元。我们提出了一个模型与分层的char2word编码器，需要单独的字符作为输入和输出。我们首先认为，这种分层表示的字符编码器降低了计算复杂性，并表明，它提高了翻译性能。其次，通过定性研究来自解码器的注意力图，我们发现该模型学习将常见单词压缩到单个嵌入中，而罕见单词（如名称和地点）则逐个字符表示。
2016-10-20 cs.CL
Exploiting Semantics in Neural Machine Translation with Graph Convolutional Networks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
长期以来，语义表示一直被认为是潜在的有用的强制意义保存和提高泛化性能的机器翻译方法。在这项工作中，我们是第一个将源句子的谓词-论元结构（即语义-角色表征）的信息纳入神经机器翻译。我们使用图卷积网络（GCN），以注入一个语义偏见的句子编码器，并实现在BLEU分数的改进，在英语-德语语言对的语言不可知和语法感知的版本。
2020-06-20 cs.CL
Impact of Encoding and Segmentation Strategies on End-to-End Simultaneous Speech Translation
Naver Labs Europe
在IWITH 2020的同声翻译共享任务的推动下，最近提出了有前途的端到端在线语音翻译方法。它们包括增量地编码语音输入（以源语言）和解码相应的文本（以目标语言），在延迟和翻译质量之间具有最佳可能的折衷。本文研究了端到端同步语音翻译的两个关键方面：（a）如何有效地编码连续的语音流，以及（b）如何分割语音流，以便在读（R：编码输入）和写（W：解码输出）操作之间进行最佳交替。我们扩展了我们之前提出的端到端在线解码策略，并表明虽然用ULSTM编码取代BLSTM会降低离线模式下的性能，但它实际上提高了在线模式下的效率和性能。我们还测量了不同方法对语音信号进行分段的影响（使用固定的间隔边界，Oracle单词边界或随机设置的边界），并表明我们最好的端到端在线解码策略是令人惊讶的是，在我们的英语-德语语音翻译设置上，在固定大小的块上交替进行R/W操作。
2021-06-14 cs.CL cs.SD eess.AS
Asynchronous and Segmented Bidirectional Encoding for NMT
Northeastern University（东北大学）；Olimei Company（Olimei公司）
本文提出一种基于Transformer的异步分段双向解码策略，通过在IWSLT2017数据集上的实验证明其能提升神经机器翻译的效率和准确率，尤其在长句翻译中优于传统单向策略。
2024-02-19 cs.AI cs.CL cs.LG
Encoding Sentence Position in Context-Aware Neural Machine Translation with Concatenation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（Naver欧洲实验室）
本文研究在基于拼接的上下文感知机器翻译中，通过多种方法将句子位置显式编码至 token 表示，发现特定编码方法在上下文折扣损失下可提升英译俄效果，但英译德未见相同益处。
2023-04-04 cs.CL
A Convolutional Encoder Model for Neural Machine Translation
Facebook AI Research（Facebook 人工智能研究院）
神经机器翻译的流行方法依赖于双向LSTM来编码源句子。在本文中，我们提出了一种更快，更简单的架构，基于一系列卷积层。这允许对整个源句子同时进行编码，而递归网络的计算受到时间依赖性的约束。在WMT'16英语-罗马尼亚语翻译中，我们达到了具有竞争力的准确性，达到了最先进的水平，并且在WMT'15英语-德语任务中，我们的表现优于最近发表的几项结果。我们的模型在WMT'14英法翻译上获得了与非常深的LSTM设置几乎相同的准确性。我们的卷积编码器以与强大的双向LSTM基线相同或更高的精度将CPU解码速度提高了两倍以上。
2017-07-25 cs.CL
Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
近年来，文本和语音的表示学习已经成功地改善了许多与语言相关的任务。然而，所有现有的方法都受到两个限制：（a）它们仅从一种输入模态学习，而诸如端到端语音翻译的任务需要语音和文本的统一表示，并且因此，（b）它们不能利用各种大规模文本和语音数据，并且它们的性能受到并行语音翻译数据的稀缺性的限制。我们提出了一种融合的声学和文本掩蔽语言模型（FAT-MLM），其从各种类型的语料库（包括用于语音识别和机器翻译的并行数据，甚至纯语音和文本数据）联合学习声学和文本输入的统一表示。在此跨模态表示学习框架内，我们进一步提出了一个融合声学和文本语音翻译（FAT-ST）的端到端模型。三个翻译方向的实验表明，通过FAT-MLM的微调，我们提出的语音翻译模型大大提高了翻译质量，最高可达+5.9 BLEU。
2021-09-14 cs.CL
Character-level Chinese-English Translation through ASCII Encoding
Institute of Neuroinformatics, University of Zürich and ETH Zürich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）
神经网络机器翻译（NMT）模型最近在许多语言对上取得了令人印象深刻的结果。它们主要适用于印欧语言对，这些语言共享相同的书写系统。然而，对于汉英翻译来说，两种不同的书写系统之间的差距构成了一个重大挑战，因为单个语言单位之间缺乏系统的对应关系。在本文中，我们使字符级的NMT为中国，打破了中国的字符到语言单位类似的印欧语言。我们使用五笔编码方案，它保留了字符的原始形状和语义信息，同时也是可逆的。我们展示了在字符和子字级别上使用递归和卷积模型训练基于Wubi的模型的有希望的结果。
2018-08-27 cs.CL
Graph Convolutional Encoders for Syntax-aware Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
我们提出了一个简单而有效的方法，将句法结构的神经注意力为基础的编码器-解码器模型的机器翻译。我们依赖于图卷积网络（GCN），这是最近开发的一类神经网络，用于对图结构数据进行建模。我们的GCN使用源句子的预测语法依赖树来产生对其语法邻居敏感的单词表示（即编码器的隐藏状态）。GCN将单词表示作为输入并产生单词表示作为输出，因此它们可以容易地作为层并入标准编码器（例如，在双向RNN或卷积神经网络之上）。我们评估其有效性与英语-德语和英语-捷克语翻译实验不同类型的编码器，并观察到实质性的改进，在所有考虑的设置，其语法不可知的版本。
2020-06-18 cs.CL
Neural Machine Translation with Dynamic Graph Convolutional Decoder
Tsinghua University（清华大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Alibaba Group Inc.（阿里巴巴集团）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Peng Cheng Lab（鹏城实验室）
本文提出动态时空图卷积解码器Dyn-STGCD，在端到端框架中联合建模并同时生成目标译文及其句法图，在五个翻译基准上取得一致提升。
2023-05-28 cs.CL
Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
Delhi Technological University（德里理工大学）
神经机器翻译模型是一种基于神经网络的序列-序列转换器。现有的模型使用递归神经网络来构建编码器和解码器模块。在替代研究中，递归网络被卷积神经网络取代，用于捕获输入句子中的句法结构并减少处理时间。我们结合了这两种方法的优点，提出了一个卷积递归编码器，用于捕获上下文信息以及源语句的顺序信息。源句子的词嵌入和位置嵌入在卷积编码层之前执行，卷积编码层基本上是捕获短语级上下文信息的n元特征提取器。卷积编码层的整流输出被添加到原始嵌入向量，并且总和通过层归一化被归一化。归一化输出作为递归编码层的顺序输入给出，递归编码层捕获序列中的时间信息。对于解码器，我们使用基于注意力的递归神经网络。德语-英语数据集上的翻译任务验证了所提出的方法的有效性，与最先进的技术相比，BLEU得分更高。
2021-03-21 cs.CL
How Effective is Byte Pair Encoding for Out-Of-Vocabulary Words in Neural Machine Translation?
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
神经机器翻译（NMT）是一个开放的词汇表问题。因此，处理在训练过程中没有出现的单词（也就是说，词汇表外（OOV）单词）长期以来一直是NMT系统的基本挑战。解决这个问题的主要方法是字节对编码（BPE），它将字（包括OOV字）分成子字段。BPE在自动评估指标方面为广泛的翻译任务取得了令人印象深刻的结果。虽然人们通常认为通过使用BPE，NMT系统能够处理OOV词，但BPE在翻译OOV词中的有效性尚未明确测量。在本文中，我们研究在何种程度上BPE是成功的翻译OOV词在词的水平。我们分析了基于词的类型，段的数量，交叉注意力的权重，和频率段n-gram的训练数据的翻译质量的OOV字。我们的实验表明，虽然仔细的BPE设置在跨数据集翻译OOV单词时似乎相当有用，但相当大比例的OOV单词被错误翻译。此外，我们强调了BPE在特殊情况下翻译OOV单词时的有效性略高，例如命名实体以及所涉及的语言在语言上彼此接近时。
2022-08-17 cs.CL
Multi-channel Encoder for Neural Machine Translation
Baidu Inc.（百度公司）
基于注意力的编码器-解码器具有神经机器翻译（NMT）的有效架构，其通常依赖于递归神经网络（RNN）来构建在解码过程期间将由注意力读者最近调用的块。这种编码器的设计在源句子上产生相对均匀的组合，尽管在编码RNN时采用了门控机制。另一方面，我们往往希望解码器采取不同层次的源句适合自己的语言结构：例如，我们可能希望采取的实体名称在其原始形式，而一个成语作为一个完美的组成单位。出于这种需求，我们提出了多通道编码器（MCE），它增强了不同层次的组合编码组件。更具体地说，除了编码RNN的隐藏状态外，MCE还采用1）原始词嵌入进行原始编码，不进行合成，以及2）神经图灵机（NTM）中外部存储器的特定设计，以进行更复杂的合成，而所有三种编码策略在解码期间都被适当地混合。通过对汉英翻译的实证研究表明，该模型在强大的开源NMT系统DL 4 MT 1上可以提高6.52个BLEU点。在WMT 14英语-法语任务中，我们的单个浅层系统达到BLEU=38.8，与最先进的深层模型相当。
2017-12-06 cs.CL
A Case Study on Context Encoding in Multi-Encoder based Document-Level Neural Machine Translation
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Wipro AI（威普罗人工智能）
本文通过多编码器文档级神经机器翻译实验，研究不同上下文设置对代词翻译的影响，发现随机上下文也能取得良好效果，且混合选定与随机上下文通常表现更优。
2023-08-11 cs.CL
Diversity by Phonetics and its Application in Neural Machine Translation
我们介绍了一种强大的神经机器翻译（NMT）方法，在训练和测试过程中，我们与输入一起提供其语音编码和这种编码的变体。通过这种方式，我们获得了非常显着的改进，比最先进的大规模系统高出4个BLEU点。语音编码是我们贡献的第一部分，第二部分是旨在理解这种改进的原因的理论。我们的假设指出，语音编码有助于NMT，因为它编码的过程，以强调语义不同的句子之间的差异。我们进行了实证几何验证我们的假设，在支持我们获得压倒性的证据。随后，作为我们的第三个贡献，并根据我们的理论，我们开发了人工机制，在学习过程中利用假设（和验证）的效果语音。我们在整体语言对和数据集上实现了显著和一致的改进：中等任务IWIT 17中的法语-英语，德语-英语和汉语-英语以及大型任务WMT'18 Bio中的法语-英语，最多超过最先进的4个BLEU点。此外，当在未知的域外测试集上进行评估时，我们的方法比基线更鲁棒，最多增加5个BLEU点。
2019-11-11 cs.CL cs.LG cs.SD
Learning variable length units for SMT between related languages via Byte Pair Encoding
Center For Indian Language Technology（印度语言技术中心）；Department of Computer Science & Engineering（计算机科学与工程系）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们探索使用的片段学习使用字节对编码（简称为BPE单位）作为基本单位的统计机器翻译相关的语言之间，并比较它与正字法音节，这是目前表现最好的基本单位，这个翻译任务。BPE将最常见的字符序列识别为基本单位，而正字法音节是语言动机的伪音节。我们发现，BPE单位适度优于正字法音节的翻译单位，显示高达11%的BLEU分数增加。虽然正字法音节只能用于语言的书写系统使用元音表示，BPE是独立的书写系统，我们表明，BPE优于其他单位的非元音书写系统。我们的研究结果得到了跨多个语言家族和书写系统的广泛实验的支持。
2017-07-20 cs.CL
Assessing the Tolerance of Neural Machine Translation Systems Against Speech Recognition Errors
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Interactions, LLC（Interactions有限责任公司）
机器翻译系统传统上是在不对口语中发生的现象进行建模的文本资源上训练的。虽然在文献中积极研究了神经机器翻译系统对文本输入的评估，但很少发现使用神经模型翻译口语数据的复杂性。我们介绍和激励有趣的问题时，考虑到神经机器翻译（NMT）系统的自动语音识别（ASR）输出的翻译。我们测试了NMT编码器-解码器建模的句子编码方法的鲁棒性，重点是基于单词的字节对编码。我们将最先进的NMT编码器-解码器系统中包含ASR错误的话语的翻译与基于短语的机器翻译基线进行比较，以便更好地理解ASR输出中存在的哪些现象在NMT框架下比将翻译表示为线性模型的方法更好地表示。
2019-04-24 cs.CL
Multilingual Machine Translation with Quantum Encoder Decoder Attention-based Convolutional Variational Circuits
Indian Institute of Information Technology, Pune（印度浦那信息技术学院）
本文提出 QEDACVC，用量子卷积、池化、变分电路和注意力构建编码器-解码器，在 OPUS 四语种语料上实现 82% 准确率。
2025-05-14 cs.AI cs.CL cs.ET
Machine Translation by Projecting Text into the Same Phonetic-Orthographic Space Using a Common Encoding
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））；Silo AI
针对印度语间低资源机器翻译性能不佳的问题，提出利用基于拉丁字母的通用编码（WX notation）结合BPE，将相似语言投影至相同的正字-语音字符空间以利用其语言相似性，实验证明该方法显著提升了翻译质量。
2023-05-21 cs.CL
Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
为了提高神经机器翻译（NMT）在低资源语言（LRL）上的性能，一个有效的策略是利用相关高资源语言（HRL）的并行数据。然而，已经发现多语言数据对于从LRL翻译成目标语言的NMT模型比翻译成LRL的NMT模型更有益。在本文中，我们的目标是提高多语言传输的NMT模型，翻译\emph{into}的LRL的有效性，通过设计一个更好的解码器词嵌入。扩展的通用多语言编码方法软解耦编码~ \citep{SDE}，我们提出Decompression，一个高效的字符n-gram为基础的嵌入专门设计的NMT解码器。我们的实验表明，Deconstruct在从英语翻译到四种不同语言时，可以获得高达1.8 BLEU的一致收益。
2020-10-04 cs.CL
Neural Machine Translation of Rare Words with Subword Units
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Samsung Electronics Polska sp. z o.o. - Samsung R&D Institute Poland（三星电子波兰有限公司——三星波兰研发中心）
神经机器翻译（NMT）模型通常使用固定的词汇表进行操作，但翻译是一个开放词汇表问题。以前的工作解决了词汇表外的单词的翻译，通过备份到字典。在本文中，我们介绍了一种更简单，更有效的方法，使NMT模型能够开放词汇翻译的编码罕见和未知的单词作为序列的子词单位。这是基于这样的直觉，即各种词类可以通过比单词更小的单位来翻译，例如名称（通过字符复制或音译），复合词（通过组合翻译），同源词和外来词（通过语音和形态转换）。我们讨论了不同的分词技术，包括简单的字符n-gram模型和分割的基础上的字节对编码压缩算法的适用性，并实证表明，子词模型提高了退避字典基线的WMT 15翻译任务英语-德语和英语-俄语的1.1和1.3 BLEU，分别。
2016-06-10 cs.CL
Segmentation Beyond Defaults: Asymmetrical Byte Pair Encoding for Optimal Machine Translation Performance
Language Technologies Research Center, KCIS, International Institute of Information Technology Hyderabad, India（语言技术研究中心、K CIS、国际信息科技研究所海得拉巴，印度）
本研究提出不对称字对编码以提升低资源条件下机器翻译性能，通过不同NMO设置显著提高翻译质量。
2025-11-18 cs.CL
Different Speech Translation Models Encode and Translate Speaker Gender Differently
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·克塞勒基金会）；Unbabel；Instituto Superior Técnico（技术高级学院）；Instituto de Telecomunicações（电信研究所）
本文通过探测方法研究语音翻译模型对说话人性别的编码能力，发现传统编码器-解码器模型能捕捉性别信息，而基于适配器集成语音编码器与机器翻译系统的新架构则不能，且低性别编码能力会导致更明显的阳性默认翻译偏差。
2025-06-02 cs.CL
Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Inria（法国国家信息与自动化研究所）
当前最先进的机器翻译系统基于编码器-解码器架构，其首先对输入序列进行编码，然后基于输入编码生成输出序列。两者都与一个注意力机制接口，该机制基于解码器状态重组源令牌的固定编码。我们提出了一种替代方法，该方法依赖于跨两个序列的单个2D卷积神经网络。我们网络的每一层都根据到目前为止产生的输出序列重新编码源令牌。因此，类似注意力的属性在整个网络中无处不在。我们的模型产生了出色的结果，优于最先进的编码器-解码器系统，同时在概念上更简单，参数更少。
2018-11-01 cs.CL
On the Properties of Neural Machine Translation: Encoder-Decoder Approaches
Université de Montréal（蒙特利尔大学）；Jacobs University（雅各布大学）
神经机器翻译是纯粹基于神经网络的统计机器翻译的一种相对较新的方法。神经机器翻译模型通常由编码器和解码器组成。编码器从一个可变长度的输入句子中提取一个固定长度的表示，解码器从这个表示中生成一个正确的翻译。在本文中，我们重点分析了两种模型的神经机器翻译的性能：RNN编码器-解码器和一个新提出的门控递归卷积神经网络。我们发现，神经机器翻译在没有未知词的短句上表现相对较好，但随着句子长度和未知词数量的增加，其性能迅速下降。此外，我们发现所提出的门控递归卷积网络可以自动学习句子的语法结构。
2014-10-07 cs.CL stat.ML
Divide and Rule: Effective Pre-Training for Context-Aware Multi-Encoder Translation Models
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（Naver欧洲实验室）
多编码器模型是一个广泛的上下文感知神经机器翻译系统家族，旨在通过对当前句子旁边的文档级上下文信息进行编码来提高翻译质量。上下文编码由上下文参数进行，在文档级数据上进行训练。在这项工作中，我们讨论了有效训练这些参数的困难，由于需要上下文的单词的稀疏性（即，训练信号）以及它们的相关上下文。我们建议在分裂的句子对上预训练上下文参数，这可以有效地利用可用的数据，原因有两个。首先，它通过打破内部句法关系来增加上下文训练信号，从而推动模型更频繁地搜索上下文以消除歧义。其次，它简化了相关上下文的检索，因为上下文段变得更短。我们提出了四种不同的分裂方法，并评估我们的方法与BLEU和对比测试集。结果表明，它始终提高学习的上下文参数，无论是在低和高的资源设置。
2022-03-15 cs.CL
ExPosST: Explicit Positioning with Adaptive Masking for LLM-Based Simultaneous Machine Translation
School of Informatics, Xiamen University（厦门大学信息学院）；MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus团队）；The University of Hong Kong（香港大学）
ExPosST通过显式位置分配解决LLM在同时机器翻译中的位置不匹配问题，实现高效解码与位置一致性，支持多种策略下的同时翻译。
2026-03-29 cs.CL
Integrating Multi-Head Convolutional Encoders with Cross-Attention for Improved SPARQL Query Translation
Chang Gung University（长庚大学）；National Chung Hsing University（国立中兴大学）
本文提出基于n-gram语言模型的多头卷积编码器（MHC编码器），结合卷积层与多头注意力改进SPARQL查询翻译，在QALD-9和LC-QuAD-1.0数据集上取得领先性能。
2024-08-24 cs.CL
Efficient Purely Convolutional Text Encoding
Institute of Computer Science（计算机科学研究所）；University of Wrocław（弗罗茨瓦夫大学）
在这项工作中，我们专注于一个轻量级的卷积架构，创建固定大小的句子向量嵌入。这种表示对于构建NLP系统（包括会话代理）非常有用。我们的工作源于最近提出的递归卷积架构，用于在字节级自动编码文本段落。我们提出了一些替代方案，可以显着减少训练时间，参数数量，并提高自动编码的准确性。最后，我们评估了我们的模型在SentEval基准测试套件的任务上创建的表示，并表明它可以作为一个更好的，但相当低的资源替代流行的词袋嵌入。
2018-08-03 cs.CL
Which Encoding is the Best for Text Classification in Chinese, English, Japanese and Korean?
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Facebook AI Research, Facebook Inc.（Facebook 公司人工智能研究院）
本文对中、日、韩、英四种语言的不同编码方法进行了实证研究。研究了不同的编码级别，包括UTF-8字节、字符、单词、罗马化字符和罗马化单词。对于所有编码级别，只要适用，我们就提供与线性模型，fastText和卷积网络的比较。对于卷积网络，我们比较了使用字符串图像、one-hot（或one-of-n）编码和嵌入的编码机制。总共有473个模型，使用14个大规模文本分类数据集，包括中文，英文，日文和韩文。从这些结果中得出的一些结论包括，基于UTF-8的字节级独热编码始终为卷积网络产生有竞争力的结果，即使没有完美的分词，单词级n-gram线性模型也具有竞争力，fastText使用字符级n-gram编码提供最佳结果，但当特征过于丰富时可能会过拟合。
2017-08-17 cs.CL cs.LG
RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech Translation without Quality Compromise
Monash University（莫纳什大学）
语音翻译（ST）中的预先训练的语音Transformers已经促进了最先进的（SotA）结果;然而，使用这样的编码器在计算上是昂贵的。为了改善这一点，我们提出了一种新的Reducer Adaptor块，RedApt，它可以无缝集成在任何基于transformer的语音编码架构中。将预训练的wav 2 vec 2语音编码器与RedApt集成，可带来41%的加速，33%的内存减少，推理时的FLOP减少24%。令我们惊讶的是，我们的ST模型与RedApt在Must-C的8个语言对上的平均BLEU得分超过了SotA架构。
2022-10-16 cs.AI cs.CL
Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
语义角色标注是识别句子的谓元-论元结构的任务。它通常被认为是标准NLP管道中的重要一步。由于语义表征与句法表征密切相关，我们在模型中充分利用了句法信息。我们提出了一个版本的图卷积网络（GCN），最近的一类神经网络操作的图形，适合建模语法依赖图。句法依赖树上的GCN被用作句子编码器，产生句子中单词的潜在特征表示。我们观察到GCN层与LSTM层是互补的：当我们堆叠GCN和LSTM层时，我们获得了比现有最先进的LSTM SRL模型更大的改进，从而在标准基准测试（CoNLL-2009）中获得了中文和英文的最佳报告分数。
2017-07-30 cs.CL cs.LG
Encoding Syntactic Constituency Paths for Frame-Semantic Parsing with Graph Convolutional Networks
Heriot-Watt University（赫瑞-瓦特大学）
我们研究的问题，从选区树的句法信息集成到一个神经模型中的框架语义解析的子任务，即目标识别（TI），框架识别（FI），和语义角色标注（SRL）。我们使用图卷积网络来学习成分的特定表示，使得每个成分被描述为它对应的产生式语法规则。我们利用这些表示来构建句子中每个单词的句法特征，计算为单词和树中特定任务节点之间路径上的所有成分的总和，例如SRL的目标谓词。当在FrameNet 1.5上测试时，我们的方法在TI和SRL上分别提高了约1%和约3.5%的最新结果（以BERT作为输入获得了+2.5%的额外点），同时在CoNLL 05数据集上产生了与其他语法感知系统相当的结果。
2020-11-26 cs.CL cs.LG
A Multilingual Encoding Method for Text Classification and Dialect Identification Using Convolutional Neural Network
Arab Academy for Science, Technology, and Maritime Transport（阿拉伯科学、技术与海运学院）；College of Computing & Information Technology（计算与信息技术学院）；Columbus State University（哥伦布州立大学）；TSYS School of Computer Science（TSYS计算机学院）
本文提出了一种独立于语言的文本分类模型，引入了两种新的编码方法“BUNOW”和“BUNOC”，用于将原始文本数据馈送到一个新的CNN空间架构中，该架构具有垂直和水平卷积过程，而不是常用的方法，如一个热向量或单词表示（即word2vec）与时间CNN架构。所提出的模型可以被归类为混合词字符模型在其工作方法，因为它消耗更少的内存空间，通过使用更少的神经网络参数在字符级表示，除了提供更快的计算与更少的网络层深度，在词级表示。在两个不同的形态基准数据集阿拉伯语和英语语言之一，一个有希望的结果相比，最先进的模型。
2019-03-18 cs.CL cs.LG
Modulating and attending the source image during encoding improves Multimodal Translation
University of Mons（蒙斯大学）
我们提出了一种新的和完全端到端的方法，多模态翻译的源文本编码器调制整个视觉输入处理使用条件批量归一化，以计算最翔实的图像特征，我们的任务。此外，我们提出了一个新的注意力机制来自这个原始的想法，其中的视觉输入的注意力模型是有条件的源文本编码器表示。在本文中，我们详细介绍了我们的模型以及图像分析管道。最后，我们报告实验结果。据我们所知，它们是三种不同测试集上的最新技术水平。
2017-12-09 cs.CL
An Innovative Word Encoding Method For Text Classification Using Convolutional Neural Network
Ain Shams University（艾因沙姆斯大学）
文本分类在今天起着至关重要的作用，特别是随着社交网络媒体的广泛使用。最近，不同架构的卷积神经网络已被用于文本分类，其中通常使用独热向量和词嵌入方法。本文提出了一种新的用于文本分类的与语言无关的词编码方法。该模型通过使用一种名为“BUNOW”的二进制唯一单词数的新方法，只需最少或无需预处理步骤即可将原始文本数据转换为低级特征维度。BUNOW允许每个唯一的单词在字典中有一个整数ID，该ID被表示为其二进制等价物的k维向量。该编码的输出向量被馈送到卷积神经网络（CNN）模型中用于分类。此外，该模型减少了神经网络的参数，允许更快的计算与几个网络层，其中一个字是原子表示的文件，在字的水平，并减少字符级表示的内存消耗。所提供的CNN模型能够处理其他语言或多语言文本，而无需对编码方法进行任何更改。该模型在准确性、网络参数和内存消耗方面优于字符级和非常深字符级CNN模型;结果显示使用AG的新闻数据集的总分类准确度为91.99%，误差为8.01%，而现有技术的方法的总分类准确度为91.45%，误差为8.55%，此外，输入特征向量和神经网络参数分别减少了62%和34%。
2019-03-11 cs.CL cs.LG
Diverse Pretrained Context Encodings Improve Document Translation
DeepMind（深度思维）
我们提出了一种新的架构，通过合并多个预训练的文档上下文信号来适应并行级序列到序列转换器Transformer，并评估（1）用于生成这些信号的不同预训练方法对翻译性能的影响，（2）文档上下文可用的并行数据的数量，以及（3）对源，目标或源和目标上下文的调节。在NIST中文-英文、IWIEF和WMT英文-德文任务上的实验支持四个一般性结论：使用预训练的上下文表示显著地提高了样本效率，足够的并行数据资源对于学习使用文档上下文是至关重要的，联合调节多个上下文表示优于任何单个表示，并且源上下文比目标侧上下文对翻译性能更有价值。我们最好的多上下文模型始终优于现有的最好的上下文感知Transformers。
2021-06-07 cs.CL
Relative Positional Encoding for Speech Recognition and Direct Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Maastricht University（马斯特里赫特大学）；Carnegie Mellon University（卡内基梅隆大学）
Transformer模型是功能强大的序列到序列架构，能够直接将语音输入映射到transformer或翻译。然而，该模型中用于对位置进行建模的机制是针对文本建模而定制的，因此对于声学输入来说不太理想。在这项工作中，我们适应的相对位置编码方案的语音Transformer，其中的关键除了在自注意网络中的输入状态之间的相对距离。因此，网络可以更好地适应语音数据中存在的可变分布。实验结果表明，该模型在非增强条件下的Switchboard测试中取得了最好的识别效果，在Must-C语音翻译测试中取得了最好的识别效果。我们还表明，该模型是能够更好地利用合成数据比Transformer，并适应更好地为语音翻译的变量句子分割质量。
2020-05-20 cs.CL cs.SD eess.AS
SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
我们提出了自动编码说话人转换的训练数据增强自动语音翻译。这种技术直接转换音频序列，导致音频合成为类似于另一个说话者的声音。我们的方法相比毫不逊色SpecAugment英语$\to$法语和英语$\to$罗马尼亚语自动语音翻译（AST）的任务，以及低资源英语自动语音识别（ASR）的任务。此外，在消融中，我们展示了增强数据的数量和多样性的好处。最后，我们表明，我们可以结合我们的方法与增强机器翻译的成绩单，以获得一个有竞争力的端到端AST模型，优于一个非常强大的级联模型上的英语$\to$法国AST任务。我们的方法是足够的一般，它可以应用到其他语音生成和分析任务。
2020-02-27 cs.CL cs.SD eess.AS
TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
Korea University（高丽大学）
提出无需语言平行数据的语音到语音翻译模型 TranSentence，通过语言无关句子级语音编码和单语数据训练实现跨语言语音生成，并扩展至多语言翻译且性能优于其他模型。
2024-01-17 cs.CL cs.SD eess.AS
Contextual Encoding for Translation Quality Estimation
Carnegie Mellon University（卡内基梅隆大学）
词级质量估计（QE）的任务包括获取源句子和机器生成的翻译，并预测输出中哪些词是正确的，哪些是错误的。本文提出了一种利用三部分神经网络方法对每个目标词的局部和全局上下文信息进行有效编码的方法。第一部分使用嵌入层来表示两种语言中的单词及其词性标记。第二部分利用一维卷积层来整合每个目标词的本地上下文信息。第三部分应用一组前馈和递归神经网络，在进行预测之前对句子中的全局上下文进行进一步编码。该模型作为CMU条目提交给WMT2018量化宽松共享任务，并取得了很好的成绩，在六个轨道中的三个轨道中排名第一。
2018-09-01 cs.CL
Pair-Based Joint Encoding with Relational Graph Convolutional Networks for Emotion-Cause Pair Extraction
South China University of Technology（华南理工大学）
情感-原因对提取（ECPE）是近年来受到广泛关注的一个研究课题，旨在提取情感小句及其对应的原因小句。先前的方法以指定的顺序顺序对特征进行顺序编码。他们首先编码的情感和原因特征提取小句，然后将它们结合起来对提取。这导致任务间特征交互的不平衡，其中稍后提取的特征与前者没有直接接触。为了解决这个问题，我们提出了一种新的基于对的联合编码（PBJE）网络，它产生的对和子句功能，同时在一个联合特征编码的方式来建模子句中的因果关系。PBJE能够平衡情感小句、原因小句和语对之间的信息流。从多关系的角度出发，构造了一个异构无向图，并应用关系图卷积网络（RGCN）来刻画子句之间的各种关系以及对与子句之间的关系。实验结果表明，PBJE在中文基准语料库上达到了最佳的性能。
2022-12-04 cs.AI cs.CL
Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders
Northeastern University（东北大学）；Tencent（腾讯）；The Chinese University of Hong Kong（香港中文大学）；NiuTrans Research（小牛翻译研究院）
鉴于语音到翻译数据稀缺的事实，编码器预训练在端到端语音翻译（ST）中很有前途。但是ST编码器不是自动语音识别（ASR）或机器翻译（MT）编码器的简单实例。例如，我们发现ASR编码器缺乏翻译所必需的全局上下文表示，而MT编码器的设计不是为了处理长但局部注意的声学序列。在这项工作中，我们提出了一个堆叠声学和文本编码（SATE）的语音翻译方法。我们的编码器开始与往常一样处理声学序列，但后来的行为更像是输入序列的全局表示的MT编码器。通过这种方式，可以直接将预训练的模型纳入系统。此外，我们开发了一个适配器模块，以减轻预训练的ASR编码器和MT编码器之间的表示不一致，并开发了一个多教师知识蒸馏方法，以保持预训练知识。LibriSpeech En-Fr和MuST-C En-De ST任务的实验结果表明，我们的方法实现了18.3和25.2的最先进的BLEU分数。据我们所知，我们是第一个开发出端到端ST系统的公司，当大规模ASR和MT数据可用时，该系统可以实现与级联ST系统相当甚至更好的BLEU性能。
2021-06-15 cs.CL cs.SD eess.AS
Convolutional Auto-encoding of Sentence Topics for Image Paragraph Generation
Nanjing University of Science and Technology（南京理工大学）；JD AI Research（京东人工智能研究院）
图像段落生成是生成描述图像视觉内容的连贯故事（通常是一个段落）的任务。然而，这个问题并不是微不足道的，特别是当段落生成需要考虑多种描述性和不同的要点时，这经常发生在真实图像中。一个有效的问题是如何从图像中封装这些值得一提的要点/主题，然后从一个主题到另一个主题描述图像，但具有连贯的结构。在本文中，我们提出了一种新的设计-卷积自动编码（CAE），纯粹采用卷积和去卷积自动编码框架的主题建模的区域级特征的图像。此外，我们提出了一个架构，即CAE加上长短期记忆（称为CAE-LSTM），新颖地集成了学习的主题，以支持段落生成。从技术上讲，CAE-LSTM利用了一个两级的基于LSTM的段落生成框架和注意力机制。段落级LSTM捕获段落中的句间依赖性，而段落级LSTM则生成一个以每个学习主题为条件的句子。在斯坦福图像段落数据集上进行了大量的实验，并与最先进的方法相比，获得了更好的结果。更值得注意的是，CAE-LSTM将CIDER性能从20.93%提高到25.15%。
2019-08-01 cs.CL cs.CV
The NiuTrans End-to-End Speech Translation System for IWSLT 2021 Offline Task
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究）
本文介绍了NiuTrans端到端语音翻译系统为IWITH 2021离线任务提交的内容，该系统直接将英语音频翻译为德语文本，无需中间转录。我们使用基于Transformer的模型架构，并通过Conformer，相对位置编码以及堆叠的声学和文本编码对其进行增强。为了增加训练数据，英语译文被翻译成德语译文。最后，我们采用集成解码来整合来自不同数据集训练的几个模型的预测。结合这些技术，我们在MuST-C En-De测试集上获得了33.84个BLEU点，这显示了端到端模型的巨大潜力。
2021-07-08 cs.CL
Llettuce: An Open Source Natural Language Processing Tool for the Translation of Medical Terms into Uniform Clinical Encoding
Centre for Health Informatics, School of Medicine, The University of Nottingham（诺丁汉大学医学院健康信息学中心）；Digital Research Service, The University of Nottingham（诺丁汉大学数字研究服务）；NIHR Nottingham Biomedical Research Centre（尼日利亚生物医学研究中心）；Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore（南洋理工大学新加坡李科贤医学院）；Department of Software Engineering, Andalusian Institute of Data Science and Computational Intelligence (DaSCI), University of Granada, 18012, Granada, Spain（安达卢西亚数据科学与计算智能研究所（DaSCI）软件工程系，格拉纳达大学，18012，格拉纳达，西班牙）
Llettuce是一种开源工具，通过自然语言处理技术将医学术语自动转换为OMOP标准概念，兼顾数据安全与高性能。
2026-03-12 cs.CL
AppTek's Submission to the IWSLT 2022 Isometric Spoken Language Translation Task
AppTek（AppTek公司）
为了参与IWITH 2022评估的等距口语翻译任务，约束条件，AppTek开发了基于神经转换器的英语到德语系统，具有各种长度控制机制，从源端和目标端伪令牌到替换位置编码的字符剩余长度编码。我们通过从不同的系统变体中选择符合长度的假设，以及从单个系统中重新评分N个最佳候选，进一步提高了翻译长度的依从性。长度兼容的反向翻译和正向翻译合成数据，以及从原始Must-C训练语料库导出的其他并行数据变体对于良好的质量/期望的长度权衡是重要的。我们的实验结果表明，长度符合性水平可以达到90%以上，同时最大限度地减少损失的MT质量测量的BERT和BLEU分数。
2022-05-12 cs.CL
RealTranS: End-to-End Simultaneous Speech Translation with Convolutional Weighted-Shrinking Transformer
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
端到端同步语音翻译（SST），直接将一种语言的语音实时翻译成另一种语言的文本，在许多情况下都很有用，但尚未得到充分的研究。在这项工作中，我们提出了RealTransS，SST的端到端模型。为了弥合语音和文本之间的模态差距，RealTransS使用交错卷积和单向Transformer层逐渐对输入语音进行下采样，以进行声学建模，然后使用加权收缩操作和语义编码器将语音特征映射到文本空间。此外，为了提高模型在同时场景中的性能，我们提出了一个空白惩罚，以提高收缩质量和等待K步N策略，允许在解码过程中的局部重新排序。在公共数据集和广泛使用的数据集上的实验表明，具有Wait-K-Stride-N策略的RealTransS在不同延迟设置下的性能优于先前的端到端模型以及级联模型。
2021-06-09 cs.CL cs.SD eess.AS
A Multichannel Convolutional Neural Network For Cross-language Dialog State Tracking
Panasonic Corporation（松下公司）
第五届对话状态跟踪挑战赛（DSTC 5）引入了一种新的跨语言对话状态跟踪场景，要求参与者基于英语训练语料库构建跟踪器，同时使用未标记的中文语料库对其进行评估。虽然数据集中提供了英文和中文语料的计算机生成的翻译，但这些翻译包含错误，不小心使用它们很容易损害所构建的跟踪器的性能。为了解决这个问题，我们提出了一个多通道卷积神经网络（CNN）架构，其中我们把英语和汉语作为一个单一的CNN模型的不同输入通道。在DSTC 5的评估中，我们发现这种多通道架构可以有效地提高对翻译错误的鲁棒性。此外，我们的DSTC 5方法纯粹是基于机器学习的，不需要关于目标语言的先验知识。我们认为这是在跨语言上下文中构建跟踪器的理想属性，因为不是每个开发人员都熟悉这两种语言。
2017-01-23 cs.AI cs.CL cs.LG
MSP: Multi-Stage Prompting for Making Pre-trained Language Models Better Translators
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Kuaishou Tech, Co.（快手科技有限公司）；Institute for AI Industry Research, Tsinghua University（清华大学智能产业研究院）；International Innovation Center of Tsinghua University（清华大学上海国际创新中心）
最近已经显示出预训练的语言模型应用于执行下游任务的一种有前途的方法。我们提出了多阶段翻译（MSP），一个简单的和自动的方法，利用预先训练的语言模型的翻译任务。为了更好地减轻预训练和翻译之间的差异，MSP将通过预训练的语言模型的翻译过程分为多个独立的阶段：编码阶段，重新编码阶段和解码阶段。在每个阶段，我们独立地应用不同的连续提示，以允许预训练的语言模型更好地转换到翻译任务。我们对三个翻译任务进行了广泛的实验。实验表明，该方法能显著提高预训练语言模型的翻译性能。
2022-03-17 cs.CL
Global Encoding for Abstractive Summarization
Peking University（北京大学）
在神经抽象摘要中，传统的序列到序列（seq2seq）模型经常遭受重复和语义无关性。为了解决这个问题，我们提出了一个全局编码框架，它控制的信息流从编码器到解码器的源上下文的全局信息的基础上。它由一个卷积门控单元组成，用于执行全局编码以改进源端信息的表示。在LCSTS和英语Gigaword上的测试结果表明，该模型的性能优于基线模型，分析表明，该模型能够减少重复。
2018-06-10 cs.AI cs.CL cs.LG
Byte-Level Recursive Convolutional Auto-Encoder for Text
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Facebook AI Research, Facebook Inc.（脸书人工智能研究院，脸书公司）；Center for Data Science, New York University（纽约大学数据科学中心）
本文提出使用具有递归架构的卷积网络在字节级自动编码文本。其动机是探索是否有可能通过自动编码的简单任务，以非顺序的方式在字节级生成可伸缩的同质文本。我们表明，从固定长度表示的非顺序文本生成不仅是可能的，而且比循环网络实现了更好的自动编码结果。该模型是一个使用残差连接的多级深度卷积编码器-解码器框架，包含多达160个参数化层。每个编码器或解码器都包含一组共享的模块，这些模块由池化层或上采样层组成，使网络在表示的抽象级别方面具有递归性。本文报告了6个大规模段落数据集的结果，包括阿拉伯语、汉语和英语。进行分析，研究所提出的模型的几个属性。
2018-02-06 cs.CL
