How Sequence-to-Sequence Models Perceive Language Styles?
风格在我们的日常语言使用中无处不在，而对于学习机器来说，语言风格是什么呢？本文利用不同语料语义向量的二阶统计量，从语义向量的协方差矩阵即风格矩阵的角度，首次解释了Sequence-to-Sequence模型是如何将风格信息内在地编码到语义向量中的。作为应用，我们设计了一个免学习的文本风格转换算法，该算法从风格矩阵中显式构造了一对转换算子来进行风格转换。此外，我们的算法也被观察到是足够灵活的转移域外的句子。大量的实验证据证明了风格矩阵的信息量和我们提出的风格转移算法的竞争力的表现与国家的最先进的方法。
2019-08-16 cs.CL
Building, Reusing, and Generalizing Abstract Representations from Concrete Sequences
针对现有序列学习模型抽象能力不足、内存效率低且迁移效果差的问题，提出非参数层级变量学习模型HVM，可从序列中学习组块并抽象为变量，在压缩效率、类人序列迁移表现上优于传统压缩算法与大语言模型，为认知建模提供新框架。
2025-06-15 cs.AI cs.CL cs.LG
Transfer Learning for Sequence Labeling Using Source Model and Target Data
University of Trento（特伦托大学）；Amazon（亚马逊）
在本文中，我们提出了一种方法，用于将从源域学习的序列标记神经模型的知识转移到在目标域上训练的新模型，其中出现新的标签类别。我们的迁移学习（TL）技术能够使用目标数据和新类别来适应源模型，而无需访问源数据。我们的解决方案包括在目标模型的输出层添加新的神经元，并从源模型传输参数，然后使用目标数据进行微调。此外，我们提出了一个神经适配器来学习源和目标标签分布之间的差异，这为目标模型提供了额外的重要信息。我们对命名实体识别的实验表明：（i）当目标数据包含新类别时，源模型中的学习知识可以有效地转移;（ii）我们的神经适配器进一步改善了这种转移。
2019-02-14 cs.CL
Improving Transfer Learning for Sequence Labeling Tasks by Adapting Pre-trained Neural Language Models
FACULTY OF ELECTRICAL ENGINEERING AND COMPUTING（电气工程与计算学院）；University of Zagreb, Faculty of Electrical Engineering and Computing（Zagreb大学电气工程与计算学院）；Department of Electronics, Microelectronics, Computer and Intelligent systems（电子、微电子、计算机和智能系统系）；Text Analysis and Knowledge Engineering Laboratory (TakeLab)（文本分析与知识工程实验室）
本论文通过多任务学习、架构修改和生成式上下文微调三种方法适配预训练语言模型，以提升序列标注任务的迁移学习效果。
2025-10-22 cs.CL
Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings
HiTZ Basque Center for Language Technologies（HiTZ巴斯克语言技术中心）；University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）
本文对比零资源跨语言序列标注的数据迁移与模型迁移，发现零样本高容量多语言语言模型整体优于翻译与标注投影，但后者在缺乏此类模型时仍具竞争力。
2023-04-27 cs.CL
Argument Mining in Data Scarce Settings: Cross-lingual Transfer and Few-shot Techniques
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU HiTZ中心 - Ixa）
本文实证表明，在数据稀缺的论点挖掘任务中，数据迁移优于模型迁移，微调优于小样本方法，且数据集领域、任务类型和采样方法是关键因素。
2024-07-04 cs.AI cs.CL
Multilingual unsupervised sequence segmentation transfers to extremely low-resource languages
University of Washington（华盛顿大学）
我们表明，通过预先训练掩蔽分段语言模型，可以将无监督序列分段性能转移到资源极其有限的语言（Downey et al.，2021年，多语言。此外，我们表明，这种迁移可以通过训练一组类型相似（但与目标语言无关）的低资源语言来实现。在我们的实验中，我们从10种美洲土著语言（AmericasNLP，Mager等人，2021年，“K 'iche”，一种玛雅语言。我们将我们的多语言模型与单语言（从头开始）基线以及仅在Quechua上预训练的模型进行比较。我们表明，多语言预训练方法在目标数据集大小上产生一致的分割质量，在6/10的实验设置中超过了单语基线。我们的模型在小目标尺寸下产生特别强的结果，包括20.6 F1的zero-shot性能。这些结果对涉及类人语言单元的低资源NLP管道具有很好的影响，例如Bird（2020）提出的稀疏转录框架。
2022-03-14 cs.CL
Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model
Ho Chi Minh City University of Technology (HCMUT)（胡志明市理工大学）；Vietnam National University Ho Chi Minh City（越南胡志明市国家大学）
为解决巴拿语-越南语翻译中资源不足问题，利用基于序列到序列预训练语言模型的迁移学习方法，借助预训练越南语模型，结合有限双语资源继续训练，并通过数据增强等优化，有效实现翻译，促进民族文化交流。
2026-07-28 cs.CL
Low Resource Style Transfer via Domain Adaptive Meta Learning
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
无并行数据的文本样式转换（TST）已经取得了一些实际的成功。然而，大多数现有的无监督文本样式传输方法都存在以下问题：（i）需要大量的非并行数据来指导传输不同的文本样式。(ii)在新领域中微调模型时，性能会大幅下降。在这项工作中，我们提出了DAML-ATM（域自适应元学习与对抗转移模型），它由两部分组成：DAML和ATM。DAML是一种域自适应元学习方法，用于在多个异构源域中学习一般知识，能够适应新的未知领域，只需少量数据。此外，我们提出了一种新的无监督TST方法对抗传输模型（ATM），由序列到序列的预训练语言模型组成，并使用对抗风格训练来更好地保存内容和风格传输。多域数据集上的结果表明，我们的方法在看不见的低资源域上推广得很好，在十个强基线上实现了最先进的结果。
2022-05-25 cs.AI cs.CL
Multilingual sequence-to-sequence speech recognition: architecture, transfer learning, and language modeling
Johns Hopkins University（约翰斯·霍普金斯大学）；Brno University of Technology（布尔诺理工大学）；Amazon（亚马逊）；Waseda University（早稻田大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
序列到序列（seq 2seq）方法是语音研究中一个相对较新的方向。该方法通过在不使用词典和对齐的情况下执行模型训练而受益。然而，与传统的DNN-HMM系统相比，这提出了需要更多数据的新问题。在这项工作中，我们试图使用来自10个BABEL语言的数据来构建多语言seq 2seq模型作为先验模型，然后使用迁移学习方法将它们移植到其他4个BABEL语言。我们还探索了不同的架构，以改善先前的多语言seq 2seq模型。本文还讨论了在解码过程中将递归神经网络语言模型（RNNLM）与seq 2seq模型集成的效果。实验结果表明，多语言模型的迁移学习方法在所有4种BABEL语言上都比单语言模型有很大的提高。对RNNLM进行扩展也会在%WER方面带来显著的改进，并实现与使用两倍以上训练数据训练的模型相当的识别性能。
2018-10-04 cs.CL cs.LG cs.SD
Sequence-to-Sequence Learning via Attention Transfer for Incremental Speech Recognition
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
基于注意力的序列到序列自动语音识别（ASR）需要显著的延迟来识别长话语，因为输出是在接收整个输入序列之后生成的。虽然最近有几项研究提出了增量式语音识别（ISR）的序列机制，但使用不同的框架和学习算法比标准ASR模型更复杂。一个主要原因是因为模型需要决定增量步骤并学习与当前短语音片段对齐的转录。在这项工作中，我们调查是否有可能采用原来的架构的注意力为基础的ASR ISR任务，通过治疗的教师模型和学生模型的ISR的完整话语ASR。我们设计了一个替代的学生网络，而不是使用更薄或更浅的模型，保持教师模型的原始架构，但具有更短的序列（编码器和解码器状态很少）。使用注意力转移，学生网络学习模仿当前输入的短语音片段和转录之间的相同对齐。我们的实验表明，通过将识别过程的开始时间延迟约1.7秒，我们可以实现与需要等待到结束的性能相当的性能。
2020-11-04 cs.CL cs.SD eess.AS
Pay Better Attention to Attention: Head Selection in Multilingual and Multi-Domain Sequence Modeling
Facebook AI Research（脸书人工智能研究院）
多头注意力使每个注意力头从输入序列的不同部分收集显著信息，使其成为序列建模的强大机制。多语言和多领域学习是序列建模的常见场景，其中的关键挑战是最大限度地提高语言和领域之间的正迁移并减轻负迁移。在本文中，我们发现，非选择性的注意力共享是次优的实现良好的泛化在所有的语言和领域。我们进一步提出了注意力共享策略，以促进多语言和多域序列建模中的参数共享和专业化。我们的方法自动学习不同语言和领域的共享和专门注意力，以减轻它们的干扰。在各种任务，包括语音识别，文本到文本和语音到文本的翻译，所提出的注意力共享策略始终带来收益的序列模型建立在多头注意力。对于语音到文本的翻译，我们的方法产生的平均$+2.0$ BLEU的$13$语言方向在多语言设置和$+2.0$ BLEU的$3$域在多域设置。
2021-06-21 cs.AI cs.CL
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）
虽然Few-Shot分类已被广泛探索与基于相似性的方法，Few-Shot序列标记构成了一个独特的挑战，因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性，我们建议利用条件随机场（CRF）在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数，并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时，不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题，我们引入了依赖转移机制，转移抽象标签转换模式。此外，相似性方法依赖于高质量的样本表示，这对于序列标记是具有挑战性的，因为当测量单词与不同句子中的单词的相似性时，单词的含义是不同的。为了弥补这一点，我们利用最近的上下文嵌入技术，并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明，我们的模型显着优于最强的少样本学习基线分别为11.76（21.2%）和12.18（97.7%）的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Thank you BART! Rewarding Pre-Trained Models Improves Formality Style Transfer
University of Groningen（格罗宁根大学）
并行数据的稀缺性导致形式风格的传输模型在保留内容方面几乎没有成功。我们表明，微调预训练语言（GPT-2）和序列到序列（BART）模型可以提高内容保留，即使并行数据量有限也是可能的。通过针对风格和内容（任务的两个核心方面）的奖励来增强这些模型，我们实现了一个新的最先进的水平。
2021-07-05 cs.CL
Transfer Learning for Sequence Tagging with Hierarchical Recurrent Networks
Carnegie Mellon University（卡内基梅隆大学）
最近的论文表明，神经网络在几个不同的序列标记任务上获得了最先进的性能。这种系统的一个吸引人的特性是它们的通用性，因为可以通过统一的架构实现出色的性能，而无需特定于任务的特征工程。然而，目前还不清楚这种系统是否可以用于没有大量训练数据的任务。在本文中，我们探讨了神经序列标记器的迁移学习问题，其中具有丰富注释的源任务（例如，Penn Treebank上的POS标记）用于提高具有更少可用注释的目标任务的性能（例如，微博的POS标签）。我们研究了迁移学习对跨领域、应用程序和语言的深层递归网络的影响，并表明通常可以获得显着的改进。这些改进导致在几个充分研究的任务上的当前最先进的改进。
2017-03-18 cs.CL cs.LG
Style-transfer based Speech and Audio-visual Scene Understanding for Robot Action Sequence Acquisition from Videos
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Brown University（布朗大学）
提出一种基于视听Transformer和风格迁移训练的机器人动作序列生成方法，利用未配对视频-动作数据提升从指令视频中获取DMP序列的质量，在多个数据集上显著优于基线模型。
2023-06-27 cs.CL
Grammatical Error Correction and Style Transfer via Zero-shot Monolingual Translation
University of Tartu（塔尔图大学）；Tilde
语法错误纠正和文本风格迁移都可以被视为单语序列到序列转换任务，但缺乏直接注释的数据，使它们对大多数语言都不可行。我们提出了一种方法，在同一个训练模型中完成这两个任务，并且只使用正则语言并行数据，而不需要纠错或风格适应的文本。我们将我们的模型应用于三种语言，并对这两项任务进行了全面的评估，表明该模型对于一些错误类型和风格转移方面是可靠的。
2019-10-22 cs.CL
Zero-shot Sequence Labeling: Transferring Knowledge from Sentences to Tokens
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）；United Kingdom（英国）；CoAStaL DIKU（CoAStaL DIKU（此处“DIKU”为丹麦哥本哈根大学计算机科学系缩写，按原文保留））；Department of Computer Science（计算机科学系）；University of Copenhagen（哥本哈根大学）；Denmark（丹麦）
基于注意力或梯度的可视化技术是否可以用于推断二进制序列标记问题的标记级别标签，使用仅在标记级别标签上训练的网络？我们构建了一个基于软注意力的神经网络架构，训练它作为一个二元句子分类器，并在四个不同的数据集上对标记级注释进行评估。从网络中推断令牌标签提供了一种方法，用于定量评估模型正在学习的内容，以及在辅助系统中生成有用的反馈。我们的研究结果表明，与基于梯度的方法相比，基于注意力的方法能够更准确地预测标记级别的标签，有时甚至可以与有监督的Oracle网络相媲美。
2018-05-06 cs.CL cs.LG cs.NE
IMaT: Unsupervised Text Attribute Transfer via Iterative Matching and Translation
University of Hong Kong（香港大学）；MIT（麻省理工学院）；Amazon Web Services（亚马逊云科技）；ASAPP Inc.（ASAPP公司）
文本属性转移的目的是自动重写句子，使它们具有某些语言属性，同时保持其语义内容。由于缺乏监督并行数据，这项任务仍然具有挑战性。现有的方法试图明确地解开内容和属性信息，但这是困难的，往往会导致不良的内容保存和不合语法。相比之下，我们提出了一种更简单的方法，迭代匹配和翻译（Iterative Matching and Translation，IMAT），它：（1）通过对齐源语料库和目标语料库中语义相似的句子的子集来构建伪平行语料库;（2）应用标准的序列到序列模型来学习属性转移;（3）通过改进对齐中的缺陷来迭代地改进学习的转移函数。在情感修改和形式转换任务中，我们的方法大大优于复杂的最先进的系统。作为一个辅助的贡献，我们产生了一个公开的测试集与人类生成的传输参考。
2020-01-24 cs.AI cs.CL cs.LG
Transfer learning of language-independent end-to-end ASR with language model fusion
Johns Hopkins University（约翰斯·霍普金斯大学）
本文在迁移学习的框架下，利用外部语言模型（LM），探索了更好地适应低资源语言的方法。我们首先建立一个独立于语言的ASR系统在一个统一的序列到序列（S2S）的架构与所有语言之间的共享词汇。在自适应过程中，我们执行LM融合传输，其中外部LM被集成到基于注意力的S2S模型的解码器网络中，在整个自适应阶段，以有效地纳入目标语言的语言背景。我们还研究了迁移学习的各种种子模型。使用IARPA BABEL数据集的实验评估表明，LM融合传输提高了所有目标五种语言的性能相比，简单的迁移学习时，外部文本数据。我们的最终系统大大减少了混合动力系统的性能差距。
2019-05-07 cs.CL
QuaSE: Accurate Text Style Transfer under Quantifiable Guidance
Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Noah’s Ark Lab, Huawei Technologies（华为诺亚方舟实验室）
我们提出了可量化序列编辑（Quantitatively Sequence Editing，简称QSE）的任务：编辑一个输入序列，生成一个输出序列，该序列满足一个给定的数值结果值，测量序列的某个属性，并要求保持输入序列的主要内容。例如，输入序列可以是单词序列，诸如评论句子和广告文本。对于评论句子，结果可以是评论评级;对于广告，结果可以是点击率。在执行的主要挑战是如何感知的结果相关的措辞，并只编辑它们来改变结果。在本文中，所提出的框架包含两个潜在的因素，即，结果因素和内容因素，从输入的句子，以方便编辑，以改变结果，并保持内容。我们的框架通过对伪平行句的内容相似性和结果差异进行建模来探索伪平行句，以更好地解开潜在因素，从而生成输出以更好地满足所需结果并保留内容。对偶重构结构通过利用伪并行语句的潜在因素的耦合，进一步增强了生成期望输出的能力。为了进行评估，我们准备了一个Yelp评论句子的数据集，并将评级作为结果。广泛的实验结果报告和讨论，阐述我们的框架的特点。
2019-01-30 cs.CL
A Probabilistic Formulation of Unsupervised Text Style Transfer
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
我们提出了一个用于无监督文本样式传输的深度生成模型，该模型统一了先前提出的非生成技术。我们的概率方法模型的非并行数据从两个域作为一个部分观察到的并行语料库。通过假设生成每个观察序列的并行潜在序列，我们的模型学习以完全无监督的方式将序列从一个域转换到另一个域。与传统的生成序列模型（例如HMM）相比，我们的模型对它生成的数据做了很少的假设：它使用递归语言模型作为先验，使用编码器-解码器作为转换分布。虽然计算边际数据的可能性是棘手的，在这个模型类中，我们摊销变分推理承认一个实际的代理。此外，通过绘制我们的变分目标和其他最近的无监督风格转换和机器翻译技术之间的联系，我们展示了我们的概率观点如何统一一些已知的非生成目标，如反向翻译和对抗损失。最后，我们证明了我们的方法在广泛的无监督风格迁移任务上的有效性，包括情感迁移，形式迁移，单词破译，作者模仿和相关语言翻译。在所有的风格转换任务中，我们的方法比最先进的非生成基线产生了实质性的收益，包括我们的方法推广的最先进的无监督机器翻译技术。此外，我们在标准的无监督机器翻译任务上进行实验，发现我们的统一方法与当前最先进的方法相匹配。
2020-04-29 cs.CL cs.LG
Identifying the Limits of Cross-Domain Knowledge Transfer for Pretrained Models
Stanford University（斯坦福大学）
越来越多的证据表明，预训练的语言模型不仅可以改善预训练中看到的语言，而且还可以改善新语言甚至非语言数据的特定任务微调。这种令人惊讶的跨域转移的本质是什么？我们提供了一个部分的答案，通过系统的探索有多少转移发生时，模型被拒绝通过随机加扰的任何信息字的身份。在四个分类任务和两个序列标记任务中，我们评估了基线模型，使用GloVe嵌入的LSTM和BERT。我们发现，只有BERT显示高速率的转移到我们的扰码域，分类，但不是序列标签任务。我们的分析试图解释为什么迁移在某些任务中成功，而在另一些任务中却不成功，分离出预训练与微调的单独贡献，并量化词频的作用。这些发现有助于解释跨域迁移发生的位置和原因，这可以指导未来的研究和实际的微调工作。
2021-04-17 cs.CL
Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification
University of S&T of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；Hefei University of Technology（合肥工业大学）；Meituan（美团）
跨领域情感分类（CDSC）的目的是利用从源领域中学习到的可传递语义来预测未标记目标领域中评论的情感。现有的研究在这项任务中更多地关注句子的序列建模，而在很大程度上忽略了图结构中嵌入的丰富的域不变语义（即，词性标签和依赖关系）。自适应图表征作为探索语言理解特征的一个重要方面，近年来在语言理解研究中发挥了重要作用。为此，在本文中，我们的目标是探索学习不变的语义特征的可能性，从图状结构的CDSC。具体来说，我们提出了图自适应语义转移（GAST）模型，自适应语法图嵌入方法，能够学习领域不变的语义从单词序列和语法图。更具体地说，我们首先提出了一个POS-Transformer模块，从单词序列以及词性标签中提取序列语义特征。然后，我们设计了一个混合图注意力（HGAT）模块，通过考虑可转移的依赖关系来生成基于语法的语义特征。最后，我们设计了一个整合的适应性策略（IDS）来指导两个模块的联合学习过程。在四个公共数据集上的广泛实验表明，GAST实现了与一系列最先进的模型相当的有效性。
2022-05-18 cs.AI cs.CL cs.IR
Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment Classification Tasks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Facebook AI Research（Facebook人工智能研究院）
本文研究了一系列方面情感分类任务的持续学习问题。虽然已经提出了一些CL技术用于文档情感分类，但我们不知道ASC上的任何CL工作。增量学习ASC任务序列的CL系统应该解决以下两个问题：（1）将从先前任务中学习的知识转移到新任务中，以帮助它学习更好的模型，以及（2）保持先前任务的模型性能，以便它们不会被遗忘。本文提出了一种新的基于胶囊网络的模型B-CL来解决这些问题。B-CL通过前向和后向知识转移显著提高了ASC在新任务和旧任务上的绩效。通过大量的实验证明了B-CL的有效性。
2021-12-06 cs.AI cs.CL cs.LG
Multi-task transfer learning for finding actionable information from crisis-related messages on social media
事件流（IS）跟踪是一项研究挑战，旨在从社交媒体中寻找危机期间用于应急响应的重要信息。更具体地说，给定与危机相关的推文流，IS挑战要求参与系统1）对每条推文中表达的用户关注或需求的类型进行分类，称为信息类型（IT）分类任务，以及2）估计每条推文对于紧急响应的重要性，称为优先级预测任务。在本文中，我们描述了我们的多任务迁移学习方法来应对这一挑战。我们的方法利用了最先进的Transformer模型，包括基于编码器的模型（如BERT）和基于序列到序列的T5，用于两个任务的联合迁移学习。基于这种方法，我们向赛道提交了几次跑步。返回的评估结果表明，我们的运行大大优于其他参与运行在IT分类和优先级预测。
2021-02-26 cs.CL
Cross-Lingual Natural Language Generation via Pre-Training
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
在这项工作中，我们专注于转移监督信号的自然语言生成（NLG）任务之间的多种语言。我们建议在单语和跨语言设置下预训练序列到序列模型的编码器和解码器。预训练目标鼓励模型在共享空间中表示不同的语言，以便我们可以进行zero-shot跨语言迁移。在预训练过程之后，我们使用单语数据对下游NLG任务的预训练模型进行微调。然后，可以在该语言之外直接评估用单一语言训练的序列到序列模型（即，接受多语言输入并产生多语言输出）。实验结果表明，该模型在跨语言zero-shot问题生成和摘要生成方面优于基于机器翻译的流水线方法。此外，跨语言迁移通过利用丰富资源的语言数据来提高低资源语言的NLG性能。我们的实现和数据可以在https://github.com/CZWin32768/xnlg上获得。
2019-11-22 cs.CL
Laughter Synthesis: Combining Seq2seq modeling with Transfer Learning
Numediart Institute, University of Mons（蒙斯大学努梅迪亚尔研究所）
尽管人们对表达性语音合成越来越感兴趣，但非语言表达的合成是一个未被开发的领域。在本文中，我们提出了一个音频笑声合成系统的基础上，序列到序列的TTS合成系统。我们通过训练深度学习模型来利用迁移学习，学习从注释中生成语音和笑声。我们用听力测试来评估我们的模型，将其性能与基于HMM的笑声合成进行比较，并评估它达到了更高的感知自然度。我们的解决方案是迈向TTS系统的第一步，该系统将能够合成语音，并在娱乐水平上控制笑声集成。
2020-08-20 cs.CL cs.LG cs.SD
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
Kakao（Kakao公司）；Kakao Brain（Kakao大脑研究所）
语法纠错可以被看作是一个低资源的序列到序列的任务，因为公开可用的平行语料库是有限的。为了应对这一挑战，我们首先使用现实的噪声函数生成大型未注释语料库的错误版本。所得到的并行语料库随后用于预训练Transformer模型。然后，通过顺序应用迁移学习，我们使这些模型适应测试集的域和风格。结合上下文感知神经拼写检查器，我们的系统在ACL 2019中的受限和低资源轨道上都取得了有竞争力的结果。我们发布所有代码和材料以供复制。
2019-07-02 cs.CL cs.LG
Russian Texts Detoxification with Levenshtein Editing
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
文本解毒是一项风格转换任务，即创建有毒文本的中性版本。在本文中，我们使用文本编辑的概念，建立了一个两步标记的解毒模型，使用俄语文本的平行语料库。通过这个模型，我们在RUSSE Detox共享任务中实现了所有模型中最好的风格转换准确性，超过了更大的序列到序列模型。
2022-06-08 cs.CL cs.LG
XL-Editor: Post-editing Sentences with XLNet
Carnegie Mellon University（卡内基梅隆大学）
虽然神经序列生成模型在许多NLP应用中取得了初步成功，但具有从左到右生成顺序（即，自回归）不能反映人类修改句子以获得精炼结果的真实本质。在这项工作中，我们提出了XL-Editor，这是一种新的训练框架，它使最先进的广义自回归预训练方法，特别是XLNet，能够通过可变长度的插入概率来修改给定的句子。具体来说，XL-Editor可以（1）估计将可变长度序列插入到给定句子的特定位置的概率;（2）根据估计的可变长度插入概率执行编辑后操作，如插入，删除和替换;（3）补充现有的序列到序列模型，以细化生成的序列。经验上，我们首先展示了更好的后编辑功能的XL-Editor在XLNet上的文本插入和删除任务，这验证了我们提出的框架的有效性。此外，我们扩展XL编辑器的不成对的文本风格转移任务，其中转移到一个给定的句子的目标风格可以自然地被视为后编辑的句子到目标风格。XL-Editor在风格转换准确率方面取得了显著的提高，并且保持了原句子的连贯语义，显示了该方法的广泛适用性。
2019-10-19 cs.CL cs.LG stat.ML
