Style Example-Guided Text Generation using Generative Adversarial Transformers
NVIDIA（英伟达）；cs.washington.edu（华盛顿大学计算机科学与工程系）
我们介绍了一种语言生成模型框架，用于基于上下文句子和样式参考示例生成样式化段落。该框架包括一个风格编码器和一个文本解码器。样式编码器从参考示例中提取样式代码，并且文本解码器基于样式代码和上下文生成文本。我们提出了一个新的目标函数来训练我们的框架。我们还研究了不同的网络设计选择。我们进行了广泛的实验验证与强大的基线比较，以验证所提出的框架的有效性，使用新收集的数据集与不同的文本样式。代码和数据集都将在发布时发布。
2020-03-02 cs.CL
Deleter: Leveraging BERT to Perform Unsupervised Successive Text Compression
Salesforce Research（赛富时研究院）
文本压缩有多种应用，如摘要、阅读理解和文本编辑。然而，几乎所有现有的方法都需要手工制作的功能，语法标签或并行数据。即使是在无监督环境中实现此任务的机器人，其架构也需要特定于任务的自动编码器。此外，这些模型只为每个源输入生成一个压缩句子，因此适应最终输出的不同风格要求（例如长度）通常意味着从头开始重新训练模型。在这项工作中，我们提出了一个完全无监督的模型，删除器，这是能够发现一个“最佳删除路径”的任意句子，其中沿路径的每个中间序列是前一个连贯的子序列。这种方法完全依赖于预训练的双向语言模型（BERT），根据结果句子的平均困惑度对每个候选删除进行评分，并执行渐进式贪婪前瞻搜索，为每个步骤选择最佳删除。我们将Deleter应用于提取句子压缩的任务，并发现我们的模型与在102万个具有类似压缩比的域内示例上训练的最先进的监督模型具有竞争力。定性分析以及自动和人工评估都验证了我们的模型可以产生高质量的压缩。
2019-09-07 cs.CL
Inference Time Style Control for Summarization
University of Michigan（密歇根大学）
如何生成不同风格的摘要，而不需要目标风格的语料库，或训练单独的模型？我们提出了两种新的方法，可以在任何预训练的基于transformer的摘要模型上进行摘要解码。(1)解码器状态调整通过外部训练的风格评分器即时修改解码器最终状态，以针对目标风格迭代地细化输出。(2)词单元预测约束词的使用，在生成过程中施加强大的词汇控制。在简单控制的总结实验中，自动评估和人类判断都发现我们的模型在更简单的语言中产生输出，同时仍然提供信息。我们还生成具有各种意识形态倾向的新闻标题，人类可以以合理的概率区分这些标题。
2021-04-05 cs.CL
Effective writing style imitation via combinatorial paraphrasing
Aalto University（阿尔托大学）；University of Waterloo（滑铁卢大学）
Stylometry可以用来根据作者的写作风格对其进行分析或去匿名化。风格转移提供了一种防御。当前技术通常使用编码器-解码器架构或基于规则的算法。至关重要的是，样式转换必须可靠地保留原始语义内容才能实际部署。我们进行了多方面的评估，三个国家的最先进的编码器-解码器风格的传输技术，并表明，所有失败的语义保留。特别是，他们不产生适当的释义，而只是在精确复制文本的琐碎情况下保留原始内容。为了缓解这个问题，我们提出ParChoice：一种基于多个释义算法的组合应用的技术。ParChoice在语义保留方面强于编码器-解码器基线。此外，与实现不可忽略的语义保留的基线相比，ParChoice具有更好的风格迁移性能。我们还将ParChoice应用于多作者风格模仿（以前的工作没有考虑过），在五位作者中，我们实现了高达75%的模仿成功率。此外，当比较两个国家的最先进的基于规则的风格转移技术，ParChoice有显着更好的语义保持。将ParChoice与最佳的基于规则的基线（Mux-X）相结合，在Brennan-Greenstadt和Extended-Brennan-Greenstadt语料库上也达到了最高的风格转换成功率，对原始含义的影响比单独使用基于规则的基线技术时要小得多。最后，我们强调了一个困扰所有当前风格转移技术的关键问题：对手可以使用相同的技术通过对抗训练来阻止风格转移。我们发现，在风格转移…
2020-07-03 cs.CL
LEWIS: Levenshtein Editing for Unsupervised Text Style Transfer
The University of Tokyo（东京大学）；University of Washington（华盛顿大学）
许多类型的文本风格转换可以通过小而精确的编辑来实现（例如，从我度过了一段可怕的时光......我有一个伟大的时间……）。我们提出了一个粗略到精细的编辑器的风格转换，转换文本使用Levenshtein编辑操作（例如插入，替换，删除）。与以前的单跨度编辑方法不同，我们的方法同时编辑源文本中的多个跨度。为了训练没有并行风格的文本对（例如+/-情感语句对），我们提出了一个无监督的数据合成过程。我们首先使用样式分类器attention将文本转换为样式无关的模板（例如，我有一个SLOT时间...），然后使用微调的预训练语言模型来填充这些模板中的槽。我们的方法优于现有的生成和编辑风格的情感（Yelp，亚马逊）和礼貌（礼貌）转移方法。特别是，多跨度编辑比单跨度编辑实现了更高的性能和更多样化的输出。此外，与以前的无监督数据合成方法相比，我们的方法产生了更高质量的并行样式对，提高了模型性能。
2021-05-18 cs.CL
Transductive Learning for Unsupervised Text Style Transfer
Data Intelligence System Research Center（数据智能系统研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；CAS Key Lab of Network Data Science Technology（中国科学院网络数据科学与技术重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
无监督风格迁移模型主要基于归纳学习方法，该方法将风格表示为嵌入、解码器参数或解码器参数，并将这些一般规则直接应用于测试用例。然而，平行语料库的缺乏阻碍了这些归纳学习方法在这一任务上的能力。因此，它很可能会导致严重的不一致的风格表达，如'沙拉是粗鲁的'。为了解决这个问题，我们提出了一种新的转导学习方法，在本文中，基于检索的上下文感知的风格表示。具体地，利用具有检索器框架的注意编码器-解码器。在迁移过程中涉及到目标语体中的top-K相关句子。通过这种方式，我们可以学习上下文感知风格嵌入来缓解上述不一致问题。在本文中，稀疏（BM 25）和稠密检索功能（MIPS）的使用，并设计了两个目标函数，以促进联合学习。实验结果表明，我们的方法优于几个强基线。本文提出的直推学习方法对于无监督风格迁移具有普遍性和有效性，我们将把它应用到其他两种典型的方法中。
2021-09-16 cs.CL
Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation
Fudan University（复旦大学）
在不成对的文本风格迁移中，普遍存在着在潜空间中将内容与风格分离的现象。然而，目前大多数神经模型存在两个主要问题。1)很难从句子的语义中完全剥离样式信息。2)基于递归神经网络（RNN）的编码器和解码器以潜在表示为中介，不能很好地处理长期依赖性问题，导致非风格语义内容的保存较差。本文提出了风格转换器Transformer，它不需要对源语句的潜在表征做任何假设，而是在Transformer中加入了注意力机制，以实现更好的风格转换和更好的内容保持。
2019-08-20 cs.CL
Improving Formality Style Transfer with Context-Aware Rule Injection
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
在大规模常规文本语料库上预训练的模型通常不能很好地用于语言风格与主流文本显著不同的用户生成的数据。在这里，我们提出了上下文感知的规则注入（CARI），一种创新的方法，正式的风格转移（FST）。CARI将多个规则注入到端到端基于BERT的编码器和解码器模型中。它学习根据上下文选择最佳规则。内在评估表明，CARI在FST基准数据集上实现了新的最高性能。我们的外部评估表明，CARI可以大大提高常规预训练模型在几个推文情感分析任务上的性能。
2021-06-01 cs.CL
StyleCap: Automatic Speaking-Style Captioning from Speech Based on Speech and Language Self-supervised Learning Models
The University of Tokyo（东京大学）；NTT Corporation（日本电信电话公司）
StyleCap提出一种端到端方法，利用语音和语言自监督学习模型，从语音生成自然语言说话风格描述，通过LLM解码器和SSL特征提升准确性与多样性。
2023-12-27 cs.CL cs.LG cs.SD
StyleFlow: Disentangle Latent Representations via Normalizing Flow for Unsupervised Text Style Transfer
National University of Defense Technology（国防科技大学）
语篇风格转换的目的是在保持句子内容的同时改变句子的风格。由于缺乏平行语料库，最近的工作主要集中在无监督的方法，通常使用循环构造来训练模型。由于循环构造通过将转换后的句子重建回原始风格句子来提高模型的风格转换能力，因此在无监督的文本风格转换任务中会导致内容丢失。在本文中，我们提出了一种新的基于解纠缠的风格传输模型StyleFlow，以提高内容保存。与传统的编码器-解码器方案不同，StyleFlow不仅可以进行前向处理以获得输出，还可以通过输出推断输入。我们设计了一个注意力感知的耦合层来理清句子的内容表示和风格表示。此外，本文还提出了一种基于归一化流的数据增强方法来提高模型的鲁棒性。实验结果表明，我们的模型有效地保留了内容，并在大多数指标上达到了最先进的性能。
2022-12-19 cs.CL
Reinforcement Learning Based Text Style Transfer without Parallel Training Corpus
T. J. Watson Research Center, IBM（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
文本样式转移从源样式（例如，非正式）转换为目标风格（例如，（1）保持原有的意义。尽管现有的作品已经取得了成功，使用两种风格的平行语料库，转移文本风格已被证明是更具有挑战性的，当没有平行的训练语料库。在本文中，我们解决这个挑战，通过使用一个基于重复学习的生成器-评估器架构。我们的生成器采用基于注意力的编码器-解码器将句子从源风格转换为目标风格。我们的评估者是一个经过对抗训练的风格测试者，具有语义和句法约束，对生成的句子进行风格，意义保留和流畅性的评分。两个不同的风格转移任务（情感转移和正式转移）的实验结果表明，我们的模型优于国家的最先进的方法。此外，我们进行了手动评估，证明了所提出的方法的有效性，使用生成的文本质量的主观指标。
2019-04-08 cs.CL
Text Detoxification as Style Transfer in English and Hindi
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）；Panlingua Language Processing LLP（Panlingua语言处理有限责任合伙公司）；Insight SFI Centre for Data Analytics, DSI, University of Galway（爱尔兰高威大学Insight SFI数据分析中心）
本文研究英语和印地语中的文本去毒化问题，提出知识迁移、多任务学习和删除重构三种方法，并构建人工筛选及印地语平行数据集，在去毒的同时保留内容与流畅性。
2024-06-09 cs.CL
Multi-Style Transfer with Discriminative Feedback on Disjoint Corpus
Adobe Research（Adobe研究院）
在非平行语料库的自然语言生成中，通过直接或间接地从源领域语料和目标领域语料中提取风格概念，风格迁移已被广泛研究。现有方法的一个共同缺点是，必须对所考虑的所有文体方面进行联合注释。跨样式组合的此类数据集的可用性限制了这些设置到多个样式维度的扩展。虽然跨多个样式级联单维模型是可能的，但它会遭受内容损失，特别是当样式维度不是完全相互独立时。在我们的工作中，我们放宽了这种要求，联合注释的数据在多个样式使用独立采集的数据在不同的风格尺寸没有任何额外的注释。我们初始化的编码器-解码器设置与transformer为基础的语言模型预训练的通用语料库和提高其重写能力，以多个目标风格的尺寸，采用多个风格感知语言模型作为鉴别器。通过定量和定性评估，我们展示了我们的模型在多个样式维度上控制样式的能力，同时保留输入文本的内容。我们将其与涉及级联最先进的一维风格传输模型的基线进行比较。
2021-04-12 cs.CL
Vectorizing Classical Tamil: Representation Learning for Verse-Commentary Pairs
Sri Sivasubramaniya Nadar College of Engineering（斯里·西瓦苏布拉马尼亚·纳达尔工程学院）；National Institute of Technology Tiruchirappalli（蒂鲁吉拉伯利国家理工学院）
该研究构建古典泰米尔语诗句-评注对语料库，训练多种模型探究表示学习的信息恢复能力，发现仅解码器模型偏好真实词序但无法复现评注内容，发布了提取与评估协议。
2026-09-09 cs.CL
Sentence-Level Content Planning and Style Specification for Neural Text Generation
Northeastern University（东北大学）
构建有效的文本生成系统需要三个关键组成部分：内容选择，文本规划和表面实现，传统上它们是作为单独的问题来处理的。最近的一体式神经生成模型取得了令人印象深刻的进展，但它们经常产生不连贯且不忠实于输入的输出。为了解决这些问题，我们提出了一个端到端的训练两步生成模型，其中一个文档级内容规划器首先决定要覆盖的关键短语以及所需的语言风格，然后是一个生成相关和连贯文本的表面实现解码器。对于实验，我们考虑了三个任务，从不同的主题和不同的语言风格的域：有说服力的论点建设从Reddit，段落生成的正常和简单版本的维基百科，和摘要生成的科学文章。自动评估表明，我们的系统可以显着优于竞争力的比较。与不考虑语言风格的变体相比，人类法官进一步将我们的系统生成的文本评为更流畅和正确。
2019-09-02 cs.CL
Low-Level Linguistic Controls for Style Transfer and Content Preservation
Columbia University（哥伦比亚大学）
尽管风格转移在图像处理中取得了成功，但在自然语言生成中的进展有限。部分问题在于文本域中的内容不容易与样式分离。奇怪的是，在文体计量学领域，内容在区分文体元素（如作者身份和体裁）的实际方法中并不突出。而句法和虚词是最突出的特征。在这项工作的基础上，我们将风格建模为一套低层次的语言控制，如代词，介词和从句结构的频率。我们训练一个神经编码器-解码器模型来重建参考句子，只给出内容词和控件的设置。我们通过保持内容词固定，同时调整控件以指示另一种风格来执行风格转换。在实验中，我们表明，该模型可靠地响应语言控制，并进行自动和手动评估的风格转移。我们发现我们可以在84%的时间里欺骗风格分类器，并且我们的模型产生了高度多样化和风格独特的输出。这项工作介绍了一个正式的，可扩展的风格模型，可以添加控制任何神经文本生成系统。
2019-11-08 cs.CL
Interpreting Style Representations via Style-Eliciting Prompts
University of Michigan（密歇根大学）
提出一种通过风格诱导提示解释风格表示的新框架，利用大型语言模型生成自然语言描述，并在风格描述和模仿任务中优于直接提示的基线方法。
2026-06-04 cs.CL
SC2: Towards Enhancing Content Preservation and Style Consistency in Long Text Style Transfer
School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）
本文提出SC2方法，通过多层联合风格-内容加权模块和风格一致性损失解决长文本风格迁移中的内容退化和风格不一致问题，并引入去噪非自回归解码器加速训练，实验表明其优于竞争基线。
2024-06-07 cs.CL
T-STAR: Truthful Style Transfer using AMR Graph as Intermediate Representation
Google Research（谷歌研究院）
用于训练文本风格迁移（TST）模型的平行语料库的不可用是一个非常具有挑战性但又很常见的情况。此外，TST模型隐含地需要在将源语句转换为目标样式的同时保留内容。为了解决这些问题，通常会构建一个中间表示，该中间表示缺乏风格，同时仍然保留源句子的含义。在这项工作中，我们研究的有用性抽象意义表示（AMR）图作为中间风格的不可知论表示。我们认为像AMR这样的语义符号是中间表示的自然选择。因此，我们提出了T-STAR：一个由两个组件组成的模型，文本到AMR编码器和AMR到文本解码器。我们提出了几个建模改进，以提高所生成的AMR的风格不可知性。据我们所知，T-STAR是第一个使用AMR作为TST中间表示的工作。通过全面的实验评估，我们发现T-STAR显著优于最先进的技术，平均提高15.2%的含量保存，损失可忽略不计（约3%）。风格的准确性。通过90，000个评分的详细人体评估，我们还表明，与最先进的TST模型相比，T-STAR的幻觉减少了50%。
2022-12-03 cs.CL
Language Models for German Text Simplification: Overcoming Parallel Data Scarcity through Style-specific Pre-training
Technical University of Munich（慕尼黑工业大学）
针对德语等非英语语言平行文本简化数据稀缺问题，提出先在德语简易语言语料上微调语言模型再用作序列到序列任务解码器的两步法，可减少可训练参数与所需平行数据，同时提升下游任务性能。
2023-05-22 cs.CL
Balancing the Style-Content Trade-Off in Sentiment Transfer Using Polarity-Aware Denoising
Charles University（查理大学）
本文提出基于极性感知去噪的情感迁移模型，通过共享编码器和情感特定解码器平衡风格-内容权衡，在保留内容的同时实现情感翻转，优于现有基线。
2023-12-22 cs.CL
Unsupervised Neural Stylistic Text Generation using Transfer learning and Adapters
AWS AI Labs（亚马逊云科技人工智能实验室）
研究表明，个性是提高会话系统中的参与度和用户体验的关键驱动因素。会话代理还应该保持一致的角色，以便与用户进行引人入胜的会话。然而，文本生成数据集通常是众包的，因此具有平均效应，其中生成模型的风格是对数据集做出贡献的所有众包工作者的平均风格。虽然可以为每个任务收集特定于角色的数据集，但这将是一项昂贵且耗时的注释工作。在这项工作中，我们提出了一种新的迁移学习框架，它只更新$0.3\%$的模型参数，以学习响应生成的风格特定的属性。本研究以中华民国小说语料库为研究对象，探讨小说结尾文体生成的问题。我们从PERSONALITY-CAPTIONS数据集学习特定于样式的属性。通过大量的实验和评估指标，我们表明，我们的新的训练过程可以提高200的风格生成比编码器-解码器基线，同时保持与标准内容相关性指标，
2022-10-07 cs.CL
Fighting Offensive Language on Social Media with Unsupervised Text Style Transfer
IBM Research（IBM研究院）；T.J. Watson Research Center（T.J.沃森研究中心）；IBM Watson（IBM沃森）
我们引入了一种新的方法来解决在线社交媒体中的冒犯性语言问题。我们的方法使用无监督的文本风格转换将冒犯性句子翻译成非冒犯性句子。我们提出了一种新的方法来训练编码器-解码器使用非并行数据，结合了协作分类器，注意力和周期一致性损失。Twitter和Reddit数据的实验结果表明，我们的方法在三个定量指标中的两个方面优于最先进的文本风格传输系统，并产生可靠的非攻击性传输句子。
2018-05-20 cs.CL cs.LG
Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors
University of Virginia（弗吉尼亚大学）；The Chinese University of Hong Kong（香港中文大学）
生成具有高多样性的高质量文本对于许多NLG应用是重要的，但是当前的方法大多集中于构建确定性模型以生成更高质量的文本，并且没有提供许多促进多样性的选项。在这项工作中，我们提出了一种新的潜在结构变量模型，以产生高质量的文本，丰富上下文表示学习的编码器-解码器模型。具体来说，我们引入一个随机函数来将确定性编码器隐藏状态映射到随机上下文变量。所提出的随机函数是从高斯过程中采样的，然后（1）提供随机上下文变量的无限数量的联合高斯分布（多样性促进）和（2）明确地建模上下文变量之间的依赖性（准确编码）。为了解决高斯过程的学习挑战，我们提出了一种有效的变分推理方法来近似随机上下文变量的后验分布。我们评估我们的方法在两个典型的文本生成任务：释义生成和文本风格转移。在基准数据集上的实验结果表明，与其他基线相比，该方法提高了生成质量和多样性。
2022-04-04 cs.CL
Stylized Dialogue Response Generation Using Stylized Unpaired Texts
Tsinghua University（清华大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院北京分部）；NetEase Inc.（网易公司）
生成程式化的响应对于构建智能和引人入胜的对话系统至关重要。然而，这项任务是远远没有得到很好的探讨，由于在连贯的响应呈现特定的风格的困难，特别是当目标风格是嵌入在不成对的文本，不能直接用于训练的对话模型。本文提出了一种风格化的对话生成方法，可以捕获嵌入在不成对的文本中的风格特征。具体来说，我们的方法可以产生的对话反应，既连贯给定的上下文和符合目标风格。在这项研究中，首先引入一个反向对话模型来预测输入响应的可能帖子，然后使用该反向模型来基于这些风格化的未配对文本生成风格化的伪对话对。此外，这些伪对被用来训练风格化的对话模型与联合训练过程，并提出了一种风格路由的方法，以加强风格特征的解码器。对两个数据集的自动和手动评估表明，我们的方法在产生连贯和风格密集的对话响应方面优于竞争基线。
2020-12-16 cs.CL
Enhancing Content Preservation in Text Style Transfer Using Reverse Attention and Conditional Layer Normalization
The Hong Kong University of Science and Technology（香港科技大学）
文本样式转换旨在改变样式（例如，一个句子，同时保持它的内容。一种常见的方法是将给定的句子映射到没有样式的内容表示，并且内容表示被馈送到具有目标样式的解码器。以往的风格过滤方法都是在token级别上完全删除具有风格的token，从而导致内容信息的丢失。在本文中，我们提出了通过隐式地去除每个标记的反向注意的样式信息来增强内容保存，从而保留内容。此外，我们在构建目标样式表示时融合了内容信息，使其相对于内容是动态的。该方法在传递样式的过程中，不仅建立了与样式无关的内容表示，而且建立了与内容相关的样式表示。实证结果表明，我们的方法优于国家的最先进的基线的内容保存方面的大幅度。此外，它在风格转移的准确性和流畅性方面也具有竞争力。
2021-08-01 cs.AI cs.CL
A decoder-only foundation model for time-series forecasting
Google Research（谷歌研究院）
受NLP大模型启发，提出一种仅解码器的时间序列基础模型，通过在大规模语料上预训练补丁解码器注意力模型，实现零样本预测性能接近各数据集上的监督模型，且适应多种预测长度与粒度。
2024-04-17 cs.AI cs.CL cs.LG
Learning Neural Templates for Text Generation
Harvard University（哈佛大学）
虽然神经编码器-解码器模型在文本生成方面取得了显著的经验成功，但这种生成方式仍然存在一些未解决的问题。编码器-解码器模型在很大程度上（a）不可解释，（b）难以控制其措辞或内容。这项工作提出了一个神经生成系统，使用隐藏的半马尔可夫模型（HSMM）解码器，学习潜在的，离散的模板与学习共同生成。我们表明，该模型学习有用的模板，这些模板使生成更可解释和可控。此外，我们表明，这种方法可扩展到真实的数据集，并实现了强大的性能接近的编码器-解码器的文本生成模型。
2019-06-17 cs.CL cs.LG
Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer
Xiamen University（厦门大学）；Baidu Inc.（百度公司）
无监督的风格转换旨在改变输入句子的风格，同时保留其原始内容，而不使用并行训练数据。在目前的主流方法中，由于缺乏对目标风格的影响的细粒度控制，它们无法产生令人满意的输出句子。在本文中，我们提出了一种新的注意序列到序列（Seq2seq）模型，动态地利用每个输出单词的相关性，以目标风格的无监督风格转移。具体来说，我们首先预训练一个风格分类器，其中每个输入单词与原始风格的相关性可以通过逐层相关传播来量化。在去噪自动编码的方式，我们训练注意力Seq2seq模型重建输入的句子，并重新预测词级先前量化的风格相关性的同时。通过这种方式，该模型被赋予了自动预测每个输出词的风格相关性的能力。然后，我们为该模型的解码器配备了一个神经风格组件，以利用预测的词级风格相关性来实现更好的风格传递。特别是，我们微调这个模型使用精心设计的目标函数，涉及风格转移，风格相关性的一致性，内容保存和流畅性建模损失条款。实验结果表明，我们提出的模型达到了最先进的性能，在传输精度和内容保存。
2022-03-11 cs.CL cs.LG
TextSETTR: Few-Shot Text Style Extraction and Tunable Targeted Restyling
University of Rochester（罗切斯特大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）
我们提出了一种新的方法来解决文本风格迁移的问题。与以前的方法需要样式标记的训练数据，我们的方法利用现成的未标记的文本，依靠在相邻的句子之间的风格的隐式连接，并使用标记的数据只在推理时间。我们调整T5（Raffel等人，2020），一个强大的预训练文本到文本模型，从文本中提取样式向量，并使用它来调节解码器以执行样式传输。由于我们的无标签训练产生了一个对风格的许多方面进行编码的风格向量空间，因此我们将传输转换为“目标重新造型”向量操作，这些操作调整输入的特定属性，同时保留其他属性。我们证明，在未标记的亚马逊评论数据上进行训练，即使与完全在标记数据上训练的模型相比，也会产生一个在情感转移方面具有竞争力的模型。此外，将我们的新方法应用于未标记的Web文本的多样化语料库，导致单个模型能够沿着风格的多个维度（方言，情感，正式，礼貌，情感）进行转移，尽管没有额外的训练，并且在推理时只使用少数样本。
2021-06-23 cs.CL cs.LG
ASR Error Correction with Constrained Decoding on Operation Prediction
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
纠错技术对于改进自动语音识别（ASR）模型的输出仍然有效。基于编码器-解码器架构的现有端到端纠错方法在解码阶段处理所有令牌，从而产生不期望的延迟。在本文中，我们提出了一个ASR错误校正方法，利用预测的校正操作。更具体地说，我们在编码器和解码器之间构建了一个预测器，以了解是否应该保留（“K”），删除（“D”）或更改（“C”）令牌，以将解码限制为仅部分输入序列嵌入（“C”令牌），以进行快速推理。在三个公开数据集上的实验证明了该方法在减少ASR校正中解码过程的延迟方面的有效性。与坚实的编码器-解码器基线相比，它将推理速度提高了至少三倍（3.4和5.7倍），同时保持了相同的准确度（WER分别降低了0.53%和1.69%）。与此同时，我们制作并发布了一个基准数据集，为ASR纠错社区做出贡献，以促进这方面的研究。
2022-08-09 cs.CL eess.AS
Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN
IIT Delhi（印度理工学院德里分校）
本文提出Prosodic Diff-TTS，通过条件韵律层归一化将风格描述嵌入扩散GAN，在仅4步去噪内实现高保真语音合成，并在多说话人数据集上验证了效果。
2023-10-27 cs.CL cs.SD eess.AS
Unlocking Fine-Grained and Within-Utterance Speaking Style Control in Prompt-Based Text-to-Speech Models
Department of Artificial Intelligence, Sungkyunkwan University, Korea（全州大学人工智能系）；Department of Computer Science and Engineering, Sungkyunkwan University, Korea（全州大学计算机科学与工程系）
针对基于提示的TTS模型缺乏细粒度控制和句内风格变化的问题，提出句间风格插值和句内风格过渡技术，通过嵌入空间方向向量插值和KV缓存交换及滑动窗口注意力掩码实现平滑风格控制。
2026-04-09 cs.AI cs.CL
Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换的目的是在保留语言内容和说话人身份的同时，转换语音中的情感韵律。先前的研究表明，使用离散表示的编码器-解码器网络（例如独热情感标签）可以解开情感韵律。这样的网络学会记住一套固定的情感风格。在本文中，我们提出了一种新的框架的基础上变分自动编码Wasserstein生成对抗网络（VAW-GAN），它利用一个预先训练的语音情感识别（SER）模型，在训练和运行时的推理转移情感风格。通过这种方式，网络能够将可见和不可见的情感风格转移到新的话语中。我们表明，建议的框架实现了显着的性能始终优于基线框架。本文还标志着用于语音转换的情感语音数据集（ESD）的发布，该数据集具有多个扬声器和语言。
2021-02-11 cs.CL cs.SD eess.AS
Atom Responding Machine for Dialog Generation
Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent（腾讯）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
近年来，提高对话系统的相关性和多样性引起了人们的广泛关注。对于帖子x，对应的响应y在真实世界语料库中通常是多样的，而传统的编码器-解码器模型倾向于输出高频（安全但琐碎）响应，因此难以处理大量的响应风格。为了解决这些问题，我们提出了原子响应机（ARM），这是基于一个建议的编码器-作曲家-解码器网络训练的师生框架。为了丰富生成的响应，ARM引入了大量的分子机制作为各种响应样式，这些响应样式是通过从少数原子机制中采取不同的组合来进行的。换句话说，即使是一点原子机制也可以产生大量的分子机制。实验证明了ARM生成的响应的多样性和质量。我们还提出了生成过程，以显示潜在的结果的可解释性。
2019-05-15 cs.CL cs.LG
TCSinger: Zero-Shot Singing Voice Synthesis with Style Transfer and Multi-Level Style Control
Zhejiang University, Shanghai AI Laboratory（浙江大学上海人工智能实验室）
提出首个零样本歌声合成模型TCSinger，通过聚类风格编码器、风格与时长语言模型及风格自适应解码器，实现跨语言风格迁移与多级风格控制，在合成质量与相似度上优于基线模型。
2025-05-30 cs.CL cs.SD eess.AS
Contrastive Representation Learning for Exemplar-Guided Paraphrase Generation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
范例引导的释义生成（Exemplar-Guided Paraphrase Generation，EGPG）旨在生成一个符合给定范例风格的目标句子，同时封装源句子的内容信息。在本文中，我们提出了一种新的方法，其目标是学习更好地表示风格和内容。这种方法的主要动机是最近成功的对比学习，它已经证明了它的权力，在无监督的特征提取任务。我们的想法是设计两个对比损失方面的内容和风格，考虑到两个问题的特点，在培训。第一个特点是目标句与源句共享相同的内容，第二个特点是目标句与范例共享相同的风格。这两个对比损失被纳入一般的编码器-解码器范例。在QQP-Pos和ParaNMT两个数据集上的实验证明了我们提出的补偿损失的有效性。
2021-09-03 cs.CL cs.LG
Causal2Vec: Improving Decoder-only LLMs as Embedding Models through a Contextual Token
Institute of Science Tokyo（东京科学研究所）；Tencent（腾讯）
Causal2Vec通过引入上下文标记提升解码器-only LLMs的嵌入性能，无需修改原有架构或增加计算开销，实现了在MTEB基准上的新状态。
2026-05-02 cs.AI cs.CL
DSTC8-AVSD: Multimodal Semantic Transformer Network with Retrieval Style Word Generator
Seoul National University（首尔大学）；Adobe Research（奥多比研究院）
视听场景感知对话（AVSD）是一个任务，生成一个给定的场景，视频，音频和对话中的前几轮的历史问题的响应。用于此任务的现有系统采用具有编码器-解码器框架的基于Transformers或递归神经网络的架构。尽管这些技术在这项任务上表现出了卓越的性能，但它们有很大的局限性：模型很容易过度拟合，只记住语法模式;模型遵循数据集中词汇的先验分布。为了缓解这些问题，我们提出了一个多模态语义Transformer网络。它采用了基于transformer的架构，带有基于注意力的单词嵌入层，通过查询词嵌入来生成单词。通过这种设计，我们的模型在生成阶段继续考虑单词的含义。实证结果表明，我们提出的模型优于大多数以前的作品的AVSD任务的优越性。
2020-04-01 cs.CL cs.LG
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer
近年来，非平行语篇风格迁移引起了越来越多的研究兴趣。尽管在基于编码器-解码器框架的风格转换方面取得了成功，但目前的方法仍然缺乏保留原始句子的内容甚至逻辑的能力，这主要是由于大的无约束模型空间或对潜在嵌入空间的过于简化的假设。由于语言本身是人类使用特定语法的智能产品，并且本质上具有有限的基于规则的模型空间，因此缓解这个问题需要协调深层神经网络的模型容量与人类语言规则的内在模型约束。为此，我们提出了一种称为基于图Transformer的自动编码器（GTAE）的方法，该方法将句子建模为语言图，并在图级别上执行特征提取和风格转换，以最大限度地保留原始句子的内容和语言结构。三个非平行文本风格迁移任务的定量实验结果表明，我们的模型优于国家的最先进的方法，在内容保存，同时实现了相当的性能，转移的准确性和句子的自然。
2021-02-01 cs.AI cs.CL cs.CV
A Probabilistic Formulation of Unsupervised Text Style Transfer
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
我们提出了一个用于无监督文本样式传输的深度生成模型，该模型统一了先前提出的非生成技术。我们的概率方法模型的非并行数据从两个域作为一个部分观察到的并行语料库。通过假设生成每个观察序列的并行潜在序列，我们的模型学习以完全无监督的方式将序列从一个域转换到另一个域。与传统的生成序列模型（例如HMM）相比，我们的模型对它生成的数据做了很少的假设：它使用递归语言模型作为先验，使用编码器-解码器作为转换分布。虽然计算边际数据的可能性是棘手的，在这个模型类中，我们摊销变分推理承认一个实际的代理。此外，通过绘制我们的变分目标和其他最近的无监督风格转换和机器翻译技术之间的联系，我们展示了我们的概率观点如何统一一些已知的非生成目标，如反向翻译和对抗损失。最后，我们证明了我们的方法在广泛的无监督风格迁移任务上的有效性，包括情感迁移，形式迁移，单词破译，作者模仿和相关语言翻译。在所有的风格转换任务中，我们的方法比最先进的非生成基线产生了实质性的收益，包括我们的方法推广的最先进的无监督机器翻译技术。此外，我们在标准的无监督机器翻译任务上进行实验，发现我们的统一方法与当前最先进的方法相匹配。
2020-04-29 cs.CL cs.LG
SEED: Self-Speculative Decoding via Implicit Encoder-Decoder
Purdue University（普渡大学）
SEED通过将解码器Transformer重解释为隐式编码器-解码器，复用验证时的上下文表示来廉价生成高质量草稿，实现高达2.7倍加速，并优于现有自推测基线。
2026-09-30 cs.CL cs.LG
AdaSpeech 3: Adaptive Text to Speech for Spontaneous Style
Microsoft（微软）
虽然最近的文本到语音（TTS）模型在合成阅读风格（例如，有声读物）语音，但是合成自发式语音（例如，播客或对话），主要是因为两个原因：1）缺乏用于自发语音的训练数据; 2）难以对自发语音中的填充停顿（um和uh）和不同节奏进行建模。在本文中，我们开发了AdaSpeech 3，这是一个自适应TTS系统，可以微调训练有素的阅读式TTS模型，用于自发式语音。具体来说，1）为了在文本序列中适当地插入填充停顿（FP），我们在TTS模型中引入了FP预测器; 2）为了对变化的节奏建模，我们引入了混合专家模型的时长预测器（MoE），它包含三个分别负责生成快、中、慢语音的专家，并对时长预测器和音高预测器进行微调以适应节奏; 3）为了适应其他说话人的音色，我们在解码器中对一些参数进行了微调，只需要少量的语音数据。为了解决训练数据缺乏的问题，我们挖掘了一个自发语音数据集，以支持我们的研究工作，并促进未来的研究自发TTS。实验表明，AdaSpeech 3合成的语音具有自然的FP和节奏的自发风格，并取得了更好的MOS和SMOS分数比以前的自适应TTS系统。
2021-07-06 cs.CL cs.LG cs.SD
PromptTTS: Controllable Text-to-Speech with Text Descriptions
Microsoft（微软）
使用文本描述作为提示来指导文本或图像的生成（例如，GPT-3或DALLE-2）最近引起了广泛的关注。除了文本和图像生成，在这项工作中，我们探讨了利用文本描述来指导语音合成的可能性。因此，我们开发了一个文本转语音（TTS）系统（简称为TTS），需要一个提示与风格和内容的描述作为输入，合成相应的语音。具体地说，语音合成TTS包括一个风格编码器和一个内容编码器，用于从提示中提取相应的表示，以及一个语音解码器，用于根据提取的风格和内容表示合成语音。与要求用户具有声学知识以理解诸如韵律和音高之类的风格因素的可控TTS中的先前工作相比，可控TTS更用户友好，因为文本描述是表达语音风格的更自然的方式（例如，“一位女士慢慢地对她的朋友耳语”）。鉴于没有带有提示的TTS数据集，为了对TTS任务进行基准测试，我们构建并发布了一个包含样式和内容信息以及相应语音的提示的数据集。实验结果表明，该方法能够生成风格控制精确、语音质量高的语音.音频样本和我们的数据集是公开的。
2022-11-22 cs.CL cs.LG cs.SD
