ST$^2$: Small-data Text Style Transfer via Multi-task Meta-Learning
Shanghai Jiao Tong University（上海交通大学）
文本风格转换的目的是将一种风格的句子改写成另一种风格，同时保留内容。由于缺乏并行训练数据，最先进的方法是无监督的，并依赖于共享内容的大型数据集。此外，现有的方法已被应用于非常有限的类型的风格，如积极/消极和正式/非正式。在这项工作中，我们开发了一个元学习框架，可以在任何类型的文本风格之间进行转换，包括更细粒度、共享更少内容和拥有更小训练数据的个人写作风格。虽然最先进的模型失败的Few-Shot风格迁移任务，我们的框架有效地利用其他风格的信息，以提高语言流畅性和风格迁移的准确性。
2020-04-24 cs.CL
Reformulating Unsupervised Style Transfer as Paraphrase Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
现代NLP将风格转换的任务定义为修改给定句子的风格而不明显改变其语义，这意味着风格转换系统的输出应该是其输入的释义。然而，许多现有的系统据称是为风格转换而设计的，它们通过属性转换固有地扭曲了输入的含义，这改变了语义属性，例如情感。在本文中，我们将无监督的风格转换重新表述为释义生成问题，并提出了一种简单的方法，该方法基于自动生成的释义数据微调预训练的语言模型。尽管它的简单性，我们的方法显着优于国家的最先进的风格转让系统对人类和自动评估。我们还调查了23种风格的转让文件，并发现现有的自动指标可以很容易地进行游戏，并提出固定的变种。最后，我们通过收集11种不同风格的1500万个句子的大型数据集，转向更真实的风格转换设置，我们使用这些数据集对我们的系统进行深入分析。
2020-10-12 cs.CL
StyleFlow: Disentangle Latent Representations via Normalizing Flow for Unsupervised Text Style Transfer
National University of Defense Technology（国防科技大学）
语篇风格转换的目的是在保持句子内容的同时改变句子的风格。由于缺乏平行语料库，最近的工作主要集中在无监督的方法，通常使用循环构造来训练模型。由于循环构造通过将转换后的句子重建回原始风格句子来提高模型的风格转换能力，因此在无监督的文本风格转换任务中会导致内容丢失。在本文中，我们提出了一种新的基于解纠缠的风格传输模型StyleFlow，以提高内容保存。与传统的编码器-解码器方案不同，StyleFlow不仅可以进行前向处理以获得输出，还可以通过输出推断输入。我们设计了一个注意力感知的耦合层来理清句子的内容表示和风格表示。此外，本文还提出了一种基于归一化流的数据增强方法来提高模型的鲁棒性。实验结果表明，我们的模型有效地保留了内容，并在大多数指标上达到了最先进的性能。
2022-12-19 cs.CL
Reinforcement Learning Based Text Style Transfer without Parallel Training Corpus
T. J. Watson Research Center, IBM（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
文本样式转移从源样式（例如，非正式）转换为目标风格（例如，（1）保持原有的意义。尽管现有的作品已经取得了成功，使用两种风格的平行语料库，转移文本风格已被证明是更具有挑战性的，当没有平行的训练语料库。在本文中，我们解决这个挑战，通过使用一个基于重复学习的生成器-评估器架构。我们的生成器采用基于注意力的编码器-解码器将句子从源风格转换为目标风格。我们的评估者是一个经过对抗训练的风格测试者，具有语义和句法约束，对生成的句子进行风格，意义保留和流畅性的评分。两个不同的风格转移任务（情感转移和正式转移）的实验结果表明，我们的模型优于国家的最先进的方法。此外，我们进行了手动评估，证明了所提出的方法的有效性，使用生成的文本质量的主观指标。
2019-04-08 cs.CL
Language Style Transfer from Sentences with Arbitrary Unknown Styles
ShanghaiTech University（上海科技大学）；Tencent AI Lab（腾讯人工智能实验室）
语言风格迁移是将源语言的内容迁移到目标语言的问题。在它的许多应用中，并行训练数据不可用，并且要传输的源语句可能具有任意和未知的风格。首先，每个句子都被编码成其内容和风格的潜在表征。然后，通过将内容与目标风格重新组合，我们解码在目标域中对齐的句子。为了充分约束编码和解码函数，我们将它们与两个损失函数耦合。第一个是风格差异损失，强制风格表示准确地编码由句子风格和目标风格之间的差异引导的风格信息。第二种是循环一致性损失，这确保了被转移的句子应该保持与其风格分离的原始句子的内容。我们验证了我们的模型在三个任务的有效性：情感修改的餐厅评论，对话响应修改与浪漫的风格，句子重写与浪漫的风格。
2018-08-13 cs.CL
SE-DAE: Style-Enhanced Denoising Auto-Encoder for Unsupervised Text Style Transfer
University of Chinese Academy of Sciences（中国科学院大学）
语篇风格转换是指在保持句子语义的同时改变句子的风格。由于缺乏并行数据，去噪自动编码器（DAE）被广泛用于此任务中，以模拟不同句子风格的分布。然而，由于传统的去噪过程的目标和风格转换任务的目标之间的冲突，香草DAE不能产生令人满意的结果。为了提高模型的可移植性，现有的研究大多将DAE与各种复杂的无监督网络相结合，使得整个系统变得过于复杂。在这项工作中，我们设计了一个新的DAE模型命名为样式增强DAE（SE-DAE），这是专门设计的文本样式传输任务。与以往复杂的风格迁移模型相比，该模型不包含任何复杂的无监督网络，而仅依赖于一种新的数据精化机制生成的高质量伪并行数据。此外，为了缓解传统的去噪过程和风格转移任务的目标之间的冲突，我们提出了另一种新的风格去噪机制，这是更兼容的风格转移任务的目标。我们验证了我们的模型在两个风格的基准数据集的有效性。自动评估和人工评估表明，我们提出的模型是非常有竞争力的，与以前强大的最先进的（SOTA）的方法相比，大大优于香草DAE。
2021-04-27 cs.CL
Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation
Fudan University（复旦大学）
在不成对的文本风格迁移中，普遍存在着在潜空间中将内容与风格分离的现象。然而，目前大多数神经模型存在两个主要问题。1)很难从句子的语义中完全剥离样式信息。2)基于递归神经网络（RNN）的编码器和解码器以潜在表示为中介，不能很好地处理长期依赖性问题，导致非风格语义内容的保存较差。本文提出了风格转换器Transformer，它不需要对源语句的潜在表征做任何假设，而是在Transformer中加入了注意力机制，以实现更好的风格转换和更好的内容保持。
2019-08-20 cs.CL
Style Transfer Through Back-Translation
Carnegie Mellon University（卡内基梅隆大学）
风格转换是指在不改变上下文意图或影响的情况下，对文本进行重新措辞，以包含特定的风格属性。本文介绍了一种新的风格自动转换方法。我们首先学习输入句子的潜在表示，该表示基于语言翻译模型，以便在减少文体属性的同时更好地保留句子的含义。然后使用对抗生成技术使输出与期望的风格相匹配。我们评估这种技术上的三种不同的风格转换：情绪，性别和政治倾向。两个国家的最先进的风格迁移建模技术相比，我们表现出改进的风格迁移的自动评估和手动评估的意义保存和流畅性。
2018-05-24 cs.CL
Style Transfer as Unsupervised Machine Translation
University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research and AI Group（微软研究与人工智能集团）
语言风格转移是指在保留原有的与属性无关的内容的同时，重新表达具有特定风格属性的文本。学习风格转换系统的一个主要挑战是缺乏平行数据，其中源句子是一种风格，目标句子是另一种风格。有了这个限制，在本文中，我们适应无监督的机器翻译方法的任务，自动风格转换。我们首先利用风格偏好信息和词嵌入相似性来产生伪并行数据与统计机器翻译（SMT）框架。然后采用迭代反向翻译方法联合训练两个基于神经机器翻译（NMT）的转换系统。为了控制联合训练过程中产生的噪声，引入了风格分类器，以保证风格转移的准确性，并惩罚生成的伪数据中的不良候选。在基准数据集上的实验表明，我们提出的方法在风格转换的准确性和输入输出对应的质量方面都优于以前的最先进的模型。
2018-08-23 cs.CL
Authorship Style Transfer with Policy Optimization
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
针对低资源作者风格迁移问题，提出两阶段“调优与优化”技术，在作者风格迁移和母语风格任务中均优于基线模型。
2024-07-28 cs.CL
A Recipe For Arbitrary Text Style Transfer with Large Language Models
Google Research（谷歌研究院）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们利用大语言模型（LM）来执行zero-shot文本风格转换。我们提出了一种提示方法，我们称之为增强零样本学习，框架的风格转换作为一个句子重写任务，只需要一个自然语言指令，没有模型微调或样本的目标风格。增强的零样本学习很简单，不仅在标准的风格转换任务（如情感）上，而且在任意转换（如“使这成为情节剧”或“插入一个隐喻”）上都显示出有希望的结果。"
2022-03-31 cs.CL
Style Transfer in Text: Exploration and Evaluation
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）；Information Science Institute, University of Southern California（南加州大学信息科学研究所）；Beijing Institute of Big Data Research（北京大数据研究院）
风格迁移是自然语言处理中的一个重要问题。然而，语言风格迁移的研究进展滞后于其他领域，如计算机视觉，主要是因为缺乏平行的数据和原则的评估指标。在本文中，我们提出了学习风格转移与非并行数据。我们探索了两种模型来实现这一目标，所提出的模型背后的关键思想是使用对抗网络来学习单独的内容表示和风格表示。我们还提出了新的评估指标，衡量两个方面的风格转移：转移强度和内容保存。我们在两个任务上访问我们的模型和评估指标：纸质新闻标题转移和正面-负面评论转移。实验结果表明，本文提出的内容保留度量与人类的判断高度相关，与自动编码器相比，本文提出的模型能够生成具有更高风格转换强度和相似内容保留分数的句子。
2017-11-27 cs.CL
Steering Large Language Models with Register Analysis for Arbitrary Style Transfer
Department of Computer Science University of Maryland, College Park（计算机科学系大学马里兰大学学院公园分校）
本文针对基于示例的任意风格迁移任务，提出基于语域分析的提示方法，实验证明该方法在提升风格迁移强度的同时能更好地保留语义。
2025-05-09 cs.CL
Low-Resource Authorship Style Transfer: Can Non-Famous Authors Be Imitated?
University of Pennsylvania（宾夕法尼亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出低资源作者风格迁移任务，仅用约500词目标风格文本，通过上下文学习技术实现Reddit帖子风格迁移，并首次利用作者表征模型实现自动评估，确立最强基线但尚未完全掌握该任务。
2024-11-04 cs.CL
Evaluating the Evaluation Metrics for Style Transfer: A Case Study in Multilingual Formality Transfer
University of Maryland（马里兰大学）；Dataminr, Inc.（Dataminr公司）
虽然风格迁移（ST）领域发展迅速，但由于缺乏自动评估的标准化实践而受到阻碍。在本文中，我们评估了领先的ST自动度量的经常研究的任务，正式风格的转移。与以前的评估，只专注于英语，我们扩大我们的重点，巴西葡萄牙语，法语和意大利语，使这项工作的第一个多语言评估指标在ST。我们概述了自动评估（正式）风格转移的最佳实践，并确定了几个模型，以及与人类的判断，是强大的跨语言。我们希望这项工作将有助于加速ST的发展，因为在ST中，人类评估通常很难收集。
2021-10-20 cs.CL
SETTP: Style Extraction and Tunable Inference via Dual-level Transferable Prompt Learning
Amii, University of Alberta（阿尔伯塔大学 Amii）；Northeastern University（东北大学）；Key Laboratory of Intelligent Computing in Medical Image of Ministry of Education, Northeastern University（东北大学医学影像智能计算教育部重点实验室）；The Chinese University of Hong Kong（香港中文大学）；National Frontiers Science Center for Industrial Intelligence and Systems Optimization（工业智能与系统优化全国前沿科学中心）
SETTP通过双层可迁移提示学习，在低资源文本风格迁移中仅用1/20数据达到先进性能，并在稀缺风格任务上提升16.24%。
2024-07-22 cs.CL
Syntax Matters! Syntax-Controlled in Text Style Transfer
现有的文本样式转换（TST）方法依赖于样式分类器来解开文本的内容和样式属性，以进行文本样式转换。虽然风格分类器在现有的TST方法中起着至关重要的作用，但还没有关于其对TST方法的影响的已知调查。在本文中，我们进行了实证研究的局限性，在现有的TST方法中使用的风格分类。我们证明了现有的风格分类器不能有效地学习句子句法，并最终恶化现有的TST模型的性能。为了解决这个问题，我们提出了一种新的语法感知可控生成（SACG）模型，其中包括一个语法感知的风格分类器，确保学习风格的潜在表示有效地捕捉语法信息的TST。通过对两个流行的TST任务的广泛实验，我们表明，我们提出的方法显着优于国家的最先进的方法。我们的案例研究也证明了SACG生成流畅的目标风格的句子，保留了原始内容的能力。
2021-08-12 cs.CL
Multi-reference Tacotron by Intercross Training for Style Disentangling,Transfer and Control in Speech Synthesis
Baidu Inc.（百度公司）
语音风格控制和转换技术旨在丰富合成语音的多样性和表现力。现有方法将所有语音风格建模为一种表示，缺乏独立控制特定语音特征的能力。为了解决这个问题，我们引入了一种新的多参考结构的Tacotron，并提出交叉训练方法，共同确保多参考编码器的每个子编码器独立地解开和控制一个特定的风格。实验结果表明，我们的模型是能够控制和传输所需的语音风格个别。
2019-04-04 cs.CL
LEWIS: Levenshtein Editing for Unsupervised Text Style Transfer
The University of Tokyo（东京大学）；University of Washington（华盛顿大学）
许多类型的文本风格转换可以通过小而精确的编辑来实现（例如，从我度过了一段可怕的时光......我有一个伟大的时间……）。我们提出了一个粗略到精细的编辑器的风格转换，转换文本使用Levenshtein编辑操作（例如插入，替换，删除）。与以前的单跨度编辑方法不同，我们的方法同时编辑源文本中的多个跨度。为了训练没有并行风格的文本对（例如+/-情感语句对），我们提出了一个无监督的数据合成过程。我们首先使用样式分类器attention将文本转换为样式无关的模板（例如，我有一个SLOT时间...），然后使用微调的预训练语言模型来填充这些模板中的槽。我们的方法优于现有的生成和编辑风格的情感（Yelp，亚马逊）和礼貌（礼貌）转移方法。特别是，多跨度编辑比单跨度编辑实现了更高的性能和更多样化的输出。此外，与以前的无监督数据合成方法相比，我们的方法产生了更高质量的并行样式对，提高了模型性能。
2021-05-18 cs.CL
Semi-supervised Text Style Transfer: Cross Projection in Latent Space
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；Tencent AI Lab（腾讯人工智能实验室）；R&D Center Singapore, Machine Intelligence Technology, Alibaba DAMO Academy（阿里巴巴达摩院机器智能技术新加坡研发中心）；Center for Data Science, China（中国数据科学中心）
文本风格转换任务要求模型将一种风格的句子转换为另一种风格的句子，同时保持其原有的内容意义，这是一个具有挑战性的问题，长期以来一直受到并行数据短缺的困扰。在本文中，我们首先提出了一个半监督的文本风格迁移模型，结合了小规模的并行数据和大规模的非并行数据。在这两类训练数据的基础上，我们引入了不同风格的潜在空间之间的投影函数，并设计了两个约束条件对其进行训练，同时还引入了另外两种简单有效的半监督方法进行比较。为了评估所提出的方法的性能，我们构建并发布了一个新颖的风格转换数据集，该数据集在中国古代诗歌风格和现代汉语风格之间改变句子。
2019-09-25 cs.CL
VAE based Text Style Transfer with Pivot Words Enhancement Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon Alexa AI（亚马逊 Alexa AI）
文本风格转换（TST）的目的是将源文本的底层风格改变为另一种特定的风格，同时保持相同的内容。由于缺乏高质量的并行训练数据，无监督学习已成为TST任务的发展方向。本文提出了一种新的基于变分自变编码器（VAE）的文本风格转换与pivOt词增强学习（VT-STOWER）方法，该方法利用变分自编码器（VAE）和外部风格嵌入来联合学习语义和风格分布。此外，我们还引入了主元词学习，用于学习特定风格的决定性词，从而进一步提高风格迁移的整体性能。建议的VT-STOWER可以扩展到不同的TST场景，给出非常有限的和非并行的训练数据，具有新颖和灵活的风格强度控制机制。实验表明，VT-STOWER优于国家的最先进的情感，正式和代码转换TST任务。
2021-12-06 cs.CL
Monolingual and Cross-lingual Zero-shot Style Transfer
Institute of Computer Science（计算机科学研究所）
我们介绍了不同语言之间的zero-shot风格转换的任务。我们的训练数据包括多语言平行语料库，但不包含任何风格之间的平行句子，类似于最近以前的工作。我们提出了一个统一的多语言多风格机器翻译系统的设计，允许执行zero-shot风格转换在推理过程中，而且，它这样做的单语言和跨语言。我们的模型允许增加语料库中不同风格的存在多达3倍，很容易学会操作各种收缩，并提供合理的词汇交换，因为我们看到从手动评估。
2018-08-01 cs.CL
Contextualizing Variation in Text Style Transfer Datasets
University of Virginia（弗吉尼亚大学）
语篇风格转换是指将源语篇的内容改写为目标语篇的风格。尽管有许多可用数据的样式任务，但对文本样式数据集如何相互关联的系统讨论有限。然而，这种理解可能会对选择多个数据源进行模型训练产生影响。虽然在确定这些关系时考虑固有的风格属性是明智的，但我们还必须考虑如何在特定数据集中实现风格。在本文中，我们对现有的文本样式数据集进行了一些实证分析。基于我们的研究结果，我们提出了一个分类的风格和数据集属性时，考虑利用或比较文本样式数据集。
2021-08-17 cs.CL
XFORMAL: A Benchmark for Multilingual Formality Style Transfer
University of Maryland（马里兰大学）；Dataminr, Inc.（Dataminr公司）
通过创建和发布XFORMAL，我们迈出了多语言风格转换的第一步，XFORMAL是巴西葡萄牙语，法语和意大利语非正式文本的多种正式重新表述的基准。XFORMAL上的结果表明，最先进的风格迁移方法的性能接近简单的基线，这表明在迁移多语言时，风格迁移更具挑战性。
2021-04-08 cs.AI cs.CL
Review of Text Style Transfer Based on Deep Learning
文本风格迁移是近年来自然语言处理中的一个热点问题，它主要研究文本为了适应不同的特定场合、受众和目的而进行的一些改变。文本的风格通常包括词法、语法、情感、复杂度、流畅度、时态、语调等多个方面，在传统的文本风格迁移模型中，文本风格一般依赖专家知识和手工设计的规则，但随着深度学习在自然语言处理领域的应用，基于深度学习的文本风格迁移方法开始被大量研究。近年来，文本风格迁移成为自然语言处理研究的热点问题。本文综述了近年来基于深度学习的文本风格迁移模型的研究，并对主要研究方向和进展进行了总结、分析和比较。此外，文章还介绍了常用的文本风格迁移的公共数据集和评价指标。最后，总结了文本风格迁移模型的现有特点，并对基于深度学习的文本风格迁移模型的未来发展趋势进行了分析和预测。
2020-12-30 cs.CL cs.LG
Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer
Xiamen University（厦门大学）；Baidu Inc.（百度公司）
无监督的风格转换旨在改变输入句子的风格，同时保留其原始内容，而不使用并行训练数据。在目前的主流方法中，由于缺乏对目标风格的影响的细粒度控制，它们无法产生令人满意的输出句子。在本文中，我们提出了一种新的注意序列到序列（Seq2seq）模型，动态地利用每个输出单词的相关性，以目标风格的无监督风格转移。具体来说，我们首先预训练一个风格分类器，其中每个输入单词与原始风格的相关性可以通过逐层相关传播来量化。在去噪自动编码的方式，我们训练注意力Seq2seq模型重建输入的句子，并重新预测词级先前量化的风格相关性的同时。通过这种方式，该模型被赋予了自动预测每个输出词的风格相关性的能力。然后，我们为该模型的解码器配备了一个神经风格组件，以利用预测的词级风格相关性来实现更好的风格传递。特别是，我们微调这个模型使用精心设计的目标函数，涉及风格转移，风格相关性的一致性，内容保存和流畅性建模损失条款。实验结果表明，我们提出的模型达到了最先进的性能，在传输精度和内容保存。
2022-03-11 cs.CL cs.LG
Learning to Generate Multiple Style Transfer Outputs for an Input Sentence
University of Washington（华盛顿大学）；NVIDIA（英伟达）
文本风格转换是指将给定的文本改写为不同的风格。虽然已经提出了各种方法来推进现有技术，但它们通常假设传输输出遵循delta分布，因此它们的模型不能为给定的输入文本生成不同风格的传输结果。为了解决这个问题，我们提出了一个一对多的文本风格转换框架。与之前学习将输入句子转换为一个输出句子的一对一映射的作品相比，我们的方法学习了一个一对多映射，可以将输入句子转换为多个不同的输出句子，同时保留输入内容。这是通过使用潜在分解方案进行对抗训练来实现的。具体来说，我们将输入句子的潜在表示分解为捕获语言风格变化的风格代码和编码语言风格无关内容的内容代码。然后，我们将内容代码与样式代码结合起来，以生成样式转换输出。通过将相同的内容代码与不同的样式代码组合，我们生成了不同样式的传输输出。大量的实验结果与几个文本风格传输方法在多个公共数据集上使用不同的性能指标集的比较验证了所提出的方法的有效性。
2020-02-16 cs.CL cs.LG
CLIPstyler: Image Style Transfer with a Single Text Condition
KAIST（韩国科学技术院）
现有的神经风格传递方法需要参考风格图像来将风格图像的纹理信息传递到内容图像。然而，在许多实际情况下，用户可能没有参考样式图像，但仍然有兴趣通过想象来转移样式。为了处理这样的应用程序，我们提出了一个新的框架，使一个风格转移“没有”的风格图像，但只有所需的风格的文本描述。使用CLIP的预先训练的文本图像嵌入模型，我们演示了仅使用单个文本条件的内容图像风格的调制。具体来说，我们提出了一个补丁明智的文本图像匹配损失与多视图增强现实纹理转移。大量的实验结果证实了成功的图像风格转移与现实的纹理，反映语义查询文本。
2022-03-19 cs.CL cs.CV eess.IV
Few-shot Controllable Style Transfer for Low-Resource Multilingual Settings
Google Research（谷歌研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
风格转换是将句子改写成目标风格，同时大致保留内容的任务。虽然大多数先前的文献假设访问大型风格标记语料库，但最近的工作（Riley et al. 2021）尝试了“Few-Shot”风格迁移，仅使用3-10个句子进行风格提取的推理。在这项工作中，我们研究了一个相关的低资源设置：没有风格标记语料库的语言的风格转移。我们注意到，现有的Few-Shot方法执行此任务很差，通常逐字复制输入。我们推动了Few-Shot风格转换的最新技术，提出了一种新的方法来模拟释义之间的风格差异。与以前的工作相比，我们的模型在七种语言的正式传输和代码混合添加方面的性能提高了2- 3倍。此外，我们的方法是更好地控制风格转移幅度使用输入标量旋钮。我们报告了几个属性转移任务（情感转移，简化，性别中立化，文本匿名化）的有希望的定性结果，所有这些都没有重新训练模型。最后，我们发现模型评估是困难的，由于缺乏数据集和许多语言的指标。为了方便未来的研究，我们众包正式注释4000句对四种印度语言，并使用这些数据来设计我们的自动评估。
2022-03-11 cs.CL cs.LG
STEER: Unified Style Transfer with Expert Reinforcement
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for AI（艾伦人工智能研究所）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
针对任意未知源风格到目标风格的文本迁移问题，提出统一框架STEER，结合专家乘积生成数据与强化学习优化，在多项基准上超越GPT-3，且模型规模小226倍。
2023-11-13 cs.AI cs.CL
Deep Image Style Transfer from Freeform Text
Georgia Institute of Technology（佐治亚理工学院）
本文通过从自由形式的用户文本输入生成风格图像来创建深度神经风格转移的新方法。语言模型和样式转换模型形成无缝管道，其可以创建与基线样式转换方法相比具有类似损失和改进质量的输出图像。在给定样式文本和描述输入的情况下，语言模型返回紧密匹配的图像，该图像然后与输入内容图像一起被传递到样式传递模型以创建最终输出。还开发了一个概念验证工具来集成这些模型，并证明了从自由形式文本转换深度图像风格的有效性。
2022-12-13 cs.CL cs.CV cs.LG
Enhancing Content Preservation in Text Style Transfer Using Reverse Attention and Conditional Layer Normalization
The Hong Kong University of Science and Technology（香港科技大学）
文本样式转换旨在改变样式（例如，一个句子，同时保持它的内容。一种常见的方法是将给定的句子映射到没有样式的内容表示，并且内容表示被馈送到具有目标样式的解码器。以往的风格过滤方法都是在token级别上完全删除具有风格的token，从而导致内容信息的丢失。在本文中，我们提出了通过隐式地去除每个标记的反向注意的样式信息来增强内容保存，从而保留内容。此外，我们在构建目标样式表示时融合了内容信息，使其相对于内容是动态的。该方法在传递样式的过程中，不仅建立了与样式无关的内容表示，而且建立了与内容相关的样式表示。实证结果表明，我们的方法优于国家的最先进的基线的内容保存方面的大幅度。此外，它在风格转移的准确性和流畅性方面也具有竞争力。
2021-08-01 cs.AI cs.CL
Massive Styles Transfer with Limited Labeled Data
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
语言风格迁移在过去几年中引起了越来越多的关注。最近的研究集中在改进神经模型，目标是从一种风格转移到另一种带有标记的数据。但是，在实际应用中，跨多种样式的传输通常非常有用。以往的语言风格迁移研究主要存在两个不足：依赖于大量的标记数据，忽视了不同风格迁移任务之间的相互影响。在本文中，我们提出了一个多智能体风格转换系统（MAST），解决多个风格转换任务有限的标记数据，利用丰富的未标记数据和多种风格之间的互利。在我们的系统中，风格转移代理不仅通过使用去噪自动编码器和反向翻译等技术从未标记的数据中学习，而且还学习以自组织方式与其他风格转移代理合作。我们通过模拟一组真实世界风格的迁移任务与多个版本的圣经进行我们的实验。我们的模型显著优于其他竞争方法。大量的结果和分析进一步验证了我们提出的系统的有效性。
2019-06-03 cs.AI cs.CL cs.MA
Contextual Text Style Transfer
Microsoft（微软）；University of Washington（华盛顿大学）
我们引入了一个新的任务，上下文文本风格转换-翻译一个句子到一个所需的风格与其周围的上下文考虑。这给现有的风格转换方法带来了两个关键挑战：（$i$）如何在转换过程中保持目标句子的语义及其与周围上下文的一致性;（$ii$）如何用有限的带有上下文的标记数据训练一个鲁棒的模型。为了实现高质量的风格传输与自然的上下文保护，我们提出了一个上下文感知的风格传输（CAST）模型，它使用两个单独的编码器为每个输入句子及其周围的上下文。进一步训练分类器以确保所生成的句子的上下文一致性。为了弥补并行数据的不足，引入了额外的自重建和反向翻译损失，以半监督的方式利用非并行数据。针对正式性风格和攻击性风格的迁移，引入了Enron-Context和Reddit-Context两个新的测试基准。在这些数据集上的实验结果表明，所提出的CAST模型在风格准确性、内容保留和上下文一致性度量方面优于最先进的方法。
2020-04-30 cs.CL cs.LG
Style Transfer from Non-Parallel Text by Cross-Alignment
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；ASAPP Inc.（ASAPP公司）
本文以非平行语篇为研究对象，对文体迁移进行研究。这是包括机器翻译、解密和情感修改在内的一系列问题的一个实例。关键的挑战是将内容与风格等其他方面分开。我们假设一个共享的潜在内容分布在不同的文本语料库，并提出了一种方法，利用精细对齐的潜在表示执行风格转移。从一种风格中转移的句子应该与另一种风格中的例句作为一个总体相匹配。我们证明了这种交叉对齐方法在三个任务上的有效性：情感修改，单词替换密码的解密和单词顺序的恢复。
2017-11-06 cs.CL cs.LG
ParaGuide: Guided Diffusion Paraphrasers for Plug-and-Play Textual Style Transfer
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
ParaGuide 提出一种基于改写条件扩散和梯度引导的参数高效框架，实现推理时即插即用的任意风格迁移，并在正式程度、情感和作者身份迁移上超越强基线。
2024-02-22 cs.AI cs.CL
Transforming Delete, Retrieve, Generate Approach for Controlled Text Style Transfer
Agara（阿加拉）
文本风格转换是指在保持文本内容或非风格信息的同时，转换具有一定风格属性的文本的风格。在这项工作中，我们介绍了生成风格Transformer（GST）-一种新的方法来重写句子的目标风格在没有平行的风格语料库。GST利用了大型无监督预训练语言模型和Transformer的强大功能。GST是一个更大的“删除样式生成”框架的一部分，在该框架中，我们还提出了一种新的方法，通过利用Transformer的内部工作原理从源语句中删除样式属性。我们的模型在情感，性别和政治倾向转移的5个数据集上优于最先进的系统。我们还建议使用GLEU指标作为评估风格转移的自动指标，我们发现它比主要使用的BLEU分数更好地与人类评级进行比较。
2019-08-25 cs.CL cs.LG
Fair Transfer of Multiple Style Attributes in Text
IIIT Delhi（德里英德拉普拉斯塔信息技术学院）；IBM Research（IBM研究院）
为了在在线平台上保持匿名和模糊身份，用户可能会改变他们的文本，并将自己描绘成不同的性别或人口统计。同样，聊天机器人可能需要自定义其通信风格，以提高与受众的互动。近年来，这种改变书面文本风格的方式受到了极大的关注。然而，这些研究工作大多是为了迎合单一的风格属性的转移。单独关注单个样式的缺点是，这通常会导致目标文本中其他现有样式属性的行为不可预测或不公平地由新样式主导。为了抵消这种行为，最好有一个样式传输机制，可以同时公平地传输或控制多个样式。通过这种方法，人们可以获得混淆或书面文本，其中包含所需程度的多种软风格，如女性品质，礼貌或正式。在这项工作中，我们证明了多种风格的传输不能通过顺序执行多个单一风格的传输来实现。这是因为每一个单一的风格转移步骤往往逆转或占主导地位的风格纳入前一个转移步骤。然后，我们提出了一个神经网络架构，公平地转移多个风格属性在一个给定的文本。我们在Yelp数据集上测试了我们的架构，以证明我们与现有的一种风格的传输步骤相比具有更高的性能。
2020-01-18 cs.AI cs.CL cs.LG
AuthorMix: Modular Authorship Style Transfer via Layer-wise Adapter Mixing
Saarland University（萨尔兰大学）
提出AuthorMix框架，通过训练特定风格的LoRA适配器并利用逐层适配器混合，仅需少量目标风格样本即可实现轻量级、模块化的作者风格迁移，在低资源场景下优于现有方法并显著提升语义保留。
2026-09-17 cs.AI cs.CL
A Review of Text Style Transfer using Deep Learning
Faculty of Computer Science and Engineering, Ss. Cyril and Methodius University - Skopje（圣西里尔和美多德大学斯科普里计算机科学与工程学院）
风格是句子的一个组成部分，由一个人所用的词来表示。不同的人有不同的表达方式，然而，他们会根据社会背景、听众、对话者或场合的正式程度来调整自己的说话和写作风格。语篇风格转换是指在保持原句子意义的同时，对句子的写作风格进行调整和/或改变。本文对基于深度学习的文本风格转换方法进行了系统的综述。我们指出了深度神经网络的技术进步，这些技术进步一直是自然语言理解和生成领域当前成功背后的驱动力。文章围绕文本风格迁移过程中的两个关键阶段展开，即表示学习和新风格的句子生成。讨论强调了拟议解决方案之间的共同点和差异，以及预计将指导和促进该领域进一步研究的挑战和机遇。
2021-09-30 cs.AI cs.CL
MSSRNet: Manipulating Sequential Style Representation for Unsupervised Text Style Transfer
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
针对无监督文本风格迁移中传统固定向量风格调控粒度不足的问题，提出为每个词元分配独立风格向量的MSSRNet，结合融合师生学习的对抗训练框架，在双风格和多风格迁移任务中均提升了迁移准确率与内容保留度。
2023-06-12 cs.AI cs.CL cs.LG
Structured Content Preservation for Unsupervised Text Style Transfer
University of California, Davis（加州大学戴维斯分校）；Carnegie Mellon University（卡内基梅隆大学）
语篇风格转换的目的是在保持句子内容不变的情况下改变句子的风格。最近的风格转换系统往往不能忠实地保留改变后的风格的内容。本文提出了一种结构化的内容保持模型，利用语言信息的结构化细粒度监督，以更好地保持风格无关的内容在风格转移。特别是，我们通过设计基于句子的词汇信息和基于内容的语言模型的丰富模型目标来实现目标。因此，所得到的模型被鼓励保留目标句子的语义意义。我们进行了大量的实验，比较我们的模型与其他现有的方法在情感和政治倾向转移的任务。我们的模型在自动和人工评估的内容保存和风格转移方面都取得了显着的改进。
2018-10-31 cs.CL cs.LG stat.ML
StylePTB: A Compositional Benchmark for Fine-grained Controllable Text Style Transfer
Carnegie Mellon University（卡内基梅隆大学）
语篇风格转换的目的是在保持源句核心意义不变的情况下，可控地生成具有目标风格变化的语篇。许多现有的风格转换基准主要集中在个人的高层次语义变化（例如，积极到消极），这使得在高层次的可控性，但不提供涉及句子结构，强调和句子的内容细粒度的控制。在本文中，我们介绍了一个大规模的基准，StylePTB，（1）成对的句子经历了21个细粒度的风格变化，跨越原子词汇，句法，语义和文本的主题转移，以及（2）多个转移的组成，允许建模细粒度的风格变化作为更复杂，更高层次的转移的构建块。通过对StylePTB上的现有方法进行基准测试，我们发现它们很难对细粒度的更改进行建模，并且更难组合多种样式。因此，StylePTB带来了新的挑战，我们希望这将鼓励未来的研究在可控的文本风格转移，组合模型，学习解开表示。解决这些挑战将是迈向可控文本生成的重要步骤。
2021-04-12 cs.AI cs.CL cs.LG
Style-Label-Free: Cross-Speaker Style Transfer by Quantized VAE and Speaker-wise Normalization in Speech Synthesis
Kwai（快手）
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。以前的大多数方法都依赖于带有样式标签的数据，但是手动注释的标签成本很高，而且并不总是可靠的。针对这一问题，本文提出了一种跨说话人风格转换方法Style-Label-Free，该方法可以实现从源说话人到目标说话人的风格转换，而无需使用风格标签。首先，设计了一种基于量化变分自编码器（Q-VAE）和风格瓶颈的参考编码器结构来提取离散风格表示。其次，提出了一个逐说话人批量归一化层，以减少源说话人泄漏。为了提高参考编码器的风格提取能力，提出了一种风格不变和对比度增强的数据增强方法。实验结果表明，该方法优于基线。我们提供了一个网站与音频样本。
2022-12-13 cs.AI cs.CL cs.SD
Cycle-Consistent Adversarial Autoencoders for Unsupervised Text Style Transfer
Lenovo Research AI Lab（联想研究院人工智能实验室）；Kwai Inc.（快手公司）；Tianjin University（天津大学）；Cornell University（康奈尔大学）
由于缺乏并行数据和内容保存困难，无监督文本风格转换充满了挑战。在本文中，我们提出了一种新的神经方法来进行无监督的文本风格传输，我们称之为从非并行数据中训练的周期一致性对抗自动编码器（CAE）。CAE由三个基本组成部分组成：（1）LSTM自动编码器，将一种风格的文本编码为其潜在表示，并将编码表示解码为其原始文本或将转换表示解码为风格转换文本，（2）对抗性风格转换网络，使用对抗性训练的生成器将一种风格的潜在表示转换为另一种风格的表示，以及（3）增强对抗风格传输网络在内容保存中的能力的循环一致性约束。包含这三个组件的整个CAE可以进行端到端的培训。在两个广泛使用的公共数据集上进行的广泛实验和深入分析一致地验证了所提出的CAE在风格转换和内容保存方面的有效性，并与四个自动评估指标和人类评估方面的几个强基线进行了比较。
2020-10-02 cs.CL cs.CV cs.LG
TCSinger: Zero-Shot Singing Voice Synthesis with Style Transfer and Multi-Level Style Control
Zhejiang University, Shanghai AI Laboratory（浙江大学上海人工智能实验室）
提出首个零样本歌声合成模型TCSinger，通过聚类风格编码器、风格与时长语言模型及风格自适应解码器，实现跨语言风格迁移与多级风格控制，在合成质量与相似度上优于基线模型。
2025-05-30 cs.CL cs.SD eess.AS
Learning latent representations for style control and transfer in end-to-end speech synthesis
Microsoft STC Asia（微软亚洲研究院语音技术中心）
在本文中，我们引入变分自编码器（VAE）到一个端到端的语音合成模型，学习说话风格的潜在表示在一个无监督的方式。通过VAE学习的样式表示具有良好的特性，如分解、缩放和组合，这使得样式控制变得容易。在该框架中，首先通过VAE的识别网络推断风格表示，然后将其输入TTS网络，以指导合成语音的风格。为了避免Kullback-Leibler（KL）发散崩溃的训练，采用了几种技术。最后，该模型显示出良好的风格控制性能，并优于全球风格令牌（GST）模型在ABX偏好测试的风格转移。
2019-02-14 cs.CL cs.SD eess.AS
GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech
Zhejiang University（浙江大学）；Sea AI Lab（Sea AI实验室）
用于域外（OOD）语音合成的风格转移旨在生成具有不可见风格的语音样本（例如，说话人身份、情感和韵律），同时面临以下挑战：1）表达性语音中的高度动态风格特征难以建模和传递;以及2）TTS模型应该足够鲁棒以处理与源数据不同的各种OOD条件。本文提出了一种面向对象定制语音高保真zero-shot式传输的文本转语音转换模型GenerSpeech。GenerSpeech通过引入两个组件将语音变化分解为风格不可知和风格特定的部分：1）多层次风格适配器，用于有效地建模大范围的风格条件，包括全局扬声器和情感特征，以及局部（话语，音素和词级）细粒度的韵律表示;以及2）具有混合风格层规范化的可推广内容适配器，以消除语言内容表示中的风格信息，从而提高模型推广。我们对zero-shot风格转移的评估表明，GenerSpeech在音频质量和风格相似性方面超过了最先进的模型。对自适应风格转换的扩展研究进一步表明，GenerSpeech在Few-Shot数据设置中表现稳健。音频样本可在https://GenerSpeech.github.io/上获得
2022-10-12 cs.CL cs.SD eess.AS
Text-driven Emotional Style Control and Cross-speaker Style Transfer in Neural TTS
Neosapience, Inc.（Neosapience公司）
近年来，表达性文本到语音的性能有所改善。然而，合成语音的风格控制通常限于离散的情感类别，并且需要由目标说话者以目标风格记录的训练数据。在许多实际情况下，用户可能没有记录在目标情感中的参考语音，但仍然有兴趣仅通过键入期望情感风格的文本描述来控制语音风格。在本文中，我们提出了一个基于文本的接口的情感风格控制和跨扬声器的风格转移多扬声器TTS。我们提出了一种双模态风格编码器，该编码器使用预先训练好的语言模型来模拟文本描述嵌入和语音风格嵌入之间的语义关系。为了进一步改善不相交的多风格数据集上的跨说话人风格传递，我们提出了新的风格损失。实验结果表明，我们的模型可以生成高质量的表达语音，即使在看不见的风格。
2022-07-13 cs.CL cs.LG cs.SD
Reinforced Rewards Framework for Text Style Transfer
University of Maryland, College Park（马里兰大学帕克分校）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
风格转换处理的是将一段文本的风格属性转换为另一段文本的风格属性，同时确保保留核心内容的算法。由于文本风格转换在定制文本生成中的广泛应用，文本风格转换领域引起了人们的极大兴趣。现有的作品评估的风格转移模型的基础上的内容保存和转移强度。在这项工作中，我们提出了一个基于强化学习的框架，直接奖励这些目标指标的框架，从而更好地转移目标风格。我们提出的框架的基础上，自动和人工评价三个独立的任务，其中我们转移的文本风格从正式到非正式的，高兴奋低兴奋，现代英语，英语，反之亦然，在所有三种情况下，我们的性能得到了改善。与现有的最先进的框架相比，所提出的框架的性能有所改善，这表明该方法是可行的。
2020-05-11 cs.AI cs.CL cs.LG
Non-Parallel Text Style Transfer with Self-Parallel Supervision
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
现有的文本风格转换模型的性能受到训练模型的非并行数据集的严重限制。在非平行数据集中，源语言和目标语言风格的句子之间不存在直接映射，因此风格迁移模型在训练过程中只接受目标语言的弱监督，这往往导致模型丢弃太多与风格无关的信息，或者完全无法迁移风格。在这项工作中，我们提出了LaMer，一个新的文本风格转换框架的基础上大规模的语言模型。LaMer首先利用场景图挖掘非并行数据集中的大致并行表达式，然后采用MLE训练，然后进行模仿学习细化，以利用数据中的内在并行性。在两个基准任务（情感和形式转移）和一个新提出的具有挑战性的任务（政治立场转移）上，我们的模型在转移准确性，内容保留和流畅性方面取得了质的进步。进一步的经验和人工评估表明，我们的模型不仅使训练更有效，而且比以前的模型生成更可读和更多样化的表达式。
2022-04-18 cs.AI cs.CL cs.LG
Improving Prosody for Cross-Speaker Style Transfer by Semi-Supervised Style Extractor and Hierarchical Modeling in Speech Synthesis
Kwai（快手）
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。在大多数先前的方法中，合成的细粒度韵律特征通常表示源说话者的平均风格，类似于一对多问题（即，多个韵律变化对应于同一文本）。针对这一问题，提出了一种强度控制的半监督风格提取器，将风格与内容和音色分离，提高了全局风格嵌入的表示性和可解释性，缓解了韵律预测中的一对多映射和数据不平衡问题。提出了一种层次韵律预测器来改进韵律建模。我们发现，更好的风格转移可以通过使用源说话人的韵律特征，很容易预测。此外，扬声器转移明智的周期一致性损失，提出了在训练阶段学习看不见的风格音色组合，以协助模型。实验结果表明，该方法优于基线。我们提供了一个网站与音频样本。
2023-03-14 cs.AI cs.CL cs.SD
