Multi-type Disentanglement without Adversarial Training
University of Oxford（牛津大学）
通过解开潜在空间来控制自然语言的风格是迈向可解释机器学习的重要一步。当潜在空间被解开后，可以在不影响句子其他特征的情况下，通过调整风格表征来转换句子的风格。以前的作品通常使用对抗训练来保证解纠缠向量不会相互影响。然而，对抗性方法很难训练。特别是当存在多个特征时（例如，情感或时态，在本文中我们称之为风格类型），每个特征都需要单独的分类器来提取与该特征相对应的分离的风格向量。在本文中，我们提出了一个统一的分布控制方法，它提供了每个特定的风格值（风格类型的值，例如，积极的情绪，或过去式）具有独特的代表性。该方法为避免多类型解缠的对抗性训练提供了坚实的理论基础。我们还提出了多个损失函数，以实现一个风格的内容解开，以及多个风格类型之间的解开。此外，我们观察到，如果两种不同的样式类型总是有一些特定的样式值在数据集中一起出现，那么它们在传输样式值时会相互影响。我们称这种现象为训练偏差，我们提出了一个损失函数来减轻这种训练偏差，同时解开多种类型。我们在两个数据集（Yelp服务评论和Amazon产品评论）上进行实验，以评估风格分解效果和两种风格类型（情感和时态）的无监督风格迁移性能。实验结果表明了该模型的有效性。
2021-08-03 cs.AI cs.CL cs.LG
Language Style Transfer from Sentences with Arbitrary Unknown Styles
ShanghaiTech University（上海科技大学）；Tencent AI Lab（腾讯人工智能实验室）
语言风格迁移是将源语言的内容迁移到目标语言的问题。在它的许多应用中，并行训练数据不可用，并且要传输的源语句可能具有任意和未知的风格。首先，每个句子都被编码成其内容和风格的潜在表征。然后，通过将内容与目标风格重新组合，我们解码在目标域中对齐的句子。为了充分约束编码和解码函数，我们将它们与两个损失函数耦合。第一个是风格差异损失，强制风格表示准确地编码由句子风格和目标风格之间的差异引导的风格信息。第二种是循环一致性损失，这确保了被转移的句子应该保持与其风格分离的原始句子的内容。我们验证了我们的模型在三个任务的有效性：情感修改的餐厅评论，对话响应修改与浪漫的风格，句子重写与浪漫的风格。
2018-08-13 cs.CL
Reinforcement Learning Based Text Style Transfer without Parallel Training Corpus
T. J. Watson Research Center, IBM（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
文本样式转移从源样式（例如，非正式）转换为目标风格（例如，（1）保持原有的意义。尽管现有的作品已经取得了成功，使用两种风格的平行语料库，转移文本风格已被证明是更具有挑战性的，当没有平行的训练语料库。在本文中，我们解决这个挑战，通过使用一个基于重复学习的生成器-评估器架构。我们的生成器采用基于注意力的编码器-解码器将句子从源风格转换为目标风格。我们的评估者是一个经过对抗训练的风格测试者，具有语义和句法约束，对生成的句子进行风格，意义保留和流畅性的评分。两个不同的风格转移任务（情感转移和正式转移）的实验结果表明，我们的模型优于国家的最先进的方法。此外，我们进行了手动评估，证明了所提出的方法的有效性，使用生成的文本质量的主观指标。
2019-04-08 cs.CL
Parallel Data Augmentation for Formality Style Transfer
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在形式风格迁移任务中取得进展的主要障碍是训练数据不足。在本文中，我们研究了如何增加并行数据，并提出了新的和简单的数据增强方法，这项任务，以获得有用的句子对易于访问的模型和系统。实验表明，我们的增强并行数据在用于预训练模型时，在很大程度上有助于改善形式风格的转换，从而在GYAFC基准数据集中获得最先进的结果。
2020-05-14 cs.CL
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing
Microsoft Azure AI（微软Azure人工智能部门）；Microsoft Research（微软研究院）
提出了一种新的预训练语言模型DeBERTaV 3，它改进了原有的DeBERTa模型，用一种样本效率更高的预训练任务替换标记检测（RTD）代替掩码语言建模（MLM）。我们的分析表明，ELECTRA中的香草嵌入共享会损害训练效率和模型性能。这是因为训练器和生成器的训练损失在不同的方向上拉动令牌嵌入，从而产生“拔河”动态。因此，我们提出了一种新的梯度分离嵌入共享方法，避免了拔河动态，提高了训练效率和预训练模型的质量。我们使用与DeBERTa相同的设置对DeBERTaV 3进行了预训练，以展示其在广泛的下游自然语言理解（NLU）任务上的卓越性能。以8个任务的GLUE基准测试为例，DeBERTaV 3 Large模型的平均得分为91.37%，比DeBERTa高1.37%，比ELECTRA高1.91%，在结构相似的模型中创下了新的最先进水平（SOTA）。此外，我们已经预训练了一个多语言模型mDeBERTa，并观察到与英语模型相比，在强基线上有更大的改进。例如，mDeBERTa Base在XNLI上实现了79.8%的zero-shot跨语言准确性，比XLM-R Base提高了3.6%，在此基准上创建了新的SOTA。我们已经在https://github.com/microsoft/DeBERTa上公开了我们的预训练模型和推理代码。
2023-03-24 cs.CL cs.LG
RT-SFT: Text Style Transfer from Non-Parallel Corpora by Roundtrip Translation
Johns Hopkins University（约翰霍普金斯大学）
本文提出基于参数高效LLM微调和往返翻译的文本风格迁移方法，通过合成平行语料库提升风格迁移效果，并结合RAG增强术语和名称知识的鲁棒性与一致性。
2026-10-05 cs.CL
StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing
Wuhan University（武汉大学）；Tsinghua University（清华大学）
本文提出StoryTrans模型，利用话语表示和可学习风格嵌入实现非平行故事作者风格迁移，并通过掩码-填充框架增强内容保留，实验证明其性能优于强基线。
2023-05-15 cs.CL
(Male, Bachelor) and (Female, Ph.D) have different connotations: Parallelly Annotated Stylistic Language Dataset with Multiple Personas
Carnegie Mellon University（卡内基梅隆大学）
文本中的文体变异需要从不同的角度来研究，包括作者的个人特征、人际关系、修辞等。尽管最近尝试的计算模型的变化，缺乏平行语料库的风格语言，使得它很难系统地控制风格的变化，以及评估这样的模型。我们发布了并行和注释的风格语言数据集PASTEL，其中包含约41K并行句子（8.3K并行故事），注释了不同的人物角色。每个人物角色都有不同的风格：性别、年龄、国家、政治观点、教育、种族和写作时间。该数据集是从人工注释者那里收集的，对输入表示进行了可靠的控制：不仅保留了文本之间的原始含义，而且还促进了注释者的风格多样性。我们在两个有趣的风格语言应用程序上测试了数据集，PASTEL帮助设计了适当的实验和评估。首先，在预测目标风格（例如，在给定一个文本的情况下，PASTEL的多种风格使其他外部风格变量受控（或固定），这是一个更准确的实验设计。其次，一个简单的监督模型与我们的平行文本优于无监督模型使用非平行文本的风格转移。我们的数据集是公开的。
2019-08-31 cs.CL
Language Models for German Text Simplification: Overcoming Parallel Data Scarcity through Style-specific Pre-training
Technical University of Munich（慕尼黑工业大学）
针对德语等非英语语言平行文本简化数据稀缺问题，提出先在德语简易语言语料上微调语言模型再用作序列到序列任务解码器的两步法，可减少可训练参数与所需平行数据，同时提升下游任务性能。
2023-05-22 cs.CL
Exploiting Social Media Content for Self-Supervised Style Transfer
Saarland University（萨尔兰大学）；DFKI GmbH（德国人工智能研究中心）
最近关于风格转换的研究受到无监督神经机器翻译（UNMT）的启发，通过利用循环一致性损失，反向翻译和去噪自动编码器从大量非并行数据中学习。相比之下，使用自监督NMT（SSNMT），它利用隐藏在非并行数据中的（近）并行实例比UNMT更有效，尚未被探索用于风格转换。在本文中，我们提出了一种新的自监督风格转移（3ST）模型，该模型使用UNMT方法增强SSNMT，以识别和有效利用非并行社交媒体帖子中的监督信号。我们比较3ST与国家的最先进的（SOTA）风格的传输模型在民间改写，正式和极性的任务。我们表明，3ST能够最好地平衡三个主要目标（流畅性，内容保存，属性传输准确性），在自动和人工评估的测试任务中，其平均性能优于SOTA模型。
2022-05-18 cs.CL
Monolingual and Cross-lingual Zero-shot Style Transfer
Institute of Computer Science（计算机科学研究所）
我们介绍了不同语言之间的zero-shot风格转换的任务。我们的训练数据包括多语言平行语料库，但不包含任何风格之间的平行句子，类似于最近以前的工作。我们提出了一个统一的多语言多风格机器翻译系统的设计，允许执行zero-shot风格转换在推理过程中，而且，它这样做的单语言和跨语言。我们的模型允许增加语料库中不同风格的存在多达3倍，很容易学会操作各种收缩，并提供合理的词汇交换，因为我们看到从手动评估。
2018-08-01 cs.CL
Multi-target Voice Conversion without Parallel Data by Adversarially Learning Disentangled Audio Representations
National Taiwan University（台湾大学）
最近，周期一致性对抗网络（Cycle-GAN）已成功应用于语音转换到不同的扬声器，而无需并行数据，尽管在这些方法中，每个目标扬声器都需要一个单独的模型。在本文中，我们提出了一个用于语音转换的对抗性学习框架，通过将说话者特征与语音信号中的语言内容分离，可以训练单个模型将语音转换为许多不同的说话者，所有这些都没有并行数据。首先训练一个自动编码器，分别提取说话人独立的潜在表示和说话人嵌入，使用另一个辅助说话人分类器来正则化潜在表示。然后，解码器将说话者无关潜在表示和目标说话者嵌入作为输入，以生成具有源话语的语言内容的目标说话者的语音。解码器输出的质量通过与由另一对发生器和ADC产生的残余信号进行修补而进一步提高。在初步实验中测试了20个目标说话人集的大小，并且获得了非常好的语音质量。报告常规语音转换度量。我们还表明，说话人的信息已被适当减少的潜在表示。
2018-06-24 cs.CL cs.SD eess.AS
Style Transfer from Non-Parallel Text by Cross-Alignment
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；ASAPP Inc.（ASAPP公司）
本文以非平行语篇为研究对象，对文体迁移进行研究。这是包括机器翻译、解密和情感修改在内的一系列问题的一个实例。关键的挑战是将内容与风格等其他方面分开。我们假设一个共享的潜在内容分布在不同的文本语料库，并提出了一种方法，利用精细对齐的潜在表示执行风格转移。从一种风格中转移的句子应该与另一种风格中的例句作为一个总体相匹配。我们证明了这种交叉对齐方法在三个任务上的有效性：情感修改，单词替换密码的解密和单词顺序的恢复。
2017-11-06 cs.CL cs.LG
Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本文提出将可逆神经网络与Transformer语言自编码器结合，实现更通用的句子语义解耦，从而提升语言可解释性与可控生成能力。
2024-06-11 cs.AI cs.CL
Non-Parallel Text Style Transfer with Self-Parallel Supervision
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
现有的文本风格转换模型的性能受到训练模型的非并行数据集的严重限制。在非平行数据集中，源语言和目标语言风格的句子之间不存在直接映射，因此风格迁移模型在训练过程中只接受目标语言的弱监督，这往往导致模型丢弃太多与风格无关的信息，或者完全无法迁移风格。在这项工作中，我们提出了LaMer，一个新的文本风格转换框架的基础上大规模的语言模型。LaMer首先利用场景图挖掘非并行数据集中的大致并行表达式，然后采用MLE训练，然后进行模仿学习细化，以利用数据中的内在并行性。在两个基准任务（情感和形式转移）和一个新提出的具有挑战性的任务（政治立场转移）上，我们的模型在转移准确性，内容保留和流畅性方面取得了质的进步。进一步的经验和人工评估表明，我们的模型不仅使训练更有效，而且比以前的模型生成更可读和更多样化的表达式。
2022-04-18 cs.AI cs.CL cs.LG
StyleDistance: Stronger Content-Independent Style Embeddings with Synthetic Parallel Examples
University of Pennsylvania（宾夕法尼亚大学）；Columbia University（哥伦比亚大学）
StyleDistance 利用大语言模型生成风格受控的合成平行改写数据，围绕 40 种风格特征进行对比学习，训练出更强内容无关的风格嵌入，并在现实基准和下游任务中优于现有方法。
2025-02-08 cs.CL cs.LG
Privacy-Preserving Text Sanitization for Distributed Agents Collaboration via Disentangled Representations
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
提出DiSan框架，通过解耦文本为任务语义和风格子空间，结合联邦原型对齐与对抗正则化，在分布式多智能体协作中实现隐私保护，显著降低风格归因和PII泄露。
2026-06-16 cs.AI cs.CL
Description-based Controllable Text-to-Speech with Cross-Lingual Voice Control
LY Corporation（LY公司）
提出一种基于描述的跨语言可控TTS方法，通过结合目标语言TTS模型与另一语言的描述控制模型，并利用SSL共享解耦的音色与风格表示，在缺乏目标语言配对数据时实现高自然度与可控性的跨语言语音控制。
2024-09-26 cs.CL cs.LG cs.SD
Multiple-Attribute Text Style Transfer
Facebook AI Research（脸书人工智能研究院）；MILA, Université de Montréal（蒙特利尔大学MILA）；Sorbonne Universités, UPMC Univ Paris 06（索邦大学，巴黎第六大学（UPMC））
文本中无监督的“风格转移”的主要方法是基于学习潜在表示的思想，该潜在表示独立于指定其“风格”的属性。在本文中，我们证明了这个条件是不必要的，并且在实践中并不总是满足，即使是明确旨在学习这种分离表示的领域对抗训练。因此，我们提出了一个新的模型，控制几个因素的变化，在文本数据中，这个条件的解纠缠被替换为一个更简单的机制的基础上回翻译。我们的方法允许控制多个属性，如性别，情感，产品类型等，以及利用潜在空间中的池化操作符对内容保留和样式改变之间的权衡进行更细粒度的控制。我们的实验表明，完全纠缠模型产生更好的一代，即使在新的和更具挑战性的基准测试，包括多个句子和多个属性的评论。
2019-09-20 cs.CL cs.LG
Counterfactual Generation with Identifiability Guarantees
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；King’s College London（伦敦国王学院）；University of Warwick（华威大学）；Carnegie Mellon University（卡内基梅隆大学）
本文针对反事实生成中内容与风格依赖随领域变化的问题，提出利用相对稀疏性提供可识别性保证，并构建领域自适应模型MATTE，在无监督风格迁移任务上取得最先进性能。
2024-02-23 cs.CL cs.LG
StylePTB: A Compositional Benchmark for Fine-grained Controllable Text Style Transfer
Carnegie Mellon University（卡内基梅隆大学）
语篇风格转换的目的是在保持源句核心意义不变的情况下，可控地生成具有目标风格变化的语篇。许多现有的风格转换基准主要集中在个人的高层次语义变化（例如，积极到消极），这使得在高层次的可控性，但不提供涉及句子结构，强调和句子的内容细粒度的控制。在本文中，我们介绍了一个大规模的基准，StylePTB，（1）成对的句子经历了21个细粒度的风格变化，跨越原子词汇，句法，语义和文本的主题转移，以及（2）多个转移的组成，允许建模细粒度的风格变化作为更复杂，更高层次的转移的构建块。通过对StylePTB上的现有方法进行基准测试，我们发现它们很难对细粒度的更改进行建模，并且更难组合多种样式。因此，StylePTB带来了新的挑战，我们希望这将鼓励未来的研究在可控的文本风格转移，组合模型，学习解开表示。解决这些挑战将是迈向可控文本生成的重要步骤。
2021-04-12 cs.AI cs.CL cs.LG
STYLER: Style Factor Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
KAIST（韩国科学技术院）
神经文本到语音（TTS）的先前工作已经解决了有限的速度在训练和推理时间，鲁棒性困难的合成条件，表达能力和可控性。虽然有几种方法解决了一些局限性，但还没有尝试一下子解决所有的弱点。在本文中，我们提出了STYLER，一个表达和可控的TTS框架与高速和强大的合成。我们的新音频文本对齐方法称为Mel Calibration和排除自回归解码，可以快速训练和推理，并在看不见的数据上进行稳健的合成。此外，在监督下的风格因素模型的分离扩大了合成过程的可控性，从而导致表现力的TTS。最重要的是，一种使用域对抗训练和残差解码的新型噪声建模管道可以实现噪声鲁棒性风格转移，在没有任何额外标签的情况下分解噪声。各种实验表明，STYLER在速度和鲁棒性方面比具有自回归解码的表达性TTS更有效，并且比阅读风格的非自回归TTS更具表达性和可控性。合成样本和实验结果通过我们的演示页面提供，代码是公开的。
2021-06-25 cs.AI cs.CL cs.SD
Text2Mesh: Text-Driven Neural Stylization for Meshes
University of Chicago（芝加哥大学）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们开发了直观的控件来编辑3D对象的样式。我们的框架，Text2Mesh，通过预测符合目标文本提示的颜色和局部几何细节来风格化3D网格。我们考虑使用固定的网格输入（内容）与学习的神经网络，我们称之为神经风格的场网络耦合的3D对象的解纠缠表示。为了修改风格，我们获得一个文本提示（描述风格）和一个程式化的网格之间的相似性得分，通过利用CLIP的代表性力量。Text2Mesh既不需要预先训练的生成模型，也不需要专门的3D网格数据集。它可以处理低质量的网格（非流形，边界等）。具有任意亏格，并且不需要UV参数化。我们证明了我们的技术的能力，在各种各样的3D网格合成无数的风格。
2021-12-06 cs.CL cs.CV cs.GR
Predicting Expressive Speaking Style From Text In End-To-End Speech Synthesis
Google, Inc.（谷歌公司）
全局样式令牌（GST）是最近提出的一种学习高维数据的潜在解纠缠表示的方法。GST可以在Tacotron（一种最先进的端到端文本到语音合成系统）中使用，以揭示说话风格变化的表达因素。在这项工作中，我们介绍了文本预测的全球风格令牌（TP-GST）的架构，将GST组合权重或风格嵌入作为“虚拟”的Tacotron内的说话风格标签。TP-GST学习仅从文本中预测风格渲染，在训练过程中既不需要显式标签，也不需要辅助输入进行推理。我们表明，当在表达性语音数据集上进行训练时，我们的系统生成的音频比两个最先进的基线模型具有更多的音高和能量变化。我们进一步证明，TP-GST可以合成语音与背景噪声去除，并证实这些分析与人类额定的听众偏好有声读物任务的积极结果。最后，我们证明了多说话人TP-GST模型成功地分解了说话人身份和说话风格。我们为每个发现提供了一个音频样本的网站。
2018-08-04 cs.CL cs.LG cs.SD
Robust Disentangled Variational Speech Representation Learning for Zero-shot Voice Conversion
Tencent AI Lab（腾讯人工智能实验室）
传统的语音转换研究主要是在并行训练数据和已知说话人的情况下进行的。通过探索更好的对齐模块或富有表现力的映射函数来获得良好的语音转换质量。在这项研究中，我们调查zero-shot VC从一个新的角度自我监督的解开语音表征学习。具体来说，我们实现了解开全球扬声器表示和时变内容表示之间的信息流的顺序变分自动编码器（VAE）的平衡。通过将任意的说话者嵌入和内容嵌入馈送到VAE解码器来执行zero-shot语音转换。此外，一个在飞行数据增强训练策略，使学习表示噪声不变。在TIMIT和VCTK数据集上，我们在两个客观评估方面都达到了最先进的性能，即，关于说话人嵌入和内容嵌入的说话人验证（SV），以及主观评价，即，语音自然度和相似性，并且即使在有噪声的源/目标话语的情况下也保持鲁棒性。
2022-03-30 cs.AI cs.CL eess.AS
Disentangled Latent Speech Representation for Automatic Pathological Intelligibility Assessment
Ludwig-Maximilians University（路德维希-马克西米利安大学）
语言清晰度评估在病理性语言障碍患者的治疗中起着重要的作用。自动和客观的措施是可取的，以协助治疗师在其传统的主观和劳动密集型的评估。在这项工作中，我们研究了一种新的方法来获得这样一个措施，使用的分歧解开潜在的语音表示的平行话语对，从一个健康的参考和病理扬声器。在脑瘫患者的英语数据库上进行的实验，使用每个说话者的所有可用话语，显示出与主观可懂度测量的高且显著的相关值（R = -0.9），而在四个不同的参考说话者对之间仅具有最小的偏差（± 0.01）。我们还证明了所提出的方法的鲁棒性（R = -0.89偏差+-0.02超过1000次迭代），考虑每个扬声器的话语量显着减少。我们的研究结果是第一个表明，解开的语音表示可以用于自动病理语音可懂度评估，从而在一个参考扬声器对不变的方法，适用于只有几个可用的话语的情况。
2022-06-27 cs.CL cs.LG cs.SD
