Style Transfer in Text: Exploration and Evaluation
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）；Information Science Institute, University of Southern California（南加州大学信息科学研究所）；Beijing Institute of Big Data Research（北京大数据研究院）
风格迁移是自然语言处理中的一个重要问题。然而，语言风格迁移的研究进展滞后于其他领域，如计算机视觉，主要是因为缺乏平行的数据和原则的评估指标。在本文中，我们提出了学习风格转移与非并行数据。我们探索了两种模型来实现这一目标，所提出的模型背后的关键思想是使用对抗网络来学习单独的内容表示和风格表示。我们还提出了新的评估指标，衡量两个方面的风格转移：转移强度和内容保存。我们在两个任务上访问我们的模型和评估指标：纸质新闻标题转移和正面-负面评论转移。实验结果表明，本文提出的内容保留度量与人类的判断高度相关，与自动编码器相比，本文提出的模型能够生成具有更高风格转换强度和相似内容保留分数的句子。
2017-11-27 cs.CL
Structured Content Preservation for Unsupervised Text Style Transfer
University of California, Davis（加州大学戴维斯分校）；Carnegie Mellon University（卡内基梅隆大学）
语篇风格转换的目的是在保持句子内容不变的情况下改变句子的风格。最近的风格转换系统往往不能忠实地保留改变后的风格的内容。本文提出了一种结构化的内容保持模型，利用语言信息的结构化细粒度监督，以更好地保持风格无关的内容在风格转移。特别是，我们通过设计基于句子的词汇信息和基于内容的语言模型的丰富模型目标来实现目标。因此，所得到的模型被鼓励保留目标句子的语义意义。我们进行了大量的实验，比较我们的模型与其他现有的方法在情感和政治倾向转移的任务。我们的模型在自动和人工评估的内容保存和风格转移方面都取得了显着的改进。
2018-10-31 cs.CL cs.LG stat.ML
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本文提出多任务语音语言模型MSLM，一种仅解码器架构，在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
Thank you BART! Rewarding Pre-Trained Models Improves Formality Style Transfer
University of Groningen（格罗宁根大学）
并行数据的稀缺性导致形式风格的传输模型在保留内容方面几乎没有成功。我们表明，微调预训练语言（GPT-2）和序列到序列（BART）模型可以提高内容保留，即使并行数据量有限也是可能的。通过针对风格和内容（任务的两个核心方面）的奖励来增强这些模型，我们实现了一个新的最先进的水平。
2021-07-05 cs.CL
Balancing the Style-Content Trade-Off in Sentiment Transfer Using Polarity-Aware Denoising
Charles University（查理大学）
本文提出基于极性感知去噪的情感迁移模型，通过共享编码器和情感特定解码器平衡风格-内容权衡，在保留内容的同时实现情感翻转，优于现有基线。
2023-12-22 cs.CL
StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing
Wuhan University（武汉大学）；Tsinghua University（清华大学）
本文提出StoryTrans模型，利用话语表示和可学习风格嵌入实现非平行故事作者风格迁移，并通过掩码-填充框架增强内容保留，实验证明其性能优于强基线。
2023-05-15 cs.CL
A Review of Human Evaluation for Style Transfer
University of Maryland（马里兰大学）；Dataminr, Inc.（Dataminr公司）
本文回顾和总结了97篇风格迁移论文中描述的人类评估实践，涉及三个主要评估方面：风格迁移，意义保留和流畅性。原则上，人类评分员的评估应该是最可靠的。然而，在风格转移文件中，我们发现，人类评估的协议往往是不够详细和不标准化，这阻碍了在这一领域的研究的可重复性和进步，更好的人类和自动评估方法。
2021-06-09 cs.CL
A Dual Reinforcement Learning Framework for Unsupervised Text Style Transfer
Peking University（北京大学）；Tencent Inc（腾讯公司）；Beijing Institute of Big Data Research（北京大数据研究院）；Peng Cheng Laboratory（鹏城实验室）
无监督文本风格迁移的目标是在不使用并行数据的情况下，迁移文本的底层风格，但保持其主要内容不变。大多数现有的方法通常遵循两个步骤：首先将内容与原始样式分离，然后将内容与所需样式融合。然而，第一步中的分离是具有挑战性的，因为内容和风格在自然语言中以微妙的方式相互作用。因此，在本文中，我们提出了一个双重强化学习框架，通过一步映射模型直接转移文本的风格，而没有任何内容和风格的分离。具体来说，我们认为学习的源到目标和目标到源的映射作为一个双重的任务，和两个奖励的设计基于这样的双重结构，以反映风格的准确性和内容保存，分别。以这种方式，可以通过强化学习来训练两个一步映射模型，而不使用任何并行数据。自动评估表明，我们的模型在很大程度上优于最先进的系统，特别是在两个基准数据集上平均有超过8个BLEU点的改进。人工评估也验证了我们的模型在风格准确性，内容保留和流畅性方面的有效性。我们的代码和数据，包括所有基线的输出和我们的模型都可以在https://github.com/luofuli/DualLanST上找到。
2019-05-24 cs.CL
KVSink: Understanding and Enhancing the Preservation of Attention Sinks in KV Cache Quantization for LLMs
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
KVSink通过分析注意力汇在极端激活异常值跨层演化中的机制，提出即插即用的汇token预测方法，在KV缓存量化中更有效地保留注意力汇，优于PFN策略并改善PPL。
2025-08-06 cs.CL
Cycle-Consistent Adversarial Autoencoders for Unsupervised Text Style Transfer
Lenovo Research AI Lab（联想研究院人工智能实验室）；Kwai Inc.（快手公司）；Tianjin University（天津大学）；Cornell University（康奈尔大学）
由于缺乏并行数据和内容保存困难，无监督文本风格转换充满了挑战。在本文中，我们提出了一种新的神经方法来进行无监督的文本风格传输，我们称之为从非并行数据中训练的周期一致性对抗自动编码器（CAE）。CAE由三个基本组成部分组成：（1）LSTM自动编码器，将一种风格的文本编码为其潜在表示，并将编码表示解码为其原始文本或将转换表示解码为风格转换文本，（2）对抗性风格转换网络，使用对抗性训练的生成器将一种风格的潜在表示转换为另一种风格的表示，以及（3）增强对抗风格传输网络在内容保存中的能力的循环一致性约束。包含这三个组件的整个CAE可以进行端到端的培训。在两个广泛使用的公共数据集上进行的广泛实验和深入分析一致地验证了所提出的CAE在风格转换和内容保存方面的有效性，并与四个自动评估指标和人类评估方面的几个强基线进行了比较。
2020-10-02 cs.CL cs.CV cs.LG
StyleAdaptedLM: Enhancing Instruction Following Models with Efficient Stylistic Transfer
Adobe Research, India（Adobe研究院, 印度）；Adobe Inc.（Adobe公司）
本文提出 StyleAdaptedLM 框架，通过在非结构化风格语料上训练 LoRA 适配器并与指令模型合并，在不损失指令遵循能力的前提下高效实现品牌或作者风格定制。
2025-07-24 cs.CL
Knowledgeable Reader: Enhancing Cloze-Style Reading Comprehension with External Commonsense Knowledge
Research Training Group AIPHES（AIPHES研究培训小组）；Department of Computational Linguistics, Heidelberg University（海德堡大学计算语言学系）；Heidelberg, Germany（德国海德堡）
我们引入了一个神经阅读理解模型，它整合了外部常识知识，编码为键值记忆，在完形填空风格的设置。我们的模型不像以前的工作那样只依赖于文档到问题的交互或离散特征，而是关注相关的外部知识，并在推断答案之前将这些知识与上下文表示相结合。这允许模型从文本中没有明确说明但与推断答案相关的外部知识源中吸引和暗示知识。我们的模型在硬通用名词数据集上的非常强的基线上改进了结果，使其成为更复杂模型的强有力竞争对手。通过显式地包含知识，我们的模型还可以提供有关RC过程中使用的背景知识的证据。
2018-05-21 cs.CL
Style Transfer Through Back-Translation
Carnegie Mellon University（卡内基梅隆大学）
风格转换是指在不改变上下文意图或影响的情况下，对文本进行重新措辞，以包含特定的风格属性。本文介绍了一种新的风格自动转换方法。我们首先学习输入句子的潜在表示，该表示基于语言翻译模型，以便在减少文体属性的同时更好地保留句子的含义。然后使用对抗生成技术使输出与期望的风格相匹配。我们评估这种技术上的三种不同的风格转换：情绪，性别和政治倾向。两个国家的最先进的风格迁移建模技术相比，我们表现出改进的风格迁移的自动评估和手动评估的意义保存和流畅性。
2018-05-24 cs.CL
Disentangled Representation Learning for Non-Parallel Text Style Transfer
University of Waterloo（滑铁卢大学）；AdeptMind Research（AdeptMind研究院）
本文解决了语言模型中风格和内容潜变量的分离问题。我们提出了一种简单而有效的方法，它结合了辅助多任务和对抗目标，分别用于标签预测和词袋预测。我们表明，无论是定性和定量的，风格和内容确实是在潜在的空间解开。将这种分离的潜在表示学习方法应用于非平行语料库上的风格迁移。与以前的最先进方法相比，我们在传输准确性，内容保存和语言流畅性方面取得了更好的结果。
2018-09-11 cs.CL
AuthorMix: Modular Authorship Style Transfer via Layer-wise Adapter Mixing
Saarland University（萨尔兰大学）
提出AuthorMix框架，通过训练特定风格的LoRA适配器并利用逐层适配器混合，仅需少量目标风格样本即可实现轻量级、模块化的作者风格迁移，在低资源场景下优于现有方法并显著提升语义保留。
2026-09-17 cs.AI cs.CL
Contextual Text Style Transfer
Microsoft（微软）；University of Washington（华盛顿大学）
我们引入了一个新的任务，上下文文本风格转换-翻译一个句子到一个所需的风格与其周围的上下文考虑。这给现有的风格转换方法带来了两个关键挑战：（$i$）如何在转换过程中保持目标句子的语义及其与周围上下文的一致性;（$ii$）如何用有限的带有上下文的标记数据训练一个鲁棒的模型。为了实现高质量的风格传输与自然的上下文保护，我们提出了一个上下文感知的风格传输（CAST）模型，它使用两个单独的编码器为每个输入句子及其周围的上下文。进一步训练分类器以确保所生成的句子的上下文一致性。为了弥补并行数据的不足，引入了额外的自重建和反向翻译损失，以半监督的方式利用非并行数据。针对正式性风格和攻击性风格的迁移，引入了Enron-Context和Reddit-Context两个新的测试基准。在这些数据集上的实验结果表明，所提出的CAST模型在风格准确性、内容保留和上下文一致性度量方面优于最先进的方法。
2020-04-30 cs.CL cs.LG
Separating Style from Substance: Enhancing Cross-Genre Authorship Attribution through Data Selection and Presentation
Information Sciences Institute, University of Southern California（南加州大学信息科学学院）
针对跨主题与跨体裁作者归属识别中训练数据稀缺及模型依赖主题的问题，本文提出训练数据选择方法和新型学习课程，显著提升跨体裁识别性能。
2024-08-09 cs.CL
Politeness Transfer: A Tag and Generate Approach
Carnegie Mellon University（卡内基梅隆大学）
本文介绍了一个新的礼貌迁移任务，即把不礼貌的句子转换成礼貌的句子，同时保留意义。我们还提供了一个超过1.39个自动标记为礼貌的实例的数据集，以鼓励对这个新任务进行基准评估。我们设计了一个标签，并生成管道，识别风格属性，并随后生成一个句子的目标风格，同时保留大部分的源内容。对于礼貌以及其他五个传输任务，我们的模型在内容保存的自动度量方面优于最先进的方法，在风格传输准确性方面具有可比或更好的性能。此外，我们的模型超越了现有的方法对人类的评价语法，意义保存和转移的准确性在所有六个风格转移任务。数据和代码位于https://github.com/tag-and-generate。
2020-05-01 cs.CL
Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer
Xiamen University（厦门大学）；Baidu Inc.（百度公司）
无监督的风格转换旨在改变输入句子的风格，同时保留其原始内容，而不使用并行训练数据。在目前的主流方法中，由于缺乏对目标风格的影响的细粒度控制，它们无法产生令人满意的输出句子。在本文中，我们提出了一种新的注意序列到序列（Seq2seq）模型，动态地利用每个输出单词的相关性，以目标风格的无监督风格转移。具体来说，我们首先预训练一个风格分类器，其中每个输入单词与原始风格的相关性可以通过逐层相关传播来量化。在去噪自动编码的方式，我们训练注意力Seq2seq模型重建输入的句子，并重新预测词级先前量化的风格相关性的同时。通过这种方式，该模型被赋予了自动预测每个输出词的风格相关性的能力。然后，我们为该模型的解码器配备了一个神经风格组件，以利用预测的词级风格相关性来实现更好的风格传递。特别是，我们微调这个模型使用精心设计的目标函数，涉及风格转移，风格相关性的一致性，内容保存和流畅性建模损失条款。实验结果表明，我们提出的模型达到了最先进的性能，在传输精度和内容保存。
2022-03-11 cs.CL cs.LG
Style Obfuscation by Invariance
Tilburg University（蒂尔堡大学）；University of Antwerp（安特卫普大学）
使用序列模型混淆写作风格的任务先前已经在通过传输混淆的框架下进行了研究，其中输入文本被显式地重写为另一种风格。这些方法也经常导致对输入的语义内容的重大改变。在这项工作中，我们提出了混淆不变性，并调查在何种程度上训练模型显式风格不变保留语义。我们评估我们的架构上的平行和非平行语料库，并比较自动和人类的评价混淆的句子。我们的实验表明，风格分类器的性能可以降低到机会的水平，而输出的自动评估似乎等于模型应用风格转移。然而，基于人类的评价，我们证明了混淆的水平和所观察到的输出质量的意义保存和语法之间的权衡。
2018-05-18 cs.CL
StyleFlow: Disentangle Latent Representations via Normalizing Flow for Unsupervised Text Style Transfer
National University of Defense Technology（国防科技大学）
语篇风格转换的目的是在保持句子内容的同时改变句子的风格。由于缺乏平行语料库，最近的工作主要集中在无监督的方法，通常使用循环构造来训练模型。由于循环构造通过将转换后的句子重建回原始风格句子来提高模型的风格转换能力，因此在无监督的文本风格转换任务中会导致内容丢失。在本文中，我们提出了一种新的基于解纠缠的风格传输模型StyleFlow，以提高内容保存。与传统的编码器-解码器方案不同，StyleFlow不仅可以进行前向处理以获得输出，还可以通过输出推断输入。我们设计了一个注意力感知的耦合层来理清句子的内容表示和风格表示。此外，本文还提出了一种基于归一化流的数据增强方法来提高模型的鲁棒性。实验结果表明，我们的模型有效地保留了内容，并在大多数指标上达到了最先进的性能。
2022-12-19 cs.CL
Reinforcement Learning Based Text Style Transfer without Parallel Training Corpus
T. J. Watson Research Center, IBM（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
文本样式转移从源样式（例如，非正式）转换为目标风格（例如，（1）保持原有的意义。尽管现有的作品已经取得了成功，使用两种风格的平行语料库，转移文本风格已被证明是更具有挑战性的，当没有平行的训练语料库。在本文中，我们解决这个挑战，通过使用一个基于重复学习的生成器-评估器架构。我们的生成器采用基于注意力的编码器-解码器将句子从源风格转换为目标风格。我们的评估者是一个经过对抗训练的风格测试者，具有语义和句法约束，对生成的句子进行风格，意义保留和流畅性的评分。两个不同的风格转移任务（情感转移和正式转移）的实验结果表明，我们的模型优于国家的最先进的方法。此外，我们进行了手动评估，证明了所提出的方法的有效性，使用生成的文本质量的主观指标。
2019-04-08 cs.CL
On Learning Text Style Transfer with Direct Rewards
Carnegie Mellon University（卡内基梅隆大学）
在大多数情况下，缺乏平行语料库使得不可能直接训练监督模型来完成文本风格转换任务。在本文中，我们探索了优化奖励函数的训练算法，这些奖励函数显式地考虑了风格转换输出的不同方面。特别是，我们利用最初用于微调神经机器翻译模型的语义相似性度量来明确评估系统输出和输入文本之间的内容保留。我们还调查了现有的自动指标的潜在弱点，并提出了有效的策略，使用这些指标的培训。实验结果表明，我们的模型在强基线上的自动和人工评估中都有显着的收益，表明我们提出的方法和训练策略的有效性。
2021-05-13 cs.CL
Multidimensional Evaluation for Text Style Transfer Using ChatGPT
University of Groningen（格罗宁根大学）
本文在零样本设置下利用 ChatGPT 从风格强度、内容保留和流畅度三维度评估文本风格迁移，实验表明其与人类判断的相关性具有竞争力。
2023-04-26 cs.CL
Enhancing Entertainment Translation for Indian Languages using Adaptive Context, Style and LLMs
Sony Research India（索尼印度研究院）
本文提出首个娱乐翻译框架，通过估计会话上下文与风格来生成提示并引导LLM翻译，在多种LLM上显著提升COMET分数和胜率。
2024-12-29 cs.CL
RoCoIns: Enhancing Robustness of Large Language Models through Code-Style Instructions
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Institute of Modern Languages and Linguistics, Fudan University（复旦大学现代语言学与语言学研究所）
本文提出RoCoIns方法，通过将自然语言指令转换为代码风格指令并结合对抗上下文示例，显著提升大语言模型面对文本对抗攻击时的鲁棒性，在多个数据集上优于自然语言指令提示。
2024-02-26 cs.CL
Don't lose the message while paraphrasing: A study on content preserving style transfer
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学智能技术卓越研究中心（CiTIUS））；Mobile TeleSystems (MTS)（移动电信系统公司（MTS））；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院（Skoltech））；Artificial Intelligence Research Institute (AIRI)（人工智能研究院（AIRI））
本文构建带语义槽标注的任务导向对话平行数据集，评估多种正式性风格迁移模型的内容保持能力，并改进无监督方法 LEWIS，显著优于原方法和基线。
2023-08-17 cs.CL
Evaluating Style Transfer for Text
Massachusetts Institute of Technology（麻省理工学院）
文本风格迁移的研究目前缺乏标准的评价方法。本文旨在通过实验识别Yelp情感数据集的最佳实践来缓解这个问题。我们指定三个方面的兴趣（风格转移强度，内容保存，自然），并展示如何获得更可靠的措施，他们从人类的评价比以前的工作。我们提出了一套自动化评估的指标，并证明他们是更强的相关性和协议与人类的判断：方向校正地球移动器的距离，字移动器的距离上的风格掩盖的文本，和对抗性分类的各个方面。我们还表明，三个检查模型表现出利益方面之间的权衡，展示了评估风格转移模型在其权衡图的特定点的重要性。我们发布软件与我们的评估指标，以促进研究。
2019-04-04 cs.CL
Exploiting Social Media Content for Self-Supervised Style Transfer
Saarland University（萨尔兰大学）；DFKI GmbH（德国人工智能研究中心）
最近关于风格转换的研究受到无监督神经机器翻译（UNMT）的启发，通过利用循环一致性损失，反向翻译和去噪自动编码器从大量非并行数据中学习。相比之下，使用自监督NMT（SSNMT），它利用隐藏在非并行数据中的（近）并行实例比UNMT更有效，尚未被探索用于风格转换。在本文中，我们提出了一种新的自监督风格转移（3ST）模型，该模型使用UNMT方法增强SSNMT，以识别和有效利用非并行社交媒体帖子中的监督信号。我们比较3ST与国家的最先进的（SOTA）风格的传输模型在民间改写，正式和极性的任务。我们表明，3ST能够最好地平衡三个主要目标（流畅性，内容保存，属性传输准确性），在自动和人工评估的测试任务中，其平均性能优于SOTA模型。
2022-05-18 cs.CL
HyperStyler: Low-resource Authorship Style Transfer via Context-aware Style Navigation and Hypernetworks
UNIST（蔚山国家科学技术研究所）；POSTECH（浦项科技大学）；POSCO Holdings Inc.（浦项控股公司）
HyperStyler通过解耦风格选择与实现的架构，在低资源作者风格迁移任务中，以仅增2.4%参数的规模实现优于现有方法的性能，且推理速度比LLM快1.8倍以上。
2026-09-03 cs.CL
DWReCO at CheckThat! 2023: Enhancing Subjectivity Detection through Style-based Data Sampling
Deutsche Welle（德国之声）
本文针对 CheckThat! 2023 主观性检测任务中的类别不平衡问题，提出用 GPT-3 按不同新闻主观风格生成训练数据并进行过采样，在英、德、土三种语言上验证了其有效性，并发现该方法在英语和土耳其语中优于改写。
2023-07-07 cs.CL cs.CY cs.LG
Text Style Transfer for Bias Mitigation using Masked Language Modeling
University of Antwerp（安特卫普大学）
众所周知，互联网和其他数字平台上的文本数据包含大量偏见和刻板印象。虽然许多这样的文本包含固有地存在于自然语言中的刻板印象和偏见，其原因不一定是恶意的，但有关键的原因来减轻这些偏见。首先，这些文本正被用作训练语料库，为简历筛选、搜索引擎和聊天机器人等突出应用训练语言模型;这些应用正在产生歧视性的结果。此外，一些研究结果得出结论，有偏见的文本对目标人口群体有显着影响。例如，男性化措辞的招聘广告往往对女性申请人不那么有吸引力。在本文中，我们提出了一个文本风格转换模型，可以用来自动去偏文本数据。我们的风格转换模型改进了许多现有风格转换技术的局限性，例如内容信息丢失。我们的模型通过将潜在内容编码与显式关键字替换相结合来解决这些问题。我们将证明，这种技术产生更好的内容保存，同时保持良好的风格转移的准确性。
2022-01-21 cs.CL
T-STAR: Truthful Style Transfer using AMR Graph as Intermediate Representation
Google Research（谷歌研究院）
用于训练文本风格迁移（TST）模型的平行语料库的不可用是一个非常具有挑战性但又很常见的情况。此外，TST模型隐含地需要在将源语句转换为目标样式的同时保留内容。为了解决这些问题，通常会构建一个中间表示，该中间表示缺乏风格，同时仍然保留源句子的含义。在这项工作中，我们研究的有用性抽象意义表示（AMR）图作为中间风格的不可知论表示。我们认为像AMR这样的语义符号是中间表示的自然选择。因此，我们提出了T-STAR：一个由两个组件组成的模型，文本到AMR编码器和AMR到文本解码器。我们提出了几个建模改进，以提高所生成的AMR的风格不可知性。据我们所知，T-STAR是第一个使用AMR作为TST中间表示的工作。通过全面的实验评估，我们发现T-STAR显著优于最先进的技术，平均提高15.2%的含量保存，损失可忽略不计（约3%）。风格的准确性。通过90，000个评分的详细人体评估，我们还表明，与最先进的TST模型相比，T-STAR的幻觉减少了50%。
2022-12-03 cs.CL
From Emotion Classification to Emotional Reasoning: Enhancing Emotional Intelligence in Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过合成情绪链式思维数据提升大语言模型的情感推理能力，实验表明微调后模型在情绪理解与意识评估上显著提升。
2026-01-04 cs.CL
Implementing Long Text Style Transfer with LLMs through Dual-Layered Sentence and Paragraph Structure Extraction and Mapping
School of Computer Science, Peking University（北京大学计算机学院）
本文提出 ZeroStylus 分层框架，通过句子与段落模板提取及多粒度匹配，在零样本、不微调条件下提升长文本风格迁移的连贯性与内容保留。
2025-05-11 cs.AI cs.CL
PGPO: Enhancing Agent Reasoning via Pseudocode-style Planning Guided Preference Optimization
Shanghai Jiao Tong University（上海交通大学）；Taobao & Tmail Group of Alibaba（阿里巴巴淘宝天猫集团）；Alibaba Group（阿里巴巴集团）
本文提出PGPO方法，利用伪代码风格规划引导偏好优化，通过两种面向规划的奖励增强LLM智能体生成高质量结构化规划的能力，从而提升推理效率、泛化性并减少动作错误与遗漏。
2025-06-02 cs.AI cs.CL
Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization
Tsinghua University（清华大学）；Harbin Engineering University（哈尔滨工程大学）；Shandong University（山东大学）；Xidian University（西安电子科技大学）
研究MLLMs安全对齐易受越狱攻击问题，提出基于GRPO的对抗风格优化（ASO）方法，通过优化风格触发增强视觉越狱，实验证明该方法显著提高攻击成功率，凸显风格偏差对MLLMs红队测试的作用。
2026-07-27 cs.AI cs.CL
Enhancing Speaking Styles in Conversational Text-to-Speech Synthesis with Graph-based Multi-modal Context Modeling
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-中大媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；AI Lab, Tencent（腾讯人工智能实验室）
与传统的文语转换系统相比，会话式文语转换系统要求合成出符合会话语境的具有适当说话风格的语音。然而，会话TTS中的最新上下文建模方法仅使用递归神经网络（RNN）对上下文中的文本信息进行建模。这些方法对会话中说话人间的影响建模能力有限，而且忽略了说话人的说话风格和说话人内部的惰性。受DialogueGCN及其在建模这种会话影响方面优于基于RNN的方法的启发，我们提出了一种基于图的多模态上下文建模方法，并将其应用于会话TTS，以增强合成语音的说话风格。DialogueGCN提取和处理上下文中的文本和说话风格信息，以建模会话中的说话者间和说话者内的影响。DialogueGCN的输出通过注意力机制进行汇总，并转换为当前话语的增强说话风格。本文收集并标注了一个英语会话语料库，并将其对外发布。该语料库上的实验结果表明，我们提出的方法的有效性，它优于国家的最先进的上下文建模方法在会话TTS的MOS和ABX的偏好率。
2022-03-31 cs.CL cs.SD eess.AS
A Hierarchical Reinforced Sequence Operation Method for Unsupervised Text Style Transfer
Tsinghua University（清华大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
无监督文本样式传输旨在更改文本样式，同时保留内容，而无需对齐数据进行监督。现有的seq2seq方法面临三个挑战：1）传输是弱可解释的，2）生成的输出在内容保存方面很困难，3）内容和风格之间的权衡是棘手的。为了解决这些挑战，我们提出了一个层次化的增强序列操作方法，命名为点然后操作（PTO），它由一个高层次的代理，提出操作位置和一个低层次的代理，改变句子。我们提供全面的训练目标来控制输出的流畅性，风格和内容，以及基于掩码的推理算法，该算法允许基于单步训练的代理进行多步修改。在两个文本样式传输数据集上的实验结果表明，我们的方法显着优于最近的方法，并有效地解决了上述挑战。
2019-06-05 cs.AI cs.CL
MSSRNet: Manipulating Sequential Style Representation for Unsupervised Text Style Transfer
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
针对无监督文本风格迁移中传统固定向量风格调控粒度不足的问题，提出为每个词元分配独立风格向量的MSSRNet，结合融合师生学习的对抗训练框架，在双风格和多风格迁移任务中均提升了迁移准确率与内容保留度。
2023-06-12 cs.AI cs.CL cs.LG
Enhancing Building Semantics Preservation in AI Model Training with Large Language Model Encodings
Yonsei University（延世大学）；Technical University of Munich（慕尼黑工业大学）
本研究利用大语言模型编码提升AI对建筑语义的理解，通过实验验证其在分类任务中的优越性。
2026-02-17 cs.AI cs.CL
Low Resource Style Transfer via Domain Adaptive Meta Learning
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
无并行数据的文本样式转换（TST）已经取得了一些实际的成功。然而，大多数现有的无监督文本样式传输方法都存在以下问题：（i）需要大量的非并行数据来指导传输不同的文本样式。(ii)在新领域中微调模型时，性能会大幅下降。在这项工作中，我们提出了DAML-ATM（域自适应元学习与对抗转移模型），它由两部分组成：DAML和ATM。DAML是一种域自适应元学习方法，用于在多个异构源域中学习一般知识，能够适应新的未知领域，只需少量数据。此外，我们提出了一种新的无监督TST方法对抗传输模型（ATM），由序列到序列的预训练语言模型组成，并使用对抗风格训练来更好地保存内容和风格传输。多域数据集上的结果表明，我们的方法在看不见的低资源域上推广得很好，在十个强基线上实现了最先进的结果。
2022-05-25 cs.AI cs.CL
Style Transfer for Texts: Retrain, Report Errors, Compare with Rewrites
Yandex（扬德斯克）；Ural Federal University（乌拉尔联邦大学）；Sberbank（俄罗斯联邦储蓄银行）；Speech Technology Center（语音技术中心）
本文表明，风格迁移的标准评估方法有几个重要的问题。首先，样式准确性和语义保留的标准度量在不同的重新运行中有很大的不同。因此，必须报告所得结果的误差范围。第二，从输入和输出之间的双语评价替代（BLEU）和情感转移的准确性的某些值开始，这两个标准度量的优化偏离了风格转移任务的直观目标。最后，由于任务本身的性质，这两个指标之间存在特定的依赖关系，可以很容易地操纵。在这种情况下，我们建议在基准测试中考虑输入和人类书写的重新表述之间的BLEU。我们还提出了三个新的架构，在这个指标方面优于最先进的。
2019-08-29 cs.CL cs.LG
Multiple-Attribute Text Style Transfer
Facebook AI Research（脸书人工智能研究院）；MILA, Université de Montréal（蒙特利尔大学MILA）；Sorbonne Universités, UPMC Univ Paris 06（索邦大学，巴黎第六大学（UPMC））
文本中无监督的“风格转移”的主要方法是基于学习潜在表示的思想，该潜在表示独立于指定其“风格”的属性。在本文中，我们证明了这个条件是不必要的，并且在实践中并不总是满足，即使是明确旨在学习这种分离表示的领域对抗训练。因此，我们提出了一个新的模型，控制几个因素的变化，在文本数据中，这个条件的解纠缠被替换为一个更简单的机制的基础上回翻译。我们的方法允许控制多个属性，如性别，情感，产品类型等，以及利用潜在空间中的池化操作符对内容保留和样式改变之间的权衡进行更细粒度的控制。我们的实验表明，完全纠缠模型产生更好的一代，即使在新的和更具挑战性的基准测试，包括多个句子和多个属性的评论。
2019-09-20 cs.CL cs.LG
Reinforced Rewards Framework for Text Style Transfer
University of Maryland, College Park（马里兰大学帕克分校）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
风格转换处理的是将一段文本的风格属性转换为另一段文本的风格属性，同时确保保留核心内容的算法。由于文本风格转换在定制文本生成中的广泛应用，文本风格转换领域引起了人们的极大兴趣。现有的作品评估的风格转移模型的基础上的内容保存和转移强度。在这项工作中，我们提出了一个基于强化学习的框架，直接奖励这些目标指标的框架，从而更好地转移目标风格。我们提出的框架的基础上，自动和人工评价三个独立的任务，其中我们转移的文本风格从正式到非正式的，高兴奋低兴奋，现代英语，英语，反之亦然，在所有三种情况下，我们的性能得到了改善。与现有的最先进的框架相比，所提出的框架的性能有所改善，这表明该方法是可行的。
2020-05-11 cs.AI cs.CL cs.LG
Non-Parallel Text Style Transfer with Self-Parallel Supervision
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
现有的文本风格转换模型的性能受到训练模型的非并行数据集的严重限制。在非平行数据集中，源语言和目标语言风格的句子之间不存在直接映射，因此风格迁移模型在训练过程中只接受目标语言的弱监督，这往往导致模型丢弃太多与风格无关的信息，或者完全无法迁移风格。在这项工作中，我们提出了LaMer，一个新的文本风格转换框架的基础上大规模的语言模型。LaMer首先利用场景图挖掘非并行数据集中的大致并行表达式，然后采用MLE训练，然后进行模仿学习细化，以利用数据中的内在并行性。在两个基准任务（情感和形式转移）和一个新提出的具有挑战性的任务（政治立场转移）上，我们的模型在转移准确性，内容保留和流畅性方面取得了质的进步。进一步的经验和人工评估表明，我们的模型不仅使训练更有效，而且比以前的模型生成更可读和更多样化的表达式。
2022-04-18 cs.AI cs.CL cs.LG
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer
近年来，非平行语篇风格迁移引起了越来越多的研究兴趣。尽管在基于编码器-解码器框架的风格转换方面取得了成功，但目前的方法仍然缺乏保留原始句子的内容甚至逻辑的能力，这主要是由于大的无约束模型空间或对潜在嵌入空间的过于简化的假设。由于语言本身是人类使用特定语法的智能产品，并且本质上具有有限的基于规则的模型空间，因此缓解这个问题需要协调深层神经网络的模型容量与人类语言规则的内在模型约束。为此，我们提出了一种称为基于图Transformer的自动编码器（GTAE）的方法，该方法将句子建模为语言图，并在图级别上执行特征提取和风格转换，以最大限度地保留原始句子的内容和语言结构。三个非平行文本风格迁移任务的定量实验结果表明，我们的模型优于国家的最先进的方法，在内容保存，同时实现了相当的性能，转移的准确性和句子的自然。
2021-02-01 cs.AI cs.CL cs.CV
