Dear Sir or Madam, May I introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer
University of Maryland, College Park（马里兰大学帕克分校）；Grammarly（Grammarly（语法检查公司））
样式转换是将一段特定样式的文本自动转换为另一种样式的任务。在这一领域取得进展的一个主要障碍是缺乏培训和评价数据集以及基准和自动衡量标准。在这项工作中，我们创建了一个特定的风格转换（正式）的最大语料库，并表明，从机器翻译社区的技术可以作为未来工作的强有力的基线。我们还讨论了使用自动度量的挑战。
2018-04-16 cs.CL
XFORMAL: A Benchmark for Multilingual Formality Style Transfer
University of Maryland（马里兰大学）；Dataminr, Inc.（Dataminr公司）
通过创建和发布XFORMAL，我们迈出了多语言风格转换的第一步，XFORMAL是巴西葡萄牙语，法语和意大利语非正式文本的多种正式重新表述的基准。XFORMAL上的结果表明，最先进的风格迁移方法的性能接近简单的基线，这表明在迁移多语言时，风格迁移更具挑战性。
2021-04-08 cs.AI cs.CL
Human Judgement as a Compass to Navigate Automatic Metrics for Formality Transfer
University of Groningen（格罗宁根大学）
虽然文本风格迁移近年来发展迅速，但目前还没有一个既定的评估标准，这是使用几个自动度量来执行的，缺乏总是诉诸于人类判断的可能性。我们关注的是正式迁移的任务，以及通常评估的三个方面：风格强度，内容保留和流畅性。为了阐明这些方面是如何通过常见的和新的指标进行评估的，我们运行了一个基于人类的评估，并执行了丰富的相关性分析。然后，我们能够提供一些建议，使用这些指标的正式转让，也着眼于他们的普遍性（或不）相关的任务。
2022-04-15 cs.CL
Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization
Georgia Institute of Technology（佐治亚理工学院）
形式风格转换是将非正式句子转换为语法正确的正式句子的任务，可以用于提高许多下游NLP任务的性能。在这项工作中，我们提出了一个半监督的形式风格的传输模型，利用一个基于语言模型的转换，以最大限度地提高输出句子的可能性是正式的，这使我们能够使用最大化的令牌级的条件概率进行训练。我们进一步建议最大化源和目标风格之间的互信息作为我们的训练目标，而不是最大化经常导致重复和琐碎的生成响应的规则可能性。实验表明，我们的模型在自动化指标和人类判断方面都明显优于以前的最先进基线。我们进一步将我们的模型推广到无监督的文本风格转换任务，并在两个基准情感风格转换数据集上取得了显着的改进。
2020-10-10 cs.AI cs.CL cs.LG
Inter-rater Agreement on Sentence Formality
The Pennsylvania State University（宾夕法尼亚州立大学）
形式是文体变异的一个重要维度。在本研究中，我们进行了一个评价者间的信度实验，以评估句子正式的五点李克特量表，并获得了良好的一致性结果，以及不同的句子类别不同的评级分布。我们还进行了难度分析，以确定我们的评级程序的瓶颈。我们的主要目标是设计一个自动评分机制，为商务级别的正式，这项研究是重要的，为此目的。
2014-04-20 cs.CL
Studying the role of named entities for content preservation in text style transfer
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Mobile TeleSystems (MTS)（移动电信系统公司（MTS））
文本风格转换技术在自然语言处理中越来越受欢迎，找到了各种应用，如文本解毒，情感或形式转换。然而，大多数现有的方法都是在公共平台上的在线通信，音乐或娱乐等领域进行测试的，但没有一种方法适用于面向任务的生产系统的典型领域，如个人计划安排（例如预订航班或在餐厅预订餐桌）。我们填补了这一空白，研究正式转移在这一领域。我们注意到，该领域的文本中充满了命名实体，这对于保持文本的原始意义非常重要。事实上，例如，如果有人告知航班的目的地城市，则不得更改。因此，我们专注于命名实体的正式文本风格转移的内容保存中的作用。我们收集了一个新的数据集，用于评估文本样式传输中的内容相似性度量。它取自面向任务的对话语料库，包含许多与现实请求相关的重要实体，这使得该数据集对于在生产中使用之前测试风格转换模型特别有用。此外，我们对预训练的正式传输模型进行了错误分析，并引入了一种简单的技术来使用有关命名实体的信息来增强文本样式传输中使用的基线内容相似性度量的性能。
2022-06-20 cs.CL
StyleKQC: A Style-Variant Paraphrase Corpus for Korean Questions and Commands
Seoul National University（首尔大学）；Tokyo Institute of Technology（东京工业大学）；Google LLC（谷歌有限责任公司）
释义通常不太关心受控的风格转换。特别是对于问题和命令，风格变体释义在语气和方式上可能至关重要，这对于对话系统等工业应用也很重要。在本文中，我们攻击这个问题的语料库建设计划，同时考虑的核心内容和风格的指令，即意图和形式，为韩国语。利用人工生成的自然语言查询的六个日常话题，我们扩大了语料库的正式和非正式的句子，通过人工重写和转移。我们验证了我们的方法的有效性和工业适用性，通过检查适当的分类和推理性能，适合与传统的微调方法，在同一时间提出了一个监督的形式转移任务。
2022-04-28 cs.CL
SQUINKY! A Corpus of Sentence-level Formality, Informativeness, and Implicature
University of Michigan（密歇根大学）
我们介绍了一个语料库的7,032个句子，由人类注释者评估的正式性，信息量和含义的1-7级。语料库注释使用亚马逊机械土耳其。在所获得的判断的可靠性进行了检查，通过比较两个MTurk实验的平均评级，并与飞行员注释（对句子的正式性）在一个更受控的设置进行相关性。尽管主观性和内在的困难的注释任务，平均评级之间的相关性是相当令人鼓舞的，特别是在正式和信息。我们进一步探讨了这三个语言变量之间的相关性，体裁的评级和体裁内的相关性，与自动文体评分的兼容性，以及文档在风格方面的基本构成。到目前为止，我们的语料库是最大的商务级注释语料库发布的正式，信息量和含义。
2016-09-27 cs.CL
Controlling Neural Machine Translation Formality with Synthetic Supervision
Amazon AWS AI（亚马逊AWS人工智能）；University of Maryland（马里兰大学）
这项工作的目的是产生翻译，传达源语言内容在正式的水平，是适合特定的观众。将这个问题框架为神经序列到序列任务，理想情况下需要训练由标有目标语言形式的双语句子对组成的三元组。然而，在实践中，现有的训练样本仅限于不同风格的英语句子对和形式不明的双语平行句。我们为多任务模型引入了一种新的训练方案，该方案通过动态推断缺失的元素来自动生成合成训练三元组，从而实现端到端训练。全面的自动和人工评估表明，我们的最佳模型通过生成更好地匹配所需正式级别的翻译，同时保留源含义，从而优于现有模型。
2019-11-28 cs.CL
Formality Style Transfer in Persian
Shahid Beheshti University（沙希德·贝赫什提大学）；Queen Mary University of London（伦敦玛丽女王大学）
本研究提出基于Fa-BERT架构并结合一致性学习与动态加权的新模型Fa-BERT2BERT，通过新指标评估证明其在波斯语正式风格转换任务上优于传统方法，显著提升了NLP应用的准确性与功能。
2024-06-02 cs.AI cs.CL
Detecting Text Formality: A Study of Text Classification Approaches
Technical University of Munich（慕尼黑工业大学）；Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)（智能技术单一研究中心）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；Artificial Intelligence Research Institute（人工智能研究所）
本研究首次系统探讨了基于统计、神经网络和Transformer的文本正式度检测方法，通过单语、多语和跨语种实验发现Char BiLSTM在单语和多语任务上更优，而Transformer在跨语种迁移上更稳定。
2023-09-08 cs.CL
Controlling Styles in Neural Machine Translation with Activation Prompt
Fudan University（复旦大学）；ByteDance（字节跳动）
本文针对神经机器翻译风格控制中评估困难和对增量调整过度依赖的问题，提出多路风格化机器翻译基准MSMT和无需微调的风格激活提示方法StyleAP，实验证明其能有效控制翻译风格并取得显著性能。
2023-05-29 cs.CL
In What Languages are Generative Language Models the Most Formal? Analyzing Formality Distribution across Languages
Huawei Turkey R&D Center（华为土耳其研发中心）；Nisum Latam（Nisum拉美公司）；Banco de Crédito e Inversiones（智利信贷与投资银行）；North South University（南北大学）；Sorbonne Université（索邦大学）
多语言生成语言模型（LM）在各种语言中越来越流利。他们接受过多种语言语料库连接的训练，能够从高资源语言到低资源语言进行强大的转换。然而，在这些模型的预测中，文化偏见是什么仍然是未知的。在这项工作中，我们专注于一个高度受文化影响的语言属性：正式。我们分析了XGLM和BLOOM的预测，两个流行的生成式多语言语言模型，在5种语言的正式分布。我们将每种语言的1,200代分为正式的、非正式的或无凝聚力的，并测量了即时正式对预测的影响。总的来说，我们观察到跨模型和语言的行为多样性。例如，XGLM在非正式提示的条件下生成阿拉伯语和孟加拉语的非正式文本，比BLOOM多得多。此外，即使这两个模型是高度偏向于正式的风格时，提示中立，我们发现，即使在正式的文本提示模型产生了大量的非正式的预测。我们发布了6,000个带注释的样本，为将来的生成多语言LM的正式工作铺平了道路。
2023-02-23 cs.CL
Style Transfer Through Multilingual and Feedback-Based Back-Translation
Carnegie Mellon University（卡内基梅隆大学）
风格转换是将句子的属性（例如，形式），同时保持其语义内容。风格转换的关键挑战是在相互竞争的目标之间取得平衡，一个是保持意义，另一个是提高风格转换的准确性。先前的研究已经确定，意义保存的任务通常更难实现和评估。本文提出了两个扩展的国家的最先进的风格转移模型，旨在提高风格转移的意义保持。我们的评估表明，这些扩展有助于更好地表达意义，同时提高传输精度。
2018-09-17 cs.CL
Multilingual Pre-training with Language and Task Adaptation for Multilingual Text Style Transfer
University of Groningen（格罗宁根大学）
我们利用预先训练的seq2seq模型mBART进行多语言文本样式传输。使用机器翻译的数据以及黄金对齐的英语句子在我们考虑的三种目标语言中产生了最先进的结果。此外，鉴于并行数据的普遍稀缺性，我们提出了一个模块化的方法，多语言正式迁移，其中包括两个培训策略，目标适应语言和任务。我们的方法实现了竞争力的表现，没有单语任务特定的并行数据，并可以应用到其他风格转移任务以及其他语言。
2022-03-16 cs.CL
ParaGuide: Guided Diffusion Paraphrasers for Plug-and-Play Textual Style Transfer
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
ParaGuide 提出一种基于改写条件扩散和梯度引导的参数高效框架，实现推理时即插即用的任意风格迁移，并在正式程度、情感和作者身份迁移上超越强基线。
2024-02-22 cs.AI cs.CL
Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge
Nanjing University（南京大学）
本研究系统分析大语言模型对知识冲突数据的学习偏好，发现其偏好正式、拼写错误少的文本，该偏好跨模型语言通用且大模型更显著，还可通过调整数据与多数的一致性操控偏好。
2024-10-07 cs.CL
Learning Text Styles: A Study on Transfer, Attribution, and Verification
SUTD（新加坡科技设计大学）；ISTD（科技设计学院）
本文围绕文本风格迁移、作者归属与作者验证三大任务，提出基于大语言模型参数高效适配、对比解耦和指令微调的方法，以提升风格操控与作者识别的效果和可解释性。
2025-07-22 cs.CL
Text Style Transfer: An Introductory Overview
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文概述文本风格迁移任务，涵盖其挑战、方法、数据集、评估、子任务及应用，旨在增进对文本风格迁移背景和基本原理的理解。
2024-07-20 cs.CL
Few-shot Controllable Style Transfer for Low-Resource Multilingual Settings
Google Research（谷歌研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
风格转换是将句子改写成目标风格，同时大致保留内容的任务。虽然大多数先前的文献假设访问大型风格标记语料库，但最近的工作（Riley et al. 2021）尝试了“Few-Shot”风格迁移，仅使用3-10个句子进行风格提取的推理。在这项工作中，我们研究了一个相关的低资源设置：没有风格标记语料库的语言的风格转移。我们注意到，现有的Few-Shot方法执行此任务很差，通常逐字复制输入。我们推动了Few-Shot风格转换的最新技术，提出了一种新的方法来模拟释义之间的风格差异。与以前的工作相比，我们的模型在七种语言的正式传输和代码混合添加方面的性能提高了2- 3倍。此外，我们的方法是更好地控制风格转移幅度使用输入标量旋钮。我们报告了几个属性转移任务（情感转移，简化，性别中立化，文本匿名化）的有希望的定性结果，所有这些都没有重新训练模型。最后，我们发现模型评估是困难的，由于缺乏数据集和许多语言的指标。为了方便未来的研究，我们众包正式注释4000句对四种印度语言，并使用这些数据来设计我们的自动评估。
2022-03-11 cs.CL cs.LG
Reinforcement Learning Based Text Style Transfer without Parallel Training Corpus
T. J. Watson Research Center, IBM（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
文本样式转移从源样式（例如，非正式）转换为目标风格（例如，（1）保持原有的意义。尽管现有的作品已经取得了成功，使用两种风格的平行语料库，转移文本风格已被证明是更具有挑战性的，当没有平行的训练语料库。在本文中，我们解决这个挑战，通过使用一个基于重复学习的生成器-评估器架构。我们的生成器采用基于注意力的编码器-解码器将句子从源风格转换为目标风格。我们的评估者是一个经过对抗训练的风格测试者，具有语义和句法约束，对生成的句子进行风格，意义保留和流畅性的评分。两个不同的风格转移任务（情感转移和正式转移）的实验结果表明，我们的模型优于国家的最先进的方法。此外，我们进行了手动评估，证明了所提出的方法的有效性，使用生成的文本质量的主观指标。
2019-04-08 cs.CL
VAE based Text Style Transfer with Pivot Words Enhancement Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon Alexa AI（亚马逊 Alexa AI）
文本风格转换（TST）的目的是将源文本的底层风格改变为另一种特定的风格，同时保持相同的内容。由于缺乏高质量的并行训练数据，无监督学习已成为TST任务的发展方向。本文提出了一种新的基于变分自变编码器（VAE）的文本风格转换与pivOt词增强学习（VT-STOWER）方法，该方法利用变分自编码器（VAE）和外部风格嵌入来联合学习语义和风格分布。此外，我们还引入了主元词学习，用于学习特定风格的决定性词，从而进一步提高风格迁移的整体性能。建议的VT-STOWER可以扩展到不同的TST场景，给出非常有限的和非并行的训练数据，具有新颖和灵活的风格强度控制机制。实验表明，VT-STOWER优于国家的最先进的情感，正式和代码转换TST任务。
2021-12-06 cs.CL
Domain Adaptive Text Style Transfer
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
无需并行数据的文本风格转换已经取得了一些实际成功。然而，在可用数据较少的情况下，这些方法可能会产生较差的性能。在本文中，我们研究领域自适应的文本风格转移，利用大量可用的数据从其他领域。这些数据可能表现出领域转移，这阻碍了利用这些数据进行训练的益处。为了解决这一挑战，我们提出了简单而有效的域自适应文本样式传输模型，使域自适应信息交换。所提出的模型可能从源域学习：（i）区分风格化信息和通用内容信息;（ii）最大限度地保留内容信息;以及（iii）以域感知的方式自适应地传输样式。我们评估两个风格的转移任务（情感和形式）在多个目标领域，只有有限的非并行数据可用的模型。大量的实验证明了该模型的有效性相比，基线。
2019-08-25 cs.CL
Exploiting Social Media Content for Self-Supervised Style Transfer
Saarland University（萨尔兰大学）；DFKI GmbH（德国人工智能研究中心）
最近关于风格转换的研究受到无监督神经机器翻译（UNMT）的启发，通过利用循环一致性损失，反向翻译和去噪自动编码器从大量非并行数据中学习。相比之下，使用自监督NMT（SSNMT），它利用隐藏在非并行数据中的（近）并行实例比UNMT更有效，尚未被探索用于风格转换。在本文中，我们提出了一种新的自监督风格转移（3ST）模型，该模型使用UNMT方法增强SSNMT，以识别和有效利用非并行社交媒体帖子中的监督信号。我们比较3ST与国家的最先进的（SOTA）风格的传输模型在民间改写，正式和极性的任务。我们表明，3ST能够最好地平衡三个主要目标（流畅性，内容保存，属性传输准确性），在自动和人工评估的测试任务中，其平均性能优于SOTA模型。
2022-05-18 cs.CL
Conversation Style Transfer using Few-Shot Learning
AWS AI Labs（亚马逊云科技人工智能实验室）
本文将对话风格迁移建模为少样本学习问题，提出以无风格对话为枢轴的上下文学习方法，利用多轮上下文提升风格匹配、适当性和语义正确性，并证明其能提升下游意图分类任务的F1分数。
2023-09-21 cs.CL
StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing
Wuhan University（武汉大学）；Tsinghua University（清华大学）
本文提出StoryTrans模型，利用话语表示和可学习风格嵌入实现非平行故事作者风格迁移，并通过掩码-填充框架增强内容保留，实验证明其性能优于强基线。
2023-05-15 cs.CL
Style-Specific Neurons for Steering LLMs in Text Style Transfer
School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
针对零样本TST中LLM直接复制输入、风格改变不足的问题，提出sNeuron-TST，通过识别并停用源风格神经元并结合改进对比解码，在六个基准上提升风格多样性与流畅度。
2024-10-01 cs.CL
LMStyle Benchmark: Evaluating Text Style Transfer for Chatbots
Carnegie Mellon University（卡内基梅隆大学）
本文提出LMStyle基准，用于自动评估聊天式文本风格转换，引入适当性指标，实验显示其与人类判断相关性更高，并提供了LLaMA等模型的评估结果。
2024-03-13 cs.CL
SC2: Towards Enhancing Content Preservation and Style Consistency in Long Text Style Transfer
School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）
本文提出SC2方法，通过多层联合风格-内容加权模块和风格一致性损失解决长文本风格迁移中的内容退化和风格不一致问题，并引入去噪非自回归解码器加速训练，实验表明其优于竞争基线。
2024-06-07 cs.CL
Generic resources are what you need: Style transfer tasks without task-specific parallel training data
University of Groningen（格罗宁根大学）
风格转换的目的是将源文本改写为不同的目标风格，同时保留其内容。我们提出了一种新的方法来完成这项任务，该方法利用通用资源，并且在不使用任何特定于任务的并行（源-目标）数据的情况下，在两个最流行的风格转换任务上优于现有的无监督方法：形式转换和极性交换。在实践中，我们采用了一个多步骤的过程，它建立在一个通用的预训练序列到序列模型（BART）。首先，我们通过在现有的通用释义集合以及使用通用词汇资源创建的合成对上进一步预训练BART来加强模型的重写能力。其次，通过迭代反向转换方法，我们训练两个模型，每个模型都在一个转移方向上，这样它们就可以在训练过程中动态地为彼此提供合成生成的对。最后，我们让我们最好的reresult模型生成静态合成对，用于监督训练机制。除了方法和最先进的结果，这项工作的核心贡献是对我们所处理的两项任务的性质的反思，以及它们对我们方法的反应如何突出它们的差异。
2021-09-09 cs.CL
SCAR: Data Selection via Style Consistency-Aware Response Ranking for Efficient Instruction-Tuning of Large Language Models
School of Computing Technologies, RMIT University, Australia（皇家墨尔本理工大学计算机科技学院）；School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；Department of Data Science & AI, Monash University, Australia（墨尔本大学数据科学与人工智能系）
本研究提出SCAR方法，通过语言形式和指令惊异度两个风格要素对训练数据进行一致性排序，仅用0.7%数据即可使微调LLM性能匹敌全量训练效果。
2025-05-31 cs.CL
Contextual Text Style Transfer
Microsoft（微软）；University of Washington（华盛顿大学）
我们引入了一个新的任务，上下文文本风格转换-翻译一个句子到一个所需的风格与其周围的上下文考虑。这给现有的风格转换方法带来了两个关键挑战：（$i$）如何在转换过程中保持目标句子的语义及其与周围上下文的一致性;（$ii$）如何用有限的带有上下文的标记数据训练一个鲁棒的模型。为了实现高质量的风格传输与自然的上下文保护，我们提出了一个上下文感知的风格传输（CAST）模型，它使用两个单独的编码器为每个输入句子及其周围的上下文。进一步训练分类器以确保所生成的句子的上下文一致性。为了弥补并行数据的不足，引入了额外的自重建和反向翻译损失，以半监督的方式利用非并行数据。针对正式性风格和攻击性风格的迁移，引入了Enron-Context和Reddit-Context两个新的测试基准。在这些数据集上的实验结果表明，所提出的CAST模型在风格准确性、内容保留和上下文一致性度量方面优于最先进的方法。
2020-04-30 cs.CL cs.LG
RCScore: Quantifying Response Consistency in Large Language Models
Seoul National University（首尔大学）
针对LLM评估忽视指令风格敏感性的问题，提出RCSore多维框架量化指令表述对响应的影响，并引入CRS方法测量风格自洽性，发现其与任务准确率强相关，为评估指令鲁棒性提供了有原则的方法。
2025-10-30 cs.CL
A Review of Text Style Transfer using Deep Learning
Faculty of Computer Science and Engineering, Ss. Cyril and Methodius University - Skopje（圣西里尔和美多德大学斯科普里计算机科学与工程学院）
风格是句子的一个组成部分，由一个人所用的词来表示。不同的人有不同的表达方式，然而，他们会根据社会背景、听众、对话者或场合的正式程度来调整自己的说话和写作风格。语篇风格转换是指在保持原句子意义的同时，对句子的写作风格进行调整和/或改变。本文对基于深度学习的文本风格转换方法进行了系统的综述。我们指出了深度神经网络的技术进步，这些技术进步一直是自然语言理解和生成领域当前成功背后的驱动力。文章围绕文本风格迁移过程中的两个关键阶段展开，即表示学习和新风格的句子生成。讨论强调了拟议解决方案之间的共同点和差异，以及预计将指导和促进该领域进一步研究的挑战和机遇。
2021-09-30 cs.AI cs.CL
ICLEF: In-Context Learning with Expert Feedback for Explainable Style Transfer
Columbia University（哥伦比亚大学）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）
本文提出 ICLEF 方法，通过结合上下文学习与模型自我批判来整合稀缺专家反馈，用于生成高质量可解释风格迁移数据集，使微调后的学生模型在可解释风格迁移任务中优于或媲美教师模型。
2024-06-17 cs.CL
TextSETTR: Few-Shot Text Style Extraction and Tunable Targeted Restyling
University of Rochester（罗切斯特大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）
我们提出了一种新的方法来解决文本风格迁移的问题。与以前的方法需要样式标记的训练数据，我们的方法利用现成的未标记的文本，依靠在相邻的句子之间的风格的隐式连接，并使用标记的数据只在推理时间。我们调整T5（Raffel等人，2020），一个强大的预训练文本到文本模型，从文本中提取样式向量，并使用它来调节解码器以执行样式传输。由于我们的无标签训练产生了一个对风格的许多方面进行编码的风格向量空间，因此我们将传输转换为“目标重新造型”向量操作，这些操作调整输入的特定属性，同时保留其他属性。我们证明，在未标记的亚马逊评论数据上进行训练，即使与完全在标记数据上训练的模型相比，也会产生一个在情感转移方面具有竞争力的模型。此外，将我们的新方法应用于未标记的Web文本的多样化语料库，导致单个模型能够沿着风格的多个维度（方言，情感，正式，礼貌，情感）进行转移，尽管没有额外的训练，并且在推理时只使用少数样本。
2021-06-23 cs.CL cs.LG
A Survey of Text Style Transfer: Applications and Ethical Implications
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文综述了文本风格迁移（TST）在传统语言学与深度学习方法下的应用，探讨其当前挑战、未来方向及伦理影响，呼吁研究界关注应用视角与伦理考量。
2024-07-23 cs.CL
Learning from Bootstrapping and Stepwise Reinforcement Reward: A Semi-Supervised Framework for Text Style Transfer
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
文本风格迁移是可控语言生成中的一项重要任务。监督方法已经推动了面向风格的重写的性能改进，如形式转换。然而，由于许多领域缺乏大规模并行数据，挑战仍然存在。虽然无监督方法不依赖于每种风格的注释句子对，但它们经常受到不稳定性问题的困扰，例如模式坍塌或质量下降。为了利用监督和无监督范式并应对挑战，在这项工作中，我们提出了一个半监督的文本风格转换框架。首先，学习过程是引导与监督指导自动构建的伪并行对使用基于词汇和语义的方法。然后，模型通过强化奖励从未标记的数据中学习。具体来说，我们建议通过逐步奖励优化来提高序列到序列的策略梯度，提供细粒度的学习信号并稳定强化学习过程。实验结果表明，该方法在多个数据集上具有最佳的性能，并且仅需10%的训练数据就能产生有效的生成结果.
2022-05-19 cs.AI cs.CL
Ensuring Consistency for In-Image Translation
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
针对图内机器翻译任务中的一致性缺失问题，提出两阶段框架HCIIT，结合多模态大语言模型与扩散模型，利用思维链学习与40万伪数据集，有效保障翻译与图像生成双重一致性。
2024-12-24 cs.CL
Don't lose the message while paraphrasing: A study on content preserving style transfer
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学智能技术卓越研究中心（CiTIUS））；Mobile TeleSystems (MTS)（移动电信系统公司（MTS））；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院（Skoltech））；Artificial Intelligence Research Institute (AIRI)（人工智能研究院（AIRI））
本文构建带语义槽标注的任务导向对话平行数据集，评估多种正式性风格迁移模型的内容保持能力，并改进无监督方法 LEWIS，显著优于原方法和基线。
2023-08-17 cs.CL
Non-Parallel Text Style Transfer with Self-Parallel Supervision
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
现有的文本风格转换模型的性能受到训练模型的非并行数据集的严重限制。在非平行数据集中，源语言和目标语言风格的句子之间不存在直接映射，因此风格迁移模型在训练过程中只接受目标语言的弱监督，这往往导致模型丢弃太多与风格无关的信息，或者完全无法迁移风格。在这项工作中，我们提出了LaMer，一个新的文本风格转换框架的基础上大规模的语言模型。LaMer首先利用场景图挖掘非并行数据集中的大致并行表达式，然后采用MLE训练，然后进行模仿学习细化，以利用数据中的内在并行性。在两个基准任务（情感和形式转移）和一个新提出的具有挑战性的任务（政治立场转移）上，我们的模型在转移准确性，内容保留和流畅性方面取得了质的进步。进一步的经验和人工评估表明，我们的模型不仅使训练更有效，而且比以前的模型生成更可读和更多样化的表达式。
2022-04-18 cs.AI cs.CL cs.LG
Diversify Question Generation with Retrieval-Augmented Style Transfer
Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
针对问题生成系统表达多样性不足的问题，提出检索增强风格迁移框架RAST，利用外部模板风格并通过强化学习优化多样性与一致性奖励的加权组合，在保持一致性的同时显著提升了生成问题的多样性。
2023-10-23 cs.CL
A Probabilistic Formulation of Unsupervised Text Style Transfer
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
我们提出了一个用于无监督文本样式传输的深度生成模型，该模型统一了先前提出的非生成技术。我们的概率方法模型的非并行数据从两个域作为一个部分观察到的并行语料库。通过假设生成每个观察序列的并行潜在序列，我们的模型学习以完全无监督的方式将序列从一个域转换到另一个域。与传统的生成序列模型（例如HMM）相比，我们的模型对它生成的数据做了很少的假设：它使用递归语言模型作为先验，使用编码器-解码器作为转换分布。虽然计算边际数据的可能性是棘手的，在这个模型类中，我们摊销变分推理承认一个实际的代理。此外，通过绘制我们的变分目标和其他最近的无监督风格转换和机器翻译技术之间的联系，我们展示了我们的概率观点如何统一一些已知的非生成目标，如反向翻译和对抗损失。最后，我们证明了我们的方法在广泛的无监督风格迁移任务上的有效性，包括情感迁移，形式迁移，单词破译，作者模仿和相关语言翻译。在所有的风格转换任务中，我们的方法比最先进的非生成基线产生了实质性的收益，包括我们的方法推广的最先进的无监督机器翻译技术。此外，我们在标准的无监督机器翻译任务上进行实验，发现我们的统一方法与当前最先进的方法相匹配。
2020-04-29 cs.CL cs.LG
Language Style Transfer from Sentences with Arbitrary Unknown Styles
ShanghaiTech University（上海科技大学）；Tencent AI Lab（腾讯人工智能实验室）
语言风格迁移是将源语言的内容迁移到目标语言的问题。在它的许多应用中，并行训练数据不可用，并且要传输的源语句可能具有任意和未知的风格。首先，每个句子都被编码成其内容和风格的潜在表征。然后，通过将内容与目标风格重新组合，我们解码在目标域中对齐的句子。为了充分约束编码和解码函数，我们将它们与两个损失函数耦合。第一个是风格差异损失，强制风格表示准确地编码由句子风格和目标风格之间的差异引导的风格信息。第二种是循环一致性损失，这确保了被转移的句子应该保持与其风格分离的原始句子的内容。我们验证了我们的模型在三个任务的有效性：情感修改的餐厅评论，对话响应修改与浪漫的风格，句子重写与浪漫的风格。
2018-08-13 cs.CL
Unsupervised Domain Clusters in Pretrained Language Models
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
在NLP中，“域内数据”的概念往往过于简单和模糊，因为文本数据在许多细微的语言方面（如主题，风格或正式程度）都有所不同。此外，域标签在很多时候是不可用的，这使得构建特定于域的系统具有挑战性。我们表明，大规模预训练的语言模型在没有监督的情况下隐式学习按域聚集的句子表示--这表明文本数据中的域的简单数据驱动定义。我们利用这个属性，并提出域数据选择方法的基础上，这样的模型，只需要一个小的一组域单语数据。我们在五个不同的领域评估了我们的神经机器翻译数据选择方法，在这些领域中，它们的表现优于通过BLEU以及相对于Oracle的句子选择的精确度和召回率来衡量的既定方法。
2020-05-01 cs.CL
Controllable Dialogue Generation with Disentangled Multi-grained Style Specification and Attribute Consistency Reward
University of Macau（澳门大学）；Baidu Inc（百度公司）；Xiamen University（厦门大学）
可控文本生成是一个吸引人但具有挑战性的任务，它允许用户指定生成的输出的特定属性。在本文中，我们提出了一个可控的对话生成模型，引导响应生成多属性约束下。具体来说，我们定义和分类的常用控制属性为全球和本地的，具有不同的粒度响应生成的影响。然后，我们显着扩展了传统的seq2seq框架，引入了一种新的两阶段解码器，首先使用多粒度的风格规范层施加的风格约束，并确定字级控制状态的响应的基础上的属性，然后采用响应生成层生成最终的响应保持语义相关的上下文和保真度的属性。此外，我们训练我们的模型与属性一致性奖励，以促进响应控制与明确的监督信号。在两个数据集上的大量实验和深入分析表明，我们的模型在响应质量、内容多样性和可控性方面可以显著优于竞争基线。
2022-10-21 cs.AI cs.CL
Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings
University of Passau（帕绍大学）
本文通过宏观经济任务回答的多轮评分实验，检验GPT-4在时间、迭代和风格变化下的评分一致性，发现其ICC达0.94–0.99且能区分内容与风格。
2023-08-03 cs.AI cs.CL
Adapting Language Models for Non-Parallel Author-Stylized Rewriting
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）；Adobe Research（奥多比研究院）
鉴于最近的进展，在语言建模中使用基于transformer的神经模型和积极的兴趣，在生成风格化的文本，我们提出了一种方法，利用泛化能力的语言模型重写输入文本的目标作者的风格。我们提出的方法采用预训练的语言模型，通过使用级联编码器-解码器框架中的去噪自动编码器（DAE）损失对作者特定的语料库进行微调来生成作者风格化的文本。通过对DAE损失进行优化，我们的模型可以在不依赖并行数据的情况下学习作者风格的细微差别，这是该领域以前相关工作的严重限制。为了评估我们的方法的有效性，我们提出了一个语言动机的框架来量化生成的文本的风格对齐目标作者在词汇，句法和表面水平。评估框架是可解释的，因为它导致了关于模型的几个见解，并且是自包含的，因为它不依赖于外部分类器，例如情感或形式分类器。定性和定量评估表明，所提出的方法重写输入文本与目标风格更好地对齐，同时保留原始内容比国家的最先进的基线。
2020-10-31 cs.CL cs.LG
Fighting Offensive Language on Social Media with Unsupervised Text Style Transfer
IBM Research（IBM研究院）；T.J. Watson Research Center（T.J.沃森研究中心）；IBM Watson（IBM沃森）
我们引入了一种新的方法来解决在线社交媒体中的冒犯性语言问题。我们的方法使用无监督的文本风格转换将冒犯性句子翻译成非冒犯性句子。我们提出了一种新的方法来训练编码器-解码器使用非并行数据，结合了协作分类器，注意力和周期一致性损失。Twitter和Reddit数据的实验结果表明，我们的方法在三个定量指标中的两个方面优于最先进的文本风格传输系统，并产生可靠的非攻击性传输句子。
2018-05-20 cs.CL cs.LG
Implementing Long Text Style Transfer with LLMs through Dual-Layered Sentence and Paragraph Structure Extraction and Mapping
School of Computer Science, Peking University（北京大学计算机学院）
本文提出 ZeroStylus 分层框架，通过句子与段落模板提取及多粒度匹配，在零样本、不微调条件下提升长文本风格迁移的连贯性与内容保留。
2025-05-11 cs.AI cs.CL
Improving Prosody for Cross-Speaker Style Transfer by Semi-Supervised Style Extractor and Hierarchical Modeling in Speech Synthesis
Kwai（快手）
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。在大多数先前的方法中，合成的细粒度韵律特征通常表示源说话者的平均风格，类似于一对多问题（即，多个韵律变化对应于同一文本）。针对这一问题，提出了一种强度控制的半监督风格提取器，将风格与内容和音色分离，提高了全局风格嵌入的表示性和可解释性，缓解了韵律预测中的一对多映射和数据不平衡问题。提出了一种层次韵律预测器来改进韵律建模。我们发现，更好的风格转移可以通过使用源说话人的韵律特征，很容易预测。此外，扬声器转移明智的周期一致性损失，提出了在训练阶段学习看不见的风格音色组合，以协助模型。实验结果表明，该方法优于基线。我们提供了一个网站与音频样本。
2023-03-14 cs.AI cs.CL cs.SD
