Dear Sir or Madam, May I introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer
University of Maryland, College Park(马里兰大学帕克分校);Grammarly(Grammarly(语法检查公司))
样式转换是将一段特定样式的文本自动转换为另一种样式的任务。在这一领域取得进展的一个主要障碍是缺乏培训和评价数据集以及基准和自动衡量标准。在这项工作中,我们创建了一个特定的风格转换(正式)的最大语料库,并表明,从机器翻译社区的技术可以作为未来工作的强有力的基线。我们还讨论了使用自动度量的挑战。
2018-04-16 cs.CL
Semi-Supervised Formality Style Transfer with Consistency Training
Tokyo Institute of Technology(东京工业大学)
正式风格转换是指在不改变句子意义的前提下,将非正式句子改写为正式句子。为了解决现有并行数据集的数据稀缺问题,以前的研究倾向于采用循环重构方案来利用额外的未标记数据,其中FST模型主要受益于目标端未标记句子。在这项工作中,我们提出了一个简单而有效的半监督框架,以更好地利用基于一致性训练的源端未标记句子。具体来说,我们的方法通过强制模型为其扰动版本生成类似的输出来增强从源端非正式句子获得的伪并行数据。此外,我们还实证研究了各种数据扰动方法的影响,并提出了有效的数据过滤策略来改进我们的框架。GYAFC基准测试的实验结果表明,我们的方法可以达到国家的最先进的结果,即使不到40%的并行数据。
2022-03-25 cs.CL
XFORMAL: A Benchmark for Multilingual Formality Style Transfer
University of Maryland(马里兰大学);Dataminr, Inc.(Dataminr公司)
通过创建和发布XFORMAL,我们迈出了多语言风格转换的第一步,XFORMAL是巴西葡萄牙语,法语和意大利语非正式文本的多种正式重新表述的基准。XFORMAL上的结果表明,最先进的风格迁移方法的性能接近简单的基线,这表明在迁移多语言时,风格迁移更具挑战性。
2021-04-08 cs.AI cs.CL
Human Judgement as a Compass to Navigate Automatic Metrics for Formality Transfer
University of Groningen(格罗宁根大学)
虽然文本风格迁移近年来发展迅速,但目前还没有一个既定的评估标准,这是使用几个自动度量来执行的,缺乏总是诉诸于人类判断的可能性。我们关注的是正式迁移的任务,以及通常评估的三个方面:风格强度,内容保留和流畅性。为了阐明这些方面是如何通过常见的和新的指标进行评估的,我们运行了一个基于人类的评估,并执行了丰富的相关性分析。然后,我们能够提供一些建议,使用这些指标的正式转让,也着眼于他们的普遍性(或不)相关的任务。
2022-04-15 cs.CL
Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization
Georgia Institute of Technology(佐治亚理工学院)
形式风格转换是将非正式句子转换为语法正确的正式句子的任务,可以用于提高许多下游NLP任务的性能。在这项工作中,我们提出了一个半监督的形式风格的传输模型,利用一个基于语言模型的转换,以最大限度地提高输出句子的可能性是正式的,这使我们能够使用最大化的令牌级的条件概率进行训练。我们进一步建议最大化源和目标风格之间的互信息作为我们的训练目标,而不是最大化经常导致重复和琐碎的生成响应的规则可能性。实验表明,我们的模型在自动化指标和人类判断方面都明显优于以前的最先进基线。我们进一步将我们的模型推广到无监督的文本风格转换任务,并在两个基准情感风格转换数据集上取得了显着的改进。
2020-10-10 cs.AI cs.CL cs.LG
Studying the role of named entities for content preservation in text style transfer
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Mobile TeleSystems (MTS)(移动电信系统公司(MTS))
文本风格转换技术在自然语言处理中越来越受欢迎,找到了各种应用,如文本解毒,情感或形式转换。然而,大多数现有的方法都是在公共平台上的在线通信,音乐或娱乐等领域进行测试的,但没有一种方法适用于面向任务的生产系统的典型领域,如个人计划安排(例如预订航班或在餐厅预订餐桌)。我们填补了这一空白,研究正式转移在这一领域。我们注意到,该领域的文本中充满了命名实体,这对于保持文本的原始意义非常重要。事实上,例如,如果有人告知航班的目的地城市,则不得更改。因此,我们专注于命名实体的正式文本风格转移的内容保存中的作用。我们收集了一个新的数据集,用于评估文本样式传输中的内容相似性度量。它取自面向任务的对话语料库,包含许多与现实请求相关的重要实体,这使得该数据集对于在生产中使用之前测试风格转换模型特别有用。此外,我们对预训练的正式传输模型进行了错误分析,并引入了一种简单的技术来使用有关命名实体的信息来增强文本样式传输中使用的基线内容相似性度量的性能。
2022-06-20 cs.CL
StyleKQC: A Style-Variant Paraphrase Corpus for Korean Questions and Commands
Seoul National University(首尔大学);Tokyo Institute of Technology(东京工业大学);Google LLC(谷歌有限责任公司)
释义通常不太关心受控的风格转换。特别是对于问题和命令,风格变体释义在语气和方式上可能至关重要,这对于对话系统等工业应用也很重要。在本文中,我们攻击这个问题的语料库建设计划,同时考虑的核心内容和风格的指令,即意图和形式,为韩国语。利用人工生成的自然语言查询的六个日常话题,我们扩大了语料库的正式和非正式的句子,通过人工重写和转移。我们验证了我们的方法的有效性和工业适用性,通过检查适当的分类和推理性能,适合与传统的微调方法,在同一时间提出了一个监督的形式转移任务。
2022-04-28 cs.CL
Formality Style Transfer in Persian
Shahid Beheshti University(沙希德·贝赫什提大学);Queen Mary University of London(伦敦玛丽女王大学)
本研究提出基于Fa-BERT架构并结合一致性学习与动态加权的新模型Fa-BERT2BERT,通过新指标评估证明其在波斯语正式风格转换任务上优于传统方法,显著提升了NLP应用的准确性与功能。
2024-06-02 cs.AI cs.CL
Controlling Styles in Neural Machine Translation with Activation Prompt
Fudan University(复旦大学);ByteDance(字节跳动)
本文针对神经机器翻译风格控制中评估困难和对增量调整过度依赖的问题,提出多路风格化机器翻译基准MSMT和无需微调的风格激活提示方法StyleAP,实验证明其能有效控制翻译风格并取得显著性能。
2023-05-29 cs.CL
Style Transfer Through Multilingual and Feedback-Based Back-Translation
Carnegie Mellon University(卡内基梅隆大学)
风格转换是将句子的属性(例如,形式),同时保持其语义内容。风格转换的关键挑战是在相互竞争的目标之间取得平衡,一个是保持意义,另一个是提高风格转换的准确性。先前的研究已经确定,意义保存的任务通常更难实现和评估。本文提出了两个扩展的国家的最先进的风格转移模型,旨在提高风格转移的意义保持。我们的评估表明,这些扩展有助于更好地表达意义,同时提高传输精度。
2018-09-17 cs.CL
Multilingual Pre-training with Language and Task Adaptation for Multilingual Text Style Transfer
University of Groningen(格罗宁根大学)
我们利用预先训练的seq2seq模型mBART进行多语言文本样式传输。使用机器翻译的数据以及黄金对齐的英语句子在我们考虑的三种目标语言中产生了最先进的结果。此外,鉴于并行数据的普遍稀缺性,我们提出了一个模块化的方法,多语言正式迁移,其中包括两个培训策略,目标适应语言和任务。我们的方法实现了竞争力的表现,没有单语任务特定的并行数据,并可以应用到其他风格转移任务以及其他语言。
2022-03-16 cs.CL
ParaGuide: Guided Diffusion Paraphrasers for Plug-and-Play Textual Style Transfer
Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
ParaGuide 提出一种基于改写条件扩散和梯度引导的参数高效框架,实现推理时即插即用的任意风格迁移,并在正式程度、情感和作者身份迁移上超越强基线。
2024-02-22 cs.AI cs.CL
Learning Text Styles: A Study on Transfer, Attribution, and Verification
SUTD(新加坡科技设计大学);ISTD(科技设计学院)
本文围绕文本风格迁移、作者归属与作者验证三大任务,提出基于大语言模型参数高效适配、对比解耦和指令微调的方法,以提升风格操控与作者识别的效果和可解释性。
2025-07-22 cs.CL
Text Style Transfer: An Introductory Overview
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文概述文本风格迁移任务,涵盖其挑战、方法、数据集、评估、子任务及应用,旨在增进对文本风格迁移背景和基本原理的理解。
2024-07-20 cs.CL
Few-shot Controllable Style Transfer for Low-Resource Multilingual Settings
Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
风格转换是将句子改写成目标风格,同时大致保留内容的任务。虽然大多数先前的文献假设访问大型风格标记语料库,但最近的工作(Riley et al. 2021)尝试了“Few-Shot”风格迁移,仅使用3-10个句子进行风格提取的推理。在这项工作中,我们研究了一个相关的低资源设置:没有风格标记语料库的语言的风格转移。我们注意到,现有的Few-Shot方法执行此任务很差,通常逐字复制输入。我们推动了Few-Shot风格转换的最新技术,提出了一种新的方法来模拟释义之间的风格差异。与以前的工作相比,我们的模型在七种语言的正式传输和代码混合添加方面的性能提高了2- 3倍。此外,我们的方法是更好地控制风格转移幅度使用输入标量旋钮。我们报告了几个属性转移任务(情感转移,简化,性别中立化,文本匿名化)的有希望的定性结果,所有这些都没有重新训练模型。最后,我们发现模型评估是困难的,由于缺乏数据集和许多语言的指标。为了方便未来的研究,我们众包正式注释4000句对四种印度语言,并使用这些数据来设计我们的自动评估。
2022-03-11 cs.CL cs.LG
Reinforcement Learning Based Text Style Transfer without Parallel Training Corpus
T. J. Watson Research Center, IBM(IBM托马斯·J·沃森研究中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本样式转移从源样式(例如,非正式)转换为目标风格(例如,(1)保持原有的意义。尽管现有的作品已经取得了成功,使用两种风格的平行语料库,转移文本风格已被证明是更具有挑战性的,当没有平行的训练语料库。在本文中,我们解决这个挑战,通过使用一个基于重复学习的生成器-评估器架构。我们的生成器采用基于注意力的编码器-解码器将句子从源风格转换为目标风格。我们的评估者是一个经过对抗训练的风格测试者,具有语义和句法约束,对生成的句子进行风格,意义保留和流畅性的评分。两个不同的风格转移任务(情感转移和正式转移)的实验结果表明,我们的模型优于国家的最先进的方法。此外,我们进行了手动评估,证明了所提出的方法的有效性,使用生成的文本质量的主观指标。
2019-04-08 cs.CL
VAE based Text Style Transfer with Pivot Words Enhancement Learning
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon Alexa AI(亚马逊 Alexa AI)
文本风格转换(TST)的目的是将源文本的底层风格改变为另一种特定的风格,同时保持相同的内容。由于缺乏高质量的并行训练数据,无监督学习已成为TST任务的发展方向。本文提出了一种新的基于变分自变编码器(VAE)的文本风格转换与pivOt词增强学习(VT-STOWER)方法,该方法利用变分自编码器(VAE)和外部风格嵌入来联合学习语义和风格分布。此外,我们还引入了主元词学习,用于学习特定风格的决定性词,从而进一步提高风格迁移的整体性能。建议的VT-STOWER可以扩展到不同的TST场景,给出非常有限的和非并行的训练数据,具有新颖和灵活的风格强度控制机制。实验表明,VT-STOWER优于国家的最先进的情感,正式和代码转换TST任务。
2021-12-06 cs.CL
Nearest Neighbor Language Models for Stylistic Controllable Generation
University of Marburg(马尔堡大学);The Hessian Center for Artificial Intelligence (Hessian.AI)(黑森人工智能中心(Hessian.AI))
最近的语言建模性能已大大提高了使用外部存储器。该存储器对上下文进行编码,以便在解码期间可以调用类似的上下文。这种相似性取决于模型如何学习编码上下文,可以更改上下文以包含其他属性,例如样式。我们为此目的构建和评估一个架构,使用语料库注释礼貌,正式和毒性。通过大量的实验和人工评估,我们证明了我们的方法在控制风格的同时生成文本的潜力。我们发现,特定于风格的数据存储提高了生成性能,尽管不同风格的结果差异很大,预训练数据和特定风格的影响应该在未来的工作中进行探索。
2022-10-27 cs.CL
Dynamic Multi-Reward Weighting for Multi-Style Controllable Generation
University of Minnesota(明尼苏达大学)
本文研究多风格可控文本生成中的奖励组合问题,提出基于判别器梯度幅度的动态多奖励加权方法,在保持语言质量的同时优于静态加权,并验证其在2风格和3风格控制中的有效性。
2024-10-29 cs.CL
Cross-lingual Text Classification Transfer: The Case of Ukrainian
Technical University of Munich(慕尼黑工业大学)
本文针对乌克兰语文本分类语料匮乏问题,探索基于多语言编码器、翻译系统、大语言模型和语言适配器的跨语言迁移方法,并在毒性、正式度和NLI任务上给出最优配置方案。
2025-02-04 cs.AI cs.CL
Domain Adaptive Text Style Transfer
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
无需并行数据的文本风格转换已经取得了一些实际成功。然而,在可用数据较少的情况下,这些方法可能会产生较差的性能。在本文中,我们研究领域自适应的文本风格转移,利用大量可用的数据从其他领域。这些数据可能表现出领域转移,这阻碍了利用这些数据进行训练的益处。为了解决这一挑战,我们提出了简单而有效的域自适应文本样式传输模型,使域自适应信息交换。所提出的模型可能从源域学习:(i)区分风格化信息和通用内容信息;(ii)最大限度地保留内容信息;以及(iii)以域感知的方式自适应地传输样式。我们评估两个风格的转移任务(情感和形式)在多个目标领域,只有有限的非并行数据可用的模型。大量的实验证明了该模型的有效性相比,基线。
2019-08-25 cs.CL
Exploiting Social Media Content for Self-Supervised Style Transfer
Saarland University(萨尔兰大学);DFKI GmbH(德国人工智能研究中心)
最近关于风格转换的研究受到无监督神经机器翻译(UNMT)的启发,通过利用循环一致性损失,反向翻译和去噪自动编码器从大量非并行数据中学习。相比之下,使用自监督NMT(SSNMT),它利用隐藏在非并行数据中的(近)并行实例比UNMT更有效,尚未被探索用于风格转换。在本文中,我们提出了一种新的自监督风格转移(3ST)模型,该模型使用UNMT方法增强SSNMT,以识别和有效利用非并行社交媒体帖子中的监督信号。我们比较3ST与国家的最先进的(SOTA)风格的传输模型在民间改写,正式和极性的任务。我们表明,3ST能够最好地平衡三个主要目标(流畅性,内容保存,属性传输准确性),在自动和人工评估的测试任务中,其平均性能优于SOTA模型。
2022-05-18 cs.CL
StyleRemix: Interpretable Authorship Obfuscation via Distillation and Perturbation of Style Elements
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
针对现有LLM作者身份混淆方法缺乏可解释性和稳健性的问题,提出StyleRemix方法,利用预训练LoRA模块扰动细粒度风格要素进行自适应重写,并发布AuthorMix和DiSC数据集,在自动与人工评估中超越基线及更大模型。
2024-08-28 cs.CL
Conversation Style Transfer using Few-Shot Learning
AWS AI Labs(亚马逊云科技人工智能实验室)
本文将对话风格迁移建模为少样本学习问题,提出以无风格对话为枢轴的上下文学习方法,利用多轮上下文提升风格匹配、适当性和语义正确性,并证明其能提升下游意图分类任务的F1分数。
2023-09-21 cs.CL
Limits of n-gram Style Control for LLMs via Logit-Space Injection
University of Colorado Boulder(科罗拉多大学波德沃分校)
通过logit空间注入n-gram风格先验实现轻量级风格控制,但效果受限于低lambda值范围,且不如提示和LoRA有效。
2026-01-12 cs.CL
StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing
Wuhan University(武汉大学);Tsinghua University(清华大学)
本文提出StoryTrans模型,利用话语表示和可学习风格嵌入实现非平行故事作者风格迁移,并通过掩码-填充框架增强内容保留,实验证明其性能优于强基线。
2023-05-15 cs.CL
Style-Specific Neurons for Steering LLMs in Text Style Transfer
School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning(慕尼黑机器学习中心);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
针对零样本TST中LLM直接复制输入、风格改变不足的问题,提出sNeuron-TST,通过识别并停用源风格神经元并结合改进对比解码,在六个基准上提升风格多样性与流畅度。
2024-10-01 cs.CL
LMStyle Benchmark: Evaluating Text Style Transfer for Chatbots
Carnegie Mellon University(卡内基梅隆大学)
本文提出LMStyle基准,用于自动评估聊天式文本风格转换,引入适当性指标,实验显示其与人类判断相关性更高,并提供了LLaMA等模型的评估结果。
2024-03-13 cs.CL
Generic resources are what you need: Style transfer tasks without task-specific parallel training data
University of Groningen(格罗宁根大学)
风格转换的目的是将源文本改写为不同的目标风格,同时保留其内容。我们提出了一种新的方法来完成这项任务,该方法利用通用资源,并且在不使用任何特定于任务的并行(源-目标)数据的情况下,在两个最流行的风格转换任务上优于现有的无监督方法:形式转换和极性交换。在实践中,我们采用了一个多步骤的过程,它建立在一个通用的预训练序列到序列模型(BART)。首先,我们通过在现有的通用释义集合以及使用通用词汇资源创建的合成对上进一步预训练BART来加强模型的重写能力。其次,通过迭代反向转换方法,我们训练两个模型,每个模型都在一个转移方向上,这样它们就可以在训练过程中动态地为彼此提供合成生成的对。最后,我们让我们最好的reresult模型生成静态合成对,用于监督训练机制。除了方法和最先进的结果,这项工作的核心贡献是对我们所处理的两项任务的性质的反思,以及它们对我们方法的反应如何突出它们的差异。
2021-09-09 cs.CL
Exploring Linguistic Style Matching in Online Communities: The Role of Social Context and Conversation Dynamics
University of Michigan(密歇根大学)
本研究针对Reddit在线社区,基于功能词与正式度两类风格分析大规模双方对话语料,考察多种社会因素下语言风格匹配(LSM)的水平差异及用户被封禁后LSM的变化,揭示其与社区指标的关联及对理解社区动态的价值。
2023-08-26 cs.CL
Contextual Text Style Transfer
Microsoft(微软);University of Washington(华盛顿大学)
我们引入了一个新的任务,上下文文本风格转换-翻译一个句子到一个所需的风格与其周围的上下文考虑。这给现有的风格转换方法带来了两个关键挑战:($i$)如何在转换过程中保持目标句子的语义及其与周围上下文的一致性;($ii$)如何用有限的带有上下文的标记数据训练一个鲁棒的模型。为了实现高质量的风格传输与自然的上下文保护,我们提出了一个上下文感知的风格传输(CAST)模型,它使用两个单独的编码器为每个输入句子及其周围的上下文。进一步训练分类器以确保所生成的句子的上下文一致性。为了弥补并行数据的不足,引入了额外的自重建和反向翻译损失,以半监督的方式利用非并行数据。针对正式性风格和攻击性风格的迁移,引入了Enron-Context和Reddit-Context两个新的测试基准。在这些数据集上的实验结果表明,所提出的CAST模型在风格准确性、内容保留和上下文一致性度量方面优于最先进的方法。
2020-04-30 cs.CL cs.LG
A Review of Text Style Transfer using Deep Learning
Faculty of Computer Science and Engineering, Ss. Cyril and Methodius University - Skopje(圣西里尔和美多德大学斯科普里计算机科学与工程学院)
风格是句子的一个组成部分,由一个人所用的词来表示。不同的人有不同的表达方式,然而,他们会根据社会背景、听众、对话者或场合的正式程度来调整自己的说话和写作风格。语篇风格转换是指在保持原句子意义的同时,对句子的写作风格进行调整和/或改变。本文对基于深度学习的文本风格转换方法进行了系统的综述。我们指出了深度神经网络的技术进步,这些技术进步一直是自然语言理解和生成领域当前成功背后的驱动力。文章围绕文本风格迁移过程中的两个关键阶段展开,即表示学习和新风格的句子生成。讨论强调了拟议解决方案之间的共同点和差异,以及预计将指导和促进该领域进一步研究的挑战和机遇。
2021-09-30 cs.AI cs.CL
ICLEF: In-Context Learning with Expert Feedback for Explainable Style Transfer
Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所)
本文提出 ICLEF 方法,通过结合上下文学习与模型自我批判来整合稀缺专家反馈,用于生成高质量可解释风格迁移数据集,使微调后的学生模型在可解释风格迁移任务中优于或媲美教师模型。
2024-06-17 cs.CL
TextSETTR: Few-Shot Text Style Extraction and Tunable Targeted Restyling
University of Rochester(罗切斯特大学);Google Research(谷歌研究院);Stanford University(斯坦福大学)
我们提出了一种新的方法来解决文本风格迁移的问题。与以前的方法需要样式标记的训练数据,我们的方法利用现成的未标记的文本,依靠在相邻的句子之间的风格的隐式连接,并使用标记的数据只在推理时间。我们调整T5(Raffel等人,2020),一个强大的预训练文本到文本模型,从文本中提取样式向量,并使用它来调节解码器以执行样式传输。由于我们的无标签训练产生了一个对风格的许多方面进行编码的风格向量空间,因此我们将传输转换为“目标重新造型”向量操作,这些操作调整输入的特定属性,同时保留其他属性。我们证明,在未标记的亚马逊评论数据上进行训练,即使与完全在标记数据上训练的模型相比,也会产生一个在情感转移方面具有竞争力的模型。此外,将我们的新方法应用于未标记的Web文本的多样化语料库,导致单个模型能够沿着风格的多个维度(方言,情感,正式,礼貌,情感)进行转移,尽管没有额外的训练,并且在推理时只使用少数样本。
2021-06-23 cs.CL cs.LG
A Survey of Text Style Transfer: Applications and Ethical Implications
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文综述了文本风格迁移(TST)在传统语言学与深度学习方法下的应用,探讨其当前挑战、未来方向及伦理影响,呼吁研究界关注应用视角与伦理考量。
2024-07-23 cs.CL
From Style to Facts: Mapping the Boundaries of Knowledge Injection with Finetuning
Google Research(谷歌研究院);University of California, Berkeley(加利福尼亚大学伯克利分校)
本文通过大规模实验研究Gemini v1.5微调,揭示数据格式、信息类型和推理需求等因素决定了知识注入的难度,并论证任务定制与知识注入并无本质区别。
2025-03-07 cs.CL cs.LG
Learning from Bootstrapping and Stepwise Reinforcement Reward: A Semi-Supervised Framework for Text Style Transfer
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
文本风格迁移是可控语言生成中的一项重要任务。监督方法已经推动了面向风格的重写的性能改进,如形式转换。然而,由于许多领域缺乏大规模并行数据,挑战仍然存在。虽然无监督方法不依赖于每种风格的注释句子对,但它们经常受到不稳定性问题的困扰,例如模式坍塌或质量下降。为了利用监督和无监督范式并应对挑战,在这项工作中,我们提出了一个半监督的文本风格转换框架。首先,学习过程是引导与监督指导自动构建的伪并行对使用基于词汇和语义的方法。然后,模型通过强化奖励从未标记的数据中学习。具体来说,我们建议通过逐步奖励优化来提高序列到序列的策略梯度,提供细粒度的学习信号并稳定强化学习过程。实验结果表明,该方法在多个数据集上具有最佳的性能,并且仅需10%的训练数据就能产生有效的生成结果.
2022-05-19 cs.AI cs.CL
Don't lose the message while paraphrasing: A study on content preserving style transfer
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学智能技术卓越研究中心(CiTIUS));Mobile TeleSystems (MTS)(移动电信系统公司(MTS));Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI))
本文构建带语义槽标注的任务导向对话平行数据集,评估多种正式性风格迁移模型的内容保持能力,并改进无监督方法 LEWIS,显著优于原方法和基线。
2023-08-17 cs.CL
Style is NOT a single variable: Case Studies for Cross-Style Language Understanding
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
每个自然文本都是以某种风格编写的。文体是由不同的文体因素复杂组合而成的,包括形式标记、情感、隐喻等,不考虑这些因素就不能对语篇形成完整的理解。这些因素以复杂的方式结合并共同变化,形成风格。研究共变组合的性质有助于了解一般的风格语言,有时称为跨风格语言理解。本文提供了基准语料库(xSLUE),结合现有的数据集,并收集了一个新的一级跨风格的语言理解和评估。该基准包含15种不同风格的文本,根据提出的四个理论分组:比喻,个人,情感和人际群体。为了有效的评估,我们通过在同一文本上注释所有15种样式来收集额外的诊断集。使用xSLUE,我们提出了三个有趣的跨风格的应用程序在分类,相关性和生成。首先,我们提出的交叉风格分类器与多种风格一起训练,有助于提高整体分类性能对单独训练的风格分类器。其次,我们的研究表明,在人类书面语篇中,一些风格之间存在高度依赖性。最后,我们发现,一些矛盾的风格的组合可能会产生文体不太合适的文本。我们相信我们的基准和案例研究有助于探索跨风格研究的有趣未来方向。预处理的数据集和代码是公开的。
2021-06-02 cs.AI cs.CL cs.LG
Non-Parallel Text Style Transfer with Self-Parallel Supervision
Dartmouth College(达特茅斯学院);Northwestern University(西北大学);University of Texas, Austin(德克萨斯大学奥斯汀分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
现有的文本风格转换模型的性能受到训练模型的非并行数据集的严重限制。在非平行数据集中,源语言和目标语言风格的句子之间不存在直接映射,因此风格迁移模型在训练过程中只接受目标语言的弱监督,这往往导致模型丢弃太多与风格无关的信息,或者完全无法迁移风格。在这项工作中,我们提出了LaMer,一个新的文本风格转换框架的基础上大规模的语言模型。LaMer首先利用场景图挖掘非并行数据集中的大致并行表达式,然后采用MLE训练,然后进行模仿学习细化,以利用数据中的内在并行性。在两个基准任务(情感和形式转移)和一个新提出的具有挑战性的任务(政治立场转移)上,我们的模型在转移准确性,内容保留和流畅性方面取得了质的进步。进一步的经验和人工评估表明,我们的模型不仅使训练更有效,而且比以前的模型生成更可读和更多样化的表达式。
2022-04-18 cs.AI cs.CL cs.LG
HyperStyler: Low-resource Authorship Style Transfer via Context-aware Style Navigation and Hypernetworks
UNIST(蔚山国家科学技术研究所);POSTECH(浦项科技大学);POSCO Holdings Inc.(浦项控股公司)
HyperStyler通过解耦风格选择与实现的架构,在低资源作者风格迁移任务中,以仅增2.4%参数的规模实现优于现有方法的性能,且推理速度比LLM快1.8倍以上。
2026-09-03 cs.CL
A Probabilistic Formulation of Unsupervised Text Style Transfer
Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校)
我们提出了一个用于无监督文本样式传输的深度生成模型,该模型统一了先前提出的非生成技术。我们的概率方法模型的非并行数据从两个域作为一个部分观察到的并行语料库。通过假设生成每个观察序列的并行潜在序列,我们的模型学习以完全无监督的方式将序列从一个域转换到另一个域。与传统的生成序列模型(例如HMM)相比,我们的模型对它生成的数据做了很少的假设:它使用递归语言模型作为先验,使用编码器-解码器作为转换分布。虽然计算边际数据的可能性是棘手的,在这个模型类中,我们摊销变分推理承认一个实际的代理。此外,通过绘制我们的变分目标和其他最近的无监督风格转换和机器翻译技术之间的联系,我们展示了我们的概率观点如何统一一些已知的非生成目标,如反向翻译和对抗损失。最后,我们证明了我们的方法在广泛的无监督风格迁移任务上的有效性,包括情感迁移,形式迁移,单词破译,作者模仿和相关语言翻译。在所有的风格转换任务中,我们的方法比最先进的非生成基线产生了实质性的收益,包括我们的方法推广的最先进的无监督机器翻译技术。此外,我们在标准的无监督机器翻译任务上进行实验,发现我们的统一方法与当前最先进的方法相匹配。
2020-04-29 cs.CL cs.LG
DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision
The Pennsylvania State University(宾夕法尼亚州立大学)
该研究推出DecisionRobust基准,评估跨文本与视觉的JEV风格决策模型的鲁棒性,通过多种攻击测试30种文本模型和17种视觉模型配置,发现模型鲁棒性因任务和攻击类型而异,标签一致性检查可降低攻击成功率。
2026-10-15 cs.CL
Adapting Language Models for Non-Parallel Author-Stylized Rewriting
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校);Adobe Research(奥多比研究院)
鉴于最近的进展,在语言建模中使用基于transformer的神经模型和积极的兴趣,在生成风格化的文本,我们提出了一种方法,利用泛化能力的语言模型重写输入文本的目标作者的风格。我们提出的方法采用预训练的语言模型,通过使用级联编码器-解码器框架中的去噪自动编码器(DAE)损失对作者特定的语料库进行微调来生成作者风格化的文本。通过对DAE损失进行优化,我们的模型可以在不依赖并行数据的情况下学习作者风格的细微差别,这是该领域以前相关工作的严重限制。为了评估我们的方法的有效性,我们提出了一个语言动机的框架来量化生成的文本的风格对齐目标作者在词汇,句法和表面水平。评估框架是可解释的,因为它导致了关于模型的几个见解,并且是自包含的,因为它不依赖于外部分类器,例如情感或形式分类器。定性和定量评估表明,所提出的方法重写输入文本与目标风格更好地对齐,同时保留原始内容比国家的最先进的基线。
2020-10-31 cs.CL cs.LG
Passing the Test You Trained On: Re-evaluating Prompt-Injection Detectors for LLM Agents
Japan Advanced Institute of Science and Technology (JAIST)(日本北陆先端科学技术大学院大学)
本研究重新评估了LLM智能体的提示注入检测器,发现公共基准得分无法预测其在智能体中的实际表现,排名迁移性差,建议部署评估应使用智能体自身工具输出并审计训练数据。
2026-10-05 cs.CL cs.CR
MIRAGE: Context-Aware Prompt Injection against Mobile GUI Agents via User-Generated Content
Griffith University(格里菲斯大学);Quantstamp;Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理学院);University of New South Wales(新南威尔士大学);Wake Forest University(威克森林大学);Independent Researcher(独立研究者)
提出MIRAGE管道,通过将攻击者控制的文本嵌入用户生成内容区域,在不修改代理、应用或操作系统的情况下,对视觉语言模型驱动的移动GUI代理实现高成功率的提示注入攻击。
2026-05-27 cs.AI cs.CL cs.CR
Two are better than one: Context window extension with multi-grained self-injection
Singapore University of Technology and Design(新加坡科技设计大学);Skywork AI(天工AI);Singapore Management University(新加坡管理大学)
针对 LLM 上下文窗口有限而长上下文持续预训练成本高昂的问题,本文提出 SharedLLM,用两个短上下文模型协同实现多粒度压缩、查询感知检索与自注入。
2024-10-25 cs.AI cs.CL cs.LG