Plan-then-Generate: Controlled Data-to-Text Generation via Planning
University of Cambridge(剑桥大学);Apple(苹果公司)
神经网络的最新发展导致了数据到文本生成的进步。然而,神经模型缺乏控制生成的输出结构的能力,这在某些现实世界的应用中可能是有限的。在这项研究中,我们提出了一种新的计划然后生成(PlanGen)框架,以提高神经数据到文本模型的可控性。在两个基准数据集ToTTo和WebNLG上进行了大量的实验和分析。结果表明,我们的模型能够控制生成的输出的句内和句间结构。此外,与以前的国家的最先进的方法的实证比较表明,我们的模型提高了生成质量以及输出多样性判断的人类和自动评估。
2021-08-31 cs.CL
LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent AI Lab(腾讯AI Lab)
提出 LIFI 方法,利用连续、相对且非互斥的细粒度控制码结合 adapters,在少量标注和大量未标注数据上实现轻量级受控文本生成,在情感、主题控制和风格化小说写作任务上显著优于基线。
2024-02-10 cs.CL
Improving User Controlled Table-To-Text Generation Robustness
University of Edinburgh(爱丁堡大学);The Hong Kong Polytechnic University(香港理工大学)
在这项工作中,我们研究了用户控制的表到文本的生成,用户探索的内容在一个表中选择单元格和阅读的自然语言描述自动产生的自然语言发生器。这样的生成模型通常从仔细选择的单元选中单元组合(干净单元选择)学习;然而,在实践中,用户可能选择意外的、冗余的或不相干的单元组合(有噪声的单元选择)。在实验中,我们发现,模型表现良好的测试集来自相同的分布作为训练数据,但其性能下降时,现实的嘈杂的用户输入进行评估。我们提出了一个微调制度,额外的用户模拟嘈杂的细胞选择。使用所提出的机制进行微调的模型在用户嘈杂的测试用例中获得4.85个BLEU点,在干净的测试用例中获得1.4个BLEU点;并在ToTTo数据集上实现了相当的最先进性能。
2023-02-20 cs.CL
PREADD: Prefix-Adaptive Decoding for Controlled Text Generation
UC Berkeley(加州大学伯克利分校)
PREADD 通过对比原始提示与带前缀提示的输出 logits 实现无需外部模型的受控文本生成,在毒性缓解、去偏和情感控制任务上相对增益超 12%。
2023-07-06 cs.CL
Controlled Hallucinations: Learning to Generate Faithfully from Noisy Data
Google Research(谷歌研究院)
当训练数据丰富时,神经文本生成(数据或文本到文本)表现出显着的性能,而许多应用程序并非如此。为了收集大量的并行数据,通常使用启发式规则,但它们不可避免地将噪声带入数据中,例如输出中的短语无法由输入解释。因此,模型会接收到噪音,并可能产生幻觉-生成流畅但不受支持的文本。我们的贡献是一个简单但功能强大的技术来处理这样的幻觉作为一个可控的方面生成的文本,而不驳回任何输入,而不修改模型架构。在WikiBio语料库上(Lebret等人,2016),一个特别嘈杂的数据集,我们证明了该技术在自动和人工评估中的有效性。
2020-10-12 cs.CL
BOLT: Fast Energy-based Controlled Text Generation with Tunable Biases
University of Michigan(密歇根大学)
提出BOLT方法,通过可调偏置直接调整语言模型输出logits并保持自回归特性,在受控文本生成任务中实现更快的收敛速度与更高的生成效率及流畅性。
2023-05-19 cs.CL
WikiIns: A High-Quality Dataset for Controlled Text Editing by Natural Language Instruction
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室);Schools of Electronic Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
针对现有受控文本编辑数据集指令信息不足的问题,研究者构建并发布了高质量数据集WikiIns,包含多类标注数据及自动生成的大规模银标训练集,并开展了相关分析以助力文本编辑研究。
2023-10-08 cs.CL
Controlled Text Generation via Language Model Arithmetic
ETH Zurich(苏黎世联邦理工学院)
本研究提出无需训练的模型算术推理框架,可组合调控大语言模型实现精准受控文本生成,兼容推测采样实现高效推理,在毒性降低任务上性能优于现有方法并已开源。
2026-10-14 cs.CL
Sequentially Controlled Text Generation
Bloomberg(彭博)
虽然GPT-2生成的句子非常像人类,但较长的文档可能会漫无边际,并且不遵循类似人类的写作结构。我们研究的问题强加结构的长距离文本。我们提出了一种新的受控文本生成任务,顺序控制的文本生成,并确定一个数据集,NewsDiscourse作为这个任务的起点。我们开发了一个具有生成和编辑功能的顺序控制文本生成管道。我们测试不同程度的结构意识,并表明,在一般情况下,更多的结构意识的结果更高的控制准确性,语法,连贯性和话题性,接近人类水平的写作表现。
2023-01-05 cs.AI cs.CL cs.LG
Palette of Language Models: A Solver for Controlled Text Generation
China Mobile Research Institute(中国移动研究院)
针对多属性受控文本生成中线性组合单属性模型易忽视重叠并引发冲突的问题,提出基于全概率定律与条件互信息最小化的 Palette of Language Models 组合策略。
2025-03-14 cs.CL
CTRLEval: An Unsupervised Reference-Free Metric for Evaluating Controlled Text Generation
Tsinghua University(清华大学);Tencent Inc.(腾讯公司);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院)
现有的无参考指标在评估受控文本生成模型时有明显的局限性。非监督度量只能提供与任务无关的评估结果,与人类判断弱相关,而监督度量可能过度拟合特定于任务的数据,对其他数据集的泛化能力较差。在本文中,我们提出了一个无监督的无参考度量称为CTRLEval,从不同的方面制定成多个文本填充任务的每个方面来评估控制的文本生成。在这些任务之上,度量从预训练的语言模型组装生成概率,而无需任何模型训练。实验结果表明,我们的度量有更高的相关性与人类的判断比其他基线,同时获得更好的泛化评估生成的文本从不同的模型和不同的质量。
2022-12-05 cs.AI cs.CL
Output Composability of QLoRA PEFT Modules for Plug-and-Play Attribute-Controlled Text Generation
ADAPT, Dublin City University Dublin, Ireland(ADAPT,都柏林城市大学都柏林,爱尔兰)
本文研究了通过多任务数据集训练、推理时组合PEFT模块权重及输出三种方法,发现输出求和在情感、主题和多属性控制中表现优异,平均提升2个百分点。
2026-05-12 cs.CL
Tailor: A Prompt-Based Approach to Attribute-Based Controlled Text Generation
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团)
基于属性的受控文本生成(CTG)是指生成满足期望属性(例如,情感和主题)。现有的作品往往利用微调或诉诸额外的属性分类器,但遭受存储和推理时间的增加。为了解决这些问题,我们探索基于属性的CTG在一个基于属性的方式。简而言之,所提出的Tailor将每个属性表示为预先训练的连续向量(即,单属性提示),并引导生成固定的PLM开关到预先指定的属性。我们的实验发现,这些提示可以简单地连接作为一个整体,多属性CTG没有任何重新训练,但提出的问题,流畅性下降和位置敏感性。为此,Tailor提供了一个多属性提示掩码和一个重新索引的位置ID序列,以弥合训练(每个任务一个提示)和测试阶段(连接多个提示)之间的差距。为了进一步增强这种单属性提示组合,Tailor还引入了一个可训练的提示连接器,它可以与任何两个单属性提示连接到多属性文本生成。在GPT-2的训练参数为0.08%的情况下,对11个属性特定生成任务的实验表明,Tailor在单属性和多属性CTG上都有很好的性能.
2022-04-28 cs.CL
A Comparative Study of Controlled Text Generation Systems Using Level-Playing-Field Evaluation Principles
Dublin City University(都柏林城市大学)
本文通过统一评估方法比较不同受控文本生成系统,发现其性能差异显著,强调标准化评估的重要性。
2026-05-12 cs.CL
An Invariant Learning Characterization of Controlled Text Generation
Columbia University(哥伦比亚大学);FAR AI(FAR AI研究院)
本文将分布偏移下的受控文本生成刻画为不变学习问题,提出跨文本环境保持不变的预测器及环境选择启发式,并通过合成与真实实验验证其潜力。
2023-05-31 cs.CL cs.LG
FUDGE: Controlled Text Generation With Future Discriminators
UC Berkeley(加州大学伯克利分校)
我们提出了未来的鉴别器生成(FUDGE),一个灵活的和模块化的方法控制的文本生成。给定用于从兴趣分布生成文本的预先存在的模型G,FUDGE使得能够对期望的属性a(例如,形式)进行调节,同时仅需要访问G的输出logits。FUDGE学习对部分序列进行操作的属性预测器,并使用该预测器的输出来调整G的原始概率。我们表明,FUDGE模型的条款对应的贝叶斯分解的条件分布的G给定属性a。此外,FUDGE可以很容易地组成多个所需的属性的预测。我们在三个任务上评估FUDGE--诗歌中的对联完成,语言生成中的主题控制,以及机器翻译中的形式变化--并观察所有三个任务的收益。
2021-08-15 cs.CL cs.LG
Fact-Controlled Diagnosis of Hallucinations in Medical Text Summarization
AmazonUSA(亚马逊公司)
本文针对医疗对话摘要中的幻觉问题,构建了事实控制与自然两类数据集,开发了基于事实计数且具可解释性的LLM检测器,有效泛化至真实临床幻觉检测。
2025-05-31 cs.CL
Controlled Text Generation using T5 based Encoder-Decoder Soft Prompt Tuning and Analysis of the Utility of Generated Text in AI
Queen Mary University of London(伦敦玛丽女王大学)
受控文本生成是自然语言处理领域的一个重要课题,具有广阔的应用前景。为了实现这一任务,我们主要介绍了新的软提示微调的方法,使用软提示在编码器和解码器的水平在T5模型和研究的性能作为一个额外的软提示的行为相关的T5模型的解码器在受控文本生成仍然是未知的。然后,我们还研究了在解码器级别引导这种扩展的软提示T5模型的输出的可行性,最后分析了生成的文本在AI相关任务中的实用性,例如通过对用合成文本训练的分类器进行可解释性分析来训练AI模型,因为缺乏对生成正确标记的数据的方法的适当分析,这些数据将用于AI任务。通过对该生成模型以及人工生成的数据进行深入的内在和外在评估,我们发现,与在编码器级别具有单个软提示的T5模型相比,该模型产生了更好的结果,并且使用该人工生成的数据训练的情感分类器可以产生与使用真实标记数据训练的分类器的结果相当的分类结果,并且分类器该决定相对于输入文本内容是可解释的。
2022-12-06 cs.CL cs.LG
ToTTo: A Controlled Table-To-Text Generation Dataset
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);Georgia Tech(佐治亚理工学院)
我们提出了ToTTo,一个开放领域的英语表到文本数据集,有超过120,000个训练样本,提出了一个控制生成任务:给定一个维基百科表和一组突出显示的表单元格,产生一个句子的描述。为了获得生成的目标是自然的,但也忠实于源表,我们引入了一个数据集的建设过程中,注释者直接修改现有的候选句子从维基百科。我们对我们的数据集和注释过程进行了系统的分析,以及通过几个最先进的基线实现的结果。虽然通常很流畅,但现有的方法经常会出现表格不支持的短语,这表明该数据集可以作为高精度条件文本生成的有用研究基准。
2020-10-06 cs.CL cs.LG
CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning
Alibaba Group(阿里巴巴集团)
本文主要研究广告文本的自动生成,目标是使生成的文本能够捕捉用户的兴趣,从而获得更高的点击率。我们提出了CREATER,一个点击率驱动的广告文本生成方法,基于高质量的用户评论生成广告文本。为了融入CTR目标,我们的模型使用对比学习从在线A/B测试数据中学习,这鼓励模型生成获得更高CTR的广告文本。为了缓解低资源问题,我们设计了一个自定义的自监督目标,减少了预训练和微调之间的差距。在工业数据集上的实验表明,CREATER显著优于当前的方法。它已被部署在一个领先的广告平台上,并带来了核心在线指标的提升。
2022-05-18 cs.CL cs.IR
Efficient Reinforcement Learning for Unsupervised Controlled Text Generation
受控文本生成任务,如无监督文本风格转换,越来越多地采用强化学习(RL)。将RL应用于此类任务的一个主要挑战是稀疏奖励,只有在生成全文后才可用。稀疏的奖励,加上大的动作空间,使得RL训练样本效率低下,难以收敛。最近提出的旨在解决这一问题的奖励形成战略所取得的成果微不足道。相比之下,这项工作提出了一种新的方法,为每个生成的令牌提供密集的奖励。我们评估我们的方法在无监督的文本风格转移的使用。在数据集上平均,我们的风格转换系统在当前最先进的系统上提高了21%的人工评估和12%的自动评估。在与当前的奖励塑造方法(“推出策略”)进行消融比较后,基于人类评估,使用密集奖励将整体风格转移质量提高了22%。此外,RL训练是样本效率的2.5倍,速度快7倍。
2022-04-16 cs.AI cs.CL
PCFG-based Natural Language Interface Improves Generalization for Controlled Text Generation
Johns Hopkins University(约翰斯·霍普金斯大学);MIT(麻省理工学院);University of Washington(华盛顿大学)
现有的工作控制文本生成(CTG)假设一个控制接口的分类属性。在这项工作中,我们提出了一个自然语言(NL)的接口,我们工艺PCFG嵌入控制属性到自然语言命令,并提出了现有的CTG模型,以命令作为输入的变体。在我们的实验中,我们设计了定制的设置来测试模型的泛化能力。我们发现我们的基于PCFG的命令生成方法是有效的处理看不见的命令相比,固定设置的模板,我们提出的NL模型可以有效地推广到看不见的属性,NL接口启用的新功能,以及看不见的属性组合。有趣的是,我们发现,简单的条件生成方法,增强了我们提出的NL接口,是一个强大的基线,在这些具有挑战性的设置。
2022-10-14 cs.CL cs.LG
Fine-grained Sentiment Controlled Text Generation
IIT Kharagpur(印度理工学院卡拉格布尔分校)
受控文本生成技术旨在调节特定属性(例如情感),同时保留属性独立内容。最先进的方法将指定属性建模为结构化或离散表示,同时使内容表示独立于它以实现更好的控制。然而,将文本表示分解为单独的潜在空间忽略了内容和属性之间的复杂依赖关系,导致生成结构不良且没有意义的句子。此外,这种方法无法对属性变化的程度提供更精细的控制。为了解决这些问题的控制文本生成,在本文中,我们提出了DE-VAE,一个分层的框架,捕获信息丰富的纠缠表示和属性特定的解纠缠表示在不同的层次结构。DE-VAE实现了更好地控制情感作为一个属性,同时通过学习一个合适的无损转换网络从解纠缠的情感空间到所需的纠缠表示保留内容。DE-VAE通过对解纠缠表示的单个维度进行特征监督,将情感的变化映射到一个连续的空间,这有助于平滑地调节情感从积极到消极,反之亦然。在三个公开的评论数据集上的详细实验表明,DE-VAE优于最近的最先进的方法。
2020-06-17 cs.CL cs.LG
Controlled Text Generation for Data Augmentation in Intelligent Artificial Agents
Amazon Alexa AI(亚马逊Alexa AI)
数据可用性是智能人工代理新功能开发早期阶段的瓶颈。我们研究使用文本生成技术来增加训练数据的一个流行的商业人工代理跨类别的功能,以更快地开发新的功能的目标。我们探索了各种编码器-解码器生成模型的合成训练数据生成,并提出使用条件变分自动编码器。我们的方法只需要直接优化,工程以及有限的数据和显着优于以前的控制文本生成技术。此外,生成的数据被用作额外的训练样本在一个外在的意图分类任务,导致提高性能高达5\%的绝对f分数在低资源的情况下,验证我们的方法的有用性。
2019-10-04 cs.CL cs.LG stat.ML
C$^3$TG: Conflict-aware, Composite, and Collaborative Controlled Text Generation
针对现有可控文本生成方法多属性控制难、属性冲突无协调、缺迭代优化的问题,本文提出两阶段框架C$^3$TG,无需修改模型即可实现多维度精准文本控制,多项指标优于基线。
2025-11-16 cs.AI cs.CL
Controlled Text Generation with Hidden Representation Transformations
University of California, Los Angeles(加州大学洛杉矶分校);Amazon Alexa AI(亚马逊Alexa人工智能);University of Southern California(南加州大学)
本文提出 CHRT 框架,通过学习隐藏表示变换并结合对比学习实现多属性受控文本生成,在去毒化、情感引导和文本简化任务中优于七个基线,且推理延迟仅增加 0.01 秒。
2023-05-31 cs.AI cs.CL
Instruct-SCTG: Guiding Sequential Controlled Text Generation through Instructions
University of Cambridge(剑桥大学);Monash University(莫纳什大学)
针对大语言模型生成文本难维持类人语篇结构的问题,提出序列式框架Instruct-SCTG,通过自然语言指令逐节生成结构连贯的文本,还提出语篇差异模糊衡量指标,在多数据集上实现最优性能。
2023-12-19 cs.AI cs.CL
CoCon: A Self-Supervised Approach for Controlled Text Generation
Nanyang Technological University(南洋理工大学);Amazon AI(亚马逊人工智能);Mila(米拉研究所);Polytechnique Montreal(蒙特利尔理工学院)
预训练的基于transformer的语言模型(LM)显示出卓越的自然语言生成能力。由于其巨大的潜力,控制这种LM的文本生成越来越受到关注。虽然有一些研究试图控制生成文本的高级属性(如情感和主题),但仍然缺乏对单词和短语级别的内容进行更精确的控制。在这里,我们建议内容调节器(CoCon)控制LM的输出文本与内容输入,在细粒度的水平。在我们的自我监督方法中,CoCon块通过调节LM保留的内容输入来学习帮助LM完成部分观察到的文本序列。通过实验,我们表明,CoCon可以自然地将目标内容纳入生成的文本和控制高层次的文本属性在一个zero-shot的方式。
2022-06-10 cs.CL cs.LG cs.NE
Controlled Cue Generation for Play Scripts
Boğaziçi University(海峡大学)
在本文中,我们使用了一个大规模的剧本数据集,提出了一个新的任务,戏剧线索生成的对话。使用超过100万行的对话和线索,我们接近的问题,线索生成作为一个受控的文本生成任务,并显示如何线索可以用来提高对话的影响,使用一个语言模型的条件下的对话/线索转换。此外,我们还探讨了主题关键字和情感的使用控制文本生成。大量的定量和定性实验表明,语言模型可以成功地用于生成合理的和属性控制的文本在高度专业化的领域,如剧本。辅助材料可在https://catlab-team.github.io/cuegen上找到。
2021-12-13 cs.AI cs.CL cs.LG
A Distributional Approach to Controlled Text Generation
Cairo University(开罗大学);Naver Labs Europe(NAVER欧洲实验室)
我们提出了一个分布式的方法来解决控制文本生成从预先训练的语言模型(LM)。这种方法允许指定,在一个单一的正式框架中,“逐点”和“分布”的约束,在目标LM -据我们所知,第一个模型与这种一般性-同时最大限度地减少KL发散从初始LM分布。最佳的目标分布,然后唯一地确定为一个明确的EBM(基于能量的模型)表示。从该最佳表示,然后我们通过策略梯度的自适应分布变体来训练目标控制的自回归LM。我们进行了第一组实验,逐点约束显示我们的方法的优势,在一组基线,在获得控制LM平衡约束满足与初始LM的发散。然后,我们进行实验的分布约束,我们的方法的一个独特的功能,证明其潜力作为一个补救措施的偏差问题的语言模型。通过消融研究,我们表明我们的自适应技术的有效性,以获得更快的收敛。(Code网址:https://github.com/naver/gdc)
2021-05-06 cs.AI cs.CL cs.LG
A Plug-and-Play Method for Controlled Text Generation
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
大型预训练的语言模型已经多次显示出它们生成流畅文本的能力。然而,即使从一个提示开始,生成也可以朝着许多看似合理的方向继续。当前的解码方法的目标是控制生成,例如,为了确保包括特定的单词,或者需要额外的模型或微调,或者当手头的任务在语义上不受约束时工作不佳,例如,故事世代在这项工作中,我们提出了一种即插即用的解码方法,用于控制语言生成,这是如此简单和直观,它可以用一句话来描述:给定一个主题或关键字,我们增加了一个转移到概率分布在我们的词汇语义相似的话。我们展示了如何退火这种分布可以用来强加硬约束语言生成,没有其他的即插即用的方法是目前能够与SOTA语言生成器。尽管这种方法很简单,但我们看到它在实践中表现得非常好:从GPT-2解码可以产生多样化和流畅的句子,同时保证给定引导词的外观。我们进行了两项用户研究,结果表明:(1)我们的方法在人类评估中优于竞争方法;(2)强制引导词出现在生成的文本中对生成的文本的流畅性没有影响。
2021-09-20 cs.AI cs.CL
Visual Spatial Description: Controlled Spatial-Oriented Image-to-Text Generation
Tianjin University(天津大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
图像到文本的任务,如开放式的图像描述和可控的图像描述,几十年来一直受到广泛的关注。在这里,我们进一步推进这一行的工作,提出视觉空间描述(VSD),一个新的角度,图像到文本的空间语义。给定一个图像和其中的两个对象,VSD的目标是产生一个描述,专注于两个对象之间的空间透视。因此,我们手动注释数据集,以方便新引入的任务的调查,并通过使用VL-BART和VL-T5作为骨干构建几个基准编码器-解码器模型。此外,我们调查管道和联合端到端架构,将视觉空间关系分类(VSRC)的信息到我们的模型。最后,我们在基准数据集上进行实验,以评估我们所有的模型。结果表明,我们的模型是令人印象深刻的,提供准确的和人性化的面向空间的文本描述。同时,VSRC对VSD也有很大的潜力,端到端的联合架构是它们集成的较好选择。我们将数据集和代码公开用于研究目的。
2022-10-26 cs.CL cs.CV
SongNet: Rigid Formats Controlled Text Generation
Tencent AI Lab(腾讯人工智能实验室)
神经文本生成在各种任务中取得了巨大的进展。大多数任务的一个共同特点是,文本在生成时不限于某些严格的格式。然而,我们可能会遇到一些特殊的文本范式,如歌词(假设乐谱是给定的),十四行诗,宋词(中国古典诗歌的宋代)等。这些文本的典型特征有三个方面:(1)它们必须完全遵守严格的预定格式。(2)他们必须遵守一些押韵方案。(3)虽然它们被限制在某些格式中,但必须保证句子的完整性。据我们所知,基于预定义的刚性格式的文本生成还没有得到很好的研究。因此,我们提出了一个简单而优雅的框架SongNet来解决这个问题。该框架的主干是一个基于transformer的自回归语言模型。符号集是量身定制的,以提高建模性能,特别是在格式,押韵和句子完整性方面。我们改进了注意力机制,促使模型捕捉一些未来的信息的格式。设计了预训练和微调框架,以进一步提高生成质量。在两个收集的语料库上进行的大量实验表明,我们提出的框架在自动度量和人类评价方面都产生了显着更好的结果。
2021-04-17 cs.CL cs.LG
Adapting a Language Model for Controlled Affective Text Generation
Indian Institute of Technology Kanpur (IITK)(印度理工学院坎普尔分校(IITK))
人类使用语言不仅是为了传递信息,也是为了表达自己的内心情感和精神状态。在这项工作中,我们采用了最先进的语言生成模型来生成情感(情感)文本。我们建立了一个模型,能够生成情感驱动和以主题为中心的句子,而不会随着情感强度的增加而失去语法正确性。我们建议将情感作为先验概率的最先进的文本生成模型,如GPT-2。该模型使用户能够灵活地控制情感的类别和强度以及生成的文本的主题。以前对细粒度情感建模的尝试在极端强度下会出现语法正确性问题,但我们的模型对此有弹性,并在所有强度下都能提供强大的结果。我们进行自动评估和人类研究来测试我们模型的性能,并将结果与其他模型进行详细比较。在所有的评价中,我们的模型优于现有的情感文本生成模型。
2020-11-08 cs.AI cs.CL cs.LG
SENSESHIFT: Continuous Sentiment-Controlled Text Generation via Encoder-based Mask Infilling
Johannes Kepler University Linz(约翰开普勒林茨大学);Thomson Reuters Labs(汤森路透实验室);University of Toronto(多伦多大学);Vector Institute(向量研究所)
该研究提出基于编码器的框架SenseShift,通过双向注意力等技术实现细粒度句子级情感控制文本生成,在故事与评论生成任务上,相比大解码器基线模型,情感可控性更强且文本质量与鲁棒性更优。
2026-08-26 cs.AI cs.CL
Robust (Controlled) Table-to-Text Generation with Structure-Aware Equivariance Learning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
受控的表到文本生成寻求为表的突出显示的子部分生成自然语言描述。以前的SOTA系统仍然采用序列到序列生成方法,该方法仅将表捕获为线性结构,并且在表布局改变时很脆弱。我们试图超越这种范式,(1)有效地表达表中内容片段的关系,(2)使我们的模型对内容不变的结构转换具有鲁棒性。因此,我们提出了一个等方差学习框架,它编码的表与结构感知的自我注意力机制。这将完整的自我注意力结构修剪成顺序不变的图注意力,该图注意力捕获属于同一行或列的细胞的连接图结构,并且从结构角度区分相关细胞和不相关细胞。我们的框架还修改了位置编码机制,以保持在同一个单元中的令牌的相对位置,但强制不同的细胞之间的位置不变性。我们的技术可以免费插入到现有的表格到文本生成模型中,并改进了基于T5的模型,以在ToTTo和HiTab上提供更好的性能。此外,在ToTTo的更硬版本上,我们保留了有希望的性能,而以前的SOTA系统,即使使用基于转换的数据增强,也会出现显着的性能下降。我们的代码可在https://github.com/luka-group/Lattice上获得。
2022-05-08 cs.AI cs.CL cs.LG
Plug and Play Language Models: A Simple Approach to Controlled Text Generation
Caltech(加州理工学院);HKUST(香港科技大学);Uber AI(优步AI)
基于transformer的大型语言模型(LM)在巨大的文本语料库上训练,显示出无与伦比的生成能力。然而,在不修改模型架构或对属性特定数据进行微调的情况下,控制生成语言的属性(例如切换主题或情感)是困难的,并且需要大量的再训练成本。我们提出了一个简单的替代方案:即插即用语言模型(PPLM)的可控语言生成,它结合了一个预先训练的LM与一个或多个简单的属性分类器,指导文本生成没有任何进一步的训练LM。在我们提出的规范场景中,属性模型是简单的分类器,由用户指定的词袋或单个学习层组成,其参数比LM少100,000倍。采样需要向前和向后传递,其中来自属性模型的梯度推动LM的隐藏激活,从而引导生成。模型样本展示了对一系列主题和情感风格的控制,广泛的自动化和人工注释评估显示了属性对齐和流畅性。PPLM是灵活的,任何组合的可微属性模型可以用来引导文本生成,这将允许不同的和创造性的应用超出本文给出的例子。
2020-03-03 cs.AI cs.CL cs.LG
Polysemy in Controlled Natural Language Texts
Institute of Mathematics and Computer Science, University of Latvia(拉脱维亚大学数学与计算机科学研究所)
计算语义学和基于逻辑的受控自然语言(CNL)没有系统地解决实词的词义消歧问题,即,他们倾向于只解释一些对构建话语表征结构至关重要的功能词。我们发现,微本体和多词单元允许整合的丰富和多义的多领域背景知识到CNL,从而提供解释的内容词。该方法通过扩展Attempto控制英语(ACE)与多义和程序结构,从而产生一个更自然的CNL命名为PAO覆盖叙事多域文本。
2015-11-20 cs.CL
Controlled Text Generation for Large Language Model with Dynamic Attribute Graphs
Renmin University of China(中国人民大学);Nankai University(南开大学);Institute for Advanced Algorithms Research (Shanghai)((上海)高级算法研究院)
提出DATG框架,利用动态属性图调节关键属性词实现LLM受控文本生成,在毒性缓解和情感转换任务中控制准确率最高提升19.29%,并降低困惑度。
2024-05-24 cs.CL
Controlled Text Reduction
Bar-Ilan University(巴伊兰大学)
生成源文本的精简版本,例如通用或重点摘要,本质上涉及两个不同的子任务:决定目标内容并生成传达该内容的连贯文本。虽然一些流行的方法将摘要作为单个端到端任务来处理,但著名的作品支持对各个子任务进行分解建模。此外,半自动文本缩减也非常有吸引力,其中用户可以识别目标内容,而模型将生成相应的连贯摘要。在本文中,我们专注于第二子任务,生成连贯的文本给定的预选内容。具体地说,我们将\textit{Controlled Text Reduction}形式化为一个独立的任务,其输入是一个带有目标内容标记跨度(“突出显示”)的源文本。然后,模型需要生成一个连贯的文本,其中包括所有且仅包括目标信息。我们提倡这种模型的潜力,无论是模块化的全自动摘要,以及半自动人在回路用例。为了促进适当的研究,我们为任务众包高质量的开发和测试数据集。此外,我们利用预训练的摘要-源对齐模型,从可用的摘要基准自动生成更大的“银色”训练数据集。最后,利用这些数据集,我们提出了一个监督基线模型,显示出有希望的结果和有见地的分析。
2022-10-24 cs.CL
Syntax Matters! Syntax-Controlled in Text Style Transfer
现有的文本样式转换(TST)方法依赖于样式分类器来解开文本的内容和样式属性,以进行文本样式转换。虽然风格分类器在现有的TST方法中起着至关重要的作用,但还没有关于其对TST方法的影响的已知调查。在本文中,我们进行了实证研究的局限性,在现有的TST方法中使用的风格分类。我们证明了现有的风格分类器不能有效地学习句子句法,并最终恶化现有的TST模型的性能。为了解决这个问题,我们提出了一种新的语法感知可控生成(SACG)模型,其中包括一个语法感知的风格分类器,确保学习风格的潜在表示有效地捕捉语法信息的TST。通过对两个流行的TST任务的广泛实验,我们表明,我们提出的方法显着优于国家的最先进的方法。我们的案例研究也证明了SACG生成流畅的目标风格的句子,保留了原始内容的能力。
2021-08-12 cs.CL
Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation
Index LLM Team(Index LLM 团队)
Index-Translate是一个多语言翻译模型家族,通过共享基础与专门训练结合,在通用、语音、配音和长文档翻译上达到前沿性能。
2026-10-14 cs.CL
Architecture of a Web-based Predictive Editor for Controlled Natural Language Processing
Macquarie University(麦考瑞大学)
在本文中,我们描述了一个基于Web的预测文本编辑器正在开发的控制自然语言彭$^{ASP)$的体系结构。这种受控语言可用于编写非单调规范,其表达能力与答案集程序相同。为了支持这些规范的编写过程,预测文本编辑器与受控的自然语言处理器异步通信,该受控的自然语言处理器为规范文本的作者生成先行类别和附加辅助信息。文本编辑器可以为不同的可能的句子完成、照应表达式同时显示多组先行类别,并支持向词典中添加新的内容词。
2014-06-27 cs.AI cs.CL
German4All -- A Dataset and Model for Readability-Controlled Paraphrasing in German
Technical University of Munich(慕尼黑技术大学)
本文构建涵盖五个可读性层级、逾25,000个样本的德语段落级改写数据集 German4All,并训练开源模型,实现面向不同读者的最先进德语文本简化。
2025-08-29 cs.CL
Text Classification with Few Examples using Controlled Generalization
Google(谷歌);Pinterest;UPenn(宾夕法尼亚大学)
用于文本分类的训练数据在实际应用中往往是有限的,特别是对于具有许多输出类或涉及许多相关分类问题的应用。这意味着分类器必须从有限的证据中进行归纳,但归纳的方式和程度取决于任务。目前的实践主要依赖于预训练的词嵌入来将训练中未看到的词映射到类似的已看到的词。不幸的是,这将意义的许多组成部分压缩成高度有限的能力。我们的替代方案从未标记的解析语料库中获得的稀疏预训练表示开始;基于可用的训练数据,我们选择提供相关概括的特征。这产生了特定于任务的语义向量;在这里,我们表明,与现有的最先进的方法相比,这些向量上的前馈网络在低数据场景中特别有效。通过将该网络与卷积神经网络进一步配对,我们在低数据场景中保持了这种优势,并在使用完整训练集时保持竞争力。
2020-05-18 cs.CL
Generating Continuous Representations of Medical Texts
KU Leuven(鲁汶大学)
我们提出了一个架构,生成医疗文本,同时学习一个信息丰富的,连续的表示与歧视性的功能。在训练过程中,系统的输入是医疗X射线的字幕数据集。所获得的连续表示对于在文本输入的离散和高维性质是障碍的许多机器学习技术中使用是特别感兴趣的。我们使用Adversarially Regularized Autoencoder在无条件和条件设置中创建逼真的文本。我们表明,这种技术是适用于医疗文本,往往包含句法和特定领域的简写。定量评估表明,我们实现了比传统LSTM生成器更低的模型复杂度。
2018-05-15 cs.CL
STA: Self-controlled Text Augmentation for Improving Text Classifications
University College Dublin(都柏林大学);Huawei Ireland Research Centre(华为爱尔兰研究中心)
尽管最近在机器学习方面取得了进展,但许多任务仍然涉及在低数据状态下工作,这可能使解决自然语言问题变得困难。最近,在自然语言处理(NLP)领域出现了许多文本增强技术,这些技术可以用新的示例来丰富训练数据,尽管它们并非没有警告。例如,简单的基于规则的探试法是有效的,但缺乏相对于原始文本的语义内容和句法结构的变化。另一方面,更复杂的深度学习方法可能会导致文本内在含义的极端变化,并将不必要的噪声引入训练数据中。为了更可靠地控制增强示例的质量,我们引入了一种最先进的自控文本增强(STA)方法。我们的方法严格控制的生成过程中,通过引入一个自我检查的过程,以确保生成的例子保留原始文本的语义内容。多个基准测试数据集上的实验结果表明,STA大大优于现有的国家的最先进的技术,而定性分析表明,生成的例子都是词汇多样性和语义可靠。
2023-02-24 cs.AI cs.CL cs.LG
Toward Controlled Generation of Text
Carnegie Mellon University(卡内基梅隆大学);Petuum, Inc.(Petuum公司)
文本的通用生成和操作是具有挑战性的,并且与最近在视觉领域中的深度生成建模相比,成功有限。本文旨在生成合理的自然语言句子,其属性是动态控制的学习解开潜在表示指定的语义。我们提出了一个新的神经生成模型,它结合了变分自动编码器和整体属性判别器,有效地施加语义结构。通过对离散文本样本的可微近似,对独立属性控制的明确约束以及生成器和判别器的高效协作学习,我们的模型甚至只从单词注释中学习高度可解释的表示,并生成具有所需属性的逼真句子。定量评估验证了句子和属性生成的准确性。
2018-09-13 cs.AI cs.CL cs.LG
Transforming Delete, Retrieve, Generate Approach for Controlled Text Style Transfer
Agara(阿加拉)
文本风格转换是指在保持文本内容或非风格信息的同时,转换具有一定风格属性的文本的风格。在这项工作中,我们介绍了生成风格Transformer(GST)-一种新的方法来重写句子的目标风格在没有平行的风格语料库。GST利用了大型无监督预训练语言模型和Transformer的强大功能。GST是一个更大的“删除样式生成”框架的一部分,在该框架中,我们还提出了一种新的方法,通过利用Transformer的内部工作原理从源语句中删除样式属性。我们的模型在情感,性别和政治倾向转移的5个数据集上优于最先进的系统。我们还建议使用GLEU指标作为评估风格转移的自动指标,我们发现它比主要使用的BLEU分数更好地与人类评级进行比较。
2019-08-25 cs.CL cs.LG
A Lightweight Multi Aspect Controlled Text Generation Solution For Large Language Models
Tongji University(同济大学)
本文提出基于数据增强的轻量级多属性可控文本生成流程,通过缓解传统数据集偏差与属性相关性,使大语言模型经指令微调后在MCTG任务上准确率提升20%。
2024-10-18 cs.AI cs.CL
Controlled Generation for Private Synthetic Text
Johns Hopkins University(约翰霍普金斯大学)
针对高风险领域文本隐私保护需求,提出结合去标识化与HIPS理论、带实体感知控制码的可控合成文本生成方法,经法律和临床数据集验证,在隐私与效用间实现良好平衡。
2025-09-30 cs.AI cs.CL cs.LG
Isochrony-Controlled Speech-to-Text Translation: A study on translating from Sino-Tibetan to Indo-European Languages
本文提出一种等时性控制的端到端语音翻译方法,通过向解码器提供时间信息以预测语音和停顿时长,实现翻译时长与源音频的严格对齐,在CoVoST 2上取得了高语音重叠率且BLEU仅微降。
2024-11-11 cs.CL eess.AS
Attempto Controlled English (ACE)
尝试控制英语(ACE)允许领域专家交互式地制定领域概念中的需求规范。ACE可以被计算机准确和有效地处理,但表达力足以让自然使用。Attempto系统将ACE中的规范文本翻译成话语表示结构,并可选地翻译成Prolog。翻译后的规范文本被逐步添加到知识库中。该知识库可以在ACE中查询以进行验证,并且可以执行该知识库以进行仿真、原型设计和规范验证。
1996-03-13 cmp-lg cs.CL
Generate Your Counterfactuals: Towards Controlled Counterfactual Generation for Text
IBM Research AI(IBM研究院)
机器学习最近取得了巨大的增长,这导致了ML系统在教育评估、信用风险、医疗保健、就业、刑事司法等方面的广泛采用。ML和NLP系统的可信度是一个至关重要的方面,需要保证他们做出的决策是公平和稳健的。与此相一致,我们提出了一个框架GYC,以生成一组反事实文本样本,这对于测试这些ML系统至关重要。我们的主要贡献包括:a)我们引入了GYC,一个生成反事实样本的框架,使得生成是合理的,多样的,面向目标的,有效的,b)我们生成反事实样本,它可以引导生成对应的条件,如命名实体标签,语义角色标签或情感。我们在不同领域的实验结果表明,GYC生成的反事实文本样本表现出上述四个属性。GYC生成反事实,可以作为测试用例来评估模型和任何文本去偏置算法。
2021-03-17 cs.AI cs.CL cs.LG