Towards Lightweight, Adaptive and Attribute-Aware Multi-Aspect Controllable Text Generation with Large Language Models
Alibaba International Digital Commerce（阿里巴巴国际数字商业）；Southern University of Science and Technology（南方科技大学）
针对LoRA控制不足、FFT成本高且易过拟合以及单方面数据分布差异等问题，提出轻量级自适应属性感知框架，动态调整参数实现多方面可控文本生成并取得SOTA效果。
2025-02-19 cs.CL
WhoSaidIt: Human-LLM Collaborative Annotation for Text-Based Multilingual Speaker-Attribute Classification
Duolingo
提出一种人机协作重标注框架，通过迭代交互和分歧采样稳定多语言说话人属性标签，构建WhoSaidIt数据集并评估LLM性能。
2026-05-25 cs.CL
Adapter-TST: A Parameter Efficient Method for Multiple-Attribute Text Style Transfer
Singapore University of Technology and Design（新加坡科技设计大学）；Institute of Infocomm Research (I2R), A*STAR（新加坡科技研究局资讯通信研究院（I2R））
提出Adapter-TST框架，冻结预训练模型参数，通过神经适配器捕获多属性，实现高效多属性文本风格迁移，超越现有基线且计算资源更少。
2023-05-10 cs.CL
GRENADE: Graph-Centric Language Model for Self-Supervised Representation Learning on Text-Attributed Graphs
Worcester Polytechnic Institute（伍斯特理工学院）；Northwestern University（西北大学）
针对文本属性图自监督表示学习中难以全面捕捉结构信息或依赖任务标签的问题，提出以图为中心的语言模型GRENADE，结合预训练语言模型与图神经网络，通过图中心对比学习和知识对齐算法有效捕捉文本语义与结构信息，实验证明其优于现有方法。
2023-10-23 cs.CL
Attribute Controlled Dialogue Prompting
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Huawei（华为）
本文提出一种基于实例级控制代码生成提示的对话生成算法，突破固定提示假设，在开放域对话任务上以5%-6%参数超越提示基线并媲美微调。
2023-07-11 cs.CL cs.LG
Controllable Data Augmentation for Few-Shot Text Mining with Chain-of-Thought Attribute Manipulation
University of California, San Diego（加利福尼亚大学圣迭戈分校）
提出CoTAM方法，通过思维链属性操作在少样本文本挖掘中实现可控数据增强，在多项任务上优于其他LLM增强方法。
2024-05-22 cs.CL
Multi-Attribute Multi-Grained Adaptation of Pre-Trained Language Models for Text Understanding from Bayesian Perspective
School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）；Yuan Ze University（元智大学）
本文从贝叶斯视角提出多属性多粒度适配框架M2A，融合非IID与IID特征，以轻量方式降低不确定性，在文本理解任务中尤其在隐式非IID数据和大规模预训练模型上取得更优性能。
2025-03-08 cs.CL
UltraGen: Extremely Fine-grained Controllable Generation via Attribute Reconstruction and Global Preference Optimization
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出 UltraGen 零样本框架，通过自动重构构建约 45 项软硬属性需求，并结合 GPO 与属性采样优化多属性组合生成，提升极细粒度控制的约束满足率和文本质量。
2025-02-17 cs.CL
STAGE: Simplified Text-Attributed Graph Embeddings Using Pre-trained LLMs
Quantexa（昆泰科萨）
提出STAGE方法，利用预训练大语言模型生成文本属性嵌入，简化图神经网络节点特征增强流程，在节点分类基准上取得有竞争力结果，并实现扩散模式GNN以提升可扩展性。
2024-07-10 cs.AI cs.CL
Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有方法在多路文本属性图表示上的不足，提出METAG框架，用单个文本编码器建模共享知识加少量关系特定参数生成多路表示，在多领域多任务上显著优于基线。
2024-07-13 cs.CL cs.LG
IncogniText: Privacy-enhancing Conditional Text Anonymization via LLM-based Private Attribute Randomization
Huawei Munich Research Center（华为慕尼黑研究中心）
本文提出IncogniText文本匿名化技术，通过大语言模型私有属性随机化误导对手预测错误属性值，在8种属性上降低泄露超90%，并蒸馏为端侧LoRA参数实现现实部署。
2025-02-02 cs.AI cs.CL cs.CR
Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Health and Life Sciences（微软健康与生命科学部门）
本文提出属性结构化框架，将临床文本摘要评估分解为简单任务，提升LLM评估与人工标注一致性，并支持高效审计。
2024-12-14 cs.AI cs.CL
Unlocking Multi-Modal Potentials for Link Prediction on Dynamic Text-Attributed Graphs
针对动态文本属性图现有方法忽略时间、文本模态导致性能不佳的问题，提出多模态模型MoMent，通过模态独立编码、带理论保证的融合及双域对齐损失学习节点表示，在七个数据集上实现准确率最高17.28%、速度最高31倍的提升。
2025-08-01 cs.CL cs.LG
Distilling Large Language Models for Text-Attributed Graph Learning
Emory University（埃默里大学）
本文提出将 LLM 的文本推理能力蒸馏到局部图模型的框架，以缓解 TAG 学习中标签稀缺及 LLM 成本、隐私和可扩展性问题。
2024-08-06 cs.CL cs.LG
Can LLMs Convert Graphs to Text-Attributed Graphs?
University of Notre Dame（圣母大学）；University of Connecticut（康涅狄格大学）
本文提出TANS方法，利用大语言模型结合拓扑信息将现有图转换为文本属性图，以解决跨图学习中特征空间不一致问题，并在文本缺失图上显著优于手工设计节点特征的方法。
2025-02-07 cs.AI cs.CL cs.LG
Tailor: A Prompt-Based Approach to Attribute-Based Controlled Text Generation
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）
基于属性的受控文本生成（CTG）是指生成满足期望属性（例如，情感和主题）。现有的作品往往利用微调或诉诸额外的属性分类器，但遭受存储和推理时间的增加。为了解决这些问题，我们探索基于属性的CTG在一个基于属性的方式。简而言之，所提出的Tailor将每个属性表示为预先训练的连续向量（即，单属性提示），并引导生成固定的PLM开关到预先指定的属性。我们的实验发现，这些提示可以简单地连接作为一个整体，多属性CTG没有任何重新训练，但提出的问题，流畅性下降和位置敏感性。为此，Tailor提供了一个多属性提示掩码和一个重新索引的位置ID序列，以弥合训练（每个任务一个提示）和测试阶段（连接多个提示）之间的差距。为了进一步增强这种单属性提示组合，Tailor还引入了一个可训练的提示连接器，它可以与任何两个单属性提示连接到多属性文本生成。在GPT-2的训练参数为0.08%的情况下，对11个属性特定生成任务的实验表明，Tailor在单属性和多属性CTG上都有很好的性能.
2022-04-28 cs.CL
RAMP: Retrieval and Attribute-Marking Enhanced Prompting for Attribute-Controlled Translation
University of Groningen（格罗宁根大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
针对属性控制翻译受限于数据集可用性的问题，提出RAMP方法，利用大型多语言模型在少样本和零样本设置下，通过语义相似度检索和属性注释标记上下文示例，有效提升了翻译生成准确性。
2023-05-26 cs.CL
Linguistically-Controlled Paraphrase Generation
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
LingConv通过细粒度控制40种语言属性生成高质量改写，显著降低属性误差并提升生成质量。
2025-11-27 cs.CL
Palette of Language Models: A Solver for Controlled Text Generation
China Mobile Research Institute（中国移动研究院）
针对多属性受控文本生成中线性组合单属性模型易忽视重叠并引发冲突的问题，提出基于全概率定律与条件互信息最小化的 Palette of Language Models 组合策略。
2025-03-14 cs.CL
Output Composability of QLoRA PEFT Modules for Plug-and-Play Attribute-Controlled Text Generation
ADAPT, Dublin City University Dublin, Ireland（ADAPT，都柏林城市大学都柏林，爱尔兰）
本文研究了通过多任务数据集训练、推理时组合PEFT模块权重及输出三种方法，发现输出求和在情感、主题和多属性控制中表现优异，平均提升2个百分点。
2026-05-12 cs.CL
Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
无监督文本属性转移自动转换文本以改变特定属性（例如情感），而不使用任何并行数据，同时保留其属性无关的内容。主流方法试图单独对内容无关属性进行建模，例如，学习不同属性的表示或使用多个属性特定解码器。但是，从控制转移程度或同时在多个方面转移的角度来看，可能会导致不确定性。为了解决上述问题，我们提出了一个更灵活的无监督的文本属性传输框架，它取代了建模属性的过程与最小的编辑的基础上的属性分类的潜在表示。具体来说，我们首先提出了一个基于transformer的自动编码器来学习离散文本的纠缠潜在表示，然后我们将属性转移任务转换为优化问题，并提出了快速梯度迭代修改算法来编辑潜在表示，直到符合目标属性。大量的实验结果表明，我们的模型在三个公共数据集上取得了非常有竞争力的性能。此外，我们还表明，我们的模型不仅可以自由地控制转移的程度，但也允许在多个方面的转移在同一时间。
2019-12-12 cs.CL
Fine-grained Sentiment Controlled Text Generation
IIT Kharagpur（印度理工学院卡拉格布尔分校）
受控文本生成技术旨在调节特定属性（例如情感），同时保留属性独立内容。最先进的方法将指定属性建模为结构化或离散表示，同时使内容表示独立于它以实现更好的控制。然而，将文本表示分解为单独的潜在空间忽略了内容和属性之间的复杂依赖关系，导致生成结构不良且没有意义的句子。此外，这种方法无法对属性变化的程度提供更精细的控制。为了解决这些问题的控制文本生成，在本文中，我们提出了DE-VAE，一个分层的框架，捕获信息丰富的纠缠表示和属性特定的解纠缠表示在不同的层次结构。DE-VAE实现了更好地控制情感作为一个属性，同时通过学习一个合适的无损转换网络从解纠缠的情感空间到所需的纠缠表示保留内容。DE-VAE通过对解纠缠表示的单个维度进行特征监督，将情感的变化映射到一个连续的空间，这有助于平滑地调节情感从积极到消极，反之亦然。在三个公开的评论数据集上的详细实验表明，DE-VAE优于最近的最先进的方法。
2020-06-17 cs.CL cs.LG
Causal ATE Mitigates Unintended Bias in Controlled Text Generation
IISc（印度科学学院）；IBM Research（IBM研究院）
本文提出利用因果平均处理效应（Causal ATE）方法消除语言模型属性控制中由伪相关引起的非预期偏差，并证明其在毒性缓解任务中能有效解决去毒后针对受保护群体的无意识偏差问题。
2024-02-16 cs.CL
Controllable Stylistic Text Generation with Train-Time Attribute-Regularized Diffusion
KU Leuven（卢森堡大学）
提出RegDiff，一种训练时注入属性信息的正则化扩散框架，无需采样分类器即可高效生成风格化文本，在五个数据集上优于强基线。
2025-10-07 cs.CL
Towards Attribute-Entangled Controllable Text Generation: A Pilot Study of Blessing Generation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Intelligent Systems Engineering, Sun-Yat Sen University（中山大学智能系统工程学院）；Peng Cheng Laboratory（鹏城实验室）
可控文本生成（CTG）由于其关注多个属性而获得的细粒度生成能力而获得了巨大的成功。然而，大多数现有的CTG研究忽略了如何利用属性纠缠来增强受控生成文本的多样性。面对这种困境，我们专注于一个新的CTG场景，即，由于高质量的祝福文本需要CTG模型来综合考虑多个属性之间的纠缠（例如，对象和场合）。为了促进祝福生成的研究，我们提出了EBleT，一个大规模的纠缠祝福文本数据集，包含293 K的英语句子注释与多个属性。此外，我们提出了新的评价指标来衡量我们设计的基线模型所产生的祝福文本的质量。我们的研究为可控文本生成开辟了一个新的研究方向，并使属性纠缠CTG模型的发展成为可能。我们的数据集和源代码可在\url{https://github.com/huangshulin123/Blessing-Generation}上获得。
2022-10-29 cs.CL
C$^3$TG: Conflict-aware, Composite, and Collaborative Controlled Text Generation
针对现有可控文本生成方法多属性控制难、属性冲突无协调、缺迭代优化的问题，本文提出两阶段框架C$^3$TG，无需修改模型即可实现多维度精准文本控制，多项指标优于基线。
2025-11-16 cs.AI cs.CL
POSID: Target-Task-Unsupervised Person-Attribute Extraction from Heterogeneous Public-Safety Text
Department of Computer Science Purdue University, West Lafayette, IN, USA（计算机科学系 哈佛大学 西拉法基特，印第安纳州，美国）
本文提出模块化无监督框架POSID，结合词汇与语义相似度从非结构化文本中提取属性，并在失踪人员事件报告上验证其无需微调即可有效识别人体属性。
2026-10-20 cs.CL
FUDGE: Controlled Text Generation With Future Discriminators
UC Berkeley（加州大学伯克利分校）
我们提出了未来的鉴别器生成（FUDGE），一个灵活的和模块化的方法控制的文本生成。给定用于从兴趣分布生成文本的预先存在的模型G，FUDGE使得能够对期望的属性a（例如，形式）进行调节，同时仅需要访问G的输出logits。FUDGE学习对部分序列进行操作的属性预测器，并使用该预测器的输出来调整G的原始概率。我们表明，FUDGE模型的条款对应的贝叶斯分解的条件分布的G给定属性a。此外，FUDGE可以很容易地组成多个所需的属性的预测。我们在三个任务上评估FUDGE--诗歌中的对联完成，语言生成中的主题控制，以及机器翻译中的形式变化--并观察所有三个任务的收益。
2021-08-15 cs.CL cs.LG
Air-Decoding: Attribute Distribution Reconstruction for Decoding-Time Controllable Text Generation
University of Science and Technology of China（中国科学技术大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对解码时 CTG 中控制强度过高导致的属性坍塌问题，本文提出轻量级 Air-Decoding 框架，通过 prefix-tuning 获取并重构属性分布以平衡属性词权重，实现更流畅且最先进的控制生成。
2023-11-02 cs.CL
Controlled Text Generation as Continuous Optimization with Multiple Constraints
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）
随着大规模语言模型预训练推动了文本生成的发展，最近的工作已经转向控制这些模型生成的文本的属性。虽然通过微调来修改预训练模型仍然是流行的方法，但它会产生显著的计算成本，并且由于缺乏适当的数据而不可行。作为替代方案，我们提出了MuCoCO -一种灵活的模块化算法，用于从预训练模型进行可控推理。我们制定的解码过程作为一个优化问题，它允许多个属性，我们的目标是控制容易被纳入作为可微约束的优化。通过将这种离散优化放松为连续优化，我们利用拉格朗日乘子和基于梯度下降的技术来生成所需的文本。我们评估了我们的方法在可控的机器翻译和风格转移与多个副本级别的属性，并观察到显着的改进基线。
2021-08-04 cs.CL
PCFG-based Natural Language Interface Improves Generalization for Controlled Text Generation
Johns Hopkins University（约翰斯·霍普金斯大学）；MIT（麻省理工学院）；University of Washington（华盛顿大学）
现有的工作控制文本生成（CTG）假设一个控制接口的分类属性。在这项工作中，我们提出了一个自然语言（NL）的接口，我们工艺PCFG嵌入控制属性到自然语言命令，并提出了现有的CTG模型，以命令作为输入的变体。在我们的实验中，我们设计了定制的设置来测试模型的泛化能力。我们发现我们的基于PCFG的命令生成方法是有效的处理看不见的命令相比，固定设置的模板，我们提出的NL模型可以有效地推广到看不见的属性，NL接口启用的新功能，以及看不见的属性组合。有趣的是，我们发现，简单的条件生成方法，增强了我们提出的NL接口，是一个强大的基线，在这些具有挑战性的设置。
2022-10-14 cs.CL cs.LG
Controlled Text Generation for Black-box Language Models via Score-based Progressive Editor
Seoul National University（首尔大学）；Kakao Corp.（Kakao公司）
本文提出ScoPE方法，通过在黑盒语言模型生成过程中以词元级别渐进修改上下文并最大化目标分数，在保持流畅性的同时实现有效的受控文本生成。
2024-06-08 cs.CL
Applications of BERT Based Sequence Tagging Models on Chinese Medical Text Attributes Extraction
Tsinghua-iFlytek Joint Laboratory（清华大学科大讯飞联合实验室）
我们将中文医学文本属性抽取任务转化为序列标注或机器阅读理解任务。基于BERT预训练模型，我们不仅尝试了广泛使用的LSTM-CRF序列标记模型，还尝试了其他序列模型，如CNN，UCNN，WaveNet，SelfAttention等，这些模型达到了与LSTM+CRF相似的性能。这揭示了传统的序列标记模型。由于不同序列标记模型的重点方面差异很大，因此将这些模型集成在一起会增加最终系统的多样性。通过这样做，我们的系统在中文医学文本属性提取任务（CCKS 2019任务1的子任务2）上取得了良好的性能。
2020-08-22 cs.CL
DisCup: Discriminator Cooperative Unlikelihood Prompt-tuning for Controllable Text Generation
Beijing Institute of Technology（北京理工大学）；The Open University（开放大学）
在属性可控的文本生成中，使用超大型的临时语言模型（CLMs）进行快速学习是一种很有前途的方法。然而，香草提示微调往往模仿训练语料库的控制属性以外的特征，导致泛化能力差。此外，它不太能够捕捉不同属性之间的关系，进一步限制了控制性能。在本文中，我们提出了一种新的CTG方法，即DisCup，它结合了属性知识的搜索引擎优化的控制提示，引导冻结CLM产生特定属性的文本。具体地说，冻结CLM模型，能够产生大量的文本，首先被用来产生下一个令牌候选人的基础上的上下文，以确保令牌的多样性进行预测。然后，我们利用属性搜索器从这些候选者中选择期望/不期望的令牌，提供属性间知识。最后，我们通过提示微调的非似然目标来桥接上述两个特性。大量的实验结果表明，DisCup可以实现一个新的国家的最先进的控制性能，同时保持一个高效和高质量的文本生成，只依赖于大约10个虚拟令牌。
2022-10-18 cs.CL
Luminoso at SemEval-2018 Task 10: Distinguishing Attributes Using Text Corpora and Relational Knowledge
Luminoso Technologies, Inc.（Luminoso科技公司）
Luminoso参与了SemEval 2018的“捕获区别性属性”任务，该任务基于ConceptNet系统，ConceptNet是一个专注于一般知识的开放知识图谱。在本文中，我们描述了如何在少量语义信息特征上训练线性分类器，以在任务上获得0.7368的$F_1$分数，接近任务的最高分数0.75。
2018-12-11 cs.CL
One Arrow, Many Targets: Probing LLMs for Multi-Attribute Controllable Text Summarization
IIIT Hyderabad（印度信息技术学院海得拉巴分校）
本研究通过大语言模型和低秩适配器探索多属性可控摘要任务，提出并评估了一种分层适配器融合技术，以有效整合多个可控属性的学习成果。
2024-11-02 cs.CL
Toward Controlled Generation of Text
Carnegie Mellon University（卡内基梅隆大学）；Petuum, Inc.（Petuum公司）
文本的通用生成和操作是具有挑战性的，并且与最近在视觉领域中的深度生成建模相比，成功有限。本文旨在生成合理的自然语言句子，其属性是动态控制的学习解开潜在表示指定的语义。我们提出了一个新的神经生成模型，它结合了变分自动编码器和整体属性判别器，有效地施加语义结构。通过对离散文本样本的可微近似，对独立属性控制的明确约束以及生成器和判别器的高效协作学习，我们的模型甚至只从单词注释中学习高度可解释的表示，并生成具有所需属性的逼真句子。定量评估验证了句子和属性生成的准确性。
2018-09-13 cs.AI cs.CL cs.LG
Evaluating the Smooth Control of Attribute Intensity in Text Generation with LLMs
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出评估大语言模型文本生成中属性强度平滑控制的指标与基于Elo和GPT4的评估框架，并比较了语义转换提示和修改内部表示两种免训练控制方法。
2024-06-06 cs.CL
DExperts: Decoding-Time Controlled Text Generation with Experts and Anti-Experts
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
尽管最近在自然语言生成方面取得了进展，但控制所生成文本的属性仍然具有挑战性。我们建议D专家：解码时间专家，一种用于受控文本生成的解码时间方法，将预训练的语言模型与专家产品中的“专家”LM和/或“反专家”LM相结合。直觉上，在集合中，只有当专家认为它们可能，而反专家认为它们不太可能时，令牌才会获得高概率。我们将DExperts应用于语言解毒和情感控制生成，在自动和人工评估方面优于现有的可控生成方法。此外，由于DEvexpert仅对预训练LM的输出进行操作，因此它对较小规模的（反）专家有效，包括在GPT-3上操作时。我们的工作突出了调整小LM的文本与（联合国）理想的属性，有效的解码时间转向的承诺。
2021-06-03 cs.CL
A Distributional Lens for Multi-Aspect Controllable Text Generation
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
多方面可控文本生成是一个比单方面控制更具挑战性和实用性的任务。现有方法通过融合从单方面学习的多个控制器来实现复杂的多方面控制，但这些控制器之间的相互干扰会导致属性退化。为了解决这个问题，我们提供了从分布的角度来看，属性融合的意见，并建议直接搜索多个属性分布的交叉区域作为其组合生成。我们的方法首先估计的属性空间与自动编码器结构。之后，我们迭代地接近交叉点，共同最小化代表不同属性的点的距离。最后，我们映射到属性相关的句子与前缀调谐为基础的解码器。在情感、主题和解毒三个方面的控制任务上的实验表明，该方法在属性相关性和文本质量方面优于几个强基线，并达到了SOTA。进一步的分析也为我们的方法的有效性提供了一些解释性的支持。
2022-10-19 cs.CL
Control, Generate, Augment: A Scalable Framework for Multi-Attribute Text Generation
ETH Zurich（苏黎世联邦理工学院）；Swisscom（瑞士电信）
我们引入CGA，一个有条件的VAE架构，控制，生成和增强文本。CGA能够通过将对抗学习与上下文感知损失和循环词丢弃例程相结合来生成控制多个语义和句法属性的自然英语句子。我们证明了消融研究中单个模型组件的价值。我们的方法的可扩展性是通过一个单一的可扩展性，独立于属性的数量。我们通过一系列自动和人工评估，在生成的句子中显示出高质量，多样性和属性控制。作为我们工作的主要应用，我们测试了这种新的NLG模型在数据增强场景中的潜力。在下游NLP任务中，我们的CGA模型生成的句子在强大的基线上显示出显着的改进，并且分类性能通常与添加相同数量的额外真实数据相当。
2020-10-02 cs.CL
Focused Prefix Tuning for Controllable Text Generation
Tokyo Institute of Technology（东京工业大学）；rinna Co. Ltd.（Rinna株式会社）
针对可控文本生成数据集中未标注属性带来的干扰问题，提出聚焦前缀调优方法，在单属性控制任务上准确率和流畅度优于基线，多属性控制任务上性能接近最优且无需重训即可适配新属性。
2023-06-10 cs.CL
Multi-Intent Attribute-Aware Text Matching in Searching
Ant Group（蚂蚁集团）；CBRC, KAUST（沙特国王科技大学CBRC）
本文提出多意图属性感知匹配模型（MIM），通过属性感知编码器、多意图建模和意图感知匹配三个组件，有效利用查询和物品属性进行对齐，提升搜索中文本匹配的准确性。
2024-02-12 cs.CL
PREADD: Prefix-Adaptive Decoding for Controlled Text Generation
UC Berkeley（加州大学伯克利分校）
PREADD 通过对比原始提示与带前缀提示的输出 logits 实现无需外部模型的受控文本生成，在毒性缓解、去偏和情感控制任务上相对增益超 12%。
2023-07-06 cs.CL
Attribute First, then Generate: Locally-attributable Grounded Text Generation
Bar-Ilan University（巴伊兰大学）；Google Research（谷歌研究院）
本文提出“先属性，后生成”方法，将文本生成分解为内容选择、句子规划和逐句生成，通过先选择来源片段再以其为条件生成，实现局部细粒度归因，在保持生成质量的同时减少引用冗余并降低人工事实核查成本。
2024-07-04 cs.CL
CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial Text Generation
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
NLP模型被证明存在鲁棒性问题，即，模型的预测可以在对输入的小扰动下容易地改变。在这项工作中，我们提出了一个受控对抗文本生成（CAT-Gen）模型，该模型在给定输入文本的情况下，通过已知对任务标签不变的可控属性生成对抗文本。例如，为了攻击产品评论的情感分类模型，我们可以使用产品类别作为可控属性，这不会改变评论的情感。在真实世界的NLP数据集上的实验表明，与许多现有的对抗文本生成方法相比，我们的方法可以生成更多样化和流畅的对抗文本。我们进一步使用我们生成的对抗性示例通过对抗性训练来改进模型，并且我们证明了我们生成的攻击对模型重新训练和不同的模型架构更加强大。
2020-10-05 cs.CL
SimpleStyle: An Adaptable Style Transfer Approach
IBM Research（IBM研究院）
属性控制的文本重写，也称为文本风格转换，在调节文本训练数据和机器生成的文本的属性和偏差方面具有至关重要的作用。在这项工作中，我们提出了SimpleStyle，一种简约而有效的风格转换方法，由两个简单的成分组成：受控去噪和输出滤波。尽管我们的方法很简单，可以用几行代码简洁地描述，但它在自动和人工评估方面都与以前的最先进方法具有竞争力。为了证明我们的系统的适应性和实用价值超出了学术数据，我们应用SimpleStyle来传输出现在现实世界的文本数据从社交网络的文本属性。此外，我们引入了一种新的“软噪声”技术，进一步提高了我们的系统的性能。我们还表明，教学生模型生成SimpleStyle的输出可以导致系统仅用单个贪婪解码的样本执行同等质量的风格传输。最后，我们建议我们的方法作为补救措施的基本不兼容的基线问题，在该领域的进展。我们提供我们的协议作为一个简单而强大的基线的作品，希望在属性控制的文本重写领域取得进展。
2022-12-22 cs.CL
Controlled Text Generation with Hidden Representation Transformations
University of California, Los Angeles（加州大学洛杉矶分校）；Amazon Alexa AI（亚马逊Alexa人工智能）；University of Southern California（南加州大学）
本文提出 CHRT 框架，通过学习隐藏表示变换并结合对比学习实现多属性受控文本生成，在去毒化、情感引导和文本简化任务中优于七个基线，且推理延迟仅增加 0.01 秒。
2023-05-31 cs.AI cs.CL
Think&Cite: Improving Attributed Text Generation with Self-Guided Tree Search and Progress Reward Modeling
Department of Computer Science, National University of Singapore（计算机科学系，新加坡国立大学）
本文提出Think&Cite框架，将归因文本生成视为多步推理问题，通过自引导蒙特卡洛树搜索和进度奖励建模，在三个数据集上显著优于基线方法。
2025-06-20 cs.CL
Polysemy in Controlled Natural Language Texts
Institute of Mathematics and Computer Science, University of Latvia（拉脱维亚大学数学与计算机科学研究所）
计算语义学和基于逻辑的受控自然语言（CNL）没有系统地解决实词的词义消歧问题，即，他们倾向于只解释一些对构建话语表征结构至关重要的功能词。我们发现，微本体和多词单元允许整合的丰富和多义的多领域背景知识到CNL，从而提供解释的内容词。该方法通过扩展Attempto控制英语（ACE）与多义和程序结构，从而产生一个更自然的CNL命名为PAO覆盖叙事多域文本。
2015-11-20 cs.CL
HeTGB: A Comprehensive Benchmark for Heterophilic Text-Attributed Graphs
Beijing University of Post and Telecommunication（北京邮电大学）；Singapore Management University（新加坡管理大学）
研究针对异质性文本属性图缺乏专用基准的问题，推出HeTGB基准，用于评估GNN、PLM及协同训练方法，揭示文本属性在异质性图中的作用及模型局限性。
2026-09-01 cs.AI cs.CL
Let the CAT out of the bag: Contrastive Attributed explanations for Text
Microsoft（微软）；IBM Research（IBM研究院）
最近，理解黑箱模型行为的对比解释获得了很多关注，因为它们提供了潜在的追索权。在本文中，我们提出了一种方法对比属性的解释文本（CAT），它提供了一个新的扭曲的对比解释自然语言的文本数据，因为我们建立和利用属性分类器，导致更多的语义有意义的解释。为了确保我们的对比生成的文本相对于原始文本具有尽可能少的编辑，同时也流畅且接近人类生成的对比，我们采用了一种最小扰动方法，该方法使用BERT语言模型和在可用属性上训练的属性分类器进行正则化。我们通过定性的例子和用户研究表明，我们的方法不仅传达了更多的洞察力，因为这些属性，但也导致更好的质量（对比）的文本。量化，我们表明，我们的方法优于其他国家的最先进的方法在四个基准指标的四个数据集。
2022-11-02 cs.AI cs.CL
Plug and Play Language Models: A Simple Approach to Controlled Text Generation
Caltech（加州理工学院）；HKUST（香港科技大学）；Uber AI（优步AI）
基于transformer的大型语言模型（LM）在巨大的文本语料库上训练，显示出无与伦比的生成能力。然而，在不修改模型架构或对属性特定数据进行微调的情况下，控制生成语言的属性（例如切换主题或情感）是困难的，并且需要大量的再训练成本。我们提出了一个简单的替代方案：即插即用语言模型（PPLM）的可控语言生成，它结合了一个预先训练的LM与一个或多个简单的属性分类器，指导文本生成没有任何进一步的训练LM。在我们提出的规范场景中，属性模型是简单的分类器，由用户指定的词袋或单个学习层组成，其参数比LM少100，000倍。采样需要向前和向后传递，其中来自属性模型的梯度推动LM的隐藏激活，从而引导生成。模型样本展示了对一系列主题和情感风格的控制，广泛的自动化和人工注释评估显示了属性对齐和流畅性。PPLM是灵活的，任何组合的可微属性模型可以用来引导文本生成，这将允许不同的和创造性的应用超出本文给出的例子。
2020-03-03 cs.AI cs.CL cs.LG
VideoAVE: A Multi-Attribute Video-to-Text Attribute Value Extraction Dataset and Benchmark Models
Virginia Tech（弗吉尼亚理工大学）
本文提出首个公开的视频到文本电商属性值提取数据集VideoAVE，涵盖14个领域172个属性，并设计CLIP-MoE过滤系统保证数据质量，通过多模型基准评估揭示该任务仍具挑战性。
2025-08-15 cs.CL cs.CV
