Activation Steering for Synthetic Data Generation: The Role of Diversity in Downstream Safety Detection
UMass Lowell（马萨诸塞大学洛厄尔分校）；Amazon（亚马逊公司）；CMU（卡内基梅隆大学）
研究激活引导（AS）生成高质量训练数据用于下游安全检测分类器，发现多样性是关键但被忽视的轴，且AS在窄参数范围内优于提示生成。
2026-05-27 cs.CL cs.LG
Towards Document-Level Paraphrase Generation with Sentence Rewriting and Reordering
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学研究中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
释义生成是自然语言处理中的一项重要任务。以往的研究主要集中在文本级的释义生成，而忽略了文档级的释义生成，这是一个更具挑战性和价值的任务。在本文中，我们首次探讨了文档级释义生成的任务，并通过考虑句子重写和重新排序来关注句子间的多样性。我们提出了CoRPG（Coherence Relationship Guided Paraphrase Generation），它利用图GRU对连贯关系图进行编码，得到每个句子的连贯感知表示，该表示可用于重新排列多个（可能修改的）输入句子。我们创建了一个伪文档级的释义数据集来训练CoRPG。自动评估结果显示，CoRPG在BERTScore和多样性得分上优于几个强基线模型。人工评价也表明我们的模型可以生成更多样性和语义保持的文档释义。
2021-09-15 cs.AI cs.CL
Promoting Diversity for End-to-End Conversation Response Generation
iFLYTEK Research, Hefei（科大讯飞研究院（合肥））；Department of Electrical and Computer Engineering, Queen’s University（女王大学电气与计算机工程系）
我们在对话系统技术挑战7（DSTC 7）中介绍了我们在轨道2上的工作。DSTC 7-Track 2旨在评估知识背景下完全数据驱动的对话模型的响应生成，该模型提供了与上下文相关的事实文本。Sequence-to-Sequence模型已被广泛用于端到端生成会话建模，并取得了令人印象深刻的结果。然而，在以往的研究中，他们往往输出沉闷和重复的反应。我们的工作旨在促进端到端会话响应生成的多样性，它遵循两个阶段的管道：1）生成多个响应。在这个阶段，提出了两种不同的模型，即，变分生成（VariGen）模型和基于检索（Retrieval）的模型。2)通过训练一个用于排序过程的主题连贯性判别（TCD）模型，对最相关的响应进行排序并返回。根据官方评估结果，我们提出的检索和VariGen系统在客观多样性指标上分别排名第一和第二，即，熵，在所有参与系统中。VariGen系统在NIST和METEOR指标中排名第二。
2019-01-30 cs.CL
RONA: Pragmatically Diverse Image Captioning with Coherence Relations
The Pennsylvania State University（宾夕法尼亚州立大学）；National Institute of Technology, Tiruchirappalli（特里奇里帕利理工学院）
本文提出 RONA 提示策略，将连贯关系作为 MLLM 生成图像描述时的语用变化控制轴，从而在多个领域提升描述多样性及与真值的对齐程度。
2025-06-09 cs.AI cs.CL cs.CV
Post Persona Alignment for Multi-Session Dialogue Generation
RIKEN AIP（日本理化学研究所Advanced Institute for Physical Research）；The University of Tokyo（东京大学）
本文提出事后人格对齐（PPA）框架，先基于对话上下文生成通用回复，再以回复为查询检索人格记忆并精炼回复，在多会话对话生成中显著提升一致性、多样性和人格相关性。
2025-11-05 cs.CL
Neural Story Planning
Georgia Institute of Technology（佐治亚理工学院）
自动情节生成是一个挑战，即生成一系列事件，这些事件将被读者视为一个连贯故事的情节。传统的符号规划者从目标状态规划故事，并保证逻辑因果情节的连贯性，但依赖于手工制作的行动库及其先决条件和效果。这种封闭的世界设置限制了象征性规划者可以产生的长度和多样性。另一方面，预先训练的神经语言模型可以生成具有极大多样性的故事，但通常无法以指定的方式结束故事，并且可能难以保持连贯性。在本文中，我们提出了一种方法来故事情节生成，统一的因果规划与神经语言模型。我们建议使用从大语言模型中提取的常识知识，以向后链接的方式递归地扩展故事情节。具体来说，我们的系统推断故事中事件的先决条件，然后是导致这些条件成为现实的事件。我们进行了自动评估，以衡量叙事连贯性，如回答故事中不同事件是否与其他事件有因果关系的问题的能力。结果表明，我们提出的方法产生更多的连贯的情节比几个强基线。
2022-12-16 cs.AI cs.CL
GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation
Henan University（河南大学）；Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；CISPA Helmholtz Center for Information Security, Saarbrücken（萨尔布吕肯亥姆霍尔兹信息安全中心）；University of California, San Diego（加州大学圣地亚哥分校）
针对开放式文本生成中LLM输出连贯性与多样性难平衡、现有解码策略超参数依赖且计算成本高的问题，提出融合全局与局部不确定性的自适应解码方法GUARD，兼具效果与效率优势。
2025-09-03 cs.CL
Multi-Dimensional Prompt Chaining to Improve Open-Domain Dialogue Generation
Nanyang Technological University（南洋理工大学）
本文提出多维提示链框架，通过提升自然性、连贯性和吸引力，使小型模型在开放域对话生成中达到与大模型相当的性能。
2026-01-03 cs.AI cs.CL
Improving Language Generation with Sentence Coherence Objective
Stanford University（斯坦福大学）
有条件故事生成和上下文文本延续已经成为NLP领域越来越热门的话题。现有的模型往往倾向于输出逐渐偏离给定提示的文本段落。虽然生成的文本可能具有一定的复杂性和多样性，但很容易被人类识别为乱码。我们项目的目标是提高语言生成模型中句子之间的连贯性和一致性。我们的目标是解决这个问题，首先用GPT-2预训练模型训练一个句子对连贯性分类器，然后使用类似于REINFORCE算法的方法，用这个新的连贯性目标共同训练GPT-2语言模型。这种经过微调的语言模型能够生成以给定主题为条件的冗长段落，而不会偏离太多。该模型的简单性允许其适用于各种底层语言模型架构，因为它只修改预训练模型的最后一层。
2020-09-07 cs.CL cs.LG stat.ML
Context-Preserving Gradient Modulation for Large Language Models: A Novel Approach to Semantic Consistency in Long-Form Text Generation
本文提出一种上下文保持的梯度调制方法，通过动态调整参数更新来提升长文本生成的语义一致性，实验证明其在连贯性、上下文保持和计算效率上均优于基线模型。
2025-03-25 cs.CL
Coherence-Aware Distributional Evaluation of Open-Ended Text Generation
New York University（纽约大学）；Center for Data Science, NYU Shanghai（上海纽约大学数据科学中心）；Georgia Institute of Technology（佐治亚理工学院）
针对开放文本生成评估忽略全局连贯性的问题，提出连贯性感知的分布指标CHORD，利用冻结LLM隐状态和RBF-MMD检测多种连贯性失败，实验证明其优于现有基线并与人类判断高度一致。
2026-09-30 cs.AI cs.CL
Compose Like Humans: Jointly Improving the Coherence and Novelty for Modern Chinese Poetry Generation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；JD AI（京东人工智能事业部）
中国诗歌是世界文化的一个重要组成部分，古典诗歌与现代诗歌又有很大的不同。前者是一种独特的体裁，有着严格的限制，而后者在长度上非常灵活，可以随意押韵，与其他语言的现代诗歌相似。因此，对连贯性的控制和新颖性的提高提出了更高的要求。在本文中，我们提出了一个生成-检索-然后细化范式，以共同提高一致性和新颖性。在第一阶段中，给定关键字生成草稿（即，主题）。第二阶段从检索行产生“细化向量”。最后，我们将草稿和“提炼向量”结合起来，生成一首新诗。草稿为要生成的行提供将来的业务级别信息。同时，“精化向量”指出了基于令人印象深刻的词检测机制的精化方向，该机制可以从引用中学习好的模式，然后通过插入操作创建新的模式。在大规模现代汉语诗歌数据集上的实验结果表明，该方法不仅能生成连贯性更好的诗歌，而且提高了诗歌的多样性和新颖性。
2020-05-04 cs.AI cs.CL
Generation of Multimedia Artifacts: An Extractive Summarization-based Approach
INESC ID（葡萄牙系统与计算机工程研究所（里斯本））；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））
我们探索内容选择的方法，并解决多媒体工件生成背景下的一致性问题。我们使用音频和视频来呈现两个案例研究：电影致敬的生成和讲座驱动的科学讲座。对于内容选择，我们使用基于中心性和基于多样性的摘要以及主题分析。为了建立连贯性，我们使用音乐的情感内容，为电影致敬，并确保讲座和纪录片之间的主题相似性，为科学讲座。用于生产多媒体工件的合成技术作为组织内容的一种手段，以提高一致性。我们讨论我们的结果考虑到上述方面。
2015-08-13 cs.AI cs.CL cs.MM
Topic-to-essay generation with knowledge-based content selection
College of Computer Science, Nankai University（南开大学计算机科学学院）
针对主题到文章生成任务中文本多样性不足的问题，本文提出融合语言模型语义知识的复制机制模型，并引入改进前缀调优方法，在保持主题一致性的同时将生成多样性提升35%至59%。
2024-02-26 cs.AI cs.CL
Strategies for Structuring Story Generation
FAIR（FAIR（脸书人工智能研究院））；LORIA（洛林信息学及其应用研究实验室）；Google AI（谷歌人工智能）
作家一般依靠计划或草图来写长篇故事，但大多数当前的语言模型都是从左到右一个字一个字地生成。我们探索了由粗到细的模型，用于创建数百个单词的叙事文本，并引入了通过抽象动作和实体来分解故事的新模型。该模型首先生成文本的谓词-论元结构，其中对同一实体的不同提及用占位符标记。然后生成谓词-参数结构的表面实现，最后用上下文相关的名称和引用替换实体占位符。人类法官更喜欢我们模型中的故事，而不是以前的各种分层文本生成方法。广泛的分析表明，我们的方法可以帮助提高生成的故事中的事件和实体的多样性和一致性。
2019-06-15 cs.CL
Improving Open-Ended Text Generation via Adaptive Decoding
Shanghai Jiao Tong University（上海交通大学）
本研究提出自适应解码机制，通过基于熵的置信度指标动态确定候选词元集，在平衡生成多样性与连贯性的同时提升了文本质量与模型推理能力。
2024-06-03 cs.CL
Towards Diverse, Relevant and Coherent Open-Domain Dialogue Generation via Hybrid Latent Variables
Beijing Institute of Technology（北京理工大学）；Huawei Technologies Ltd.（华为技术有限公司）
条件变分模型，使用连续或离散的潜变量，是强大的开放域对话响应生成。然而，以前的工作表明，连续的潜变量往往会减少生成的响应的一致性。在本文中，我们还发现，离散的潜变量很难捕捉到更多样化的表达。为了解决这些问题，我们结合了连续和离散潜变量的优点，提出了一种混合潜变量（HLV）方法。具体而言，HLV通过离散潜变量约束响应的全局语义，并使用连续潜变量丰富响应。因此，我们在保持相关性和一致性的同时，使所产生的反应多样化。此外，我们提出了条件混合变分Transformer（CHVT）的建设和利用HLV与Transformers的对话生成。通过细粒度的符号级语义信息和加性高斯混合，我们构建了连续变量的分布，促使生成多样化的表达式。同时，通过自分离训练对离散潜变量进行优化，以保持关联性和连贯性。在两个对话生成数据集（DailyDialog和Opensubtitles）上的实验结果表明，CHVT优于传统的基于transformer的变分机制.多样性、相关性和一致性指标。此外，我们还展示了应用HLV微调两个预训练对话模型（PLATO和BART-base）的好处。
2022-12-02 cs.AI cs.CL
Multi-Amateur Contrastive Decoding for Text Generation
Department of Data Science（数据科学系）；Praxis Business School（普拉克斯商学院）
本文提出多业余对比解码框架，通过集成多个业余模型更全面地捕捉语言生成中的不良模式，提升文本生成的流畅性、连贯性和多样性。
2025-06-22 cs.CL
ELSA: A Style Aligned Dataset for Emotionally Intelligent Language Generation
Joyspace AI
本文提出ELSA数据集，通过细粒度情感分类与多种语境风格重写原始句子，并利用大语言模型生成情感细微变化文本，以支持情感条件风格自适应文本生成研究。
2025-04-11 cs.AI cs.CL cs.LG
Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation
University of Southern California（南加州大学）；Intel AI（英特尔人工智能）
本文提出top-H解码，通过熵约束最小散度问题提升文本生成的创造力与连贯性，实验证明其在创意写作任务中优于现有方法，且在问答数据集上表现稳健。
2026-05-10 cs.AI cs.CL stat.ML
DiffusionDialog: A Diffusion Model for Diverse Dialog Generation with Latent Space
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Meituan（美团）
针对对话生成的一对多与多样性不足问题，本文提出 DiffusionDialog，通过编码器和基于连续潜变量的扩散先验及逐步去噪推理，在保持回复连贯性的同时显著提升多样性与推理效率。
2024-04-10 cs.AI cs.CL
ReviewInstruct: A Review-Driven Multi-Turn Conversations Generation Method for Large Language Models
OPPO AI Center（OPPO人工智能中心）
本文提出Review-Instruct框架，通过候选者、多个评审者和主席的迭代“提问-回答-评审”过程生成高质量多轮对话数据，微调LLaMA2-13B后在MMLU-Pro和MT-Bench上分别提升2.9%和2%，验证了评审驱动多智能体框架的有效性。
2025-07-04 cs.AI cs.CL
Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs
Praxis Business School（普拉克斯商业学校）；San Jose State University（旧金山州立大学）
提出自适应语义感知典型性采样（ASTS）改进局部典型采样算法，通过动态熵阈值、多目标评分和奖惩调整，在保持计算效率的同时提升文本生成的流畅性、多样性和连贯性。
2025-06-11 cs.AI cs.CL
Improving Contextualized Topic Models with Negative Sampling
Indian Association for the Cultivation of Science（印度科学培育协会）；Ashoka University（阿育王大学）；Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
主题建模已经成为探索大型文档集的主要方法。最近的主题建模方法使用大型上下文语言模型和变分自编码器。在本文中，我们提出了一个负采样机制的上下文化的主题模型，以提高生成的主题的质量。特别是，在模型训练期间，我们扰动生成的文档主题向量，并使用三元组损失来鼓励从正确的文档主题向量重建的文档与输入文档相似，而与从扰动向量重建的文档不同。在三个公开的基准数据集上进行的不同主题计数的实验表明，在大多数情况下，我们的方法导致主题一致性比基线增加。我们的模型也实现了非常高的主题多样性。
2023-03-27 cs.CL cs.LG
