Do LLMs produce texts with "human-like" lexical diversity?
Northern Arizona University（北亚利桑那大学）；Brigham Young University – Hawaii（杨百翰大学夏威夷分校）
本研究发现，ChatGPT模型生成的文本在词汇多样性上与人类写作存在显著差异，新模型的文本比旧模型更不具有人类般的多样性。
2025-11-21 cs.CL
Improving Demonstration Diversity by Human-Free Fusing for Text-to-SQL
Harbin Institute of Technology（哈尔滨工业大学）
本文提出衡量文本到SQL演示多样性的指标，并设计无人工迭代融合方法Fused构建高多样性演示池，在多个数据集上平均提升3.2%至5.0%，降低标注成本。
2024-06-26 cs.CL
Diversity, Density, and Homogeneity: Quantitative Characteristic Metrics for Text Collections
AWS AI（亚马逊云科技人工智能）
通过定量措施总结数据样本有着悠久的历史，描述性统计就是一个很好的例子。然而，随着自然语言处理方法的蓬勃发展，仍然没有足够的特征度量来描述文本集合中的单词、句子或段落。在这项工作中，我们提出的多样性，密度和同质性，定量测量的分散性，稀疏性和均匀性的文本集合的指标。我们进行了一系列模拟，以验证每个指标都具有所需的属性，并与人类的直觉产生共鸣。在真实数据集上的实验表明，所提出的特征度量与著名模型BERT的文本分类性能高度相关，这可能会启发未来的应用。
2020-03-19 cs.CL
LoFT: Enhancing Faithfulness and Diversity for Table-to-Text Generation via Logic Form Control
Yale University（耶鲁大学）；Zhejiang University（浙江大学）
逻辑表格到文本（LT 2 T）生成的任务是从表格中生成逻辑上忠实的句子。目前该领域存在两个挑战：1）忠实性：如何生成给定表格内容的事实上正确的句子; 2）多样性：如何生成在表格上提供不同视角的多个句子。这项工作提出了LoFT，它利用逻辑形式作为事实验证器和内容规划器来控制LT 2 T的生成。LogicNLG数据集上的实验结果表明，LoFT是第一个同时解决不忠和缺乏多样性问题的模型。我们的代码可在https://github.com/Yale-LILY/LoFT上公开获取。
2023-02-06 cs.CL
A Penalty Goes a Long Way: Measuring Lexical Diversity in Synthetic Texts Under Prompt-Influenced Length Variations
University of Massachusetts Lowell（马萨诸塞大学洛伊尔分校）；Adobe Inc.（Adobe公司）
本文提出对长度变化鲁棒的词汇多样性度量PATTR，通过在视频脚本生成任务中与MATTR和CR对比，证明其能有效减轻长度偏差并在筛选高多样性响应时表现更优。
2025-07-20 cs.CL
Exploring More to Solve More: Boosting Diversity in Text Diffusion Models via Entropy-Based Guidance
本研究提出无训练的SAKE引导方法，通过核Gram矩阵的二阶Rényi熵动态调整文本扩散模型的采样分布，实现更优的保真度与多样性平衡，提升了代码、数学等推理任务的多样本性能。
2026-08-04 cs.AI cs.CL
Sequence-to-Sequence Models for Data-to-Text Natural Language Generation: Word- vs. Character-based Processing and Output Diversity
Institute for Natural Language Processing (IMS)（自然语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一个基于单词和基于字符的序列到序列模型的数据到文本的自然语言生成，生成结构化输入的自然语言描述的比较。在最近两代挑战的数据集上，我们的模型实现了与最佳挑战提交相比相当或更好的自动评估结果。随后的详细统计和人工分析揭示了两种输入表示之间的差异以及生成文本的多样性。在一个由模板生成的合成训练数据的对照实验中，我们展示了神经模型学习模板的新组合的能力，从而超越了它们所训练的语言结构。
2018-10-11 cs.CL
JaccDiv: A Metric and Benchmark for Quantifying Diversity of Generated Marketing Text in the Music Industry
Technical University of Munich（慕尼黑技术大学）
本文针对音乐行业营销文本生成中的重复问题，提出基于LLM的data-to-text方法并设定基准，同时引入JaccDiv指标量化文本多样性，适用于多种内容生成领域。
2025-04-29 cs.CL
Have Your Text and Use It Too! End-to-End Neural Data-to-Text Generation with Semantic Fidelity
Amazon Alexa（亚马逊Alexa）
端到端神经数据到文本（D2 T）生成最近已经成为基于流水线架构的替代方案。然而，它在推广到新领域和生成语义一致的文本方面面临着挑战。在这项工作中，我们提出了DataTuner，神经，端到端的数据到文本生成系统，使最小的假设有关的数据表示和目标域。我们采用两阶段的生成-重新排序方法，将微调的语言模型与语义保真度分类器相结合。我们的每个组件都是端到端学习的，而不需要特定于机器人的语言学、实体去词汇化或后处理。我们表明，DataTuner在四个主要D2 T数据集（LDC 2017 T10、WebNLG、ViGGO和Cleaned E2 E）的自动化指标上取得了最先进的结果，人类注释者评估的流畅性接近或超过人类编写的参考文本。我们进一步证明了DataTuner中基于模型的语义保真度评分器是一种更好的评估工具，相比传统的，基于经验的措施。我们生成的文本在所有四个数据集上的语义保真度都比最先进的文本要好得多
2020-11-10 cs.CL
Improving Diversity of Neural Text Generation via Inverse Probability Weighting
Central Conservatory of Music（中央音乐学院）；Tsinghua University（清华大学）
神经文本生成存在重复等文本退化问题。传统的随机抽样方法只关注截断分布中不可靠的“尾部”，而没有解决“头部”部分，我们发现这部分可能包含繁琐甚至重复的候选项，这些候选项有很高的概率导致重复循环。他们也没有考虑人类文本并不总是倾向于高概率词的问题。受此启发，在这项工作中，我们提出了一个启发式抽样方法。我们建议使用预测分布的四分位数范围来确定“头部”部分，然后用逆概率置换和重新缩放“头部”。这旨在降低具有较高概率的乏味且可能重复的候选项的概率，并增加具有较低概率的合理但更令人惊讶的候选项的概率。该算法提供了一个合理的排列的预测分布，提高了多样性，而不损害合理性的分布。我们使用预先训练好的语言模型来比较我们的算法和传统的方法。实验结果表明，该算法能有效地提高生成样本的多样性，同时达到与人类文本相似的效果。
2021-08-26 cs.CL
DUAL: Diversity and Uncertainty Active Learning for Text Summarization
Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）；School of Informatics（信息学院）
提出结合不确定性与多样性的主动学习算法DUAL，通过迭代选择兼具代表性和挑战性的样本，有效解决了文本摘要任务中传统主动学习方法表现不佳的问题。
2025-03-02 cs.CL
Diversity Enhanced Table-to-Text Generation via Type Control
IBM Research AI（IBM研究院人工智能部门）
本文针对表格到文本生成中输出多样性不足的问题，提出基于逻辑类型的类型控制生成模型，并在两个Logical NLG数据集上验证其在类型可控性、质量及事实性-多样性权衡方面优于现有最强基线。
2023-05-30 cs.CL
Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出基于参考的框架，从三个视角分析开放式文本生成的连贯性与多样性，实验表明多样性对齐和均值比较能捕捉质量变异，参考似然性与评分正相关，为评估生成质量提供结构化方法。
2026-09-24 cs.CL
Evade the Trap of Mediocrity: Promoting Diversity and Novelty in Text Generation via Concentrating Attention
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Microsoft Research Asia（微软亚洲研究院）；Jiangsu Normal University（江苏师范大学）；Jiangsu Collaborative Innovation Center for Language Ability（江苏语言能力协同创新中心）
最近，强大的Transformer体系结构在生成高质量句子方面已经证明了其优越性。然而，这些模型往往会产生枯燥的高频短语，严重损害了生成文本的多样性和新颖性。在这项工作中，我们深入研究了这个问题的内在机制，发现在Transformer中稀疏的注意力值可以提高多样性。为了理解这种现象，我们首先进行了实证和理论分析，然后将其归因于在训练过程中注意隐藏状态的混合所导致的表征退化。我们把这个过程称为平庸的陷阱。为了摆脱这样的陷阱，我们引入了一种新的注意力正则化损失来控制注意力分布的清晰度，这对模型结构是透明的，并且可以在20行Python代码内轻松实现。我们证明，这种方法可以在数学上被视为学习贝叶斯近似的后验注意。实验表明，我们的方法提高了所生成的文本的多样性和新颖性，同时在各种条件和无条件生成任务上保持相当的质量。
2022-11-14 cs.CL
The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text
École Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院、巴黎理工学院）；Linagora（Linagora公司）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inria（法国国家信息与自动化研究所）
该研究通过递归微调实验和词汇、句法、语义多样性指标，揭示语言模型在前代生成的合成文本上反复训练会导致输出多样性持续下降。
2024-04-16 cs.CL
Evaluating the Evaluation of Diversity in Natural Language Generation
Tel-Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
尽管人们对产生不同输出的自然语言生成（NLG）模型越来越感兴趣，但目前还没有用于评估NLG系统的多样性的原则性方法。在这项工作中，我们提出了一个评估多样性指标的框架。该框架测量建议的多样性度量和多样性参数之间的相关性，多样性参数是控制生成的文本中多样性的某些方面的单个参数。例如，多样性参数可以是用于指示众包工作者生成具有低或高内容多样性的文本的二进制变量。我们证明了我们的框架的效用：（a）建立最佳实践，从人类的多样性判断，（b）显示人类大大优于自动度量估计内容多样性，和（c）表明，现有的方法控制多样性，通过调整“解码参数”主要影响形式，但没有意义。我们的框架可以促进对不同多样性指标的理解，这是迈向更好的NLG系统的重要一步。
2021-01-24 cs.CL
Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Microsoft Research Asia（微软亚洲研究院）；Jiangsu Normal University（江苏师范大学）；Jiangsu Collaborative Innovation Center for Language Ability（江苏省语言能力协同创新中心）
变分自动编码器（VAE）在文本生成中得到了广泛的应用。在许多变体中，递归VAE学习令牌式潜变量，每个潜变量都以前面的潜变量为条件，这在RNN时代更好地捕捉了序列变异性。然而，目前还不清楚如何将这种经常性的动态到最近占主导地位的Transformer，由于其并行性。在这项工作中，我们提出了TRACE，一个基于transformer的递归VAE结构。TRACE对具有任意分离的文本段的逐段潜变量施加递归，并构造具有残差参数化的后验分布。此外，我们设计了一个加速方法，通过近似幂等矩阵，允许并行性，同时保持条件依赖的潜在变量。我们证明了TRACE可以增强每段和前一个潜变量的纠缠度，并推导出KL项的非零下界，为世代多样性提供了理论保证。两个无条件和一个条件生成任务的实验表明，TRACE实现了显着提高多样性，同时保持令人满意的生成质量。
2022-11-23 cs.CL
Quantifying literature quality using complexity criteria
Universidad Simón Bolívar（西蒙·玻利瓦尔大学）
我们测量了英语和西班牙语文本的熵和符号多样性，包括文学诺贝尔奖获得者和其他著名作家。熵，符号多样性和符号频率分布进行了比较，这四个群体。我们还建立了一个规模敏感的写作质量，并评估其与Flesch的可读性指数为英语和西班牙语的Szigriszt的清晰度指数的关系。结果表明，熵和词的多样性与写作质量之间的相关性。文本体裁也会影响文本的熵和多样性。结果表明，文本的自动质量评估的可行性。
2017-01-15 cs.CL
Evaluating for Diversity in Question Generation over Text
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）
在文本上生成多样化和相关的问题是一项具有广泛应用的任务。我们认为，常用的评价指标，如BLEU和METEOR不适合这项任务，由于固有的多样性的参考问题，并提出了一个计划，扩展传统的指标，以反映多样性。此外，我们提出了一个变分编码器-解码器模型为这项任务。我们通过自动和人工评估表明，我们的变分模型提高了多样性，而不会损失质量，并展示了我们的评估方案如何反映这种改进。
2020-08-17 cs.CL stat.ML
Cross-Examination Framework: A Task-Agnostic Diagnostic for Information Fidelity in Text-to-Text Generation
M42 Health（M42健康）
交叉审查框架通过无参考多维评估方法，识别文本生成任务中的语义保真度问题，有效检测内容遗漏和事实矛盾等关键错误。
2026-01-27 cs.CL
Increasing Diversity While Maintaining Accuracy: Text Data Generation with Large Language Models and Human Interventions
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）
本文研究人机协作下的LLM文本数据生成，发现logit抑制和温度采样能提升多样性但降低准确性，而标签替换可显著提高模型准确率，范围外过滤效果有限。
2023-06-07 cs.CL
Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors
University of Virginia（弗吉尼亚大学）；The Chinese University of Hong Kong（香港中文大学）
生成具有高多样性的高质量文本对于许多NLG应用是重要的，但是当前的方法大多集中于构建确定性模型以生成更高质量的文本，并且没有提供许多促进多样性的选项。在这项工作中，我们提出了一种新的潜在结构变量模型，以产生高质量的文本，丰富上下文表示学习的编码器-解码器模型。具体来说，我们引入一个随机函数来将确定性编码器隐藏状态映射到随机上下文变量。所提出的随机函数是从高斯过程中采样的，然后（1）提供随机上下文变量的无限数量的联合高斯分布（多样性促进）和（2）明确地建模上下文变量之间的依赖性（准确编码）。为了解决高斯过程的学习挑战，我们提出了一种有效的变分推理方法来近似随机上下文变量的后验分布。我们评估我们的方法在两个典型的文本生成任务：释义生成和文本风格转移。在基准数据集上的实验结果表明，与其他基线相比，该方法提高了生成质量和多样性。
2022-04-04 cs.CL
Automatic Logical Forms improve fidelity in Table-to-Text generation
HiTZ Basque Center for Language Technology（HiTZ巴斯克语言技术中心）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
本文提出 TlT 框架，通过自动生成逻辑形式再生成文本，证明自动 LF 可将表格到文本生成的保真度提升 30 分，并指出内容选择是首要挑战。
2024-01-09 cs.CL
Thesis proposal: Are We Losing Textual Diversity to Natural Language Processing?
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
该论文以神经机器翻译为测试平台，探究自然语言处理算法的归纳偏置是否会损害非典型文本处理、降低生成文本多样性，分析其训练与解码层面的成因并提出优化方向。
2024-09-15 cs.CL
Random Network Distillation as a Diversity Metric for Both Image and Text Generation
University of Maryland（马里兰大学）
生成模型越来越能够生成非常高质量的图像和文本。社区已经开发了许多用于比较生成模型的评估指标。然而，这些指标并不能有效地量化数据多样性。我们开发了一种新的多样性度量，可以很容易地应用于任何类型的数据，无论是合成的还是自然的。我们的方法采用随机网络蒸馏，这是强化学习中引入的一种技术。我们在图像和文本上验证和部署此度量。我们进一步探讨多样性，在Few-Shot图像生成，以前很难评估的设置。
2020-10-13 cs.CL cs.CV cs.LG
Learning Moral Diversity: Modelling Individual Perspectives in Moral Classification of Texts
School of Mathematical Sciences, Adelaide University（阿德莱德大学数学科学学院）
针对社交媒体文本道德分类中标注者主观性导致的分歧，提出在预训练语言模型中加入学习标注者特定特征的层，改进个体标注预测并揭示道德视角差异。
2026-06-23 cs.CL
Informed Sampling for Diversity in Concept-to-Text NLG
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
用于语言生成任务的深度学习模型往往会产生重复的输出。已经提出了各种方法来鼓励在解码过程中的词汇多样性，但这往往是以牺牲感知的流畅性和充分的输出。在这项工作中，我们建议改善这种成本，通过使用模仿学习的方法来探索的多样性水平，一个语言生成模型可以可靠地产生。具体来说，我们用一个元分类器来增强解码过程，该元分类器被训练成在任何给定的时间步区分哪些单词将导致高质量的输出。我们把实验的重点放在概念到文本的生成模型是敏感的，由于输入和输出之间的严格关系的不相关的话。我们的分析表明，以前的多样性方法在这种情况下表现不佳，而人类的评价表明，我们提出的方法实现了高水平的多样性，对输出的流畅性和充分性的影响最小。
2021-09-21 cs.CL cs.LG
On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
文本生成模型的目标是拟合文本的潜在真实概率分布。对于性能评估，通常应用质量和多样性度量。然而，质量多样性评价在多大程度上能够反映分布拟合目标，目前还不清楚。本文试图从理论上揭示这种关系。我们证明了在一定条件下，质量和多样性的线性组合构成了生成分布和真实分布之间的发散度量。我们还表明，常用的BLEU/Self-BLEU度量对无法匹配任何发散度量，因此提出CR/NRR作为质量/多样性度量对的替代。
2020-08-19 cs.CL cs.LG stat.ML
Measuring Lexical Diversity in Texts: The Twofold Length Problem
Université catholique de Louvain（天主教鲁汶大学）
本文通过方法学评论指出，基于概率或算法将文本缩减至等长的指标虽能解决词汇多样性测量中的长度依赖问题，但仍对决定缩减长度的参数敏感，并据此提出了优化建议。
2023-07-29 cs.CL stat.AP
Operations Guided Neural Networks for High Fidelity Data-To-Text Generation
Sun Yat-Sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
最近用于数据到文本生成的神经模型主要基于编码器-解码器网络上的数据驱动的端到端训练。尽管生成的文本大多是流畅的和信息丰富的，但它们通常会生成与输入结构化数据不一致的描述。这是一个关键问题，特别是在需要对原始数据进行推理或计算的领域。在本文中，我们试图通过利用预先执行的符号操作来提高神经数据到文本生成的保真度。我们提出了一个框架称为操作引导的基于注意力的序列到序列网络（OpAtt），具有专门设计的门控机制以及操作结果的量化模块，以利用来自预执行操作的信息。在两个体育数据集上的实验表明，该方法明显提高了生成文本对输入结构化数据的保真度。
2018-09-08 cs.AI cs.CL
Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models
Google Research（谷歌研究院）
针对LLM合成数据集在语义、句法和词汇上的重复问题，本文提出交互式可视化工具LinguisticLens，通过多轴聚类与分层浏览帮助分析其语言多样性。
2023-09-27 cs.AI cs.CL
Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting
Microsoft Research（微软研究院）；University of Pennsylvania（宾夕法尼亚大学）
针对大语言模型生成多样性可控性不足的问题，提出结构多样性指标与规格链（CoS）提示策略，可在黑盒LLM上显著提升诗歌、代码领域的结构多样性。
2024-08-12 cs.CL cs.LG
Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation
University of Mannheim（曼海姆大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
针对开放式 LLM 生成中截断采样方法及参数选择依赖经验的问题，本文基于保留完整句上下文的前缀树，逐解码步评估多样性与风险权衡，系统比较现有方法并提供参数选择指南。
2025-01-08 cs.AI cs.CL
Jointly Measuring Diversity and Quality in Text Generation Models
Sharif University of Technology（谢里夫理工大学）
文本生成是自然语言处理的一项重要任务，有着广泛的应用。虽然已经引入了几种度量来评估文本生成方法，但每种方法都有自己的缺点。BLEU等最广泛使用的度量标准只考虑生成句子的质量，而忽略了它们的多样性。例如，仅重复生成一个高质量句子将导致高BLEU分数。另一方面，最近引入的用于评估生成文本的多样性的度量（称为Self-BLEU）忽略了生成文本的质量。在本文中，我们提出了通过近似学习的生成模型和真实数据分布的距离来同时评估质量和多样性的指标。为此，我们首先引入一个度量，使用基于n-gram的度量来近似这个距离。然后，介绍了一种基于特征的度量，该度量基于最近在大型文本语料库上训练的高度深度的模型，称为BERT。最后，对于也可以计算生成器密度的Oracle训练模式，我们建议使用相应显式分布之间的距离度量。最后，最流行的和最近的文本生成模型进行评估，使用现有的和建议的度量和建议的度量的偏好被确定。
2019-05-20 cs.CL cs.LG stat.ML
A Semiotics-Aware Framework for Evaluating Fidelity and Coverage in Natural Language Generation
University of Lausanne（洛桑大学）
提出符号学感知框架，通过保真度和覆盖率两指标评估文本间符号学对齐，发现覆盖率低于保真度且低温下LLM与人工数据对齐最佳。
2026-09-23 cs.AI cs.CL
A proposed new metric for the conceptual diversity of a text
BİLGEM, TÜBİTAK（土耳其科学技术研究委员会信息与信息安全高级技术研究中心）
本文提出一种标准化度量指标，用于量化文本的概念多样性，通过示例验证其有效性，为自然语言处理与语义研究提供新工具。
2023-12-27 cs.AI cs.CL cs.IT
Diversity-Based Generalization for Unsupervised Text Classification under Domain Shift
George Mason University（乔治梅森大学）
领域自适应方法寻求从源域学习并将其推广到看不见的目标域。目前，用于主观文本分类问题的最先进的无监督领域自适应方法利用未标记的目标数据以及标记的源数据。在本文中，我们基于简单但有效的基于多样性的泛化思想，提出了一种用于单任务文本分类问题的领域自适应的新方法，该方法不需要未标记的目标数据，但仍然与最先进的技术相匹配。性能。多样性通过迫使模型不依赖于相同的特征进行预测，起到促进模型更好地泛化和不加选择地进行域转移的作用。我们将这一概念应用于神经网络中最容易解释的组件--注意层。为了产生足够的多样性，我们创建了一个多头注意力模型，并在注意力头之间注入多样性约束，使得每个头将以不同的方式学习。我们进一步扩展我们的模型，通过三训练和设计一个程序，在三训练分类器的注意力头之间有一个额外的多样性约束。使用亚马逊评论的标准基准数据集和新构建的危机事件数据集进行的广泛评估表明，我们的完全无监督方法与使用未标记目标数据的竞争基线相匹配。我们的研究结果表明，确保足够多样性的机器学习架构可以更好地推广;鼓励未来的研究设计无处不在的可用学习模型，而不使用未标记的目标数据。
2020-10-20 cs.CL cs.LG stat.ML
Diversifying Neural Text Generation with Part-of-Speech Guided Softmax and Sampling
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
神经文本生成模型可能会受到低多样性问题的困扰。各种解码策略和基于训练的方法已经被提出，以促进多样性，只有利用上下文特征，但很少考虑到结合句法结构线索。在这项工作中，我们建议使用语言注释，即，词性（POS），用于指导文本生成。详细地说，我们引入了POS Guided Softmax来显式地对两个后验概率进行建模：（i）下一个POS，以及（ii）来自目标POS词汇表的下一个令牌。进一步提出了一种POS引导抽样策略，通过丰富POS的多样性来解决低多样性问题。大量的实验和人工评估表明，与现有的最先进的方法相比，我们的POS引导Softmax和采样（POSG）可以生成更多样化的文本，同时保持相当的质量。
2022-09-10 cs.AI cs.CL
Exploring Precision and Recall to assess the quality and diversity of LLMs
Miles（迈尔斯机构）；Université Paris-Dauphine（巴黎多芬大学）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；LAMSADE（巴黎多芬大学计算机科学与决策实验室）；Sorbonne Université（索邦大学）；ISIR（智能与机器人系统研究所）
本文提出将Precision和Recall指标引入LLMs文本生成评估，无需对齐语料库即可细致评估生成文本的质量与多样性，揭示了模型微调时两者的权衡，扩展了基于分布的NLP评估工具包。
2024-06-04 cs.CL cs.LG
Diversity-oriented Data Augmentation with Large Language Models
Computer Network Information Center, CAS（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；Portland State University（波特兰州立大学）
针对现有数据增强忽视样本分布多样性的问题，提出面向多样性的DoAug框架，通过微调LLM生成多样化改写并整合核心集，在12个数据集上平均性能提升10.52%。
2025-06-02 cs.AI cs.CL cs.LG
TARDiS : Text Augmentation for Refining Diversity and Separability
School of Computer Science and Engineering, Korea University of Technology and Education (KOREATECH)（韩国技术教育大学计算机科学与工程学院（KOREATECH））
针对少样本文本分类，本文提出基于 LLM 的两阶段文本增强方法 TARDiS，通过 SEG、CEG 生成流程和类别适应机制提升样本多样性、可分离性与类别一致性，并在多项任务中超过现有方法。
2025-01-06 cs.AI cs.CL cs.LG
The Factuality Tax of Diversity-Intervened Text-to-Image Generation: Benchmark and Fact-Augmented Intervention
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出 DoFaiR 基准量化 T2I 多样性干预造成的历史人口统计失真，并用 FAI 引导 LLM 注入事实信息，在保持多样性的同时提升事实性。
2024-10-23 cs.AI cs.CL cs.CV
Diversity Augmentation of Dynamic User Preference Data for Boosting Personalized Text Summarizers
KDM Lab, Dhirubhai Ambani University, India（达里巴巴·阿米尼大学）；LCS2 Lab, Indian Institute of Technology Delhi, India（印度理工学院德里学院）
针对个性化摘要训练数据匮乏问题，提出基于跨轨迹打乱和摘要内容扰动的数据增强技术 PerAugy，显著提升了多个 SOTA 用户编码器和摘要框架的准确率与个性化表现，并证实了数据集多样性与性能提升强相关。
2025-10-11 cs.CL cs.LG
Evaluating Reasoning Fidelity in Visual Text Generation
Stony Brook University（石桥大学）
通过长文本渲染、事实知识探测、上下文理解和多步推理等任务，评估当前文本到图像模型在视觉文本生成中是否忠实保持推理能力，发现其常产生语义错误和逻辑不一致，与纯文本模型存在显著差距。
2026-06-03 cs.AI cs.CL cs.CV
BERnaT: Basque Encoders for Representing Natural Textual Diversity
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（希茨中心 - Ixa，巴斯克国家大学UPV/EHU）
本文提出BERnaT模型，通过结合标准、社交媒体和历史文本构建新语料库，训练三种配置的编码器模型，评估框架区分标准和多样任务，结果表明混合训练模型在各类任务中表现更优。
2026-03-23 cs.AI cs.CL
Dialect Diversity in Text Summarization on Twitter
Yale University（耶鲁大学）
Twitter上的讨论涉及来自不同方言的不同社区的参与，通常需要将大量帖子汇总为具有代表性的样本以提供概要。然而，任何这样的代表性样本都应该充分描绘潜在的方言多样性，以呈现代表方言的不同参与社区的声音。提取摘要算法执行构建子集的任务，这些子集简洁地捕获任何给定帖子集合的主题。然而，我们观察到，有方言偏见的摘要产生的共同摘要方法，即，他们通常返回的摘要不足以代表某些方言。绝大多数现有的“公平”摘要方法需要社会显著属性标签（在这种情况下，方言），以确保所生成的摘要相对于社会显著属性是公平的。然而，在许多应用中，这些标签并不存在。此外，由于社交媒体中方言的不断发展，标记或准确推断每个社交媒体帖子的方言是不合理的。为了纠正方言偏见，我们采用了一个框架，将现有的文本摘要算法作为一个黑盒，并使用一小部分方言多样化的句子，返回一个相对更方言多样化的摘要。至关重要的是，这种方法不需要被总结的帖子具有方言标签，确保多样化过程独立于方言分类/识别模型。我们展示了我们的方法在Twitter数据集上的有效性，这些数据集包含由种族或性别定义的不同社会群体使用方言撰写的帖子;在所有情况下，与标准文本摘要方法相比，我们的方法都能提高方言多样性。
2021-04-04 cs.CL cs.CY
DiffSampling: Enhancing Diversity and Accuracy in Neural Text Generation
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
DiffSampling通过分析令牌概率分布，提升神经文本生成的多样性和准确性，实验表明其在质量上与现有方法相当。
2026-01-14 cs.AI cs.CL cs.LG
Hallucination Diversity-Aware Active Learning for Text Summarization
Shanghai Jiao Tong University（上海交通大学）；University of Michigan（密歇根大学）；Adobe Research（奥多比研究院）
本文提出首个缓解LLM幻觉的主动学习框架HADAS，通过从语义框架、话语和内容可验证性度量细粒度幻觉并选择多样化样本标注，在三个数据集上验证了其高效减轻文本摘要幻觉的效果。
2024-04-02 cs.AI cs.CL cs.LG
DiffGAN-TTS: High-Fidelity and Efficient Text-to-Speech with Denoising Diffusion GANs
Tencent AI Lab（腾讯AI实验室）
去噪扩散概率模型（DDPM）是一种表达能力很强的生成模型，已被用于解决各种语音合成问题。然而，由于它们的高采样成本，DDPM难以用于实时语音处理应用。在本文中，我们介绍了DiffGAN-TTS，一种新的基于DDPM的文本转语音（TTS）模型，实现高保真和高效的语音合成。DiffGAN-TTS基于去噪扩散生成对抗网络（GANs），其采用对抗训练的表达模型来近似去噪分布。我们用多说话人TTS实验表明，DiffGAN-TTS可以在4个去噪步骤内生成高保真语音样本。我们提出了一个积极的浅扩散机制，以进一步加快推理。一个两阶段的训练计划，提出了一个基本的TTS声学模型在第一阶段训练提供有价值的先验信息的DDPM在第二阶段训练。我们的实验表明，DiffGAN-TTS可以实现高的合成性能，只有1个去噪步骤。
2022-01-28 cs.CL cs.SD eess.AS
Augment, Drop & Swap: Improving Diversity in LLM Captions for Efficient Music-Text Representation Learning
Queen Mary University of London（伦敦玛丽女王大学）；Adobe Research（奥多比研究院）
该研究在资源受限条件下探究音乐-文本对比学习的关键设计选择，发现数据整理最为重要，提出Augmented View Dropout与TextSwap两种文本增强技术，可在不增加成本和数据的情况下提升模型性能。
2024-09-17 cs.AI cs.CL cs.SD
CDH-Bench: A Commonsense-Driven Hallucination Benchmark for Evaluating Visual Fidelity in Vision-Language Models
Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies, Institute of Cyberspace Security, School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（广东省新型安全智能技术重点实验室，网络空间安全研究院，计算机科学与技术学院，哈尔滨工业大学（深圳））
本文提出CDH-Bench基准，用于评估视觉语言模型在视觉证据与常识冲突时的视觉保真度，通过三种异常类型和两种QA任务，揭示模型在常识驱动下的幻觉问题。
2026-04-01 cs.AI cs.CL cs.CV
