Beyond Overcorrection: Evaluating Diversity in T2I Models with DivBench
TU Darmstadt（图宾根大学）；DFKI（德意志联邦人工智能研究中心）；CERTAIN（CERTAIN公司）；Centre for Cognitive Science, Darmstadt（达姆施塔特认知科学中心）
本文提出DIVBENCH基准与评估框架，用于衡量T2I模型生成中的多样化和过度多样化问题，发现上下文感知方法（如LLM引导的FairDiffusion和提示词重写）能有效平衡表征多样性与语义保真度。
2025-07-10 cs.CL cs.CY cs.LG
Evaluating the Diversity and Quality of LLM Generated Content
University of Pennsylvania（宾夕法尼亚大学）；New York University（纽约大学）；UC Berkeley（伯克利大学）
本文提出有效语义多样性测量框架，发现偏好微调模型在质量阈值下具有更高多样性，且小模型在固定预算内更高效生成独特内容。
2026-02-26 cs.AI cs.CL
Evaluating Diversity in Automatic Poetry Generation
University of Mannheim（曼海姆大学）；University of Technology Nuremberg (UTN)（纽伦堡工业大学（UTN））；Bielefeld University（比勒费尔德大学）
本研究评估自动诗歌生成（四行诗）的多样性，比较生成与人类诗歌在结构、词汇、语义和文体上的分布，发现现有系统多样性不足，而文体条件化和字符级建模能显著提升多样性。
2024-11-08 cs.CL
Gender Inclusivity Fairness Index (GIFI): A Multilevel Framework for Evaluating Gender Diversity in Large Language Models
Boston University（波士顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Stony Brook University（石溪大学）
提出性别包容性公平指数（GIFI），多层次评估LLMs对二元及非二元性别的包容性，并在22个模型中揭示显著差异，为性别公平提供基准。
2025-06-18 cs.CL
On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
文本生成模型的目标是拟合文本的潜在真实概率分布。对于性能评估，通常应用质量和多样性度量。然而，质量多样性评价在多大程度上能够反映分布拟合目标，目前还不清楚。本文试图从理论上揭示这种关系。我们证明了在一定条件下，质量和多样性的线性组合构成了生成分布和真实分布之间的发散度量。我们还表明，常用的BLEU/Self-BLEU度量对无法匹配任何发散度量，因此提出CR/NRR作为质量/多样性度量对的替代。
2020-08-19 cs.CL cs.LG stat.ML
Evaluating the Diversity, Equity and Inclusion of NLP Technology: A Case Study for Indian Languages
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
本文提出从多样性、公平性和包容性三个维度评估NLP技术的范式，引入基尼系数衡量语言间公平性，揭示印度语言技术的困境，并提出区域化建模与微调资源优化分配方法。
2023-04-12 cs.CL
Exploring the Relationship Between Diversity and Quality in Ad Text Generation
Tohoku University（东北大学）；RIKEN（理化学研究所）；CyberAgent
本研究探索广告文本生成中多样性与质量的关系，考虑多样性增强方法、超参数、输入输出格式和模型等因素，以生成多样且吸引人的广告文本。
2025-05-22 cs.CL
Jointly Measuring Diversity and Quality in Text Generation Models
Sharif University of Technology（谢里夫理工大学）
文本生成是自然语言处理的一项重要任务，有着广泛的应用。虽然已经引入了几种度量来评估文本生成方法，但每种方法都有自己的缺点。BLEU等最广泛使用的度量标准只考虑生成句子的质量，而忽略了它们的多样性。例如，仅重复生成一个高质量句子将导致高BLEU分数。另一方面，最近引入的用于评估生成文本的多样性的度量（称为Self-BLEU）忽略了生成文本的质量。在本文中，我们提出了通过近似学习的生成模型和真实数据分布的距离来同时评估质量和多样性的指标。为此，我们首先引入一个度量，使用基于n-gram的度量来近似这个距离。然后，介绍了一种基于特征的度量，该度量基于最近在大型文本语料库上训练的高度深度的模型，称为BERT。最后，对于也可以计算生成器密度的Oracle训练模式，我们建议使用相应显式分布之间的距离度量。最后，最流行的和最近的文本生成模型进行评估，使用现有的和建议的度量和建议的度量的偏好被确定。
2019-05-20 cs.CL cs.LG stat.ML
Effects of diversity incentives on sample diversity and downstream model performance in LLM-based text augmentation
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（坎佩伦智能技术研究院）；University of Pittsburgh（匹兹堡大学）
本研究考察众包中成熟的三种文本多样性激励方法（禁忌词、异常值提示、异常值链式处理）在基于LLM的文本增强中的作用，发现禁忌词提升多样性最显著，提示方法则使下游模型性能最高。
2024-08-18 cs.CL
DP-GAN: Diversity-Promoting Generative Adversarial Network for Generating Informative and Diversified Text
Peking University（北京大学）
现有的文本生成方法往往会产生重复和“无聊”的表达。为了解决这个问题，我们提出了一个新的文本生成模型，称为多样性促进生成对抗网络（DP-GAN）。该模型为重复生成的文本分配低奖励，为“新颖”和流畅的文本分配高奖励，鼓励生成器生成多样化和信息丰富的文本。此外，我们提出了一种新的语言模型为基础的鉴别器，它可以更好地区分新的文本从重复的文本没有饱和的问题相比，现有的基于分类器的歧视。评论生成和对话生成任务的实验结果表明，我们的模型可以生成比现有基线更多样化和信息量更大的文本。代码可在https://github.com/lancopku/DPGAN上获得
2018-08-21 cs.CL
Diversity-Based Generalization for Unsupervised Text Classification under Domain Shift
George Mason University（乔治梅森大学）
领域自适应方法寻求从源域学习并将其推广到看不见的目标域。目前，用于主观文本分类问题的最先进的无监督领域自适应方法利用未标记的目标数据以及标记的源数据。在本文中，我们基于简单但有效的基于多样性的泛化思想，提出了一种用于单任务文本分类问题的领域自适应的新方法，该方法不需要未标记的目标数据，但仍然与最先进的技术相匹配。性能。多样性通过迫使模型不依赖于相同的特征进行预测，起到促进模型更好地泛化和不加选择地进行域转移的作用。我们将这一概念应用于神经网络中最容易解释的组件--注意层。为了产生足够的多样性，我们创建了一个多头注意力模型，并在注意力头之间注入多样性约束，使得每个头将以不同的方式学习。我们进一步扩展我们的模型，通过三训练和设计一个程序，在三训练分类器的注意力头之间有一个额外的多样性约束。使用亚马逊评论的标准基准数据集和新构建的危机事件数据集进行的广泛评估表明，我们的完全无监督方法与使用未标记目标数据的竞争基线相匹配。我们的研究结果表明，确保足够多样性的机器学习架构可以更好地推广;鼓励未来的研究设计无处不在的可用学习模型，而不使用未标记的目标数据。
2020-10-20 cs.CL cs.LG stat.ML
Standardizing the Measurement of Text Diversity: A Tool and a Comparative Analysis of Scores
Northeastern University（东北大学）；Adobe Research（Adobe研究）；Pattern Data（Pattern Data公司）；Ithaca College（伊特纳学院）
本文提出了一种标准化文本多样性测量工具，通过开源包和交互平台分析文本重复，发现压缩算法与n-gram同质性评分相似，且多种指标组合能有效报告文本多样性。
2026-02-18 cs.CL
Do LLMs produce texts with "human-like" lexical diversity?
Northern Arizona University（北亚利桑那大学）；Brigham Young University – Hawaii（杨百翰大学夏威夷分校）
本研究发现，ChatGPT模型生成的文本在词汇多样性上与人类写作存在显著差异，新模型的文本比旧模型更不具有人类般的多样性。
2025-11-21 cs.CL
Improving Demonstration Diversity by Human-Free Fusing for Text-to-SQL
Harbin Institute of Technology（哈尔滨工业大学）
本文提出衡量文本到SQL演示多样性的指标，并设计无人工迭代融合方法Fused构建高多样性演示池，在多个数据集上平均提升3.2%至5.0%，降低标注成本。
2024-06-26 cs.CL
Diversity, Density, and Homogeneity: Quantitative Characteristic Metrics for Text Collections
AWS AI（亚马逊云科技人工智能）
通过定量措施总结数据样本有着悠久的历史，描述性统计就是一个很好的例子。然而，随着自然语言处理方法的蓬勃发展，仍然没有足够的特征度量来描述文本集合中的单词、句子或段落。在这项工作中，我们提出的多样性，密度和同质性，定量测量的分散性，稀疏性和均匀性的文本集合的指标。我们进行了一系列模拟，以验证每个指标都具有所需的属性，并与人类的直觉产生共鸣。在真实数据集上的实验表明，所提出的特征度量与著名模型BERT的文本分类性能高度相关，这可能会启发未来的应用。
2020-03-19 cs.CL
Measuring and Improving Semantic Diversity of Dialogue Generation
Hyperconnect
响应多样性已成为评价开放域对话生成模型质量的重要标准。然而，目前的响应多样性的评价指标往往无法捕捉生成的响应的语义多样性，因为它们主要考虑生成的响应的词汇方面。在本文中，我们引入了一种新的自动评估指标来衡量生成的响应的语义多样性。通过人类的评价，我们表明，我们提出的指标捕捉人类的判断反应的多样性比现有的词汇水平的多样性指标。此外，通过分析现有的对话数据集的动机，我们提出了一个简单而有效的学习方法，提高了生成的响应的语义多样性。我们的学习方法根据训练集的语义分布对训练样本进行加权。我们表明，我们的学习方法通过自动和人工评估比其他基线方法更好地提高了响应多样性和一致性。
2022-10-22 cs.CL
LoFT: Enhancing Faithfulness and Diversity for Table-to-Text Generation via Logic Form Control
Yale University（耶鲁大学）；Zhejiang University（浙江大学）
逻辑表格到文本（LT 2 T）生成的任务是从表格中生成逻辑上忠实的句子。目前该领域存在两个挑战：1）忠实性：如何生成给定表格内容的事实上正确的句子; 2）多样性：如何生成在表格上提供不同视角的多个句子。这项工作提出了LoFT，它利用逻辑形式作为事实验证器和内容规划器来控制LT 2 T的生成。LogicNLG数据集上的实验结果表明，LoFT是第一个同时解决不忠和缺乏多样性问题的模型。我们的代码可在https://github.com/Yale-LILY/LoFT上公开获取。
2023-02-06 cs.CL
AILS-NTUA at SemEval-2026 Task 8: Evaluating Multi-Turn RAG Conversations
National Technical University of Athens（国家技术大学雅典）
AILS-NTUA 系统通过查询多样性策略和多阶段生成管道，在多轮 RAG 任务中取得领先表现。
2026-03-11 cs.CL
A Penalty Goes a Long Way: Measuring Lexical Diversity in Synthetic Texts Under Prompt-Influenced Length Variations
University of Massachusetts Lowell（马萨诸塞大学洛伊尔分校）；Adobe Inc.（Adobe公司）
本文提出对长度变化鲁棒的词汇多样性度量PATTR，通过在视频脚本生成任务中与MATTR和CR对比，证明其能有效减轻长度偏差并在筛选高多样性响应时表现更优。
2025-07-20 cs.CL
Random Network Distillation as a Diversity Metric for Both Image and Text Generation
University of Maryland（马里兰大学）
生成模型越来越能够生成非常高质量的图像和文本。社区已经开发了许多用于比较生成模型的评估指标。然而，这些指标并不能有效地量化数据多样性。我们开发了一种新的多样性度量，可以很容易地应用于任何类型的数据，无论是合成的还是自然的。我们的方法采用随机网络蒸馏，这是强化学习中引入的一种技术。我们在图像和文本上验证和部署此度量。我们进一步探讨多样性，在Few-Shot图像生成，以前很难评估的设置。
2020-10-13 cs.CL cs.CV cs.LG
Fidelity-Diversity Metrics for Text
Department of Computer Science, Cornell University（康奈尔大学计算机科学系）；Statistics and Data Science Center, Massachusetts Institute of Technology（麻省理工学院统计与数据科学中心）；Department of Statistics, Cornell University（康奈尔大学统计学系）
随着语言建模技术成熟，数据质量评估对训练模型很关键。基于生成模型精度和召回率的工作，开发一对度量，用最优传输散度函数量化文本的保真度和多样性，能区分候选文本缺陷。
2026-07-07 cs.CL
Sequence-to-Sequence Models for Data-to-Text Natural Language Generation: Word- vs. Character-based Processing and Output Diversity
Institute for Natural Language Processing (IMS)（自然语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一个基于单词和基于字符的序列到序列模型的数据到文本的自然语言生成，生成结构化输入的自然语言描述的比较。在最近两代挑战的数据集上，我们的模型实现了与最佳挑战提交相比相当或更好的自动评估结果。随后的详细统计和人工分析揭示了两种输入表示之间的差异以及生成文本的多样性。在一个由模板生成的合成训练数据的对照实验中，我们展示了神经模型学习模板的新组合的能力，从而超越了它们所训练的语言结构。
2018-10-11 cs.CL
From Tables to Quantified Statements: Evaluating LLM Inference Generation through Executable Verification
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出STAT-TO-TEXT任务，利用LLM从统计表格生成量化推理，并通过可执行Python代码验证，发现更大模型（如GPT-OSS-120B）在忠实度、覆盖率和多样性上表现更优。
2026-09-22 cs.CL
Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
评估数据到文本（D2T）生成的一个主要挑战是测量所生成文本的语义准确性，即检查输出文本是否包含输入数据支持的所有且唯一事实。我们提出了一种新的度量标准，用于评估基于自然语言推理（NLI）预训练的神经模型的D2T生成的语义准确性。我们使用NLI模型在两个方向上检查输入数据和输出文本之间的文本蕴涵，允许我们揭示遗漏或幻觉。使用简单模板将输入数据转换为NLI的文本。我们在两个最近的D2T数据集上的实验表明，我们的度量在识别错误的系统输出时可以达到很高的准确性。
2020-11-21 cs.CL
JaccDiv: A Metric and Benchmark for Quantifying Diversity of Generated Marketing Text in the Music Industry
Technical University of Munich（慕尼黑技术大学）
本文针对音乐行业营销文本生成中的重复问题，提出基于LLM的data-to-text方法并设定基准，同时引入JaccDiv指标量化文本多样性，适用于多种内容生成领域。
2025-04-29 cs.CL
When Scale Meets Diversity: Evaluating Language Models on Fine-Grained Multilingual Claim Verification
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文在X-Fact上评估五类模型，发现270M参数的XLM-R经微调后以57.7% macro-F1大幅超越7B-12B LLM，并揭示其证据利用困难与类别偏见。
2025-07-28 cs.CL
Language Diversity: Evaluating Language Usage and AI Performance on African Languages in Digital Spaces
Carnegie Mellon University（卡内基梅隆大学）；Africa Kigali Rwanda（非洲基加利卢旺达）；Bahir Dar Institute of Technology（巴希尔达尔技术学院）；Federal University Otuoke Bayelsa Nigeria（贝莱萨州联邦大学）
本研究发现本地新闻数据比对话平台数据更有效用于训练非洲语言的AI模型，强调了处理干净和语言切换文本的重要性。
2026-07-31 cs.CL
Improving Diversity of Neural Text Generation via Inverse Probability Weighting
Central Conservatory of Music（中央音乐学院）；Tsinghua University（清华大学）
神经文本生成存在重复等文本退化问题。传统的随机抽样方法只关注截断分布中不可靠的“尾部”，而没有解决“头部”部分，我们发现这部分可能包含繁琐甚至重复的候选项，这些候选项有很高的概率导致重复循环。他们也没有考虑人类文本并不总是倾向于高概率词的问题。受此启发，在这项工作中，我们提出了一个启发式抽样方法。我们建议使用预测分布的四分位数范围来确定“头部”部分，然后用逆概率置换和重新缩放“头部”。这旨在降低具有较高概率的乏味且可能重复的候选项的概率，并增加具有较低概率的合理但更令人惊讶的候选项的概率。该算法提供了一个合理的排列的预测分布，提高了多样性，而不损害合理性的分布。我们使用预先训练好的语言模型来比较我们的算法和传统的方法。实验结果表明，该算法能有效地提高生成样本的多样性，同时达到与人类文本相似的效果。
2021-08-26 cs.CL
DUAL: Diversity and Uncertainty Active Learning for Text Summarization
Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）；School of Informatics（信息学院）
提出结合不确定性与多样性的主动学习算法DUAL，通过迭代选择兼具代表性和挑战性的样本，有效解决了文本摘要任务中传统主动学习方法表现不佳的问题。
2025-03-02 cs.CL
Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）；Universidad de Valladolid（巴利亚多利德大学）
本文以ChatGPT为案例，提出评估对话式大语言模型生成文本词汇丰富度的方法，揭示词汇多样性受模型版本、参数（如存在惩罚）和角色设定的影响，并公开数据集与工具以推动相关研究。
2024-10-21 cs.CL
Diversity Enhanced Table-to-Text Generation via Type Control
IBM Research AI（IBM研究院人工智能部门）
本文针对表格到文本生成中输出多样性不足的问题，提出基于逻辑类型的类型控制生成模型，并在两个Logical NLG数据集上验证其在类型可控性、质量及事实性-多样性权衡方面优于现有最强基线。
2023-05-30 cs.CL
Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出基于参考的框架，从三个视角分析开放式文本生成的连贯性与多样性，实验表明多样性对齐和均值比较能捕捉质量变异，参考似然性与评分正相关，为评估生成质量提供结构化方法。
2026-09-24 cs.CL
A Gold Standard Methodology for Evaluating Accuracy in Data-To-Text Systems
University of Aberdeen（阿伯丁大学）
大多数自然语言生成系统需要生成准确的文本。我们提出了一种高质量的人工评估生成的文本的准确性，这是为了作为一个金标准的数据到文本系统的准确性评估的方法。我们使用我们的方法来评估计算机生成的篮球摘要的准确性。然后，我们将展示如何使用我们的黄金标准评估来验证自动化指标
2020-11-08 cs.CL
GRUEN for Evaluating Linguistic Quality of Generated Text
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自动评估指标是必不可少的评估生成的文本。到目前为止，这些指标几乎完全集中在系统输出的内容选择方面，完全忽略了语言质量方面。我们通过提出GRUEN来评估生成文本的语法性、非冗余性、焦点、结构和连贯性，从而弥合了这一差距。GRUEN利用基于BERT的模型和一类语法、语义和上下文特征来检查系统输出。与大多数现有的评估指标需要人类参考作为输入不同，GRUEN是无参考的，只需要系统输出。此外，它具有无监督，确定性和适应各种任务的优点。在七个数据集上进行的四个语言生成任务的实验表明，该度量与人类的判断高度相关。
2020-10-06 cs.CL
Informed Sampling for Diversity in Concept-to-Text NLG
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
用于语言生成任务的深度学习模型往往会产生重复的输出。已经提出了各种方法来鼓励在解码过程中的词汇多样性，但这往往是以牺牲感知的流畅性和充分的输出。在这项工作中，我们建议改善这种成本，通过使用模仿学习的方法来探索的多样性水平，一个语言生成模型可以可靠地产生。具体来说，我们用一个元分类器来增强解码过程，该元分类器被训练成在任何给定的时间步区分哪些单词将导致高质量的输出。我们把实验的重点放在概念到文本的生成模型是敏感的，由于输入和输出之间的严格关系的不相关的话。我们的分析表明，以前的多样性方法在这种情况下表现不佳，而人类的评价表明，我们提出的方法实现了高水平的多样性，对输出的流畅性和充分性的影响最小。
2021-09-21 cs.CL cs.LG
Evaluating Text GANs as Language Models
Tel-Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
生成对抗网络（GANs）是一种很有前途的文本生成方法，与传统的语言模型（LM）不同，它不会受到"暴露偏差“问题的困扰。然而，理解GANs用于文本生成的潜力的一个主要障碍是缺乏明确的评估指标。在这项工作中，我们提出了近似的分布由GAN，这允许评估他们与传统的基于概率的LM指标生成的文本。我们将我们的近似程序应用于几个基于GAN的模型，并表明它们目前的性能比最先进的LM差得多。我们的评估过程促进了对GANs和LM之间关系的更好理解，并可以加速基于GAN的文本生成的进展。
2019-03-24 cs.CL
Evade the Trap of Mediocrity: Promoting Diversity and Novelty in Text Generation via Concentrating Attention
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Microsoft Research Asia（微软亚洲研究院）；Jiangsu Normal University（江苏师范大学）；Jiangsu Collaborative Innovation Center for Language Ability（江苏语言能力协同创新中心）
最近，强大的Transformer体系结构在生成高质量句子方面已经证明了其优越性。然而，这些模型往往会产生枯燥的高频短语，严重损害了生成文本的多样性和新颖性。在这项工作中，我们深入研究了这个问题的内在机制，发现在Transformer中稀疏的注意力值可以提高多样性。为了理解这种现象，我们首先进行了实证和理论分析，然后将其归因于在训练过程中注意隐藏状态的混合所导致的表征退化。我们把这个过程称为平庸的陷阱。为了摆脱这样的陷阱，我们引入了一种新的注意力正则化损失来控制注意力分布的清晰度，这对模型结构是透明的，并且可以在20行Python代码内轻松实现。我们证明，这种方法可以在数学上被视为学习贝叶斯近似的后验注意。实验表明，我们的方法提高了所生成的文本的多样性和新颖性，同时在各种条件和无条件生成任务上保持相当的质量。
2022-11-14 cs.CL
The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text
École Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院、巴黎理工学院）；Linagora（Linagora公司）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inria（法国国家信息与自动化研究所）
该研究通过递归微调实验和词汇、句法、语义多样性指标，揭示语言模型在前代生成的合成文本上反复训练会导致输出多样性持续下降。
2024-04-16 cs.CL
Measuring Lexical Diversity in Texts: The Twofold Length Problem
Université catholique de Louvain（天主教鲁汶大学）
本文通过方法学评论指出，基于概率或算法将文本缩减至等长的指标虽能解决词汇多样性测量中的长度依赖问题，但仍对决定缩减长度的参数敏感，并据此提出了优化建议。
2023-07-29 cs.CL stat.AP
Noise Steering for Controlled Text Generation: Improving Diversity and Reading-Level Fidelity in Arabic Educational Story Generation
American University of Sharjah（阿联酋沙迦美国大学）
本文探讨了噪声引导方法在生成阿拉伯语早期阅读评估故事中的应用，通过对比不同策略发现内部表示扰动比输出层面的随机性更适用于受约束的教育内容生成。
2026-05-02 cs.CL
Perplexity from PLM Is Unreliable for Evaluating Text Quality
Nanyang Technological University（南洋理工大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Tsinghua University（清华大学）
近年来，大量的研究工作利用困惑度PPL来评价生成文本的质量。他们认为，如果PPL值较小，则要评估的文本的质量（即流畅性）更好。然而，我们发现PPL裁判员是不合格的，它不能公平地评估生成的文本，原因如下：（i）短文本的PPL大于长文本，这违背了常识;（ii）重复的文本跨度可能会损害PPL的性能;（iii）标点符号可能会严重影响PPL的性能。实验表明，PPL是不可靠的评价给定的文本的质量。最后，我们讨论了使用语言模型评估文本质量的关键问题。
2023-03-15 cs.AI cs.CL
Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Microsoft Research Asia（微软亚洲研究院）；Jiangsu Normal University（江苏师范大学）；Jiangsu Collaborative Innovation Center for Language Ability（江苏省语言能力协同创新中心）
变分自动编码器（VAE）在文本生成中得到了广泛的应用。在许多变体中，递归VAE学习令牌式潜变量，每个潜变量都以前面的潜变量为条件，这在RNN时代更好地捕捉了序列变异性。然而，目前还不清楚如何将这种经常性的动态到最近占主导地位的Transformer，由于其并行性。在这项工作中，我们提出了TRACE，一个基于transformer的递归VAE结构。TRACE对具有任意分离的文本段的逐段潜变量施加递归，并构造具有残差参数化的后验分布。此外，我们设计了一个加速方法，通过近似幂等矩阵，允许并行性，同时保持条件依赖的潜在变量。我们证明了TRACE可以增强每段和前一个潜变量的纠缠度，并推导出KL项的非零下界，为世代多样性提供了理论保证。两个无条件和一个条件生成任务的实验表明，TRACE实现了显着提高多样性，同时保持令人满意的生成质量。
2022-11-23 cs.CL
Quantifying literature quality using complexity criteria
Universidad Simón Bolívar（西蒙·玻利瓦尔大学）
我们测量了英语和西班牙语文本的熵和符号多样性，包括文学诺贝尔奖获得者和其他著名作家。熵，符号多样性和符号频率分布进行了比较，这四个群体。我们还建立了一个规模敏感的写作质量，并评估其与Flesch的可读性指数为英语和西班牙语的Szigriszt的清晰度指数的关系。结果表明，熵和词的多样性与写作质量之间的相关性。文本体裁也会影响文本的熵和多样性。结果表明，文本的自动质量评估的可行性。
2017-01-15 cs.CL
Fidelity-Enriched Contrastive Search: Reconciling the Faithfulness-Diversity Trade-Off in Text Generation
National Taiwan University（国立台湾大学）；Artificial Intelligence Research Center, AIST（产业技术综合研究所人工智能研究中心）
本文提出一种名为 FECS 的新解码方法，通过引入上下文感知正则化项增强对比搜索，有效缓解了自然语言生成中的幻觉问题，在多种模型规模下提升了文本忠实度并保持了输出多样性。
2023-10-23 cs.CL
Increasing Diversity While Maintaining Accuracy: Text Data Generation with Large Language Models and Human Interventions
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）
本文研究人机协作下的LLM文本数据生成，发现logit抑制和温度采样能提升多样性但降低准确性，而标签替换可显著提高模型准确率，范围外过滤效果有限。
2023-06-07 cs.CL
Evaluating Sentence Segmentation and Word Tokenization Systems on Estonian Web Texts
University of Tartu（塔尔图大学）
从网络上获取的文本是嘈杂的，不一定遵循正字法句子和词边界规则。因此，在格式良好的文本上开发的句子分割和单词标记化系统在未经编辑的Web文本上可能不会表现得那么好。在本文中，我们首先描述了爱沙尼亚网络数据集的句子边界的手动注释，然后给出了三个现有的句子分割和单词标记化系统在这个语料库上的评估结果：EstNLTK，Stanza和UDPipe。虽然EstNLTK在此数据集上的句子分割方面获得了与其他系统相比最高的性能，但Stanza和UDPipe的句子分割性能仍然远低于在更完善的爱沙尼亚UD测试集上获得的结果。
2020-11-16 cs.CL
A proposed new metric for the conceptual diversity of a text
BİLGEM, TÜBİTAK（土耳其科学技术研究委员会信息与信息安全高级技术研究中心）
本文提出一种标准化度量指标，用于量化文本的概念多样性，通过示例验证其有效性，为自然语言处理与语义研究提供新工具。
2023-12-27 cs.AI cs.CL cs.IT
Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors
University of Virginia（弗吉尼亚大学）；The Chinese University of Hong Kong（香港中文大学）
生成具有高多样性的高质量文本对于许多NLG应用是重要的，但是当前的方法大多集中于构建确定性模型以生成更高质量的文本，并且没有提供许多促进多样性的选项。在这项工作中，我们提出了一种新的潜在结构变量模型，以产生高质量的文本，丰富上下文表示学习的编码器-解码器模型。具体来说，我们引入一个随机函数来将确定性编码器隐藏状态映射到随机上下文变量。所提出的随机函数是从高斯过程中采样的，然后（1）提供随机上下文变量的无限数量的联合高斯分布（多样性促进）和（2）明确地建模上下文变量之间的依赖性（准确编码）。为了解决高斯过程的学习挑战，我们提出了一种有效的变分推理方法来近似随机上下文变量的后验分布。我们评估我们的方法在两个典型的文本生成任务：释义生成和文本风格转移。在基准数据集上的实验结果表明，与其他基线相比，该方法提高了生成质量和多样性。
2022-04-04 cs.CL
Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models
Google Research（谷歌研究院）
针对LLM合成数据集在语义、句法和词汇上的重复问题，本文提出交互式可视化工具LinguisticLens，通过多轴聚类与分层浏览帮助分析其语言多样性。
2023-09-27 cs.AI cs.CL
Evaluating the Morphosyntactic Well-formedness of Generated Texts
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；George Mason University（乔治梅森大学）
文本生成系统在自然语言处理应用中无处不在。然而，对这些系统的评估仍然是一个挑战，特别是在多语种环境中。在本文中，我们提出了L 'AMBRE-一个度量标准来评估其依赖分析和语言的形态句法规则的文本的形态句法良好的形式。我们提出了一种方法来自动提取各种规则直接从依赖树库的morphosyntax。为了解决文本生成系统的噪声输出，我们提出了一个简单的方法来训练强大的解析器。我们的有效性，我们的度量机器翻译的任务，通过历时研究系统翻译成形态丰富的语言。
2021-09-09 cs.CL
CTRLEval: An Unsupervised Reference-Free Metric for Evaluating Controlled Text Generation
Tsinghua University（清华大学）；Tencent Inc.（腾讯公司）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院）
现有的无参考指标在评估受控文本生成模型时有明显的局限性。非监督度量只能提供与任务无关的评估结果，与人类判断弱相关，而监督度量可能过度拟合特定于任务的数据，对其他数据集的泛化能力较差。在本文中，我们提出了一个无监督的无参考度量称为CTRLEval，从不同的方面制定成多个文本填充任务的每个方面来评估控制的文本生成。在这些任务之上，度量从预训练的语言模型组装生成概率，而无需任何模型训练。实验结果表明，我们的度量有更高的相关性与人类的判断比其他基线，同时获得更好的泛化评估生成的文本从不同的模型和不同的质量。
2022-12-05 cs.AI cs.CL
Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting
Microsoft Research（微软研究院）；University of Pennsylvania（宾夕法尼亚大学）
针对大语言模型生成多样性可控性不足的问题，提出结构多样性指标与规格链（CoS）提示策略，可在黑盒LLM上显著提升诗歌、代码领域的结构多样性。
2024-08-12 cs.CL cs.LG
Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学教育部计算语言学重点实验室）
本研究针对大型语言模型受约束文本生成问题，对主流开源模型在词汇、结构和关系约束下的生成能力进行了评估与改进，并发布相关基准与数据集以促进未来研究。
2024-03-21 cs.CL
Still a Pain in the Neck: Evaluating Text Representations on Lexical Composition
Bar-Ilan University（巴伊兰大学）
构建有意义的短语表示是具有挑战性的，因为短语含义不仅仅是其组成含义的总和。词汇合成可以改变组成词的意义，引入隐含信息。我们测试了广泛的文本表示，以解决这些问题的能力。我们发现，正如预期的那样，语境化的词表征比静态的词嵌入表现更好，更多的是在检测意义转移比在恢复隐含信息，其中他们的表现仍然是远离人类。我们的评估套件，包括5个任务相关的词汇组成的影响，可以为未来的研究，旨在改善这种表征。
2019-05-19 cs.CL
