Ruby Teaming: Improving Quality Diversity Search with Memory for Automated Red Teaming
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出 Ruby Teaming，通过增加记忆缓存维度引导提示变异，在自动化红队中提升攻击成功率与质量多样性。
2024-06-17 cs.CL
Beyond Simple Averaging: Improving NLP Ensemble Performance with Topological-Data-Analysis-Based Weighting
Institute for Information Transmission Problems（信息传输问题研究所）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Sber（俄罗斯联邦储蓄银行）
针对NLP集成模型简单平均忽略模型差异的问题，提出基于拓扑数据分析（TDA）距离度量的加权方法，结合模型个体性能与相似性，提升了文本分类准确率与不确定性估计质量。
2025-01-28 cs.CL cs.LG
Improving the Diversity of Unsupervised Paraphrasing with Embedding Outputs
Google LLC（谷歌有限责任公司）；Indian Institute of Technology Madras（马德拉斯印度理工学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
提出了一种新的zero-shot释义生成技术。其关键贡献是一个端到端的多语言释义模型，该模型使用翻译的并行语料库进行训练，以将释义生成“意义空间”--用词嵌入替换最终的softmax层。这种架构修改，加上一个训练过程，结合了自动编码的目标，使有效的参数共享跨语言更流畅的单语重写，并促进流畅性和多样性的生成。我们的连续输出释义生成模型优于zero-shot释义基线时，使用电池的计算指标，以及在人类评估的两种语言进行评估。
2021-10-25 cs.CL
Improving Diversity in LLM Short Story Generation
University College London（伦敦大学学院）
针对LLM生成短篇故事缺乏多样性的问题，提出DivLM后训练框架，通过持续预训练和强化学习提升体裁、语气、风格和命名实体多样性，平均提高多样性指标超9%。
2026-10-30 cs.CL
ReAttn: Improving Attention-based Re-ranking via Attention Re-weighting
University of Montreal（蒙特利尔大学）；McGill University（麦吉尔大学）；MILA（蒙特利尔人工智能实验室）；International Digital Economy Academy（国际数字经济学院）
ReAttn通过注意力重新加权策略，改进基于注意力的重排序方法，减少词法偏差并提升重排序效果。
2026-02-23 cs.AI cs.CL
Improving Diversity of Commonsense Generation by Large Language Models via In-Context Learning
University of Liverpool（利物浦大学）；Amazon（亚马逊）
针对大型语言模型在生成式常识推理中输出多样性缺乏系统研究的问题，提出一种基于上下文学习的简单方法，在保持生成质量的同时提升多样性，并可用作训练数据改进现有常识生成器。
2024-09-27 cs.CL
Diverse, not Short: A Length-Controlled Data Selection Strategy for Improving Response Diversity of Language Models
University of Massachusetts Lowell（马萨诸塞大学洛维尔分校）；Yale University（耶鲁大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Amazon AGI（亚马逊人工智能研究院）
Diverse-NS通过长度控制的数据选择策略提升语言模型响应多样性，适用于创造性生成任务，并在不同规模模型间展示出显著效果。
2026-01-30 cs.CL
Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting
Peking University（北京大学）；Renmin University of China（中国人民大学）；Université de Montréal（蒙特利尔大学）
基于开放域检索的对话系统需要大量的训练数据来学习它们的参数。然而，在实践中，训练数据的负样本通常是从未注释的会话数据集中随机选择的。生成的训练数据可能包含噪声并影响响应选择模型的性能。为了解决这个困难，我们考虑利用数据资源本身的潜在相关性来获得不同类型的监督信号，并减少噪声数据的影响。更特别的是，我们考虑一个主要的互补任务对。主任务（\ie，我们的焦点）根据最后一句话和上下文选择正确的回答，补充任务根据回答和上下文选择最后一句话。关键点在于，补充任务的输出用于设置主任务的实例权重。我们在两个公共数据集上进行了广泛的实验，并在两个数据集上都获得了显着的改善。我们还从多个方面对该方法的变体进行了研究，结果验证了该方法的有效性。
2020-02-18 cs.CL cs.IR
Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting
Microsoft Research（微软研究院）；University of Pennsylvania（宾夕法尼亚大学）
针对大语言模型生成多样性可控性不足的问题，提出结构多样性指标与规格链（CoS）提示策略，可在黑盒LLM上显著提升诗歌、代码领域的结构多样性。
2024-08-12 cs.CL cs.LG
Improving Romanian LLM Pretraining Data using Diversity and Quality Filtering
National University of Science and Technology（科学与技术国家大学）；POLITEHNICA Bucharest（布加勒斯特理工大学）
本研究针对罗马尼亚语高质量预训练语料稀缺问题，通过训练轻量级多任务模型对文本进行多级过滤生成高质量数据集，有效提升了LLM在多个基准上的预训练性能。
2025-11-02 cs.CL
Toward Improving Coherence and Diversity of Slogan Generation
Chulalongkorn University（朱拉隆功大学）；Knorex
以前的口号生成工作集中在利用从现有的口号挖掘的口号骨架。虽然一些生成的口号可能很吸引人，但它们通常与公司在营销传播中的重点或风格不一致，因为骨架是从其他公司的口号中挖掘出来的。我们提出了一个序列到序列（seq 2seq）的Transformer模型，从一个简短的公司描述生成的口号。一个简单的seq 2seq模型被微调用于口号生成，很容易引入错误信息。我们使用公司名称去词汇化和实体掩蔽来缓解这个问题，并提高生成的标语的质量和真实性。此外，我们应用基于第一个词的POS标签的条件训练来生成句法多样的口号。我们的最佳模型获得了ROUGE-1/-2/-L F1评分35.58/18.47/33.32。此外，自动和人工评估表明，我们的方法比强大的LSTM和Transformer seq 2seq基线生成了更多的事实，多样性和吸引人的口号。
2021-09-07 cs.CL
Improving Diversity of Demographic Representation in Large Language Models via Collective-Critiques and Self-Voting
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文形式化了生成式LLM中的表征多样性，提出评估数据集与指标，并基于模型对多样性的理解能力，提出集体批判与自投票（CCSV）提示技术，无需手工示例或提示调优即可大幅提升响应的人群与文化多样性。
2023-10-25 cs.AI cs.CL
Diversity-Aware Coherence Loss for Improving Neural Topic Models
University of British Columbia（不列颠哥伦比亚大学）；University of Fraser Valley（弗雷泽谷大学）
本文提出多样性感知连贯性损失，在保持主题多样性的同时学习语料库级连贯性得分，无需预训练或额外参数即可显著提升神经主题模型性能。
2023-05-26 cs.CL cs.LG
Improving Neural Response Diversity with Frequency-Aware Cross-Entropy Loss
University of Amsterdam（阿姆斯特丹大学）
序列到序列（Seq2Seq）模型在对话响应生成任务上取得了令人鼓舞的性能。然而，现有的基于Seq2Seq的响应生成方法存在低多样性问题：它们经常生成通用响应，这使得对话不那么有趣。在本文中，我们解决了低多样性问题，通过调查它与模型的过度自信反映在预测分布。具体而言，我们首先分析了常用的交叉熵（CE）损失函数的影响，并发现CE损失函数更喜欢高频令牌，这导致低多样性响应。然后，我们提出了一个频率感知交叉熵（FACE）的损失函数，提高了CE的损失函数，结合加权机制的令牌频率。在基准数据集上进行的大量实验表明，FACE损失函数能够在自动和人工评估方面显著提高现有最先进的Seq2Seq响应生成方法的多样性。
2019-02-25 cs.CL cs.IR cs.LG
Multilingual Prompting for Improving LLM Generation Diversity
New York University（纽约大学）；Columbia University（哥伦比亚大学）
针对LLM生成缺乏文化与观点多样性的问题，本文提出多语言提示方法，通过跨文化语言线索激活更广知识，并在多个模型上验证其优于现有多样性增强技术。
2025-09-27 cs.CL cs.CY
Improving Linguistic Diversity of Large Language Models with Possibility Exploration Fine-Tuning
University College Dublin（都柏林大学学院）；School of Computer Science（计算机科学学院）；ML-Labs（机器学习实验室）
针对LLM输出语言多样性下降且现有方法任务受限、成本高的问题，本文提出任务无关的PEFT框架，可零额外延迟生成多个可控且语义多样的回复，并降低人口偏见。
2024-12-04 cs.AI cs.CL
Improving the Diversity of LLM Outputs without a Trade-off
提出DAST方法，通过重排token顺序结合算术采样，在不改变分布且开销极小的情况下提高LLM输出多样性，并显著提升ProtoQA任务性能。
2026-09-29 cs.AI cs.CL cs.LG
Improving Diversity in Language Models: When Temperature Fails, Change the Loss
CNRS（法国国家科学研究中心）；Meta FAIR
针对提高temperature无法有效提升语言模型多样性的问题，提出利用Precision-Recall框架重新思考loss functions，在Precision和Recall之间实现了比temperature scaling更好的权衡。
2025-08-13 cs.CL cs.LG
Semantic Diversity in Dialogue with Natural Language Inference
UC Berkeley（加州大学伯克利分校）
生成多样化的，有趣的回应闲聊会话是一个问题的神经会话代理。本文对提高对话生成的多样性做出了两个实质性贡献。首先，我们提出了一种新的度量，它使用自然语言推理（NLI）来衡量一组模型的会话响应的语义多样性。我们使用一个已建立的框架（Tevet和Berant，2021）来评估这个指标，并发现了强有力的证据表明NLI多样性与语义多样性相关。具体来说，我们表明，矛盾关系是更有用的中性关系，用于测量这种多样性，并将NLI模型的信心达到国家的最先进的结果。其次，我们演示了如何迭代地提高语义多样性的采样集的响应，通过一个新的生成程序称为多样性阈值生成，这导致平均137%的增加NLI多样性相比，标准的生成程序。
2022-05-03 cs.CL
EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对固定温度难以兼顾生成质量与多样性的问题，本文提出基于熵动态调整温度的EDT采样方法，并在4个生成基准上验证其显著优于现有策略。
2024-04-03 cs.CL
Improving a tf-idf weighted document vector embedding
TripAdvisor, Inc.（猫途鹰公司(TripAdvisor, Inc.)）
我们研究了一些方法来计算一个密集的向量嵌入语料库中的文档，给定一组词向量，如word 2 vec或GloVe。我们描述了两种方法，可以提高一个简单的加权和，这是最佳的意义上说，他们最大限度地提高了一个特定的加权余弦相似性度量。我们考虑了几个加权函数，包括逆文档频率（idf），平滑逆频率（SIF），以及word 2 vec中使用的子采样函数。我们发现idf最适合我们的应用。我们还使用Arora等人提出的公共组件删除作为后处理，并发现它在大多数情况下是有用的。我们将这些嵌入变化与使用TripAdvisor评论的新评估任务上的doc 2 vec嵌入进行了比较，并对文献中的CQADupStack基准进行了比较。
2019-02-26 cs.CL
Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对大语言模型监督微调标注成本高的问题，提出基于任务多样性的逆置信度加权采样策略，性能优于全量训练及现有最优方法，最高可降80%标注成本。
2025-07-29 cs.AI cs.CL
Improving Content Recommendation: Knowledge Graph-Based Semantic Contrastive Learning for Diversity and Cold-Start Users
George Washington University（乔治华盛顿大学）；Comcast（康卡斯特）
针对推荐系统数据稀疏、冷启动和多样性问题，提出混合多任务学习方法，结合用户-物品交互与基于物品的文本对比学习，在保证排名性能的同时提升推荐多样性与冷启动用户体验。
2024-03-27 cs.CL cs.IR
Bridging Information Gaps with Comprehensive Answers: Improving the Diversity and Informativeness of Follow-Up Questions
University of British Columbia（不列颠哥伦比亚大学）；Vector Insitute（向量研究所）
本文提出一种信息鸿沟驱动的知识蒸馏流程，利用教师模型生成全面回答并识别缺失信息，扩充数据集十倍，微调小模型以提升后续问题的多样性与信息量，实验验证其有效性。
2025-09-23 cs.AI cs.CL cs.HC
Augment, Drop & Swap: Improving Diversity in LLM Captions for Efficient Music-Text Representation Learning
Queen Mary University of London（伦敦玛丽女王大学）；Adobe Research（奥多比研究院）
该研究在资源受限条件下探究音乐-文本对比学习的关键设计选择，发现数据整理最为重要，提出Augmented View Dropout与TextSwap两种文本增强技术，可在不增加成本和数据的情况下提升模型性能。
2024-09-17 cs.AI cs.CL cs.SD
Learning Who Disagrees: Demographic Importance Weighting for Modeling Annotator Distributions with DiADEM
Rochester Institute of Technology（罗切斯特理工学院）
DiADEM通过学习群体重要性权重，有效建模标注者分歧，优于现有方法，在多个基准上取得显著成果，揭示种族和年龄对标注者分歧的关键影响。
2026-04-09 cs.AI cs.CL
