UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation
Tsinghua University（清华大学）
尽管现有的参考指标（例如，BLEU和MoverScore），它们与开放式文本生成（包括故事或对话生成）的人类判断相关性很差，因为众所周知的一对多问题：对于相同的输入，有许多看似合理的输出，这些输出可能在文字或语义上与有限数量的给定参考文献有很大差异。为了缓解这个问题，我们提出了UNION，这是一个可学习的无参考指标，用于评估开放式故事生成，它可以在没有任何参考的情况下测量生成故事的质量。建立在BERT之上，UNION被训练来区分人类写的故事和负面样本，并恢复负面故事中的扰动。我们提出了一种通过模仿现有NLG模型中常见的错误来构建负样本的方法，这些错误包括重复的情节，相互矛盾的逻辑和长期的不一致性。在两个故事数据集上的实验表明，UNION是评估生成故事质量的可靠指标，它与人类判断的相关性更好，并且比现有的最先进的指标更具普遍性。
2020-09-16 cs.CL
The Perils of Using Mechanical Turk to Evaluate Open-Ended Text Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
最近的文本生成研究越来越多地集中在开放的领域，如故事和诗歌的生成。由于为这些任务构建的模型难以自动评估，该领域的大多数研究人员通过收集众包的文本质量人类判断来证明他们的建模选择（例如，亚马逊土耳其机器人（AMT）的连贯性或语法性的李克特分数）。在本文中，我们首先对45篇开放式文本生成论文进行了调查，发现其中绝大多数未能报告有关AMT任务的关键细节，从而阻碍了可重复性。然后，我们与AMT工人和英语教师进行了一系列的故事评估实验，发现即使有严格的资格过滤器，AMT工人（不像教师）也无法区分模型生成的文本和人类生成的参考。我们发现，AMT工人的判断，提高当他们显示模型生成的输出与人类生成的参考，这使得工人更好地校准他们的评级。最后，与英语教师的访谈提供了更深入的见解，评估过程中的挑战，特别是当评级模型生成的文本。
2021-09-14 cs.CL
Penalty Decoding: Well Suppress the Self-Reinforcement Effect in Open-Ended Text Generation
Shanghai Jiao Tong University（上海交通大学）
针对开放式文本生成中的自我强化效应，提出结合遗忘机制、重复惩罚和长度惩罚的Penalty Decoding方法，有效缓解了惩罚参数选择困难及生成偏离事实等问题，显著提升了生成文本质量。
2023-10-23 cs.CL
ModeX: Evaluator-Free Best-of-N Selection for Open-Ended Generation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
ModeX提出一种无需外部评估器的最佳-N选择方法，通过识别主导语义共识的模态输出，提升开放生成任务的鲁棒性与效率。
2026-04-09 cs.AI cs.CL
Visualize Before You Write: Imagination-Guided Open-Ended Text Generation
UC Santa Barbara（加州大学圣巴巴拉分校）；UC San Diego（加州大学圣地亚哥分校）；UC Santa Cruz（加州大学圣克鲁兹分校）
文本到图像合成的最新进展使得在给定的上下文中可视化机器想象成为可能。另一方面，在生成文本时，人类作家擅长创造性的视觉化，这通过在将故事写下来之前形成想象力作为蓝图来增强他们的写作。受这样一个认知过程的启发，我们提出了一个自然的问题，即我们是否可以赋予机器同样的能力来利用视觉信息，并构建一个上下文的总体图像来指导文本生成。在这项工作中，我们提出了iNLG，使用机器生成的图像来指导开放式文本生成中的语言模型。实验和分析表明，在开放式文本生成任务，包括文本完成，故事生成，概念到文本生成在Few-Shot和全数据场景的有效性。自动度量和人工评估都验证了我们的iNLG生成的文本片段是连贯的和信息丰富的，同时显示轻微的退化。
2023-02-15 cs.AI cs.CL
Factuality Enhanced Language Models for Open-Ended Text Generation
Hong Kong University of Science and Technology（香港科技大学）；NVIDIA（英伟达）
预训练的语言模型（LM）容易生成含有非事实信息的文本。在这项工作中，我们测量和提高开放式文本生成的大规模LM的实际精度。我们设计了FactualityTests测试集和指标来衡量LM生成的真实性。在此基础上，我们研究了参数大小从126 M到530 B的线性矩阵的实际精度。有趣的是，我们发现较大的LM比较小的LM更真实，尽管先前的研究表明，较大的LM在误解方面可能不太真实。此外，流行的采样算法（例如，top-p）可能由于在每个采样步骤引入的“均匀随机性”而损害真实性。我们提出了事实核采样算法，动态地适应随机性，以提高真实性的产生，同时保持质量。此外，我们分析了标准训练方法在从事实文本语料库（例如，Wikipedia）.我们提出了一种事实增强的训练方法，使用TopicPrefix更好地意识到事实和句子完成作为训练目标，这可以大大减少事实错误。我们在https://github.com/nayeon7lee/FactualityPrompt上发布我们的代码和FactualityLogistics基准。
2023-03-02 cs.AI cs.CL cs.CY
Look-back Decoding for Open-Ended Text Generation
University of Southern California（南加州大学）；Meta AI
本文提出改进的解码算法Look-back，利用Kullback-Leibler散度跟踪当前与历史解码步骤的分布距离，以预测并移除导致重复和话题漂移的词元，在文档续写和故事生成任务中显著提升了文本连贯性。
2023-10-23 cs.CL
Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation
Microsoft Research（微软研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
大型预训练的语言模型最近已经实现了开放式生成框架（例如，数据到文本NLG），以解决超越传统数据到文本生成的各种任务。虽然这个框架更通用，但它没有被指定，并且经常导致缺乏可控性，限制了它们在现实世界中的使用。我们提出了一个新的接地键到文本生成任务：该任务是生成一个事实的描述一组指导键，接地通道的实体。为了解决这个问题，我们引入了一个新的数据集，称为EntDeGen。受最近基于QA的评估措施的启发，我们提出了一个自动度量，MAFE，生成的描述的事实正确性。我们的EntDescriptor模型配备了强大的排名器来获取有用的段落并生成实体描述。实验结果表明，我们提出的度量和人类判断的真实性之间有很好的相关性（60.14）。我们的排名显着提高了所生成的描述的事实正确性（15.95%和34.51%的召回率和精度的相对增益）。最后，我们的消融研究强调了结合键和接地的好处。
2022-12-04 cs.CL
Momentum Decoding: Open-ended Text Generation As Graph Exploration
Beijing Institute of Technology（北京理工大学）
基于自回归语言模型的开放式文本生成是自然语言处理的核心任务之一。然而，基于最大化的解码方法（例如，贪婪/束搜索）经常导致退化问题，即，所生成的文本是不自然的并且包含不期望的重复。这个问题的现有解决方案要么引入随机性，倾向于不一致性，或需要一个前瞻机制，需要额外的计算开销。在本研究中，我们从一个新的角度，即，我们将其视为有向图中的探索过程。因此，我们将退化现象理解为有向图中的循环回路。基于我们的配方，我们提出了一种新的解码方法- \textit{momentum decoding} -它鼓励LM \textit{greedily}探索当前图之外的新节点。同时，它还允许LM返回到现有的节点与一个预先定义的阻力函数降级的动量。我们通过自动和人工评估，在来自不同领域的三个基准上广泛测试了我们的方法。结果表明，动量解码的性能与当前的最先进的，同时享有显着提高的推理速度和计算FLOPs。此外，我们进行了详细的分析，以揭示我们的方法的优点和内部工作。我们的代码和其他相关资源可在https://github.com/gmftbyGMFTBY/MomentumDecoding上公开获取。
2022-12-05 cs.CL
Odysseus Navigates the Sirens' Song: Dynamic Focus Decoding for Factual and Diverse Open-Ended Text Generation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学）
针对LLM开放式生成中事实性与多样性难以平衡的问题，提出即插即用的动态聚焦解码方法DFD，利用跨层分布差异自适应调整解码焦点，无需额外数据即可显著提升文本生成的事实性与多样性。
2025-05-28 cs.CL
Improving Open-Ended Text Generation via Adaptive Decoding
Shanghai Jiao Tong University（上海交通大学）
本研究提出自适应解码机制，通过基于熵的置信度指标动态确定候选词元集，在平衡生成多样性与连贯性的同时提升了文本质量与模型推理能力。
2024-06-03 cs.CL
Agreement in Representation Space for Open-Ended Self-Consistency
HiTZ Center - Ixa, University of the Basque Country (UPV/EHU)（HiTZ中心 - Ixa，巴斯克大学（UPV/EHU））
针对开放式生成任务，提出基于嵌入的协议（EBA），通过聚类采样生成的嵌入表示来估计自洽性，无需训练即可鲁棒地选择更可靠的输出。
2026-06-11 cs.CL
Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出基于参考的框架，从三个视角分析开放式文本生成的连贯性与多样性，实验表明多样性对齐和均值比较能捕捉质量变异，参考似然性与评分正相关，为评估生成质量提供结构化方法。
2026-09-24 cs.CL
Contrastive Decoding: Open-ended Text Generation as Optimization
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；FAIR（Meta人工智能研究院）
本文提出对比解码CD，通过在合理性约束下优化专家大模型与业余小模型的似然差，实现无需训练的高质量开放式文本生成，并显著优于现有解码方法。
2023-07-10 cs.AI cs.CL cs.LG
MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）；Stanford University（斯坦福大学）
随着开放式文本生成的重大进展，衡量机器生成的文本与人类语言的接近程度仍然是一个关键的开放问题。我们介绍MAUVE，开放式文本生成的比较措施，它直接比较学习的分布从文本生成模型的人类书面文本的分布使用发散边界。MAUVE通过计算量化嵌入空间中的信息分歧来扩展到现代文本生成模型。通过对三个开放式生成任务的广泛实证研究，我们发现MAUVE识别生成文本的已知属性，随模型大小自然缩放，并与人类判断相关，比现有的分布式评估指标具有更少的限制。
2021-11-23 cs.CL
Learning Personalized Alignment for Evaluating Open-ended Text Generation
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；UC Berkeley（加州大学伯克利分校）
针对传统开放式文本生成评估指标与人类判断相关性弱、难适配多样偏好的问题，提出可解释的个性化评估框架PerSE，基于13B LLaMA-2实现，在相关性、准确率及领域迁移性上均优于GPT-4。
2024-10-04 cs.CL
Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation
University of Mannheim（曼海姆大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
针对开放式 LLM 生成中截断采样方法及参数选择依赖经验的问题，本文基于保留完整句上下文的前缀树，逐解码步评估多样性与风险权衡，系统比较现有方法并提供参数选择指南。
2025-01-08 cs.AI cs.CL
Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出自适应对比搜索解码策略，通过模型每一步的估计不确定性引导自适应退化惩罚，在提升文本生成创造性与多样性的同时保持连贯性和高质量。
2024-10-21 cs.CL cs.LG stat.ME
Hindsight: Posterior-guided training of retrievers for improved open-ended generation
Stanford University（斯坦福大学）
许多文本生成系统受益于使用检索器从文本知识语料库（例如，Wikipedia），然后将其作为附加上下文提供给生成器。对于开放式生成任务（如在对话中生成信息性话语），许多不同的段落可能同样相关，并且我们发现联合训练检索器和生成器的现有方法表现不佳：检索器可能找不到相关段落，即使在前10位中，因此生成器可能不会学习偏好以将其生成的输出接地。我们建议使用一个额外的指南检索器，允许使用目标输出和“事后诸葛亮”检索相关的段落在训练过程中。我们在给定输入和目标输出的通道的后验分布Q之后对引导检索器进行建模，并通过在Q上最大化期望中的证据下限（ELBo）来与标准检索器和生成器一起训练它。对于来自维基百科数据集向导的信息对话，通过后向引导训练，检索器在前10名中找到具有更高相关性的段落（23%相对提高），生成器的响应更多地基于检索到的段落（19%相对提高），端到端系统产生更好的整体输出（6.4%相对提高）。
2021-10-21 cs.CL cs.IR
GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation
Henan University（河南大学）；Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；CISPA Helmholtz Center for Information Security, Saarbrücken（萨尔布吕肯亥姆霍尔兹信息安全中心）；University of California, San Diego（加州大学圣地亚哥分校）
针对开放式文本生成中LLM输出连贯性与多样性难平衡、现有解码策略超参数依赖且计算成本高的问题，提出融合全局与局部不确定性的自适应解码方法GUARD，兼具效果与效率优势。
2025-09-03 cs.CL
KNN-LM Does Not Improve Open-ended Text Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（奥多比研究院）
研究发现，尽管 KNN-LM 降低了困惑度，但并未改善开放式文本生成质量，因为长序列解码时少数词元的改善被多数词元的预测变差所抵消，且检索分布熵增加更快导致暴露偏差。
2023-05-24 cs.CL
The African Woman is Rhythmic and Soulful: An Investigation of Implicit Biases in LLM Open-ended Text Generation
University College London（伦敦大学学院）
本文提出LLM IAT偏见和LLM决策偏见两种心理学启发方法，结合开放式生成定性分析，揭示并测量大语言模型中显式测试难以发现的内隐偏见，为AI伦理评估提供了更全面的框架。
2024-09-30 cs.AI cs.CL
The Hyperfitting Phenomenon: Sharpening and Stabilizing LLMs for Open-Ended Text Generation
RISE Research Institutes of Sweden（瑞典RISE研究机构）；Google DeepMind（谷歌DeepMind）；PwC Sweden（普华永道瑞典分部）；Uppsala University（乌普萨拉大学）
本文发现对预训练LLM在极小数据集上进一步微调至近零损失（称为超拟合）能显著提升开放式文本生成的长序列质量，贪心解码甚至优于Top-P采样，且不同于Grokking和双下降现象。
2025-02-26 cs.AI cs.CL
Coherence-Aware Distributional Evaluation of Open-Ended Text Generation
New York University（纽约大学）；Center for Data Science, NYU Shanghai（上海纽约大学数据科学中心）；Georgia Institute of Technology（佐治亚理工学院）
针对开放文本生成评估忽略全局连贯性的问题，提出连贯性感知的分布指标CHORD，利用冻结LLM隐状态和RBF-MMD检测多种连贯性失败，实验证明其优于现有基线并与人类判断高度一致。
2026-09-30 cs.AI cs.CL
The Stable Entropy Hypothesis and Entropy-Aware Decoding: An Analysis and Algorithm for Robust Natural Language Generation
Mila（米拉研究所）；McGill University（麦吉尔大学）；DeepMind（深度思维）；Meta AI
最先进的语言生成模型在应用于开放式生成问题（如文本补全、故事生成或对话建模）时可能会退化。这种退化通常表现为不连贯、缺乏词汇多样性、自我重复或从上下文中复制。在本文中，我们假设“类人”代通常位于一个狭窄的和几乎平坦的熵带，这些熵边界的违反与退化行为。我们的实验表明，这种稳定的窄熵区存在于模型，任务和域中，并证实了这一假设，即违反这一区域与退化相关。然后，我们使用这种洞察力，提出了一个熵感知解码算法，尊重这些熵的界限，从而减少退化，更多的上下文，和“类人”的语言生成在开放式文本生成设置。
2023-02-14 cs.CL
SAGEval: The frontiers of Satisfactory Agent based NLG Evaluation for reference-free open-ended text
Microsoft（微软）
本文提出SAGEval框架，利用评判智能体纠正LLM评估器分数，在无参考标签条件下实现开放式文本生成评估，减少对标注数据的依赖。
2024-11-25 cs.CL cs.MA
BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation
Amazon Alexa AI-NU（亚马逊Alexa人工智能-西北大学合作团队）；UC Santa Barbara（加州大学圣巴巴拉分校）；UCLA（加州大学洛杉矶分校）
深度学习技术的最新进展使机器能够在提示一系列单词作为上下文时生成有凝聚力的开放式文本。虽然这些模型现在为许多下游应用程序提供了支持，从对话机器人到自动讲故事，但它们已被证明可以生成表现出社会偏见的文本。为了系统地研究开放式语言生成中的社会偏见并对其进行基准测试，我们引入了开放式语言生成数据集（BOLD）中的偏见，这是一个大型数据集，由23，679个英语文本生成提示组成，用于在五个领域进行偏见基准测试：职业，性别，种族，宗教和政治意识形态。我们还提出了毒性，心理语言学规范和文本性别极性的新的自动化指标，从多个角度衡量开放式文本生成中的社会偏见。对三种流行的语言模型生成的文本的检查表明，这些模型中的大多数在所有领域都表现出比人类编写的维基百科文本更大的社会偏见。通过这些结果，我们强调了对开放式语言生成中的偏见进行基准测试的必要性，并警告下游任务中的语言生成模型的用户要认识到这些嵌入式偏见。
2021-01-27 cs.AI cs.CL cs.LG
CONSISTENT: Open-Ended Question Generation From News Articles
Columbia University（哥伦比亚大学）；The New York Times R&D（纽约时报研发部）
最近关于问题生成的工作主要集中在事实类问题上，例如关于基本事实的谁、什么、哪里、什么时候。产生开放式的为什么，如何，什么等问题，需要长形式的答案已被证明更困难。为了便于生成开放式的问题，我们提出了一致的，一个新的端到端的系统，用于生成开放式的问题，回答和忠实于输入文本。使用新闻文章作为一个值得信赖的实验基础，我们证明了我们的模型的实力超过几个基线使用自动和人为=基于评估。我们提供了一个专家生成的开放式问题的评估数据集。我们讨论了新闻媒体组织的潜在下游应用。
2022-10-20 cs.CL
Semantically-Aware Rewards for Open-Ended R1 Training in Free-Form Generation
University of Maryland, College Park（马里兰大学 College Park分校）
针对开放式长文本生成评估难题，提出PrefBERT评分模型，在GRPO中提供语义奖励，优于传统指标，训练出的模型更符合人类偏好。
2025-06-18 cs.CL cs.LG
A Judge-free LLM Open-ended Generation Benchmark Based on the Distributional Hypothesis
Preferred Networks, Inc.（Preferred Networks公司）；Preferred Elements, Inc.（Preferred Elements公司）
针对LLMs开放式文本生成评估缺乏明确真值、人工或LLM裁判成本高的问题，提出基于n元语法统计和规则的无裁判基准，含50组问题参考集及三个新指标，与GPT-4o评估高度相关且资源需求低，为可扩展评估提供有效替代方案。
2025-02-13 cs.CL
Multi-Type Conversational Question-Answer Generation with Closed-ended and Unanswerable Questions
POSTECH（浦项科技大学）
会话式问答（CQA）有助于对给定上下文的增量和交互式理解，但由于数据稀缺的问题，构建CQA系统对于许多领域来说是困难的。在本文中，我们介绍了一种新的方法来合成数据的CQA与各种问题类型，包括开放式，封闭式和无法回答的问题。我们为每种问题类型设计了不同的生成流程，并将它们有效地结合在一个单一的共享框架中。此外，我们设计了一个分层的可回答性分类（分层AC）模块，提高质量的合成数据，同时获得无法回答的问题。人工检查表明，用我们的框架生成的合成数据具有与人类生成的对话非常相似的特征。在四个领域中，在我们的合成数据上训练的CQA系统确实显示出与在人类注释数据上训练的系统接近的良好性能。
2022-10-24 cs.CL
Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation
Tsinghua University（清华大学）
本文提出自对比训练方法，通过惩罚模型不成熟检查点对重复的错误预测，有效缓解开放式生成中的文本重复问题，同时保持生成流畅性。
2023-07-04 cs.CL
OpenMEVA: A Benchmark for Evaluating Open-ended Story Generation Metrics
Tsinghua University（清华大学）；TAL Education Group（好未来教育集团）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）
自动度量对于开发自然语言生成（NLG）模型至关重要，特别是对于开放式语言生成任务，如故事生成。然而，现有的自动度量被观察到与人类评估的相关性很差。缺乏标准化的基准数据集使得很难充分评估一个指标的能力，并公平地比较不同的指标。因此，我们提出了OpenMEVA，一个评估开放式故事生成指标的基准。OpenMEVA提供了一个全面的测试套件来评估指标的能力，包括（a）与人类判断的相关性，（b）对不同模型输出和数据集的泛化，（c）判断故事连贯性的能力，以及（d）对扰动的鲁棒性。为此，OpenMEVA包括手动注释的故事和自动构建的测试示例。我们评估了OpenMEVA上的现有指标，并观察到它们与人类判断的相关性很差，无法识别话语级别的不连贯性，并且缺乏推理知识（例如，事件之间的因果顺序），泛化能力和鲁棒性。我们的研究为进一步研究开发NLG模型和指标提供了见解。
2021-05-19 cs.CL
An Answer is just the Start: Related Insight Generation for Open-Ended Document-Grounded QA
Adobe Research（Adobe研究）；University of Maryland, College Park（马里兰大学学院公园分校）
本文提出文档引导相关洞察生成任务，通过构建主题表示和选择相关上下文生成多样化洞察，提升开放性问答体验。
2026-04-21 cs.CL
Bias Association Discovery Framework for Open-Ended LLM Generations
Jinhao Pan；Chahat Raj；Ziwei Zhu
本研究提出BADF框架，用于从开放型LLM生成中发现和分析人口身份与描述性概念的偏见关联。
2026-01-17 cs.CL
MarioGPT: Open-Ended Text2Level Generation through Large Language Models
IT University of Copenhagen（哥本哈根信息技术大学）；modl.ai, Copenhagen（modl.ai（哥本哈根））
本文提出微调GPT2模型MarioGPT，利用文本提示生成《超级马里奥兄弟》关卡，并结合新颖性搜索实现可控、多样且开放式的关卡演化。
2023-11-08 cs.AI cs.CL cs.LG
Inter-dimension Dependence for Multi-Dimensional Evaluation of Open-Ended Text
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文针对开放文本多维度评估中LLM评判者的维度间依赖问题，提出CorrGap度量该依赖关系，进而提出DimCheck方法缓解该问题，在多任务多模型上优于基线且推理成本低。
2026-08-26 cs.CL
Survey Response Generation: Generating Closed-Ended Survey Responses In-Silico with Large Language Models
University of Mannheim（曼海姆大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Maryland, College Park（马里兰大学学院公园分校）；GESIS Cologne（科隆社会研究所）；CSH Vienna（维也纳认知科学研究所）
本文研究了不同调查回应生成方法对模拟调查回应的影响，发现受限生成方法效果最佳，推理输出不总能提升对齐度。
2026-04-24 cs.CL cs.CY
XL-Suite: Cross-Lingual Synthetic Training and Evaluation Data for Open-Ended Generation
University of Edinburgh（爱丁堡大学）；Sword Health；Queen’s University Belfast（贝尔法斯特女王大学）
本文提出合成数据技术 XL-Instruct 与跨语言生成基准 XL-AlpacaEval，并发布 XL-Suite；实验表明 8K 条合成指令可显著提升 LLM 的跨语言及零样本问答表现。
2025-09-27 cs.AI cs.CL cs.LG
Controllable Open-ended Question Generation with A New Question Type Ontology
University of Michigan（密歇根大学）
我们研究较少探索的任务，产生开放式的问题，通常回答多个句子。我们首先定义了一个新的问题类型本体，区分细致入微的性质的问题比广泛使用的问题的话。基于新的本体，对具有4，959个问题的新数据集进行了标记。然后，我们提出了一个新的问题类型感知的问题生成框架，增强了语义图表示，共同预测问题的焦点和产生的问题。在此框架的基础上，我们进一步使用范例和自动生成的模板，以提高可控性和多样性。在两个新收集的大规模数据集上的实验表明，我们的模型比基于自动度量的竞争性比较提高了问题质量。人类评委也对我们的模型输出在可回答性、范围覆盖率和整体质量方面进行了高度评价。最后，我们的模板模型变体可以产生具有增强的可控性和多样性的问题。
2021-07-01 cs.CL
An Overview and Discussion on Using Large Language Models for Implementation Generation of Solutions to Open-Ended Problems
Stony Brook University（石溪大学）
本文综述了利用大型语言模型为开放式问题自动生成解决方案实现的研究现状，涵盖模型提示、强化学习与检索增强生成等方法，并探讨了未来研究方向。
2025-01-03 cs.AI cs.CL
OpenGenAlign: A Preference Dataset and Benchmark for Trustworthy Reward Modeling in Open-Ended, Long-Context Generation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NewsBreak
本文针对开放式长上下文生成中奖励建模研究不足的问题，提出OpenGenAlign框架与高质量数据集，定义4个评估指标并构建自动化评估 pipeline，实验表明其训练的奖励模型性能更优且能提升策略模型生成质量。
2025-11-12 cs.CL
An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation
Amazon Alexa AI（亚马逊Alexa人工智能部门）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Information Sciences Institute, University of Southern California（南加利福尼亚大学信息科学研究所）
一些先前的工作已经表明，语言模型（LM）可以生成包含有害的社会偏见和刻板印象的文本。虽然解码算法在确定LM生成的文本的属性中起着核心作用，但它们对生成的公平性的影响尚未研究。本文系统地分析了解码算法对LM公平性的影响，并分析了公平性、分集和质量之间的权衡。在开放式语言生成中，我们使用$p$、$k$和温度解码算法的实验表明，随着解码算法的超参数的变化，人口统计组之间的公平性显著变化。值得注意的是，输出更多样化文本的解码算法也会输出更多具有负面情绪和关注的文本。我们提出了几个调查结果，并提供了公平性评估和解码算法的公平性以及质量和多样性的优化解码细节的标准化报告的建议。
2022-10-07 cs.AI cs.CL cs.LG
Challenges in Measuring Bias via Open-Ended Language Generation
Boston University（波士顿大学）
研究人员已经设计了许多方法来量化预先训练的语言模型中的社会偏见。由于一些语言模型能够在给定一组文本提示的情况下生成连贯的补全，因此已经提出了几个提示数据集来测量社会群体之间的偏见--将语言生成作为识别偏见的一种方式。在这篇意见书中，我们分析了提示集，指标，自动工具和抽样策略的具体选择如何影响偏倚结果。我们发现，通过文本完成测量偏见的做法是容易产生矛盾的结果，在不同的实验设置。我们还提供了建议，报告偏见在开放式语言生成的偏见表现出一个给定的语言模型更完整的前景。在www.example.com下发布了重现结果的代码。
2022-05-23 cs.CL cs.CY
Bootstrapping Post-training Signals for Open-ended Tasks via Rubric-based Self-play on Pre-training Text
Department of Computer Science, Cornell University（康奈尔大学计算机科学系）
本文提出POP框架，利用预训练语料生成评分标准，用于自我博弈训练LLM，提升其在医疗问答、创意写作等开放式任务上的性能。
2026-05-07 cs.CL cs.LG
A Disability Lens towards Biases in GPT-3 Generated Open-Ended Languages
Rochester Institute of Technology（罗切斯特理工学院）；The University of Utah（犹他大学）
语言模型（LM）在全球许多基于语言的应用程序空间中变得流行。尽管这些LM正在改善我们与数字产品的日常互动，但人们仍然担心这些模型生成的开放式语言或文本是否会对特定人群产生偏见，从而危及某些产品的可用性。有必要确定这些模型是否具有偏见，以提高这些模型的公平性。这一差距激励了我们正在进行的工作，我们通过残疾镜头测量了GPT-3生成文本中的两个方面的偏见。
2022-06-23 cs.AI cs.CL cs.LG
A Systematic Characterization of Sampling Algorithms for Open-ended Language Generation
Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）
本文研究了自回归语言模型中被广泛采用的祖先抽样算法，这在文献中没有被广泛研究。我们使用质量多样性（Q-D）权衡调查三个流行的采样算法（top-k，核和回火采样）。我们专注于开放式语言生成的任务。我们首先表明，现有的采样算法具有类似的性能。在仔细检查了不同采样算法定义的变换后，我们确定了它们之间共享的三个关键属性：熵减少，顺序保持和斜率保持。为了验证所确定的属性的重要性，我们设计了两组新的采样算法：一组中，每个算法满足所有三个属性，和一组中，每个算法违反至少一个属性。我们将它们的性能与现有的采样算法进行比较，发现违反所确定的属性可能会导致急剧的性能下降，如Q-D权衡所测量的。另一方面，我们发现，满足这些属性的采样算法集与现有的采样算法表现相当。我们的数据和代码可在https://github.com/moinnadeem/characterizing-sampling-algorithms上获得
2020-09-15 cs.AI cs.CL cs.LG
Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness
研究如何评估开放式生成内容的事实完整性，提出两级元评分标准框架并实例化为Gamut基准，构建基于真实图像的问题及评分标准，评估多个模型，发现其具挑战性、区分性且对法官选择鲁棒。
2026-08-06 cs.CL
Rainbow Teaming: Open-Ended Generation of Diverse Adversarial Prompts
Meta；University College London（伦敦大学学院）；University of Oxford（牛津大学）
针对现有对抗性提示识别方法领域局限、多样性不足等问题，提出名为Rainbow Teaming的黑盒方法，通过开放式搜索生成多样有效的对抗提示，攻击成功率超90%，生成提示可迁移性强，还可用于提升模型安全性及拓展至多领域应用。
2024-12-11 cs.AI cs.CL cs.LG
MATEval: A Multi-Agent Discussion Framework for Advancing Open-Ended Text Evaluation
Southeast University（东南大学）；Ant Group（蚂蚁集团）
针对单LLM评估开放式文本存在不确定性与不稳定性的问题，提出模拟人类协作讨论、结合自我反思与CoT的多智能体评估框架MATEval，其与人类评估相关性最高，还能提升工业场景效率。
2024-04-15 cs.AI cs.CL
Learning to Plan and Realize Separately for Open-Ended Dialogue Systems
University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校）；Institute for Human Machine Cognition (IHMC)（人机认知研究所）；State University of New York Albany（纽约州立大学奥尔巴尼分校）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
对于开放式对话系统来说，实现真正的类人对话能力仍然是一个难以实现的目标。我们认为这是因为现有的方法对自然语言生成（NLG）通常被解释为端到端的架构，没有充分模拟人类的生成过程。为了研究，我们将生成解耦为两个独立的阶段：规划和实现。在规划阶段，我们训练两个规划者来生成响应话语的规划。实现阶段使用响应计划来产生适当的响应。通过严格的评估，包括自动化和人工评估，我们证明了将过程解耦为规划和实现比端到端的方法更好。
2020-10-04 cs.CL
Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning
Google Research（谷歌研究院）
尽管最近在自然语言理解和生成方面取得了进展，并且对会话机器人的开发进行了数十年的研究，但构建能够与人类“在野外”进行丰富的开放式对话的自动代理仍然是一个艰巨的挑战。在这项工作中，我们开发了一个实时的，开放式的对话系统，使用强化学习（RL）来大规模地增强机器人的对话技能。我们的工作对简洁的嵌入使用SOTA（监督）语言模型与RL技术，特别适合于动态的动作空间，随着对话的进展而变化的会话状态。通过使用众包数据进行训练，我们的新系统能够在Google Assistant真实用户的现场实验中，在几个感兴趣的指标方面大大超过（强）基线监督模型。
2022-07-25 cs.CL cs.LG
Assessing Bias in Metric Models for LLM Open-Ended Generation Bias Benchmarks
Holistic AI（霍利斯提克人工智能公司）；Stanford University（斯坦福大学）；University College London（伦敦大学学院）
本研究通过两项实验（反事实与SHAP）评估开放式生成偏见基准中度量模型的偏见，发现对人口统计描述符处理不平等，需更稳健的度量模型。
2024-10-14 cs.AI cs.CL
Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出GraphContextGen框架，结合图驱动上下文检索与知识图谱增强，提升参数较少LLMs在特定社区问答平台上的开放式问题回答能力，在事实准确性和知识奠基方面优于主流文本检索系统。
2024-10-15 cs.CL
