Odysseus Navigates the Sirens' Song: Dynamic Focus Decoding for Factual and Diverse Open-Ended Text Generation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学）
针对LLM开放式生成中事实性与多样性难以平衡的问题，提出即插即用的动态聚焦解码方法DFD，利用跨层分布差异自适应调整解码焦点，无需额外数据即可显著提升文本生成的事实性与多样性。
2025-05-28 cs.CL
Improving Open-Ended Text Generation via Adaptive Decoding
Shanghai Jiao Tong University（上海交通大学）
本研究提出自适应解码机制，通过基于熵的置信度指标动态确定候选词元集，在平衡生成多样性与连贯性的同时提升了文本质量与模型推理能力。
2024-06-03 cs.CL
Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation
Microsoft Research（微软研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
大型预训练的语言模型最近已经实现了开放式生成框架（例如，数据到文本NLG），以解决超越传统数据到文本生成的各种任务。虽然这个框架更通用，但它没有被指定，并且经常导致缺乏可控性，限制了它们在现实世界中的使用。我们提出了一个新的接地键到文本生成任务：该任务是生成一个事实的描述一组指导键，接地通道的实体。为了解决这个问题，我们引入了一个新的数据集，称为EntDeGen。受最近基于QA的评估措施的启发，我们提出了一个自动度量，MAFE，生成的描述的事实正确性。我们的EntDescriptor模型配备了强大的排名器来获取有用的段落并生成实体描述。实验结果表明，我们提出的度量和人类判断的真实性之间有很好的相关性（60.14）。我们的排名显着提高了所生成的描述的事实正确性（15.95%和34.51%的召回率和精度的相对增益）。最后，我们的消融研究强调了结合键和接地的好处。
2022-12-04 cs.CL
Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出基于参考的框架，从三个视角分析开放式文本生成的连贯性与多样性，实验表明多样性对齐和均值比较能捕捉质量变异，参考似然性与评分正相关，为评估生成质量提供结构化方法。
2026-09-24 cs.CL
MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）；Stanford University（斯坦福大学）
随着开放式文本生成的重大进展，衡量机器生成的文本与人类语言的接近程度仍然是一个关键的开放问题。我们介绍MAUVE，开放式文本生成的比较措施，它直接比较学习的分布从文本生成模型的人类书面文本的分布使用发散边界。MAUVE通过计算量化嵌入空间中的信息分歧来扩展到现代文本生成模型。通过对三个开放式生成任务的广泛实证研究，我们发现MAUVE识别生成文本的已知属性，随模型大小自然缩放，并与人类判断相关，比现有的分布式评估指标具有更少的限制。
2021-11-23 cs.CL
Language Model Evaluation in Open-ended Text Generation
The University of Melbourne（墨尔本大学）
尽管当前最先进的语言模型在众多的自然语言处理任务中取得了令人印象深刻的结果，但它们仍然不能解决在开放式文本生成中产生重复、枯燥甚至有时不一致的文本的问题。研究通常将此问题归因于最大似然训练目标，并通过使用随机解码方法或改变训练目标来提出替代方法。然而，仍然缺乏一致的评估指标来直接比较这些解决方案的有效性。在这项工作中，我们研究了不同的评价指标，已提出的机器生成的文本的质量，多样性和一致性进行评估。在此基础上，本文提出了一种实用的评估语言模型的流水线，并研究了如何利用不同的辅助训练目标来提高模型在各个维度上的性能。
2021-08-08 cs.CL cs.LG
Visualize Before You Write: Imagination-Guided Open-Ended Text Generation
UC Santa Barbara（加州大学圣巴巴拉分校）；UC San Diego（加州大学圣地亚哥分校）；UC Santa Cruz（加州大学圣克鲁兹分校）
文本到图像合成的最新进展使得在给定的上下文中可视化机器想象成为可能。另一方面，在生成文本时，人类作家擅长创造性的视觉化，这通过在将故事写下来之前形成想象力作为蓝图来增强他们的写作。受这样一个认知过程的启发，我们提出了一个自然的问题，即我们是否可以赋予机器同样的能力来利用视觉信息，并构建一个上下文的总体图像来指导文本生成。在这项工作中，我们提出了iNLG，使用机器生成的图像来指导开放式文本生成中的语言模型。实验和分析表明，在开放式文本生成任务，包括文本完成，故事生成，概念到文本生成在Few-Shot和全数据场景的有效性。自动度量和人工评估都验证了我们的iNLG生成的文本片段是连贯的和信息丰富的，同时显示轻微的退化。
2023-02-15 cs.AI cs.CL
Towards Better Open-Ended Text Generation: A Multicriteria Evaluation Framework
Department of Statistics, LMU Munich（统计学系，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对开放式文本生成评估中多指标权衡的难题，提出基于偏序的基准方法与新汇总指标，实现解码策略的可靠排序与模型选型指导，且公开相关资源。
2025-06-17 cs.CL cs.LG
GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation
Henan University（河南大学）；Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；CISPA Helmholtz Center for Information Security, Saarbrücken（萨尔布吕肯亥姆霍尔兹信息安全中心）；University of California, San Diego（加州大学圣地亚哥分校）
针对开放式文本生成中LLM输出连贯性与多样性难平衡、现有解码策略超参数依赖且计算成本高的问题，提出融合全局与局部不确定性的自适应解码方法GUARD，兼具效果与效率优势。
2025-09-03 cs.CL
Learning Personalized Alignment for Evaluating Open-ended Text Generation
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；UC Berkeley（加州大学伯克利分校）
针对传统开放式文本生成评估指标与人类判断相关性弱、难适配多样偏好的问题，提出可解释的个性化评估框架PerSE，基于13B LLaMA-2实现，在相关性、准确率及领域迁移性上均优于GPT-4。
2024-10-04 cs.CL
Perception Score, A Learned Metric for Open-ended Text Generation Evaluation
University of California, Davis（加利福尼亚大学戴维斯分校）
开放式自然语言生成任务的自动评估仍然是一个挑战。BLEU等现有指标与人类判断的相关性较低。我们提出了一种新颖而强大的基于学习的评估指标：感知分数。该方法从整体上衡量生成的整体质量并进行评分，而不是只关注一个评估标准，例如单词重叠。此外，它还显示了其评估结果的不确定性。感知评分通过将不确定性联系起来，对发电系统给出了更准确的评价。Perception Score提供了两个条件生成任务和两个无条件生成任务的最新结果。
2020-08-18 cs.CL cs.LG
KNN-LM Does Not Improve Open-ended Text Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（奥多比研究院）
研究发现，尽管 KNN-LM 降低了困惑度，但并未改善开放式文本生成质量，因为长序列解码时少数词元的改善被多数词元的预测变差所抵消，且检索分布熵增加更快导致暴露偏差。
2023-05-24 cs.CL
ModeX: Evaluator-Free Best-of-N Selection for Open-Ended Generation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
ModeX提出一种无需外部评估器的最佳-N选择方法，通过识别主导语义共识的模态输出，提升开放生成任务的鲁棒性与效率。
2026-04-09 cs.AI cs.CL
Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation
University of Mannheim（曼海姆大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
针对开放式 LLM 生成中截断采样方法及参数选择依赖经验的问题，本文基于保留完整句上下文的前缀树，逐解码步评估多样性与风险权衡，系统比较现有方法并提供参数选择指南。
2025-01-08 cs.AI cs.CL
Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本研究通过大规模实证评估多种解码方法、模型与领域，分析超参数对生成文本的影响，提炼出选择与调整超参数的实用建议，以提升文本生成质量与可靠性。
2024-12-14 cs.CL cs.LG
Factuality Enhanced Language Models for Open-Ended Text Generation
Hong Kong University of Science and Technology（香港科技大学）；NVIDIA（英伟达）
预训练的语言模型（LM）容易生成含有非事实信息的文本。在这项工作中，我们测量和提高开放式文本生成的大规模LM的实际精度。我们设计了FactualityTests测试集和指标来衡量LM生成的真实性。在此基础上，我们研究了参数大小从126 M到530 B的线性矩阵的实际精度。有趣的是，我们发现较大的LM比较小的LM更真实，尽管先前的研究表明，较大的LM在误解方面可能不太真实。此外，流行的采样算法（例如，top-p）可能由于在每个采样步骤引入的“均匀随机性”而损害真实性。我们提出了事实核采样算法，动态地适应随机性，以提高真实性的产生，同时保持质量。此外，我们分析了标准训练方法在从事实文本语料库（例如，Wikipedia）.我们提出了一种事实增强的训练方法，使用TopicPrefix更好地意识到事实和句子完成作为训练目标，这可以大大减少事实错误。我们在https://github.com/nayeon7lee/FactualityPrompt上发布我们的代码和FactualityLogistics基准。
2023-03-02 cs.AI cs.CL cs.CY
UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation
Tsinghua University（清华大学）
尽管现有的参考指标（例如，BLEU和MoverScore），它们与开放式文本生成（包括故事或对话生成）的人类判断相关性很差，因为众所周知的一对多问题：对于相同的输入，有许多看似合理的输出，这些输出可能在文字或语义上与有限数量的给定参考文献有很大差异。为了缓解这个问题，我们提出了UNION，这是一个可学习的无参考指标，用于评估开放式故事生成，它可以在没有任何参考的情况下测量生成故事的质量。建立在BERT之上，UNION被训练来区分人类写的故事和负面样本，并恢复负面故事中的扰动。我们提出了一种通过模仿现有NLG模型中常见的错误来构建负样本的方法，这些错误包括重复的情节，相互矛盾的逻辑和长期的不一致性。在两个故事数据集上的实验表明，UNION是评估生成故事质量的可靠指标，它与人类判断的相关性更好，并且比现有的最先进的指标更具普遍性。
2020-09-16 cs.CL
Data-to-text Generation with Variational Sequential Planning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
我们认为，数据到文本生成，其目的是从非语言输入创建文本输出的任务。我们专注于生成长格式文本，即，文档与多个段落，并提出了一个神经模型增强与规划组件负责组织高层次的信息在一个连贯的和有意义的方式。我们推断潜在的计划顺序与结构化的变分模型，而交错的规划和生成的步骤。文本是通过对先前的变分决策和先前生成的文本进行调节而生成的。在两个数据到文本基准测试（RotoWire和MLB）上的实验表明，我们的模型优于强基线，并且在有限的训练数据（例如，几百例）。
2022-02-28 cs.CL
Contrastive Decoding: Open-ended Text Generation as Optimization
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；FAIR（Meta人工智能研究院）
本文提出对比解码CD，通过在合理性约束下优化专家大模型与业余小模型的似然差，实现无需训练的高质量开放式文本生成，并显著优于现有解码方法。
2023-07-10 cs.AI cs.CL cs.LG
The Hyperfitting Phenomenon: Sharpening and Stabilizing LLMs for Open-Ended Text Generation
RISE Research Institutes of Sweden（瑞典RISE研究机构）；Google DeepMind（谷歌DeepMind）；PwC Sweden（普华永道瑞典分部）；Uppsala University（乌普萨拉大学）
本文发现对预训练LLM在极小数据集上进一步微调至近零损失（称为超拟合）能显著提升开放式文本生成的长序列质量，贪心解码甚至优于Top-P采样，且不同于Grokking和双下降现象。
2025-02-26 cs.AI cs.CL
Data-to-text Generation with Macro Planning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
最近的数据到文本生成方法已经采用了非常成功的编码器-解码器架构或其变体。这些模型生成的文本是流畅的（但通常不精确），在选择适当的内容和连贯地排序方面表现得很差。为了克服其中的一些问题，我们提出了一个神经模型与宏观规划阶段，其次是一个生成阶段，让人想起传统的方法，包括单独的模块规划和表面实现。宏观计划代表重要内容的高级组织，如实体，事件及其交互;它们从数据中学习并作为生成器的输入。在两个数据到文本基准测试（RotoWire和MLB）上的大量实验表明，我们的方法在自动和人工评估方面优于竞争基准。
2021-02-04 cs.CL
The African Woman is Rhythmic and Soulful: An Investigation of Implicit Biases in LLM Open-ended Text Generation
University College London（伦敦大学学院）
本文提出LLM IAT偏见和LLM决策偏见两种心理学启发方法，结合开放式生成定性分析，揭示并测量大语言模型中显式测试难以发现的内隐偏见，为AI伦理评估提供了更全面的框架。
2024-09-30 cs.AI cs.CL
PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation
Baidu Inc（百度公司）；Faculty of Science and Technology, University of Macau（澳门大学科技学院）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
尽管预训练的语言模型在生成流畅文本方面取得了最新进展，但现有方法在需要适当的内容控制和规划以形成连贯的高级逻辑流的长格式文本生成任务中仍然存在不连贯问题。在这项工作中，我们提出了PLANET，一个新的生成框架，利用自回归自我注意力机制进行内容规划和表面实现动态。为了指导输出句子的生成，我们的框架使用潜在表示来丰富Transformer解码器，以维护基于词袋的句子级语义计划。此外，我们引入了一个新的基于连贯性的对比学习目标，以进一步提高输出的连贯性。在两个具有挑战性的长文本生成任务上进行了大量的实验，包括反驳生成和评论文章生成。自动和人工评估都表明，我们的方法显著优于强基线，并生成内容更丰富的连贯文本。
2022-03-17 cs.CL
Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出自适应对比搜索解码策略，通过模型每一步的估计不确定性引导自适应退化惩罚，在提升文本生成创造性与多样性的同时保持连贯性和高质量。
2024-10-21 cs.CL cs.LG stat.ME
PAIR: Planning and Iterative Refinement in Pre-trained Transformers for Long Text Generation
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）；Computer Science and Engineering（计算机科学与工程）；University of Michigan（密歇根大学）
预先训练的Transformers在生成长而流畅的文本方面取得了令人印象深刻的突破，但它们的输出通常是“漫无边际”的，没有连贯的内容。在这项工作中，我们提出了一种新的内容控制的文本生成框架，PAIR，规划和迭代细化，这是建立在一个大的模型，BART。我们首先适应BERT模型自动构建的内容计划，包括关键词分配和相应的文档级别的位置。BART模型用于生成，而不修改其结构。然后，我们提出了一个细化算法，逐步提高序列到序列的框架内的生成质量。使用自动度量进行的评估表明，添加规划一致地提高了三个不同领域的生成质量，平均提高了20个BLEU点和12个METEOR点。此外，人类法官认为我们的系统输出比没有计划的比较更相关和一致。
2020-10-05 cs.CL
SAGEval: The frontiers of Satisfactory Agent based NLG Evaluation for reference-free open-ended text
Microsoft（微软）
本文提出SAGEval框架，利用评判智能体纠正LLM评估器分数，在无参考标签条件下实现开放式文本生成评估，减少对标注数据的依赖。
2024-11-25 cs.CL cs.MA
Hierarchical Text Generation and Planning for Strategic Dialogue
Facebook AI Research（Facebook人工智能研究院）
面向目标的对话的端到端模型对训练具有挑战性，因为语言和策略方面纠缠在潜在的状态向量中。我们介绍了一种方法来学习表示的对话中的消息，通过最大限度地提高后续的句子和动作，这是从它的语言实现的对话话语的语义。然后，我们使用这些潜在的句子表示分层语言生成，规划和强化学习。实验表明，我们的方法增加了模型实现的最终任务奖励，提高了使用推出的长期规划的有效性，并允许自我发挥强化学习，以改善决策，而不偏离人类语言。我们的分层潜变量模型在语言和战略上都优于以前的工作。
2018-06-04 cs.CL
Sentence-Level Content Planning and Style Specification for Neural Text Generation
Northeastern University（东北大学）
构建有效的文本生成系统需要三个关键组成部分：内容选择，文本规划和表面实现，传统上它们是作为单独的问题来处理的。最近的一体式神经生成模型取得了令人印象深刻的进展，但它们经常产生不连贯且不忠实于输入的输出。为了解决这些问题，我们提出了一个端到端的训练两步生成模型，其中一个文档级内容规划器首先决定要覆盖的关键短语以及所需的语言风格，然后是一个生成相关和连贯文本的表面实现解码器。对于实验，我们考虑了三个任务，从不同的主题和不同的语言风格的域：有说服力的论点建设从Reddit，段落生成的正常和简单版本的维基百科，和摘要生成的科学文章。自动评估表明，我们的系统可以显着优于竞争力的比较。与不考虑语言风格的变体相比，人类法官进一步将我们的系统生成的文本评为更流畅和正确。
2019-09-02 cs.CL
Coherence-Aware Distributional Evaluation of Open-Ended Text Generation
New York University（纽约大学）；Center for Data Science, NYU Shanghai（上海纽约大学数据科学中心）；Georgia Institute of Technology（佐治亚理工学院）
针对开放文本生成评估忽略全局连贯性的问题，提出连贯性感知的分布指标CHORD，利用冻结LLM隐状态和RBF-MMD检测多种连贯性失败，实验证明其优于现有基线并与人类判断高度一致。
2026-09-30 cs.AI cs.CL
Hindsight: Posterior-guided training of retrievers for improved open-ended generation
Stanford University（斯坦福大学）
许多文本生成系统受益于使用检索器从文本知识语料库（例如，Wikipedia），然后将其作为附加上下文提供给生成器。对于开放式生成任务（如在对话中生成信息性话语），许多不同的段落可能同样相关，并且我们发现联合训练检索器和生成器的现有方法表现不佳：检索器可能找不到相关段落，即使在前10位中，因此生成器可能不会学习偏好以将其生成的输出接地。我们建议使用一个额外的指南检索器，允许使用目标输出和“事后诸葛亮”检索相关的段落在训练过程中。我们在给定输入和目标输出的通道的后验分布Q之后对引导检索器进行建模，并通过在Q上最大化期望中的证据下限（ELBo）来与标准检索器和生成器一起训练它。对于来自维基百科数据集向导的信息对话，通过后向引导训练，检索器在前10名中找到具有更高相关性的段落（23%相对提高），生成器的响应更多地基于检索到的段落（19%相对提高），端到端系统产生更好的整体输出（6.4%相对提高）。
2021-10-21 cs.CL cs.IR
Learning to Plan and Realize Separately for Open-Ended Dialogue Systems
University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校）；Institute for Human Machine Cognition (IHMC)（人机认知研究所）；State University of New York Albany（纽约州立大学奥尔巴尼分校）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
对于开放式对话系统来说，实现真正的类人对话能力仍然是一个难以实现的目标。我们认为这是因为现有的方法对自然语言生成（NLG）通常被解释为端到端的架构，没有充分模拟人类的生成过程。为了研究，我们将生成解耦为两个独立的阶段：规划和实现。在规划阶段，我们训练两个规划者来生成响应话语的规划。实现阶段使用响应计划来产生适当的响应。通过严格的评估，包括自动化和人工评估，我们证明了将过程解耦为规划和实现比端到端的方法更好。
2020-10-04 cs.CL
Long and Diverse Text Generation with Planning-based Hierarchical Variational Model
Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Baozun（宝尊）
现有的用于数据到文本生成的神经方法仍然难以生成长而多样的文本：它们不足以在生成过程中动态地建模输入数据，捕获句子间的连贯性，或生成多样化的表达。为了解决这些问题，我们提出了一个基于规划的层次变分模型（PHVM）。我们的模型首先计划一系列的组（每组是一个子集的输入项目被覆盖的句子），然后实现每个句子的规划结果和先前生成的上下文条件，从而分解成依赖句子生成子任务的长文本生成。为了捕捉表达的多样性，我们设计了一个分层的潜在结构，其中一个全球规划的潜在变量模型的多样性合理的规划和一系列的本地潜在变量控制句子的实现。实验表明，我们的模型优于国家的最先进的基线在长和多样化的文本生成。
2019-08-25 cs.CL cs.LG
Step-by-Step: Separating Planning from Realization in Neural Data-to-Text Generation
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
数据到文本的生成在概念上可以分为两个部分：信息的排序和结构化（规划），以及生成描述信息的流畅语言（实现）。现代神经生成系统将这两个步骤合并为一个端到端的可微分系统。我们建议将生成过程分为一个忠实于输入的符号文本规划阶段，然后是一个只关注实现的神经生成阶段。为了训练计划到文本生成器，我们提出了一种将参考文本与其相应的文本计划进行匹配的方法。对于推理时间，我们描述了一种为新输入选择高质量文本计划的方法。我们在WebNLG基准上实施和评估我们的方法。我们的研究结果表明，从神经实现解耦文本规划确实提高了系统的可靠性和充分性，同时保持流畅的输出。我们观察到BLEU评分和手动评估都有所改善。我们的方法的另一个好处是能够输出相同输入的不同实现，为显式控制生成的文本结构铺平了道路。
2019-05-01 cs.AI cs.CL
Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning
Google Research（谷歌研究院）
尽管最近在自然语言理解和生成方面取得了进展，并且对会话机器人的开发进行了数十年的研究，但构建能够与人类“在野外”进行丰富的开放式对话的自动代理仍然是一个艰巨的挑战。在这项工作中，我们开发了一个实时的，开放式的对话系统，使用强化学习（RL）来大规模地增强机器人的对话技能。我们的工作对简洁的嵌入使用SOTA（监督）语言模型与RL技术，特别适合于动态的动作空间，随着对话的进展而变化的会话状态。通过使用众包数据进行训练，我们的新系统能够在Google Assistant真实用户的现场实验中，在几个感兴趣的指标方面大大超过（强）基线监督模型。
2022-07-25 cs.CL cs.LG
ChinaTravel: An Open-Ended Travel Planning Benchmark with Compositional Constraint Validation for Language Agents
State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室）；School of Intelligence Science and Technology, Nanjing University, China（南京大学智能科学与技术学院）；School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院）；Noah’s Ark Lab, Huawei, China（华为诺亚实验室）
ChinaTravel通过开放数据集和组合通用领域语言，提升语言代理在复杂真实场景中的约束满足能力，实现37%的约束满足率，比纯神经模型提升10倍。
2026-04-29 cs.AI cs.CL
Order-Planning Neural Text Generation From Structured Data
University of Waterloo（滑铁卢大学）
从结构化数据生成文本（例如，表）对于诸如问答和对话系统的各种自然语言处理任务是重要的。在最近的研究中，研究人员使用神经语言模型和编码器-解码器框架来生成表到文本。然而，这些基于神经网络的方法在文本生成期间不对内容的顺序进行建模。当一个人根据给定的表格写摘要时，他或她可能会在措辞之前考虑内容顺序。例如，在传记中，一个人的国籍通常在传记中的职业之前提到。在本文中，我们提出了一个订单规划文本生成模型，捕捉不同领域之间的关系，并利用这种关系，使生成的文本更加流畅和光滑。我们在WikiBio数据集上进行了实验，并在BLEU，ROUGE和NIST分数方面实现了比以前方法更高的性能。
2017-09-01 cs.AI cs.CL cs.IR
Generating Planning Feedback for Open-Ended Programming Exercises with LLMs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对开放式编程练习中自动评分无法反馈规划过程的问题，提出用LLM检测学生程序的高层级规划，证明GPT-4o及微调后的GPT-4o-mini检测准确率高且小型模型成本低，可助力实时反馈并有望扩展到其他学科。
2025-04-11 cs.AI cs.CL
Inter-dimension Dependence for Multi-Dimensional Evaluation of Open-Ended Text
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文针对开放文本多维度评估中LLM评判者的维度间依赖问题，提出CorrGap度量该依赖关系，进而提出DimCheck方法缓解该问题，在多任务多模型上优于基线且推理成本低。
2026-08-26 cs.CL
Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain Activation Maps
Northwestern Polytechnical University（西北工业大学）；Northwest University（西北大学）；University of Georgia（佐治亚大学）
提出Chat2Brain方法，结合大型语言模型与Text2Brain模型，将开放式语义查询映射为脑激活图，解决元分析中语义冗余和歧义问题，在数据稀缺环境下生成解剖学合理的神经激活模式。
2023-09-10 cs.CL
CONSISTENT: Open-Ended Question Generation From News Articles
Columbia University（哥伦比亚大学）；The New York Times R&D（纽约时报研发部）
最近关于问题生成的工作主要集中在事实类问题上，例如关于基本事实的谁、什么、哪里、什么时候。产生开放式的为什么，如何，什么等问题，需要长形式的答案已被证明更困难。为了便于生成开放式的问题，我们提出了一致的，一个新的端到端的系统，用于生成开放式的问题，回答和忠实于输入文本。使用新闻文章作为一个值得信赖的实验基础，我们证明了我们的模型的实力超过几个基线使用自动和人为=基于评估。我们提供了一个专家生成的开放式问题的评估数据集。我们讨论了新闻媒体组织的潜在下游应用。
2022-10-20 cs.CL
BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation
Amazon Alexa AI-NU（亚马逊Alexa人工智能-西北大学合作团队）；UC Santa Barbara（加州大学圣巴巴拉分校）；UCLA（加州大学洛杉矶分校）
深度学习技术的最新进展使机器能够在提示一系列单词作为上下文时生成有凝聚力的开放式文本。虽然这些模型现在为许多下游应用程序提供了支持，从对话机器人到自动讲故事，但它们已被证明可以生成表现出社会偏见的文本。为了系统地研究开放式语言生成中的社会偏见并对其进行基准测试，我们引入了开放式语言生成数据集（BOLD）中的偏见，这是一个大型数据集，由23，679个英语文本生成提示组成，用于在五个领域进行偏见基准测试：职业，性别，种族，宗教和政治意识形态。我们还提出了毒性，心理语言学规范和文本性别极性的新的自动化指标，从多个角度衡量开放式文本生成中的社会偏见。对三种流行的语言模型生成的文本的检查表明，这些模型中的大多数在所有领域都表现出比人类编写的维基百科文本更大的社会偏见。通过这些结果，我们强调了对开放式语言生成中的偏见进行基准测试的必要性，并警告下游任务中的语言生成模型的用户要认识到这些嵌入式偏见。
2021-01-27 cs.AI cs.CL cs.LG
AgentOdyssey: Open-Ended Long-Horizon Text Game Generation for Test-Time Continual Learning Agents
Johns Hopkins University（约翰霍普金斯大学）
提出AgentOdyssey框架，通过程序化生成开放式文本游戏，评估智能体在测试时持续学习的关键能力，包括探索、知识获取、记忆和长程规划。
2026-10-19 cs.CL
MATEval: A Multi-Agent Discussion Framework for Advancing Open-Ended Text Evaluation
Southeast University（东南大学）；Ant Group（蚂蚁集团）
针对单LLM评估开放式文本存在不确定性与不稳定性的问题，提出模拟人类协作讨论、结合自我反思与CoT的多智能体评估框架MATEval，其与人类评估相关性最高，还能提升工业场景效率。
2024-04-15 cs.AI cs.CL
The signal is the ceiling: Measurement limits of LLM-predicted experience ratings from open-ended survey text
Dimension Labs（Dimension实验室）
本文研究了提示设计和模型选择对LLM预测经验评分的影响，发现文本本身的语言特征对准确性影响更大，提示工程只能在特定范围内提升性能。
2026-04-21 cs.CL
A Judge-free LLM Open-ended Generation Benchmark Based on the Distributional Hypothesis
Preferred Networks, Inc.（Preferred Networks公司）；Preferred Elements, Inc.（Preferred Elements公司）
针对LLMs开放式文本生成评估缺乏明确真值、人工或LLM裁判成本高的问题，提出基于n元语法统计和规则的无裁判基准，含50组问题参考集及三个新指标，与GPT-4o评估高度相关且资源需求低，为可扩展评估提供有效替代方案。
2025-02-13 cs.CL
A Mixture-of-Experts Approach to Few-Shot Task Transfer in Open-Ended Text Worlds
Georgia Institute of Technology（佐治亚理工学院）
针对开放式文本环境中新任务快速迁移问题，提出融合冻结与可学习专家的注意力 Mixture-of-Experts 策略模型，提升零样本奖励与少样本样本效率。
2024-05-09 cs.AI cs.CL
OpenEP: Open-Ended Future Event Prediction
Tsinghua University（清华大学）
针对现有未来事件预测任务结果范围固定的局限，提出开放式预测任务OpenEP，构建多视角的OpenEPBench数据集，提出利益相关者增强框架StkFEP，实验表明现有LLM在该开放式场景下预测仍具挑战。
2024-08-14 cs.CL
Challenges in Measuring Bias via Open-Ended Language Generation
Boston University（波士顿大学）
研究人员已经设计了许多方法来量化预先训练的语言模型中的社会偏见。由于一些语言模型能够在给定一组文本提示的情况下生成连贯的补全，因此已经提出了几个提示数据集来测量社会群体之间的偏见--将语言生成作为识别偏见的一种方式。在这篇意见书中，我们分析了提示集，指标，自动工具和抽样策略的具体选择如何影响偏倚结果。我们发现，通过文本完成测量偏见的做法是容易产生矛盾的结果，在不同的实验设置。我们还提供了建议，报告偏见在开放式语言生成的偏见表现出一个给定的语言模型更完整的前景。在www.example.com下发布了重现结果的代码。
2022-05-23 cs.CL cs.CY
Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation
Tsinghua University（清华大学）
本文提出自对比训练方法，通过惩罚模型不成熟检查点对重复的错误预测，有效缓解开放式生成中的文本重复问题，同时保持生成流畅性。
2023-07-04 cs.CL
CheckEmbed: Effective Verification of LLM Solutions to Open-Ended Tasks
ETH Zurich（苏黎世联邦理工学院）；Cledar；Warsaw University of Technology（华沙理工大学）；IDEAS Research Institute（IDEAS研究院）
CheckEmbed通过现代嵌入模型将LLM回答压缩为单一向量，实现整体级快速语义比较，有效检测幻觉，并适用于文本及视觉等模态。
2025-07-10 cs.CL
MarioGPT: Open-Ended Text2Level Generation through Large Language Models
IT University of Copenhagen（哥本哈根信息技术大学）；modl.ai, Copenhagen（modl.ai（哥本哈根））
本文提出微调GPT2模型MarioGPT，利用文本提示生成《超级马里奥兄弟》关卡，并结合新颖性搜索实现可控、多样且开放式的关卡演化。
2023-11-08 cs.AI cs.CL cs.LG
Decoding Open-Ended Information Seeking Goals from Eye Movements in Reading
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology（数据与决策科学学院，技术离子-以色列理工学院）
本研究首次通过阅读中的眼动数据自动解码开放性信息寻求目标，开发了多模态LLM模型并展示了在目标选择和文本重构上的显著成果。
2026-03-02 cs.AI cs.CL
A Disability Lens towards Biases in GPT-3 Generated Open-Ended Languages
Rochester Institute of Technology（罗切斯特理工学院）；The University of Utah（犹他大学）
语言模型（LM）在全球许多基于语言的应用程序空间中变得流行。尽管这些LM正在改善我们与数字产品的日常互动，但人们仍然担心这些模型生成的开放式语言或文本是否会对特定人群产生偏见，从而危及某些产品的可用性。有必要确定这些模型是否具有偏见，以提高这些模型的公平性。这一差距激励了我们正在进行的工作，我们通过残疾镜头测量了GPT-3生成文本中的两个方面的偏见。
2022-06-23 cs.AI cs.CL cs.LG
An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation
Amazon Alexa AI（亚马逊Alexa人工智能部门）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Information Sciences Institute, University of Southern California（南加利福尼亚大学信息科学研究所）
一些先前的工作已经表明，语言模型（LM）可以生成包含有害的社会偏见和刻板印象的文本。虽然解码算法在确定LM生成的文本的属性中起着核心作用，但它们对生成的公平性的影响尚未研究。本文系统地分析了解码算法对LM公平性的影响，并分析了公平性、分集和质量之间的权衡。在开放式语言生成中，我们使用$p$、$k$和温度解码算法的实验表明，随着解码算法的超参数的变化，人口统计组之间的公平性显著变化。值得注意的是，输出更多样化文本的解码算法也会输出更多具有负面情绪和关注的文本。我们提出了几个调查结果，并提供了公平性评估和解码算法的公平性以及质量和多样性的优化解码细节的标准化报告的建议。
2022-10-07 cs.AI cs.CL cs.LG
