BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation
Amazon Alexa AI-NU（亚马逊Alexa人工智能-西北大学合作团队）；UC Santa Barbara（加州大学圣巴巴拉分校）；UCLA（加州大学洛杉矶分校）
深度学习技术的最新进展使机器能够在提示一系列单词作为上下文时生成有凝聚力的开放式文本。虽然这些模型现在为许多下游应用程序提供了支持，从对话机器人到自动讲故事，但它们已被证明可以生成表现出社会偏见的文本。为了系统地研究开放式语言生成中的社会偏见并对其进行基准测试，我们引入了开放式语言生成数据集（BOLD）中的偏见，这是一个大型数据集，由23，679个英语文本生成提示组成，用于在五个领域进行偏见基准测试：职业，性别，种族，宗教和政治意识形态。我们还提出了毒性，心理语言学规范和文本性别极性的新的自动化指标，从多个角度衡量开放式文本生成中的社会偏见。对三种流行的语言模型生成的文本的检查表明，这些模型中的大多数在所有领域都表现出比人类编写的维基百科文本更大的社会偏见。通过这些结果，我们强调了对开放式语言生成中的偏见进行基准测试的必要性，并警告下游任务中的语言生成模型的用户要认识到这些嵌入式偏见。
2021-01-27 cs.AI cs.CL cs.LG
Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出自适应对比搜索解码策略，通过模型每一步的估计不确定性引导自适应退化惩罚，在提升文本生成创造性与多样性的同时保持连贯性和高质量。
2024-10-21 cs.CL cs.LG stat.ME
DIVERGE: Diversity-Enhanced RAG for Open-Ended Information Seeking
Aarhus University（奥胡斯大学）；Microsoft Research（微软研究院）
针对现有RAG系统忽略开放式信息检索中多样性需求的问题，提出Diverge框架，通过迭代反思引导的多样化视角探索和多样性感知检索支持，在保持质量的同时将多样性提升约2倍。
2026-06-08 cs.AI cs.CL cs.LG
Contrastive Decoding: Open-ended Text Generation as Optimization
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；FAIR（Meta人工智能研究院）
本文提出对比解码CD，通过在合理性约束下优化专家大模型与业余小模型的似然差，实现无需训练的高质量开放式文本生成，并显著优于现有解码方法。
2023-07-10 cs.AI cs.CL cs.LG
Penalty Decoding: Well Suppress the Self-Reinforcement Effect in Open-Ended Text Generation
Shanghai Jiao Tong University（上海交通大学）
针对开放式文本生成中的自我强化效应，提出结合遗忘机制、重复惩罚和长度惩罚的Penalty Decoding方法，有效缓解了惩罚参数选择困难及生成偏离事实等问题，显著提升了生成文本质量。
2023-10-23 cs.CL
An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation
Amazon Alexa AI（亚马逊Alexa人工智能部门）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Information Sciences Institute, University of Southern California（南加利福尼亚大学信息科学研究所）
一些先前的工作已经表明，语言模型（LM）可以生成包含有害的社会偏见和刻板印象的文本。虽然解码算法在确定LM生成的文本的属性中起着核心作用，但它们对生成的公平性的影响尚未研究。本文系统地分析了解码算法对LM公平性的影响，并分析了公平性、分集和质量之间的权衡。在开放式语言生成中，我们使用$p$、$k$和温度解码算法的实验表明，随着解码算法的超参数的变化，人口统计组之间的公平性显著变化。值得注意的是，输出更多样化文本的解码算法也会输出更多具有负面情绪和关注的文本。我们提出了几个调查结果，并提供了公平性评估和解码算法的公平性以及质量和多样性的优化解码细节的标准化报告的建议。
2022-10-07 cs.AI cs.CL cs.LG
Challenges in Measuring Bias via Open-Ended Language Generation
Boston University（波士顿大学）
研究人员已经设计了许多方法来量化预先训练的语言模型中的社会偏见。由于一些语言模型能够在给定一组文本提示的情况下生成连贯的补全，因此已经提出了几个提示数据集来测量社会群体之间的偏见--将语言生成作为识别偏见的一种方式。在这篇意见书中，我们分析了提示集，指标，自动工具和抽样策略的具体选择如何影响偏倚结果。我们发现，通过文本完成测量偏见的做法是容易产生矛盾的结果，在不同的实验设置。我们还提供了建议，报告偏见在开放式语言生成的偏见表现出一个给定的语言模型更完整的前景。在www.example.com下发布了重现结果的代码。
2022-05-23 cs.CL cs.CY
Bias Association Discovery Framework for Open-Ended LLM Generations
Jinhao Pan；Chahat Raj；Ziwei Zhu
本研究提出BADF框架，用于从开放型LLM生成中发现和分析人口身份与描述性概念的偏见关联。
2026-01-17 cs.CL
InfoQuest: Evaluating Multi-Turn Dialogue Agents for Open-Ended Conversations with Hidden Context
Advanced Knowledge Center for Immersive Technologies – AKCIT（沉浸式技术高级知识中心（AKCIT））；OATML, University of Oxford（牛津大学OATML）
本文提出了InfoQuest多轮聊天基准，用于评估对话代理在处理具有隐藏上下文的开放式请求时的信息寻求能力，发现现有模型在有效收集关键信息和主动澄清方面仍存在显著局限。
2025-04-25 cs.CL cs.LG
The Hyperfitting Phenomenon: Sharpening and Stabilizing LLMs for Open-Ended Text Generation
RISE Research Institutes of Sweden（瑞典RISE研究机构）；Google DeepMind（谷歌DeepMind）；PwC Sweden（普华永道瑞典分部）；Uppsala University（乌普萨拉大学）
本文发现对预训练LLM在极小数据集上进一步微调至近零损失（称为超拟合）能显著提升开放式文本生成的长序列质量，贪心解码甚至优于Top-P采样，且不同于Grokking和双下降现象。
2025-02-26 cs.AI cs.CL
Systematic Review of Approaches to Improve Peer Assessment at Scale
同伴互评是由同伴对学生的写作进行分析和评论的任务，是校园和MOOC所有教育组件的核心。然而，随着MOOC的规模及其固有的个性化开放式学习，自动评分和辅助评分的工具非常重要。在此之前，我们提出了调查的任务，职位分类，知识追踪和结束了简要回顾同行评价（PA），一些初步的问题。在这次审查中，我们将从改进审查进程本身的角度继续审查巴勒斯坦权力机构。因此，本综述的其余部分集中在PA的三个方面，即自动评分和同行评估工具（我们将只关注同行评审/自动评分是如何进行的），处理流氓评论的策略，使用自然语言处理的同行评审改进。所使用的综合文件和资源集在https://github.com/manikandan-ravikiran/cs6460-Survey-2上发布。
2020-01-27 cs.AI cs.CL cs.CY
Survey Response Generation: Generating Closed-Ended Survey Responses In-Silico with Large Language Models
University of Mannheim（曼海姆大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Maryland, College Park（马里兰大学学院公园分校）；GESIS Cologne（科隆社会研究所）；CSH Vienna（维也纳认知科学研究所）
本文研究了不同调查回应生成方法对模拟调查回应的影响，发现受限生成方法效果最佳，推理输出不总能提升对齐度。
2026-04-24 cs.CL cs.CY
Test-Time Scaling with Repeated Sampling Improves Multilingual Text Generation
Kahlert School of Computing University of Utah（卡勒特计算学院犹他大学）
本研究在Aya Evaluation Suite和m-ArenaHard基准上评估重复采样方法，发现其能显著提升多语言文本生成质量（部分增益超35%），并指出基于奖励的验证器对推理任务至关重要。
2025-05-28 cs.CL
VIBE: Voice-Induced open-ended Bias Evaluation for Large Audio-Language Models via Real-World Speech
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾大学通信工程研究所）；NVIDIA, Taiwan（台湾NVIDIA）；Artificial Intelligence Center of Research Excellence, National Taiwan University, Taiwan（台湾大学人工智能卓越研究中心）
VIBE通过真实世界语音的开放式任务评估大型音频-语言模型的生成偏见，揭示了性别线索比口音线索更易引发分布偏移，表明当前模型复现了社会刻板印象。
2026-07-07 cs.CL cs.SD eess.AS
Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation
University of Southern California（南加州大学）；Intel AI（英特尔人工智能）
本文提出top-H解码，通过熵约束最小散度问题提升文本生成的创造力与连贯性，实验证明其在创意写作任务中优于现有方法，且在问答数据集上表现稳健。
2026-05-10 cs.AI cs.CL stat.ML
StereoTales: A Multilingual Framework for Open-Ended Stereotype Discovery in LLMs
Giskard AI；École Normale Supérieure, INSERM, Paris（巴黎高等师范学院、INSERM、巴黎）
本文提出StereoTales，一个多语言数据集和评估流程，用于系统研究开放性LLM生成中的社会偏见。研究发现所有模型在开放生成中都会产生有害刻板印象，提示语言显著影响刻板印象表现，且人类和LLM对有害性的判断基本一致。
2026-05-12 cs.AI cs.CL cs.CY
Sample then Identify: A General Framework for Risk Control and Assessment in Multimodal Large Language Models
University of Electronic Science and Technology of China（电子科技大学）；Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）；The University of Hong Kong（香港大学）
针对多模态大语言模型在开放环境中的可信度问题，提出通用两步框架TRON，通过保形分数采样最小响应集并基于自洽性识别高质量响应以控制错误率，实现高效的风险控制与评估。
2025-06-29 cs.AI cs.CL cs.LG
Agreement in Representation Space for Open-Ended Self-Consistency
HiTZ Center - Ixa, University of the Basque Country (UPV/EHU)（HiTZ中心 - Ixa，巴斯克大学（UPV/EHU））
针对开放式生成任务，提出基于嵌入的协议（EBA），通过聚类采样生成的嵌入表示来估计自洽性，无需训练即可鲁棒地选择更可靠的输出。
2026-06-11 cs.CL
Capturing Failures of Large Language Models via Human Cognitive Biases
UC Berkeley（加州大学伯克利分校）
大语言模型生成复杂的、开放式的输出：它们不是输出类标签，而是编写摘要、生成对话或生成工作代码。为了评估这些开放式发电系统的可靠性，我们的目标是确定定性类别的错误行为，而不是确定个别错误。为了假设和测试这种定性错误，我们从人类认知偏差中汲取灵感-偏离理性判断的系统模式。具体来说，我们使用认知偏差作为动机，（i）为模型可能存在的问题生成假设，（ii）开发引发这些问题的实验。使用代码生成作为案例研究，我们发现OpenAI的Codex基于输入提示的框架可以预测错误，调整输出到锚点，并偏向于模仿频繁训练样本的输出。然后，我们使用我们的框架来引发高影响力的错误，例如错误地删除文件。我们的研究结果表明，认知科学的实验方法可以帮助描述机器学习系统的行为。
2022-11-24 cs.AI cs.CL cs.LG
Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Lila Sciences；Stanford University（斯坦福大学）
针对语言模型输出同质化问题，提出Infinity-Chat数据集与分类体系，揭示模型内重复与模型间同质的人工蜂群思维效应，并发现模型评判与人类偏好校准不足，为缓解AI安全风险提供方向。
2026-10-07 cs.CL
Building Reliable Long-Form Generation via Hallucination Rejection Sampling
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；University of Cambridge（剑桥大学）；DeepMind（深度思维）
提出分段幻觉拒绝采样框架SHARS，利用任意幻觉检测器在生成过程中拒绝并重采样幻觉片段，以缓解长文本生成中的幻觉累积问题，提升事实一致性。
2026-06-02 cs.AI cs.CL cs.LG
Diversity Collapse in Multi-Agent LLM Systems: Structural Coupling and Collective Failure in Open-Ended Idea Generation
National University of Singapore（国立新加坡大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
研究探讨了多智能体系统在开放性创意生成中多样性崩溃的原因，揭示了结构耦合导致的集体失败，强调了在设计创意任务时保持独立性和分歧的重要性。
2026-04-21 cs.AI cs.CL cs.MA
Follow the Wisdom of the Crowd: Effective Text Generation via Minimum Bayes Risk Decoding
Stanford University（斯坦福大学）；Oxford University（牛津大学）
在开放式自然语言生成中，现有的文本解码方法通常难以生成既多样又高质量的文本。贪婪和束搜索已知会遭受文本退化和语言多样性问题，而温度、top-k和核采样通常会产生多样但低质量的输出。在这项工作中，我们提出了人群抽样，贝叶斯风险最小化的解码方法的基础上，家庭，以解决这种多样性的质量权衡。受“群体智慧”原则的启发，群体抽样试图从候选人池中选择具有最小预期风险的候选人（即，最高预期奖励）。群体抽样可以被视为许多现有方法的概括，包括多数投票，在实践中，它可以被用作现有抽样方法的直接替代品。大量的实验表明，人群抽样在广泛的任务（包括摘要、数据到文本、翻译和文本风格转换）中提供了3-7个ROUGE和BLEU点的改进，同时在WebNLG和WMT'16上实现了最先进的新结果。
2022-11-14 cs.CL cs.LG
APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models
Kyoto University（京都大学）；Shanghai Jiao Tong University（上海交通大学）；University of Macau（澳门大学）；The University of Tokyo（东京大学）；Inner Mongolia University（内蒙古大学）
本研究推出带实例特定评分标准的中文社会感知开放式基准测试集APRiL，含2196个实例及两项任务，实验发现模型存在理解-回应差距，为社交感知语言模型研究提供资源。
2026-10-16 cs.CL
Don't Repeat Yourself: Stopping Verbatim Loops at Sampling Time
Thoughtworks；Columbia University（哥伦比亚大学）；Oracle（甲骨文公司）；New York University（纽约大学）
研究针对大语言模型的逐字循环问题，提出采样时的DRY对数几率调整方法，在多模型和研究中有效降低循环率并保持性能，已被开源LLM推理框架采用。
2026-08-25 cs.AI cs.CL cs.LG
SC-Safety: A Multi-round Open-ended Question Adversarial Safety Benchmark for Large Language Models in Chinese
该研究提出中文大语言模型多轮对抗安全评测基准SC-Safety，含4912个开放式问题覆盖20余安全子维度，实验发现闭源模型安全性优于开源、国产模型与GPT-3.5-turbo水平相当、部分小模型也有不错安全表现，助力构建更安全可信的大语言模型。
2023-10-09 cs.CL
ExpertGenQA: Open-ended QA generation in Specialized Domains
University of California Riverside（加州大学河滨分校）
本文提出ExpertGenQA协议，结合少样本学习与结构化主题及风格分类生成专业领域QA对，在保持高主题覆盖率的同时提升效率，并显著改善下游检索模型的top-1准确率。
2025-03-04 cs.CL cs.IR
Improving Data and Reward Design for Scientific Reasoning in Large Language Models
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出Dr. SCI数据集和后训练流程，通过探索扩展SFT、动态难度课程和SciRubric引导RL提升大型语言模型的科学推理能力。
2026-02-10 cs.CL
Automated Creativity Evaluation of Language Models Across Open-Ended Tasks
Raffles Institution（莱佛士书院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李光前医学院）；Centre of AI in Medicine (C-AIM), Nanyang Technological University（南洋理工大学人工智能医学中心）
提出一种领域无关的自动化框架，通过语义熵和检索式多智能体评估，量化LLM在开放式任务中的发散与收敛创造力，并在问题解决、研究构思和创意写作三个领域验证其有效性。
2026-06-11 cs.AI cs.CL
When Life Gives You Samples: The Benefits of Scaling up Inference Compute for Multilingual LLMs
研究多语言多任务下扩大推理计算量的方法，提出适应多语言场景的新型采样与选择策略，使8B和111B模型在m-ArenaHard-v2.0基准上胜率分别提升6.8和9.0。
2025-06-25 cs.AI cs.CL
Bounding the Capabilities of Large Language Models in Open Text Generation with Prompt Constraints
Georgia Institute of Technology（佐治亚理工学院）；Shanghai Jiao Tong University（上海交通大学）；Google（谷歌）；Stanford University（斯坦福大学）
开放式生成模型的局限性尚不清楚，但越来越重要。是什么让他们成功，又是什么让他们失败？在本文中，我们采取了一种以知识为中心的方法来分析和界定开放式生成模型的能力。我们提出了一个通用的分析方法，两个具有挑战性的提示约束类型：结构和风格。这些约束类型被分类为一组定义良好的约束，这些约束可通过单个提示进行分析。然后，我们系统地创建一组简单，自然和有用的提示，以强大地分析每个单独的约束。使用GPT-3 text-davinci-002模型作为案例研究，我们从提示集合中生成输出并分析模型的生成失败。我们还展示了我们所提出的方法在其他大型模型上的推广性，如BLOOM和OPT. We的结果和我们的上下文缓解策略揭示了未来研究面临的挑战。我们已在https://github.com/SALT-NLP/Bound-Cap-LLM上公开发布了我们的代码。
2023-02-17 cs.AI cs.CL cs.LG
Systematic Hazard Sampling: Minimal-Variance Inference for Discrete Diffusion and Flow Models
Department of EE KAIST（电子工程系，韩国科学技术院）
分层危险采样通过最小化方差提升CTMC/DTMC离散扩散和流模型的样本质量与鲁棒性。
2026-10-06 cs.CL cs.LG
Inductive Biases for Zero-shot Systematic Generalization in Language-informed Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
本文针对强化学习中的样本效率和系统泛化挑战，基于NPS提出模块化与稀疏性架构级归纳偏置，并赋予记忆核心角色，在BabyAI环境中显著提升了模型的零样本系统泛化与样本效率。
2025-01-25 cs.AI cs.CL cs.LG
Self-Correcting Large Language Models: Generation vs. Multiple Choice
University College London（伦敦大学学院）；Amazon AGI（亚马逊人工智能实验室）；University of Sheffield（谢菲尔德大学）；University of Southern California（南加州大学）
本文对比研究了大型语言模型在开放式生成和多项选择任务中的自我校正机制，发现两者改进模式与失败模式存在差异，强调自我校正机制设计需考虑任务结构与输出空间的相互作用，对智能体应用有启示。
2025-11-12 cs.AI cs.CL
Recommendations for Systematic Research on Emergent Language
Carnegie Mellon University（卡内基梅隆大学）
突现语言是机器学习学科中的一个独特领域，它具有开放性，没有明确的问题需要解决。因此，该领域目前的研究主要是探索性的：专注于建立新的问题，技术和现象。然而，在这些问题已经确定之后，后续的进展需要研究，可以衡量地证明它如何改进先前的方法。这种类型的研究是我们所谓的系统研究，在本文中，我们说明了这种模式的研究专门为新兴语言。我们首先确定了新兴语言研究的总体目标，将其归类为科学或工程。利用这种区别，我们提出了科学和工程的核心方法论要素，分析了它们在当前新兴语言研究中的作用，并建议如何应用这些要素。
2022-06-22 cs.CL cs.MA
Where Models Converge and Humans Diverge: A Coverage Framework for Distributional Pluralism in Open-Ended Generation
本文针对LLM与人类写作间的分布差距问题，提出以人类写作经验分布为基准的框架，通过LLM-Cov和IBR指标测量LLM生成内容的分布广度，发现当前LLM内容合理但狭窄，可用于评估其“文化覆盖范围”。
2026-10-27 cs.CL cs.CY
Trading Off Diversity and Quality in Natural Language Generation
Google Brain（谷歌大脑）；Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；OpenAI
对于开放式的语言生成任务，例如讲故事和对话，选择正确的解码算法对于控制生成质量和多样性之间的权衡至关重要。然而，目前对于哪种解码程序是最好的，甚至对于比较它们的标准，还没有达成共识。我们解决这些问题，铸造解码作为一个多目标优化问题，旨在同时最大限度地提高响应质量和多样性。我们的框架使我们能够沿着整个质量多样性频谱进行第一次大规模的解码方法评估。我们发现，当多样性是一个优先级时，所有方法的性能都相似，但当质量被视为更重要时，最近提出的核采样（Holtzman等人2019）优于所有其他评估的解码算法。我们的实验也证实了“似然陷阱”的存在，这是一种反直觉的观察，即高似然序列往往质量低得令人惊讶。我们利用我们的研究结果来创建和评估一个算法称为\emph{selective sampling}，它可跟踪近似全局归一化温度采样。
2020-04-22 cs.CL
Closing the Curious Case of Neural Text Degeneration
University of Southern California（南加州大学）；Stanford University（斯坦福大学）；Saarland University（萨尔大学）；The Allen Institute for AI（艾伦人工智能研究所）
该研究揭示了截断采样有效的理论原因，提出利用softmax瓶颈无需阈值判定词元真实概率的方法，开发的实验性截断策略在低熵开放式文本生成中表现优于阈值类方法。
2023-10-02 cs.CL
Breaking the Likelihood Trap: Variance-Calibrated Modulation for Large Language Model Decoding
School of Computer and Information Engineering, Henan University（河南大学计算机与信息工程学院）；Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
提出方差校准调制（VCM），通过上下文PMI搜索和自适应自去偏置两种动态机制，在截断前重塑概率分布，以缓解LLM的似然陷阱问题，提升生成多样性、连贯性和推理准确性。
2026-09-04 cs.CL stat.ML
The Prompt Makes the Person(a): A Systematic Evaluation of Sociodemographic Persona Prompting for Large Language Models
University of Mannheim（曼海姆大学）；GESIS - Leibniz Institute for the Social Sciences（莱布尼茨社会科学研究所）；Complexity Science Hub Vienna（维也纳复杂科学中心）
该研究针对大语言模型社会人口统计人格提示的模拟保真度问题，系统评估不同提示策略对15个交叉群体模拟的影响，发现访谈式提示与姓名启动可减少刻板印象，且小模型表现优于大模型，为相关提示设计提供指导。
2025-10-03 cs.CL
When Choices Become Risks: Safety Failures of Large Language Models under Multiple-Choice Constraints
Kagoshima University（鹿儿岛大学）；Fudan University（复旦大学）；China University of Petroleum-Beijing（中国石油大学（北京））
研究发现，在多选约束下，LLM可能绕过拒绝行为，导致安全风险增加，揭示当前安全评估在结构化任务中的不足。
2026-09-29 cs.CL
Text Generation: A Systematic Literature Review of Tasks, Evaluation, and Challenges
University of Göttingen（哥廷根大学）；LKA NRW（北莱茵-威斯特伐利亚州刑事侦查局）
该系统综述梳理2017-2025年257篇论文，划分文本生成五大任务，评估三类方法，指出任务特有与共有的9项挑战，为NLP领域不同阶段研究者提供领域概览与研究方向参考。
2026-08-07 cs.CL
FACE: Evaluating Natural Language Generation with Fourier Analysis of Cross-Entropy
Nanyang Technological University（南洋理工大学）；Heriot-Watt University（赫瑞-瓦特大学）；Southern University of Science and Technology（南方科技大学）；Genify
本文提出FACE指标，基于语言交叉熵的傅里叶分析来衡量模型生成与人类语言的相似度，实验证明其能有效识别模型差距、随规模扩展且与人类判断高度相关。
2023-10-25 cs.CL
