QUIET: A Multi-Blank Cascaded Story Cloze Benchmark for LLM Creative Generation Capability
提出QUIET基准，通过多空白级联故事完形填空和基于信息论的自动评分协议，客观评估大语言模型的创意生成能力。
2026-05-25 cs.AI cs.CL cs.LG
Enabling Language Models to Fill in the Blanks
Stanford University（斯坦福大学）
我们提出了一个简单的方法，文本填充，预测在文档中的任何位置的文本丢失跨度的任务。虽然填充可以实现丰富的功能，特别是对于写作辅助工具，更多的注意力已经投入到语言建模-一个特殊的填充情况下，文本预测在文档的结尾。在本文中，我们的目标是扩展语言模型（LM）的能力，更一般的任务填充。为此，我们训练（或微调）现成的LM序列包含人工掩蔽的文本和文本被掩蔽的串联。我们表明，这种方法，我们称之为填充语言建模，可以使LM填充整个句子有效地在三个不同的领域：短篇小说，科学摘要和歌词。此外，我们表明，人类很难识别由我们的方法填充的句子作为机器生成的领域中的短篇小说。
2020-09-10 cs.AI cs.CL cs.LG
Cards Against AI: Predicting Humor in a Fill-in-the-blank Party Game
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文基于30万场Cards Against Humanity游戏数据构建数据集，训练模型预测获胜笑话，准确率达随机两倍，并发现简短粗俗的笑点卡片是幽默获胜的关键。
2022-10-24 cs.AI cs.CL cs.CY
Collaborative Recurrent Autoencoder: Recommend while Learning to Fill in the Blanks
Hong Kong University of Science and Technology（香港科技大学）
利用内容和评级信息的混合方法通常用于许多推荐系统中。然而，他们中的大多数使用手工制作的功能或词袋表示作为替代的内容信息，但他们既不有效，也不够自然。为了解决这个问题，我们开发了一个协作循环自动编码器（CRAE），这是一个去噪循环自动编码器（DRAE），模拟在协同过滤（CF）设置的内容序列的生成。该模型从i.i.d.中概括了循环深度学习的最新进展。输入到非i.i.d.（基于CF）输入，并提供了一个新的去噪方案以及一个新的可学习的池化方案的经常性自动编码器。要做到这一点，我们首先开发一个分层贝叶斯模型的DRAE，然后将其推广到CF设置。去噪和CF之间的协同作用使CRAE能够在学习填补序列中的空白的同时做出准确的建议。在不同领域（CiteULike和Netflix）的真实数据集上的实验表明，通过联合建模内容信息的序列的顺序感知生成和对评级执行CF，CRAE能够在基于评级的推荐任务和基于内容信息的序列生成任务上显著优于现有技术。
2016-11-02 cs.AI cs.CL cs.CV
GLM: General Language Model Pretraining with Autoregressive Blank Infilling
Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
已经存在各种类型的预训练架构，包括自动编码模型（例如，BERT）、自回归模型（例如，GPT）和编码器-解码器模型（例如，T5）。然而，没有一个预训练框架在三个主要类别的所有任务中表现最好，包括自然语言理解（NLU），无条件生成和条件生成。我们提出了一个通用的语言模型（GLM）的基础上自回归空白填充，以解决这一挑战。GLM通过添加2D位置编码并允许任意顺序预测跨度来改进空白填充预训练，从而在NLU任务上获得超过BERT和T5的性能增益。同时，GLM可以通过改变空格的数量和长度来针对不同类型的任务进行预训练。在NLU、条件和无条件生成的各种任务上，GLM在给定相同模型大小和数据的情况下优于BERT、T5和GPT，并且在单个预训练模型中实现了最佳性能，其中参数为BERT Large的1.25倍，证明了其对不同下游任务的可推广性。
2022-03-17 cs.AI cs.CL cs.LG
!MSA at AraHealthQA 2025 Shared Task: Enhancing LLM Performance for Arabic Clinical Question Answering through Prompt Engineering and Ensemble Learning
Faculty of Computer Science, MSA University（计算机科学学院，MSA大学）
本文提出用于AraHealthQA-2025共享任务Track 2的系统，利用Gemini 2.5 Flash模型结合少样本提示、数据集预处理及集成学习，在阿拉伯语临床多项选择与开放式问答两项子任务中均斩获第二名。
2025-09-14 cs.CL
Fill in the Blank: Exploring and Enhancing LLM Capabilities for Backward Reasoning in Math Word Problems
Indian Institute of Technology Delhi（印度德里理工学院）；IBM Research AI（IBM研究院人工智能部门）
本文研究 LLM 在数学应用题中的逆向推理短板，改造三个基准并提出 Rephrase、PAL-Tools、Check your Work 及贝叶斯集成方法，显著提升缺失信息补全准确率。
2024-07-08 cs.AI cs.CL cs.LG
Learning How to Ask: Querying LMs with Mixtures of Soft Prompts
Johns Hopkins University（约翰斯·霍普金斯大学）
该研究针对预训练语言模型的提示来源问题，提出通过梯度下降学习由软词构成的提示混合体并集成最优提示的方法，实验证明该方法大幅优于现有方法，且随机初始化效果接近有依据初始化，揭示语言模型隐式事实知识此前被低估。
2021-04-14 cs.CL cs.LG
LRG at SemEval-2021 Task 4: Improving Reading Comprehension with Abstract Words using Augmentation, Linguistic Features and Voting
BITS Pilani, Goa Campus（博拉理工学院果阿校区）；Pune University（浦那大学）；APP Centre for AI Research（APP人工智能研究中心）
在这篇文章中，我们提出了我们的方法SemEval-2021任务-4：阅读理解的抽象意义。给定一个填空式问题和相应的上下文，任务是从5个选项中预测最合适的单词。这个任务中有三个子任务：不可感知性（子任务-I），非特异性（子任务-II）和交叉（子任务-III）。我们使用基于transformers的模型的编码器，这些模型在掩码语言建模（MLM）任务上进行了预训练，以构建我们的填空（FitB）模型。此外，模型的不可感知性，我们定义了某些语言特征，和模型的非特异性，我们利用词汇数据库提供的上位词和下位词的信息。具体来说，对于非特异性，我们尝试增强技术和其他统计技术。我们还提出了变体，即块投票和最大上下文，以照顾输入长度限制BERT等，此外，我们进行了彻底的消融研究，并使用集成的解释我们的预测在几个样本。我们最好的提交达到75.31%和77.84%的准确率，在测试集的subtask-I和subtask-II，分别。对于子任务III，我们实现了65.64%和62.27%的准确率。
2021-06-26 cs.CL cs.LG
Distractor Generation in Multiple-Choice Tasks: A Survey of Methods, Datasets, and Evaluation
School of Computing, Macquarie University（麦考瑞大学计算学院）；College of Engineering and Computing in Al-Lith, Umm Al-Qura University（乌姆·古拉大学阿勒特工程与计算学院）；School of Computer and Mathematical Sciences, The University of Adelaide（阿德莱德大学计算机与数学科学学院）
本文综述了多项选择等客观题中的干扰项生成任务，系统梳理了从传统方法到神经网络与预训练语言模型的方法、数据集、评估指标及多模态应用，并探讨了未来研究方向。
2024-10-11 cs.CL
Few-Shot Fine-Grained Entity Typing with Automatic Label Interpretation and Instance Generation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究的问题，Few-Shot细粒度实体类型（FET），其中只有几个注释的实体提到的上下文是每个实体类型。最近，通过将实体类型分类任务公式化为“填空”问题，在Few-Shot场景中，基于优化的调优表现出优于标准微调的性能。这允许有效利用预训练语言模型（PLM）的强大语言建模能力。尽管当前基于语义的调优方法取得了成功，但仍然存在两个主要挑战：（1）提示中的动词化器是手动设计的，或者是从外部知识库构建的，而不考虑目标语料库和标签层次结构信息;（2）当前方法主要利用PLM的表示能力，但尚未探索通过广泛的通用域预训练获得的生成能力。在这项工作中，我们提出了一个新的框架，由两个模块组成的Few-Shot FET：（1）实体类型标签解释模块自动学习相关的类型标签的词汇表，通过联合利用Few-Shot实例和标签层次结构，和（2）基于类型的上下文实例生成器产生新的实例的基础上给定的实例，以扩大训练集更好的泛化。在三个基准数据集上，我们的模型明显优于现有方法。代码可以在https://github.com/teapot123/Fine-Grained-Entity-Typing上找到。
2022-06-28 cs.CL
AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for Skill Assessments
Chegg, Inc.（Chegg公司）；Stanford University（斯坦福大学）
在虚拟教育和招聘时代，多项选择题（MCQ）为技能评估提供了最有前途的途径，在这个时代，传统的基于绩效的替代方案（如项目和论文）变得不那么可行，评分资源也受到限制。MCQ的自动生成将允许大规模创建评估。自然语言处理的最新进展产生了许多复杂问题生成方法。然而，在特定领域中产生可部署结果的少数方法需要大量的特定于领域的训练数据，这可能是非常昂贵的获取。我们的工作提供了一个初步的进军MCQ生成下的高数据采集成本的情况下，战略性地强调释义的问题上下文（相比的任务）。除了保持问答对之间的语义相似性外，我们称之为AGenT Zero的管道仅由预先训练的模型组成，不需要微调，从而最大限度地减少了问题生成的数据采集成本。AGenT Zero在流畅性和语义相似性方面成功地优于其他预先训练的方法。此外，通过一些小的变化，我们的评估管道可以推广到更广泛的问题和答案空间，包括简短的答案或填写空白的问题。
2020-12-18 cs.AI cs.CL cs.CY
