Evaluating NLP Systems On a Novel Cloze Task: Judging the Plausibility of Possible Fillers in Instructional Texts
University of Southern California(南加州大学)
完形填空任务是一种广泛使用的评估自然语言处理系统语言理解能力的任务。然而,大多数现有的完形填空任务只要求NLP系统在输入域上以一致的方式对每个输入数据样本给出相对最佳的预测,而不是所有可能预测的绝对质量。因此,提出了一个新的任务:预测完形填空中的填充词是好的、中性的还是坏的候选词。复杂的版本可以扩展到预测更多的离散类或连续分数。我们关注Semeval 2022任务7中的子任务A,探索了一些可能的架构来解决这个新任务,提供了它们的详细比较,并提出了一种集成方法来改进这个新任务中的传统模型。
2021-12-03 cs.CL
On the scaling relationship between cloze probabilities and language model next-token prediction
University at Buffalo(布法罗大学);Université Paris Nanterre(巴黎南泰尔大学)
本研究探讨了语言模型在闭合概率与下一个词预测之间的缩放关系,发现更大模型在语义上更符合人类响应,但对低层信息不敏感。
2026-02-19 cs.CL
A Simple and Effective Approach to the Story Cloze Test
Georgia Institute of Technology(佐治亚理工学院)
在故事完形填空测试中,一个系统被呈现一个故事的4句提示,并且必须确定两个可能的结局中的哪一个是故事的“正确”结局。以前的工作已经表明,忽略训练集并在验证集上训练模型可以在此任务上实现高准确性,这是由于训练集与验证集和测试集中的故事结局之间的风格差异。遵循这种方法,我们提出了一种更简单的全神经方法来进行故事完形填空测试,使用前馈网络中故事的跳跃思想嵌入,在没有任何特征工程的情况下,在这项任务上实现了接近最先进的性能。我们还发现,只考虑提示的最后一句,而不是整个提示产生更高的准确性与我们的方法。
2018-03-15 cs.CL
Multi-Perspective Context Aggregation for Semi-supervised Cloze-style Reading Comprehension
Yuanfudao Research(猿辅导研究院);Peking University(北京大学)
完形填空式阅读理解是近年来测量自然语言理解进展的一项热门任务。在本文中,我们设计了一个新的多视角框架,它可以被看作是异构专家的联合训练和聚合从不同角度的上下文信息。每个透视图都由一个简单的聚合模块建模。多个聚合模块的输出被馈送到一个单步指针网络中以获得最终答案。同时,针对标记数据不足的问题,提出了一种有效的采样机制,通过匹配标记数据和未标记数据之间候选样本的分布,自动生成更多的训练样本。我们在最近发布的完形填空测试数据集CLOTH(Xie等人,2017年),由专业教师设计的近10万道题组成。结果表明,我们的方法实现了新的国家的最先进的性能比以前的强基线。
2018-08-20 cs.CL
Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Sulzer GmbH(苏尔寿有限公司)
一些NLP任务可以通过提供具有自然语言的“任务描述”的预训练语言模型(例如,Radford等人,2019年)。虽然这种方法的表现不如其监督对应,但我们在这项工作中表明,这两个想法可以结合起来:我们引入了模式开发训练(PET),这是一种半监督训练过程,将输入示例重新表述为完形填空风格的短语,以帮助语言模型理解给定的任务。然后,这些短语被用来为大量未标记的示例分配软标签。最后,对所得训练集执行标准监督训练。对于几个任务和语言,PET在低资源环境中的表现远远优于监督训练和强半监督方法。
2021-01-25 cs.CL
Large-scale cloze evaluation reveals that token prediction tasks are neither lexically nor semantically aligned
University at Buffalo(布法罗大学);Université Paris Nanterre(巴黎第十大学)
通过大规模完形填空评估对比语言模型与人类的下一 token 预测行为,发现大型模型虽更接近人类,但在概率估计、回答排序和语义空间上仍存在系统性偏差,不能替代或建模人类完形填空。
2024-10-28 cs.AI cs.CL
CDGP: Automatic Cloze Distractor Generation based on Pre-trained Language Model
National Chung Hsing University(国立中兴大学)
本文提出基于预训练语言模型的CDGP方法,自动生成完形填空干扰项,显著提升性能,NDCG@10从14.94提升至34.17。
2024-03-15 cs.AI cs.CL cs.LG
From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader
The Chinese University of Hong Kong(香港中文大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Carnegie Mellon University(卡内基梅隆大学)
提出PMR方法,利用维基百科超链接构建MRC风格训练数据,将预训练掩码语言模型改造为机器阅读理解模型,有效解决抽取与分类任务,提升低资源场景性能与可解释性。
2023-10-16 cs.CL
IBERT: Idiom Cloze-style reading comprehension with Attention
Georgia Institute of Technology(佐治亚理工学院)
习语是一种特殊的固定短语,通常来源于故事。它们通常用于日常对话和文学作品。它们的意义通常是高度非合成的。成语完形填空是自然语言处理研究中的一个具有挑战性的问题。以前的方法是建立在序列到序列(Seq2Seq)模型上的,并且在现有数据集上取得了相当好的性能。然而,他们在理解习语表达的高度非合成意义方面存在不足。他们也没有同时考虑到当地和全球背景。在本文中,我们提出了一种基于BERT的嵌入Seq2Seq模型,该模型对惯用表达式进行编码,并在全局和局部上下文中考虑它们。我们的模型使用XLNET作为编码器,使用RoBERTa为给定的上下文选择最可能的习惯用法。在EPIE静态语料库数据集上的实验表明,该模型的性能优于现有的最先进的模型。
2021-11-05 cs.AI cs.CL
Cloze: An Open Research Platform for Studying Human-AI Conversations in Mental Health Contexts
Beth Israel Deaconess Medical Center(贝塞斯达以色列德acons医疗中心);University College London(伦敦大学学院);Division of Digital Psychiatry(数字精神病学部)
提出开源平台Cloze,支持在心理健康研究中控制、监控人机对话,统一配置模型、指令、安全约束并记录完整溯源,为建立人机交互证据基础提供研究基础设施。
2026-06-16 cs.CL cs.CY cs.HC
Multimodal Inverse Cloze Task for Knowledge-based Visual Question Answering
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会)
本文提出了一种新的基于知识的命名实体可视化问答(KVQAE)预训练方法--多模态逆完形填空任务。KVQAE是最近推出的任务,包括在回答问题的命名实体接地在视觉环境中使用知识库。因此,模态之间的相互作用对于检索信息至关重要,并且必须用复杂的融合模型来捕获。由于这些模型需要大量的训练数据,我们从现有的文本问答工作中设计了这个预训练任务。它包括在考虑一个句子作为一个伪问题和它的上下文作为一个伪相关的通道,并通过考虑图像附近的文本在多模态文档中扩展。我们的方法适用于不同的神经网络架构,并导致9%的相对MRR和15%的相对F1增益检索和阅读理解,分别超过了无预训练基线。
2023-01-11 cs.CL cs.IR cs.LG
Accurate Scene Text Recognition with Efficient Model Scaling and Cloze Self-Distillation
Samsung R&D Institute UK(英国三星研发研究院);Samsung Electronics(三星电子)
该研究针对场景文本识别中模型缩放贡献不明与标签噪声问题,通过实证发现解码器缩放效果更优,提出完形填空自蒸馏方法并引入差分交叉注意力优化解码器,在11个基准中的10个上实现SOTA,且参数量与计算成本显著降低。
2025-03-20 cs.AI cs.CL cs.CV
PASTA: Table-Operations Aware Fact Verification via Sentence-Table Cloze Pre-training
Renmin University of China(中国人民大学);Qatar Computing Research Institute(卡塔尔计算研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
事实验证最近吸引了大量的研究关注,例如,在新闻业、市场营销和政策制定方面,网上的错误信息和虚假信息可以动摇一个人的观点,影响一个人的行动。虽然事实核查通常是一项艰巨的任务,但在许多情况下,虚假陈述可以很容易地根据对具有可靠信息的表格的分析来揭穿。因此,基于表格的事实验证最近已经成为一个重要的和不断增长的研究领域。然而,由于缺乏可用于预训练语言模型(LM)以了解常见表操作(例如聚合列或比较元组)的数据集,因此进展有限。为了弥补这一差距,在本文中,我们介绍了PASTA,一个新的国家的最先进的框架,基于表格的事实验证通过预训练与合成的表格完形填空题。特别是,我们设计了六种类型的常见的表完形填空任务,包括过滤,聚合,最高级,比较,顺序,和唯一的,基于此,我们合成了一个大型语料库,由120万个表对从WikiTables。PASTA使用最近预训练的LM DeBERTaV 3,并在我们的语料库上进一步预训练它。我们的实验结果表明,PASTA实现了新的国家的最先进的性能基于表的事实验证基准:TabFact和SEM-TAB-FACTS。特别是,在包含多个操作的TabFact复杂集上,PASTA的表现大大优于先前的最新技术水平4.7分(85.6% vs. 80.9%),并且PASTA和人类在小型TabFact测试集上的表现之间的差距缩小到仅1.5分(90.6% vs. 92.1%)。
2022-11-05 cs.AI cs.CL cs.LG
Attention-over-Attention Neural Networks for Reading Comprehension
Joint Laboratory of HIT and iFLYTEK(哈尔滨工业大学与科大讯飞联合实验室);iFLYTEK Research(科大讯飞研究院)
完形填空是阅读理解中的典型问题。在过去的几个月里,我们看到了利用神经网络方法解决完形填空题的进展。在本文中,我们提出了一个新的模型称为注意-过度注意读者完形填空式阅读理解任务。我们的模型旨在将另一个注意力机制置于文档级注意力之上,并诱导“关注注意力”进行最终预测。与以前的工作不同,我们的神经网络模型需要更少的预定义超参数,并使用一个优雅的架构建模。实验结果表明,在CNN和Children's Book Test等公开数据集上,该模型的性能明显优于现有的各种系统.
2017-06-06 cs.CL cs.NE
Momentum Contrastive Pre-training for Question Answering
The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对抽取式问答预训练中类完形填空与自然问题不匹配的问题,提出动量对比预训练方法MCROSS,通过对比学习对齐答案概率,在三个基准数据集上显著提升监督与零样本性能。
2023-10-14 cs.AI cs.CL
How Context Affects Language Models' Factual Predictions
Facebook AI Research(脸书人工智能研究院);University College London(伦敦大学学院)
当在大型无监督文本语料库上进行预训练时,语言模型能够在一定程度上存储和检索事实知识,从而可以直接将其用于zero-shot完形填空式问答。然而,将事实知识存储在语言模型的固定数量的权重中显然具有局限性。先前的方法已经使用将信息检索系统与机器读取组件相结合的监督架构成功地提供了对模型权重之外的信息的访问。在本文中,我们更进一步,以纯粹无监督的方式将来自检索系统的信息与预先训练的语言模型集成。我们报告说,以这种方式增强预训练的语言模型可以显着提高性能,并且所产生的系统尽管是无监督的,但与有监督的机器阅读基线相比具有竞争力。此外,用不同的段标记处理查询和上下文允许BERT利用其下一句预测预先训练的分类器来确定上下文是否相关,从而大大提高了BERT的zero-shot完形填空式问答性能,并使其预测对噪声上下文具有鲁棒性。
2020-05-10 cs.CL
Probing Commonsense Knowledge in Pre-trained Language Models with Sense-level Precision and Expanded Vocabulary
INESC TEC(葡萄牙国家工程与系统创新研究所);University of Porto(波尔图大学);Cardiff University(卡迪夫大学)
常识推理的进展通常是从设计要求常识知识的问答任务的性能改进来衡量的。然而,在这些特定任务上微调大语言模型(LM)并不直接评估在预训练期间学习的常识。在预先训练的LM中,对常识知识的最直接评估可以说是针对常识断言的完形填空式任务(例如,一笔用于[面具]。)然而,这种方法受到LM可用于屏蔽预测的词汇表的限制,并且其精度取决于断言提供的上下文。在这项工作中,我们提出了一种方法,用于丰富LM与接地的感觉库存(即,WordNet)在词汇水平上可用,无需进一步培训。这种修改将完形填空式提示的预测空间增大到大型本体的大小,同时实现更细粒度(感测级)的查询和预测。为了评估LM具有更高的精度,我们提出了SenseLAMA,一个完形填空风格的任务,具有来自WordNet,WikiData和ConceptNet的消歧三元组的动词化关系。将我们的方法应用于BERT,产生一个名为SynBERT的WordNet丰富版本,我们发现LM可以从自我监督中学习非平凡的常识知识,覆盖众多的关系,并且比基于相似性的方法更有效。
2022-10-12 cs.AI cs.CL
Span Selection Pre-training for Question Answering
IBM Research AI(IBM研究院人工智能部门);IISC(印度科学学院)
BERT(来自Transformers的双向编码器表示)和相关的预训练的Transformers在许多语言理解任务中提供了很大的增益,实现了新的最先进的(SOTA)。BERT在两个辅助任务上进行预训练:掩蔽语言模型和下一句预测。在本文中,我们引入了一个新的预训练任务的启发阅读理解,以更好地调整从记忆到理解的预训练。跨度选择预训练(SSPT)提出了类似完形填空的训练实例,但不是从模型的参数中得出答案,而是从相关的段落中选择。我们发现,在多个阅读理解(MRC)数据集上,BERT-BASE和BERT-LARGE都有显著且一致的改进。具体来说,我们提出的模型具有强有力的经验证据,因为它在自然问题(一个新的基准MRC数据集)上获得了SOTA结果,在简短答案预测上优于BERT-LARGE 3个F1点。我们还在HotpotQA中表现出了显著的影响,将答案预测F1提高了4分,并将事实预测F1支持了1分,并且优于之前的最佳系统。此外,我们表明,当训练数据有限时,我们的预训练方法特别有效,大大改善了学习曲线。
2020-06-18 cs.AI cs.CL cs.LG
Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究探讨预训练语言模型能否基于注入的新实体知识进行推理传播,通过两项完形任务发现现有参数更新方法传播效果有限,仅在词汇重叠时有效,而上下文前置实体定义可全面提升性能,为知识注入方法优化指明方向。
2023-05-02 cs.CL
Pre-training Tasks for Embedding-based Large-scale Retrieval
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
我们考虑大规模查询文档检索问题:给定一个查询(例如,问题),返回相关文档集(例如,包含答案的段落)。这个问题通常分两步解决。检索阶段首先减少解决方案空间,返回候选文档的子集。然后,评分阶段对文档重新排序。关键的是,检索算法不仅需要高召回率,而且还需要高效,在时间上亚线性地返回候选文档的数量。与最近由于BERT风格的交叉注意模型预训练任务而取得重大进展的评分阶段不同,检索阶段仍然没有得到很好的研究。大多数以前的作品依赖于经典的信息检索(IR)方法,如BM-25(令牌匹配+TF-IDF权重)。这些模型只接受稀疏的手工特征,不能针对不同的下游任务进行优化。本文对基于嵌入的检索模型进行了全面的研究。我们证明了学习基于强嵌入的Transformer模型的关键因素是预训练任务集。通过充分设计的段落级预训练任务,Transformer模型可以显着改进广泛使用的BM-25以及没有Transformers的嵌入模型。我们研究的段落级预训练任务有逆完形填空任务(ICT)、主体优先选择任务(BFS)、维基链接预测任务(WLP)以及三者的组合。
2020-02-10 cs.CL cs.IR cs.LG
Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Code for Science and Society(科学与社会代码);Microsoft Research(微软研究院)
Transformer模型的自我监督预训练彻底改变了NLP应用。这种带有语言建模目标的预训练为参数提供了一个有用的初始点,这些参数通过微调可以很好地推广到新任务。然而,微调仍然是数据效率低下的-当有标签的例子很少时,准确性可能很低。可以通过直接优化预训练来提高数据效率,以便将来用很少的例子进行微调;这可以被视为元学习问题。然而,标准的元学习技术需要许多训练任务才能推广;不幸的是,找到一组不同的监督任务通常很困难。本文提出了一种自监督的方法来生成一个大的,丰富的,元学习任务分布从未标记的文本。这是通过使用完形填空风格的目标来实现的,但是通过从少数词汇术语中收集要消隐的标记来创建单独的多类分类任务。这产生了与词汇表术语子集的数量一样多的独特元训练任务。我们使用最近的元学习框架在这种任务分布上元训练了一个Transformer模型。在17个NLP任务中,我们证明了这种元训练比语言模型预训练和微调带来了更好的Few-Shot泛化。此外,我们还展示了如何将自监督任务与元学习的监督任务相结合,从而比以前的监督元学习提供了大量的准确性增益。
2020-11-15 cs.CL cs.LG
Text Understanding with the Attention Sum Reader Network
IBM Watson(IBM沃森)
最近出现了几个大型的完形填空式上下文问答数据集:CNN和Daily Mail新闻数据和儿童图书测试。由于这些数据集的大小,相关的文本理解任务非常适合深度学习技术,目前似乎优于所有替代方法。我们提出了一个新的,简单的模型,使用注意力直接从上下文中选择答案,而不是像在类似的模型中通常使用混合表示的话在文档中计算答案。这使得该模型特别适合于回答是文档中的单个单词的问答问题。我们的模型在所有评估的数据集上设置了新的艺术状态。
2016-06-24 cs.CL
Textual Entailment for Effective Triple Validation in Object Prediction
针对基于提示的语言模型事实检索不稳定、易产生幻觉的问题,提出用文本蕴含验证完形填空提取的事实,可提升不同训练机制下的预测效果,还适用于验证知识图谱、文本段落等其他来源的候选事实。
2024-01-29 cs.AI cs.CL cs.DL
Sorting through the noise: Testing robustness of information processing in pre-trained language models
University of Chicago(芝加哥大学);Department of Linguistics(语言学系)
预先训练的LM在下游NLP任务中表现出令人印象深刻的性能,但我们还没有清楚地了解它们在处理、保留和应用输入中呈现的信息时的复杂性。在本文中,我们通过检查模型在面对分散注意力的内容时部署相关上下文信息的能力的鲁棒性来解决这个问题。我们提出的模型与完形填空任务需要使用的关键上下文信息,并引入分散注意力的内容来测试如何稳健的模型保留和使用的关键信息进行预测。我们还系统地操纵这些干扰物的性质,以揭示模型使用上下文线索的动态。我们发现,虽然模型出现在简单的上下文中,根据对先前上下文的理解和应用相关事实进行预测,但分散注意力但不相关的内容的存在对混淆模型预测有明显的影响。特别是,模型似乎特别容易受到语义相似性和单词位置的因素。研究结果是一致的结论,LM的预测在很大程度上是由表面的上下文线索,而不是由上下文意义的强大的表示。
2021-09-25 cs.CL
Transformer over Pre-trained Transformer for Neural Text Segmentation with Enhanced Topic Coherence
Monash University(莫纳什大学);Deakin University(迪肯大学)
本文提出了一个Transformer over Transformer框架,称为Transformer $^2$,执行神经文本分割。它由两部分组成:使用预先训练的Transformers的底层句子编码器,以及基于句子嵌入的基于转换器的上层分割模型。底层组件传输在单个和成对监督NLP任务下从大型外部语料库学习的预训练知识,以对文档的句子嵌入进行建模。给定句子嵌入,训练上层Transformer以恢复每个句子的分割边界以及主题标签。配备了多任务损失和预先训练的知识,Transformer $^2$可以更好地捕获相同段内的语义一致性。我们的实验表明:(1)Transformer $^2$在常用的语义一致性度量方面超越了最先进的文本分割模型;(2)在大多数情况下,单个和成对的预训练知识都有助于模型性能;(3)在特定语言上预训练的底层句子编码器比在特定领域上预训练的句子编码器产生更好的性能。
2021-10-14 cs.CL
KgPLM: Knowledge-guided Language Model Pre-training via Generative and Discriminative Learning
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近对预训练语言模型的研究表明,它们能够捕获知识感知下游任务中的事实知识和应用。在这项工作中,我们提出了一个语言模型的预训练框架指导下的事实知识的完成和验证,并使用生成和判别的方法合作学习模型。特别地,我们研究了两种学习方案,即双塔方案和管道方案,用于训练具有共享参数的生成器和可编程逻辑器件。在一组zero-shot完形填空式问答任务LAMA上的实验结果表明,与传统的预训练语言模型相比,该模型包含了更丰富的事实知识。此外,当对由多个机器阅读理解数据集组成的MRQA共享任务进行微调和评估时,我们的模型达到了最先进的性能,并在NewsQA(+1.26 F1)和TriviaQA(+1.56 F1)上比RoBERTa有很大的改进。
2020-12-07 cs.AI cs.CL
MC-BERT: Efficient Language Pre-Training via a Meta Controller
Peking University(北京大学);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
预先训练的上下文表示(例如,BERT)已经成为在许多NLP任务上实现最先进结果的基础。然而,大规模的预训练在计算上是昂贵的。ELECTRA是加速预训练的早期尝试,它训练了一个判别模型,预测每个输入标记是否被生成器替换。我们的研究表明,ELECTRA的成功主要是由于它降低了预训练任务的复杂性:二进制分类(替换标记检测)比生成任务(掩蔽语言建模)更有效。然而,这种简化的任务在语义上信息量较少。为了实现更好的效率和效果,我们提出了一种新的元学习框架,MC-BERT。预训练任务是一个带有拒绝选项的多项选择完形填空测试,其中Meta控制器网络提供训练输入和候选项。在GLUE自然语言理解基准测试上的结果表明,我们提出的方法是高效和有效的:在相同的计算预算下,它在GLUE语义任务上的性能优于基线。
2020-06-16 cs.CL cs.LG
Pre-training Cross-lingual Open Domain Question Answering with Large-scale Synthetic Supervision
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学);Google DeepMind(谷歌DeepMind)
提出 CLASS 自监督方法,利用 Wikipedia 跨语言链接构造检索与问答监督信号,以单一编码器-解码器模型完成 CLQA,并在有监督和零样本设置下超越含机器翻译的对比方法。
2024-10-02 cs.CL cs.IR
Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base
Westlake University(西湖大学);Zhejiang University(浙江大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);CUHK(香港中文大学);Peking University(北京大学)
本文通过定义知识承载与知识无关标记,分析预训练语言模型在知识检索中的内部行为,提出两种自监督方法增强模型从非结构化文本中获取知识,并在知识密集型任务上验证有效性。
2023-10-11 cs.AI cs.CL