Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校);University of California San Diego(加州大学圣地亚哥分校)
虽然通过简单的事实问答在文本理解方面已经有了实质性的进展,但是对话语的更全面的理解仍然是一个主要的挑战(Dunietz等人,2020年)。有人在阅读文本时批判性地反思文本,会提出好奇心驱动的,通常是开放式的问题,这些问题反映了对内容的深刻理解,需要复杂的推理来回答(Ko等人,2020; Westera等人,2020年)。建立和评估这种类型的话语理解模型的一个关键挑战是缺乏注释数据,特别是因为收集这些问题的答案需要注释者的高认知负荷。本文提出了一种新的范式,使可扩展的数据汇集针对新闻文件的理解,通过话语的镜头看这些问题。由此产生的语料库,DCQA(话语理解的问答),捕捉话语和句子之间的语义联系的形式自由,开放式的问题。在我们对Ko等人(2020)的问题进行注释的评估集上,我们表明DCQA为回答开放式问题提供了有价值的监督。我们还设计了预训练方法,利用现有的问答资源,并使用合成数据,以适应无法回答的问题。
2022-10-17 cs.CL
Power in Numbers: Robust reading comprehension by finetuning with four adversarial sentences per example
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对阅读理解模型易受对抗性句子干扰的问题,使用 ELECTRA-Small 在加入一至五句对抗句的 SQuAD v1.1 上微调,发现四至五句可显著提升跨数据集鲁棒性。
2024-01-18 cs.CL
Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention
Georgia Institute of Technology(佐治亚理工学院)
本研究通过四种大语言模型,探究人类与模型在处理花园小径句及持续误解上的一致性,发现二者在处理上表现出有前景的趋同,尤其在句法外信息引导时。
2024-05-25 cs.CL
A Sentence Cloze Dataset for Chinese Machine Reading Comprehension
Research Center for SCIR, Harbin Institute of Technology(哈尔滨工业大学SCIR研究中心);State Key Laboratory of Cognitive Intelligence, iFLYTEK Research, China(科大讯飞研究中心认知智能国家重点实验室);iFLYTEK AI Research (Hebei), Langfang, China(科大讯飞(河北)人工智能研究院,廊坊)
由于中国NLP社区的不断努力,越来越多的中文机器阅读理解数据集变得可用。为了增加这一领域的多样性,在本文中,我们提出了一个新的任务称为句子完形填空式机器阅读理解(SC-MRC)。这个任务的目的是将正确的候选句子填入有几个空格的文章中。我们建立了一个名为CMRC 2019的中国数据集,以评估SC-MRC任务的难度。此外,为了增加难度,我们还制作了与正确候选人相似的假候选人,这需要机器在上下文中判断它们的正确性。建议的数据集包含超过10万个空白(问题)在超过10 K的段落,这是源于中国的叙事故事。为了评估数据集,我们基于预训练的模型实现了几个基线系统,结果表明,最先进的模型仍然远远低于人类的表现。我们发布数据集和基线系统,以进一步促进我们的社区。资源可通过https://github.com/ymcui/cmrc2019获得
2020-11-02 cs.CL
Computational Sentence-level Metrics Predicting Human Sentence Comprehension
University of Tübingen(蒂宾根大学);University of Stuttgart(斯图加特大学)
本文提出基于多语言LLM的句子惊异度与句子相关性指标,用于跨语言预测人类整体句子理解,在阅读速度预测上表现出高准确率与良好泛化性。
2024-04-15 cs.CL stat.ML
Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention
University of Michigan(密歇根大学)
我们提出了一种新的解释,基于相似性的干扰效应在主谓和反身代词一致性处理,接地在从预训练的大规模Transformer模型,GPT-2计算的crossal值。具体而言,我们表明,动词或反身代词的替代预测促进干扰效果在不合语法的句子,在那里一个干扰名词,在数量上与动词或代词匹配导致更快的阅读时间,尽管干扰不参与协议关系。我们回顾了人类的经验证据,包括最近的荟萃分析和大规模的研究。我们还表明,注意模式(索引熵和其他措施)在Transformer显示模式的分散注意力在存在类似的干扰,符合基于线索的检索模型的解析。但与这些模型相反,注意力线索和记忆表征完全是从预测下一个单词的简单自我监督任务中学习的。
2021-04-26 cs.CL
Gaze-Driven Sentence Simplification for Language Learners: Enhancing Comprehension and Readability
Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田大学科学与工程研究院)
针对语言学习者阅读难文查字典耗时分心的问题,提出结合眼动与语言特征、用GPT-3.5生成简化句的视线驱动句子简化系统,经19名学习者实验验证可准确评估理解度并提升可读性。
2023-09-30 cs.CL cs.HC
Syntactically-guided Information Maintenance in Sentence Comprehension
NINJAL(NINJAL研究所);Georgetown University(乔治·华盛顿大学)
本研究提出句法结构引导理性语言使用者选择性维护对未来预测至关重要的信息,并通过日语自然阅读时间数据验证了预测头数量与未完成依赖数量两个因素不可相互约简,且维护成本与预测收益之间存在权衡。
2026-05-22 cs.CL
Underutilization of Syntactic Processing by Chinese Learners of English in Comprehending English Sentences, Evidenced from Adapted Garden-Path Ambiguity Experiment
本研究通过改编花园路径实验,发现中国英语学习者在理解英语句子时存在句法加工利用不足,并识别出部分与完全两种类型,为提升其句子理解水平的新型解析方法奠定基础。
2024-12-21 cs.CL
U3E: Unsupervised and Erasure-based Evidence Extraction for Machine Reading Comprehension
Beijing Institute of Technology(北京理工大学)
机器阅读理解(MRC)中的更多任务除了需要答案预测外,还需要提取支持答案的证据句子。然而,证据句的标注通常是费时费力的。针对这一问题,考虑到现有的证据提取方法大多是半监督的,提出了一种无监督的证据提取方法(U3E)。U3E将文档中的重复级特征擦除后的变化作为输入,模拟人类记忆力下降导致的问题解决能力下降。为了在充分理解原文语义的基础上进行选择,我们还提出了快速选择最佳记忆模型的指标。为了比较U3E和典型的证据提取方法,并研究其在证据提取中的有效性,我们在不同的数据集上进行了实验。实验结果表明,U3E算法简单有效,不仅能更准确地提取证据,而且能显著提高模型性能。
2022-10-22 cs.CL
Deep Learning Models to Study Sentence Comprehension in the Human Brain
University of Oxford(牛津大学);Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);Radboud University(拉德堡德大学)
最近处理自然语言的人工神经网络在需要高级理解的任务中实现了前所未有的性能。因此,它们可能是人类大脑中语言信息整合的有趣模型。我们回顾这些人工语言模型与人脑活动的比较工作,我们评估这种方法在多大程度上提高了我们对自然语言理解中所涉及的神经过程的理解。出现了两个主要结果。首先,词义的神经表示与人工神经网络使用的上下文相关的密集词向量一致。其次,人工神经网络中出现的处理层次与大脑大致匹配,但令人惊讶的是,不同研究之间并不一致。我们讨论了当前建立人工神经网络作为自然语言理解过程模型的挑战。我们建议在将表征映射到大脑数据时,利用人工神经网络的高度结构化的表征几何。
2023-02-16 cs.CL q-bio.NC
Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-sentence Dependency Graph
Emory University(埃默里大学);NEC Laboratories America(NEC美国实验室)
我们的目标是跨语言机器阅读理解(MRC)的任务,在直接zero-shot设置,通过合并的句法特征,从普遍的相似性(UD),我们使用的关键特征是每个句子内的句法关系。虽然以前的工作已经证明了有效的语法引导的MRC模型,我们建议采用句间的句法关系,除了基本的句内关系,进一步利用在多句输入的MRC任务的句法依赖。在我们的方法中,我们建立了句子间依赖图(ISDG)连接依赖树,以形成跨句子的全局句法关系。然后,我们提出了ISDG编码器,编码的全球依赖图,通过一跳和多跳依赖路径明确地解决句子间的关系。在三个多语言MRC数据集(XQuAD,MLQA,TyDiQA-GoldP)上的实验表明,我们的编码器只在英语上训练,能够提高所有14个测试集的zero-shot性能,覆盖8种语言,平均提高高达3.8 F1 / 5.2 EM,某些语言的5.2 F1 / 11.2 EM。进一步的分析表明,这种改进可以归因于对跨语言一致性句法路径的关注。
2022-03-15 cs.CL cs.LG
Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents
JD AI Research(京东AI研究院)
可解释多跳阅读理解是一个具有挑战性的问题,因为它需要对多个信息源进行推理,并通过提供支持证据来解释答案预测。在本文中,我们提出了一个有效的和可解释的选择,回答和解释(SAE)系统来解决多文档RC问题。我们的系统首先过滤掉与答案无关的文档,从而减少分散注意力的信息量。这是通过一个新的成对学习排名损失训练的文档分类器实现的。然后将所选择的答案相关文档输入到模型中,以联合预测答案和支持句子。该模型是优化的多任务学习目标上的令牌水平的答案预测和句子水平的支持句子预测,以及这两个任务之间的注意力为基础的互动。HotpotQA,一个具有挑战性的多跳RC数据集进行评估,建议SAE系统实现最高的竞争力的性能相比,其他现有的系统在排行榜上的分心设置。
2020-02-10 cs.CL
Bridging the Gap between Language Model and Reading Comprehension: Unsupervised MRC via Self-Supervision
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
尽管最近在机器阅读理解(MRC)方面取得了成功,但学习高质量的MRC模型仍然需要大规模的标记训练数据,即使使用强大的预训练语言模型(PLM)。PLM的预训练任务不是问答或基于MRC的任务,使得现有的PLM无法直接用于无监督的MRC。具体来说,MRC的目标是从给定的文档中找到一个准确的答案,而PLM则专注于句子中的标记填充。在本文中,我们提出了一个新的框架,无监督MRC。首先,我们提出通过自监督学习来学习发现文档中的答案跨度,通过为MRC - Spotting-MLM设计一个自监督借口任务。解决这个任务需要捕捉文档中句子之间的深层交互。其次,我们在推理阶段采用简单的句子重写策略,以减轻问题和文档之间的表达不匹配。实验表明,我们的方法实现了一个新的国家的最先进的性能无监督MRC。
2021-07-19 cs.CL
Bilingual Text Extraction as Reading Comprehension
NTT Corporation(日本电信电话株式会社)
在本文中,我们提出了一种方法来自动提取双语文本从嘈杂的平行语料库框架的问题作为一个标记级的跨度预测,如SQuAD风格的阅读理解。为了提取目标文档的跨度,即给定源句子(跨度)的翻译,我们使用QANet或多语言BERT。QANet可以从头开始针对特定的并行语料库进行训练,而多语言BERT可以利用预先训练的多语言表示。对于使用QANet的跨度预测方法,我们引入了一种使用整数线性规划的总体优化方法,以实现预测并行跨度的一致性。我们使用具有两种语言对(En-Fr和En-Ja)的模拟嘈杂并行语料库进行并行句子提取实验,发现使用QANet的方法比使用两个双向RNN编码器的基线方法实现了更好的准确性,特别是对于遥远的语言对(En-Ja)。我们还进行了一个句子对齐实验,使用En-Ja报纸的文章,发现所提出的方法,使用多语言BERT实现了显着更好的准确性比基线方法,使用双语词典和动态规划。
2020-04-29 cs.CL
Ensemble Kalman filter for uncertainty in human language comprehension
Institute of Mathematics, University of Potsdam(波茨坦大学数学研究所);Institute of Psychology, University of Potsdam(波茨坦大学心理学研究所)
针对传统人工神经网络在句子理解中缺乏不确定性建模的问题,本文提出基于集合卡尔曼滤波扩展的贝叶斯框架,将语言理解构建为贝叶斯逆问题,以增强句子格式塔模型对人类认知加工中不确定性表示的能力。
2025-05-05 cs.CL stat.AP stat.ML
NLITrans at SemEval-2018 Task 12: Transfer of Semantic Knowledge for Argument Comprehension
National Cheng Kung University(成功大学)
论点推理理解任务要求对世界知识有显著的语言理解和复杂的推理。我们专注于转移一个句子编码器,以引导更复杂的模型,因为数据集的大小很小。我们的最佳模型使用预训练的BiLSTM对输入句子进行编码,学习论点和论据的特定于任务的特征,然后执行独立的论点-论据匹配。该模型的平均测试集准确率为64.43%。编码器传输产生了显着的增益,我们的最佳模型超过随机初始化。独立的权证匹配有效地将数据集的大小加倍,并提供额外的正则化。我们证明了正则化来自于忽略权证特征和位置之间的统计相关性。我们还报告了一个实验,我们最好的模型,只匹配认股权证的原因,忽略索赔。相对较低的性能下降表明我们的模型不一定在学习预期的任务。
2018-04-23 cs.CL
Cross-Linguistic Analysis of Memory Load in Sentence Comprehension: Linear Distance and Structural Density
Department of Biological Sciences, Indian Institute of Science Education and Research (IISER), Mohali, India(生物科学系,印度科学教育与研究学院(IISER),莫哈利,印度)
本研究通过跨语言依存树库和混合效应模型,发现干预者复杂度比线性距离更直接解释句子记忆负荷,调和了线性和层级局部性视角。
2025-09-26 cs.CL q-bio.NC
Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension
本研究通过系统变化GPT-2上下文窗口,发现扩展上下文提升心理语言学拟合,并证明追踪长距离指代关系是关键机制。
2026-10-09 cs.CL
Lexical representation explains cortical entrainment during speech comprehension
Radboud University(拉德堡德大学);NYU Shanghai(上海纽约大学)
最近的一项关于口语句子理解的神经影像学研究的结果被解释为皮层夹带到层次句法结构的证据。我们提出了一个简单的计算模型,预测功率谱从这项研究中,即使该模型的语言知识仅限于词汇水平,和词级表示不结合到更高级别的单位(短语或句子)。因此,皮层夹带的结果也可以解释从词汇性质的刺激,而不求助于层次句法。
2018-01-10 cs.CL q-bio.NC
Sentence Pair Scoring: Towards Unified Framework for Text Comprehension
FEE CTU Prague(捷克理工大学布拉格分校电气工程学院)
我们回顾了句子对评分的任务,在文献中以各种形式流行-被视为回答句子选择,语义文本评分,下一个话语排名,识别文本蕴涵,释义或例如记忆网络的一个组成部分。我们认为,从模型的角度来看,所有这些任务都是相似的,并通过在许多句子对评分任务和数据集上比较常见的IR指标和流行的卷积、循环和基于注意力的神经模型的性能,提出了新的基线。我们讨论了评估随机模型的问题,提出了一种基于统计的方法,并试图通过发布新的数据集来改善比较,这些数据集比目前使用的一些经过充分探索的基准要难得多。我们引入了一个统一的开源软件框架,具有易于插入的模型和任务,这使我们能够实验训练句子模型的多任务可重用性。我们在Ubuntu Dialogue数据集上设置了一个新的最先进的性能。
2016-05-17 cs.AI cs.CL cs.LG
A computational investigation of sources of variability in sentence comprehension difficulty in aphasia
University of Potsdam(波茨坦大学);The University of Manchester(曼彻斯特大学);Massachusetts General Hospital(马萨诸塞总医院)
我们提出了一个计算评估失语症的句子理解的赤字来源的三个假设:缓慢的处理,间歇性不足,资源减少。基于ACT-R的Lewis和Vasishth(2005)模型用于实现这三个建议。减缓的处理被实现为减缓默认的产生式规则触发时间;间歇性不足被实现为在内存块的激活中增加随机噪声;以及资源减少被实现为减少目标激活。作为数据,我们考虑了主体与客体关系,其矩阵子句包含NP或反身代词,以自定进度的听力模式呈现给56名失语症患者(IWA)和46名匹配的对照组。参与者听到句子,并进行图片验证任务,以决定对句子的解释。这些响应准确度用于识别与上述三个假设相对应的最佳参数(针对每个参与者)。我们发现,控制有更紧密的集群(较少的变量)比IWA的参数值,具体来说,相比控制,在IWA有更多的个人低目标激活,高噪音,和缓慢的默认动作时间。这表明:(i)个体患者在处理减慢、间歇性不足和资源减少这三个维度上表现出不同的缺陷量;(ii)总体而言,有证据表明所有三种缺陷来源都发挥了作用;(iii)IWA的参数值范围比对照组更可变。总之,本研究提供了一个概念的定量实施和证据,这三个帐户的理解缺陷失语症的证明。
2017-05-31 cs.AI cs.CL
Probing What Different NLP Tasks Teach Machines about Function Word Comprehension
New York University(纽约大学);Google AI Language(谷歌人工智能语言团队);Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Brown University(布朗大学)
我们介绍了一套九个挑战性的任务,测试功能词的理解。这些任务是通过从现有数据集中结构地突变句子来创建的,以针对特定类型的功能词的理解(例如,介词、wh词)。使用这些探测任务,我们探索了句子编码器的各种预训练目标的影响(例如,语言建模、CCG超标记和自然语言推理(NLI))。我们的研究结果表明,在我们的探测任务中,语言建模的预训练平均表现最好,支持其广泛用于预训练最先进的NLP模型,CCG超级标记和NLI预训练表现最好。总的来说,没有一个预训练目标是全面主导的,我们的功能词探测任务突出了预训练目标之间的几个直观差异,例如,NLI有助于理解否定。
2019-08-07 cs.CL
Modelling dependency completion in sentence comprehension as a Bayesian hierarchical mixture process: A case study involving Chinese relative clauses
University of Potsdam(波茨坦大学);École Nationale de la Statistique et de l’administration économique(国家统计与经济管理学院);CNRS(法国国家科学研究中心);Université Paris-Dauphine(巴黎九大);PSL Research University(巴黎文理研究大学)
我们提出了一个案例研究证明贝叶斯分层混合模型的有用性,调查认知过程。在句子理解中,人们普遍认为语言共同依存关系之间的距离影响依存关系解决的延迟:距离越长,检索时间越长(基于距离的帐户)。另一种理论,直接访问,假设检索时间是两个分布的混合:一个分布代表成功的检索(这些是独立的依赖距离),另一个代表一个初始的失败,以检索正确的依赖,其次是重新分析,导致成功的检索。我们将这两个模型作为贝叶斯层次模型来实现,结果表明,直接访问模型比距离帐户更好地解释了中文关系从句阅读时间数据。
2017-05-05 cs.CL stat.AP stat.ME
Text Simplification for Comprehension-based Question-Answering
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校);NSIT Delhi(德里国立信息技术学院);IBM(国际商业机器公司);IIIT, Guwahati(印度国际信息技术研究所古瓦哈提分校);Accenture Tech Labs(埃森哲技术实验室);IBM Research India(印度IBM研究院)
文本简化是将一个句子拆分和重新措辞为一系列句子的过程,使其更容易阅读和理解,同时保留内容并近似原始含义。文本简化已在机器翻译、摘要、语义角色标注和信息抽取等自然语言处理应用中得到利用,为基于理解的问答下游任务的开发开辟了广阔的途径。在这项工作中,我们研究了文本简化在使用理解上下文的问答任务中的效果。我们发布了Simple-SQuAD,这是广泛使用的SQuAD数据集的简化版本。首先,我们概述了数据集创建管道中的每个步骤,包括风格转换,显示正确转换的句子的阈值处理,以及每个答案的偏移量查找。其次,我们通过涉及自动和人工评估的各种方法来验证转移句子的质量。第三,我们对新创建的语料库进行了基准测试,并进行了消融研究,以检验简化过程在基于SQuAD的问答任务中的效果。我们的实验表明,简化导致精确匹配和F1分别增加了2.04%和1.74%。最后,我们总结了传输过程的分析,研究了模型所做的编辑类型,以及句子长度对传输模型的影响。
2021-09-28 cs.CL cs.IR
Structural Embedding of Syntactic Trees for Machine Comprehension
Carnegie Mellon University(卡内基梅隆大学)
用于机器理解的深度神经网络通常仅利用单词或字符嵌入,而不显式地利用结构化的语言信息,例如选区树和依赖树。在本文中,我们提出了结构嵌入的语法树(SEST),算法框架,利用结构化的信息,并将其编码成向量表示,可以提高机器理解算法的性能。我们使用SQuAD数据集上最先进的神经注意力模型来评估我们的方法。实验结果表明,我们的模型可以准确地识别句子的语法边界,并提取出比基线方法在语法上连贯的答案。
2017-08-31 cs.CL
Testing Cross-Lingual Text Comprehension In LLMs Using Next Sentence Prediction
Department of Computer Science(计算机科学系);Stony Brook University(石溪大学);School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
本研究构建覆盖英、斯瓦希里、豪萨三种资源层级语言的大规模NSP基准,测试发现LLM跨语言表现随语言资源减少下降,且CoT提示对能力弱的模型有增益、对强模型易引发过度思考,明确了CoT的适用边界。
2025-10-29 cs.CL
Learning to Ask: Neural Question Generation for Reading Comprehension
Cornell University(康奈尔大学);Shanghai Jiao Tong University(上海交通大学)
本文研究了阅读理解中从篇章中自动生成句子的问题。我们引入了一个基于注意力的序列学习模型的任务,并研究了编码句子与段落级信息的效果。与以前的所有工作相比,我们的模型不依赖于手工制作的规则或复杂的NLP管道;相反,它是通过序列到序列学习的端到端可训练的。自动评估结果表明,我们的系统显着优于国家的最先进的基于规则的系统。在人类评估中,我们的系统生成的问题也被评为更自然(即,语法性、流畅性)和更难回答(就句法和词汇与原文的分歧以及回答所需的推理而言)。
2017-04-29 cs.AI cs.CL
When the LM misunderstood the human chuckled: Analyzing garden path effects in humans and language models
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);Department of Linguistics, Tel Aviv University(特拉维夫大学语言学系);Sagol School of Neuroscience, Tel Aviv University(特拉维夫大学萨戈尔神经科学学院)
本文通过花园路径句理解任务比较人类与大型语言模型(LLMs)的语言处理,验证心理语言学假设,发现两者均受特定句法复杂性影响,部分模型与人类理解高度相关,并通过释义和图像生成任务进一步验证结果。
2025-02-13 cs.AI cs.CL
Learning Open Information Extraction of Implicit Relations from Reading Comprehension Datasets
The Wharton School(沃顿商学院);University of Pennsylvania(宾夕法尼亚大学);Western Engineering(西部工程学院);University of Western Ontario(西安大略大学)
句子中两个实体之间的关系通常由语序和常识暗示,而不是明确的谓语。例如,很明显,“美联储主席鲍威尔表示加息”意味着(鲍威尔,是美联储主席)和(鲍威尔,为美联储工作)。这些元组与显式谓词元组一样重要(鲍威尔指出,利率上升),但在传统的开放信息抽取(OpenIE)系统下召回率要低得多。隐式元组是我们对这种类型的提取的术语,其中关系不存在于输入句子中。相对于其他NLP任务,OpenIE的训练数据非常少,而且没有一个专注于隐式关系。我们开发了一个开源的,基于解析的工具,用于将大型阅读理解数据集转换为OpenIE数据集,并发布了一个比以前的句子数量大35倍的数据集。在此数据上训练的基线神经模型在隐式提取任务上优于以前的方法。
2019-05-15 cs.CL cs.IR cs.LG
Towards Machine Comprehension of Spoken Content: Initial TOEFL Listening Comprehension Test by Machine
National Taiwan University(国立台湾大学)
多媒体或语音内容比纯文本内容提供更有吸引力的信息,但更难以显示在屏幕上并被用户选择。因此,对于人类来说,访问前者的大量集合比后者更困难和耗时。开发一种能够自动理解语音内容并总结关键信息供人类浏览的机器是非常有吸引力的。在这项工作中,我们提出了一个新的任务,机器理解的口语内容。我们将最初的目标定义为托福听力理解测试,这是一种针对母语不是英语的英语学习者的具有挑战性的学术英语考试。我们进一步提出了一个基于注意力的多跳递归神经网络(AMRNN)架构,在初始测试中取得了令人鼓舞的结果。初步结果也表明,单词水平的注意力可能是更强大的比这个任务与ASR错误的注意力。
2016-08-23 cs.CL
Storage of Natural Language Sentences in a Hopfield Network
本文研究了Hopfield神经网络如何用于存储和回忆从自然语言句子中构建的模式。Hopfield神经网络作为一种模式识别和存储工具,受到了广泛的关注。然而,由于该模型对自旋玻璃系统的简单抽象,这种关注主要集中在统计物理学领域。讨论了自然语言句型与以往实验中随机生成的句型之间的差异,表现为偏向性和相关性。结果给出的数值模拟显示的自联想能力的网络训练时,自然语言模式。
1996-08-02 cmp-lg cs.CL
Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Department of Linguistics and Translation, City University of Hong Kong(香港城市大学语言及翻译学系)
针对语义组合程度缺乏量化计算指标的问题,研究者基于Transformer前馈网络的键值记忆机制提出组合度指标,实验发现其与多个和语言加工相关的脑簇相关,为研究人脑语义组合提供了新工具。
2024-07-10 cs.AI cs.CL
Comprehension and Knowledge
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
智能体理解句子的能力与智能体的先验经验和背景知识密切相关。本文建议将理解为一种模态,并提出了一个完整的双模态逻辑系统,描述了理解和知识模态之间的相互作用。
2021-03-01 cs.AI cs.CL cs.LO
Comparing Human and Language Models Sentence Processing Difficulties on Complex Structures
Blavatnik School of Computer Science, Tel Aviv University, Israel(巴尔-艾塔夫大学计算机科学学院);Department of Linguistics, Tel Aviv University, Israel(巴尔-艾塔夫大学语言学系);Sagol School of Neuroscience, Tel Aviv University, Israel(巴尔-艾塔夫大学神经科学学院)
本研究系统比较人类与五类LLM在七种复杂语言结构上的句子理解,发现LLM在花园路径句上困难显著,且与人类表现的相关性随模型规模增加而增强,揭示了二者的趋同与分歧。
2025-10-16 cs.AI cs.CL
How Well Do Large Language Models Understand Syntax? An Evaluation by Asking Natural Language Questions
Soochow University(苏州大学);Huawei Cloud(华为云)
本研究通过自然语言问答评估24个LLMs对九类句法知识点的理解,发现多数模型句法掌握有限,介词短语附着最难,且句法知识主要在训练初期习得。
2023-11-14 cs.CL
PolicyQA: A Reading Comprehension Dataset for Privacy Policies
University of California, Los Angeles(加州大学洛杉矶分校);University of Virginia(弗吉尼亚大学)
隐私政策文件冗长而冗长。问答(QA)系统可以帮助用户找到与他们相关且重要的信息。这一领域的先前研究将QA任务框架为从给定问题的政策文件中检索最相关的文本片段或句子列表。相反,我们认为,为用户提供一个短的文本跨度从政策文件减少了从一个冗长的文本段搜索目标信息的负担。在本文中,我们介绍了PolicyQA,一个包含25,017个阅读理解风格示例的数据集,这些示例来自115个网站隐私政策的现有语料库。PolicyQA提供了714个人工注释的问题,用于广泛的隐私实践。我们评估了两个现有的神经QA模型,并进行了严格的分析,以揭示PolicyQA提供的优势和挑战。
2020-10-06 cs.CL
MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);Eigen Technologies
机器理解式问答是自然语言处理中的一个典型问题。以往的方法很少花时间在编码层的改进上,尤其是句法信息和词的名称实体的嵌入,而这对编码的质量至关重要。此外,现有的注意力方法将每个查询词表示为一个向量,或者用单个向量来表示整个查询语句,都不能正确处理查询语句中关键词的权重。在本文中,我们介绍了一种新的神经网络架构称为多层嵌入与记忆网络(MEMEMEN)的机器阅读任务。在编码层,我们采用经典的skip-gram模型对词汇的句法和语义信息进行训练,形成一种新的嵌入层。我们还提出了一个记忆网络的全方位匹配的查询和通道,以捕捉更多的关键信息。实验结果表明,该模型在Stanford问答数据集(SQuAD)上的测试结果在精度和效率方面都具有竞争力,在TriviaQA数据集上的测试结果也达到了最先进水平。
2017-07-28 cs.AI cs.CL
Feature overwriting as a finite mixture process: Evidence from comprehension data
University of Potsdam(波茨坦大学);Centre de Recherche en Mathématiques de la Décision(决策数学研究中心);CNRS(法国国家科学研究中心);Université Paris-Dauphine(巴黎第九大学);PSL Research University(巴黎文理研究大学)
众所周知,不合语法的句子“橱柜的钥匙在桌子上”会导致一种语法上的错觉。正如Jaeger等人在荟萃分析中所讨论的,2017年,在上面的协议吸引句子中,与同样不合语法的句子“The key to the cabinet are on the table”相比,观察到动词are的阅读时间更快。对这种促进效应的一种解释是特征渗透:橱柜上的复数特征延伸到中心名词键,导致错觉。另一种解释是基于线索的检索(Lewis & Vasishth,2005),它假设非主语名词柜被误检索,由于部分特征匹配时,在辅助的依赖完成过程中启动了一个记忆访问的主题与复数标记。我们提出的证据又一个解释所观察到的便利。因为第二个句子中有两个名词的数量相同,所以在一定程度上,这两个名词可能更难区分,导致阅读上面第一个句子中的动词的时间变慢;这是Nairne,1990的特征性解释。我们表明,特征提取的建议可以实现为一个有限的混合过程。我们重新分析了10个已发表的数据集,拟合分层贝叶斯混合模型,这些数据假设两个混合物分布。我们发现,在十项研究中,有九项研究中,与特征渗透和基于线索的检索帐户相对应的混合分布比特征渗透和基于线索的检索帐户都更适合。
2018-01-20 cs.CL stat.AP stat.ML
Video Referring Expression Comprehension via Transformer with Content-conditioned Query
Peking University(北京大学);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Hong Kong University of Science and Technology(香港科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对视频指代表达式理解中可学习查询难以表征开放语义的问题,提出ConFormer模型,通过基于视频和语言内容的动态查询及跨模态对齐设计,显著提升了目标定位性能。
2023-10-25 cs.CL cs.CV
Modeling Context in Answer Sentence Selection Systems on a Latency Budget
University of Southern California(南加州大学);Amazon Alexa(亚马逊Alexa)
回答句选择(AS 2)是一种有效的设计开放域问答系统的方法。为了实现低延迟,传统的AS 2模型单独对问题-答案对进行评分,忽略了从每个潜在答案提取的文档中的任何信息。相比之下,为机器阅读理解任务设计的计算成本更高的模型通常会接收一个或多个段落作为输入,这通常会带来更好的准确性。在这项工作中,我们提出了一种方法,有效地将上下文信息在AS 2模型。对于每个候选答案,我们首先使用无监督相似性技术从其源文档中提取相关句子,然后将其输入到针对AS 2进行微调的高效Transformer架构中。我们的最佳方法利用多路注意力架构来有效地编码上下文,比AS 2中的非上下文最先进技术提高了6%到11%,对系统延迟的影响最小。本研究中的所有实验均以英语进行。
2021-02-03 cs.CL
Multi-hop Reading Comprehension via Deep Reinforcement Learning based Document Traversal
University of New South Wales(新南威尔士大学)
近年来,随着高质量的问答(QA)数据集的出现,阅读理解受到了极大的关注。尽管最先进的方法实现了强大的整体准确性,但多跳(MH)推理仍然特别具有挑战性。为了具体解决MH-QA问题,我们提出了一种基于深度强化学习的方法,该方法能够在大量文档集合中学习顺序推理,以便将查询感知的固定大小上下文子集传递给现有模型进行答案提取。我们的方法由两个阶段组成:一个链接器,它将提供的支持文档分解成句子图,和一个提取器,它根据当前问题和已经访问过的句子学习在哪里查找。链接器的结果是在句子级别上形成了一种新颖的图形结构,它保留了逻辑流,同时仍然允许在文档之间快速移动。重要的是,我们证明了所得到的图的稀疏性是不变的上下文大小。这意味着Deep-RL训练的提取器所需的决策更少,从而使系统能够有效地扩展到大型文档集合。在文档遍历步骤中顺序决策的重要性是通过与标准IE方法的比较来证明的,并且我们还引入了一个基于BM 25的IR基线,该基线仅检索与查询相关的文档。我们在最近提出的QAngaroo基准上研究了我们的方法与现有模型的集成,并实现了全面准确性的一致提高,以及训练时间的2- 3倍减少。
2019-05-23 cs.AI cs.CL cs.NE
Scaling Inference-Time Search with Vision Value Model for Improved Visual Comprehension
University of Maryland, College Park(马里兰大学学院公园分校);Microsoft(微软公司)
本文提出视觉价值模型VisVM,通过评估当前及未来句子质量的长期价值来引导VLM推理时搜索,减少幻觉并提升视觉描述质量,自训练后还可提升多模态基准性能。
2025-06-30 cs.CL cs.CV cs.LG
DEIM: An effective deep encoding and interaction model for sentence matching
Yanbian University(延边大学)
自然语言句子匹配是比较两个句子并识别它们之间关系的任务,在阅读理解、问答系统等自然语言处理任务中有着广泛的应用。其主要方法是通过一个注意力机制来计算文本表示和句子对之间的交互作用,从而很好地提取句子对之间的语义信息。然而,这种方法在处理复杂的语义特征时不能得到令人满意的结果。针对这一问题,提出了一种基于深度编码和交互的句子匹配方法,以提取深层语义信息。在编码器层,我们在对单个句子进行编码的过程中参考另一个句子的信息,然后使用启发式算法对信息进行融合。在交互层,我们采用双向注意力机制和自注意力机制来获取深层语义信息,最后进行池化操作,输入到MLP进行分类。我们在三个任务上评估我们的模型:识别文本蕴涵,释义识别和答案选择。我们在SNLI和SciTail数据集上进行了实验,用于识别文本蕴涵任务,Quora数据集用于释义识别任务,WikiQA数据集用于答案选择任务。实验结果表明,该算法能够有效地提取句子的深层语义特征,验证了该算法在句子匹配任务中的有效性。
2022-03-20 cs.CL
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG(Xayn公司)
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源,并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术,可以减少这种模型的资源需求,其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗,我们提出了两个扩展的流行的存储器变压器蒸馏过程:生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型,其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension
Peking University(北京大学);Xiaomi AI Lab(小米AI实验室);Renmin University of China(中国人民大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
在多轮对话中,话语并不总是采用句子\cite{Carbonell1983DiscoursePA}的完整形式,这自然使得理解对话上下文更加困难。然而,必须完全掌握对话上下文以生成合理的响应。因此,在本文中,我们建议通过检查模型回答阅读理解问题的能力来提高响应生成性能,其中问题集中在对话中省略的信息上。受多任务学习方案的启发,我们提出了一个联合框架,将这两个任务统一起来,共享相同的编码器来提取共同的和任务不变的特征,使用不同的解码器来学习特定于任务的特征。为了在编码部分更好地融合来自问题和对话历史的信息,我们建议用存储器更新器来增强Transformer架构,该存储器更新器被设计成选择性地存储和更新历史对话信息,以便支持下游任务。在实验中,我们雇用人类注释者来编写和检查大规模对话阅读理解数据集。在此数据集上进行了大量的实验,结果表明,该模型在两个任务上都比几个强基线有了实质性的改进。通过这种方式,我们证明了推理确实可以帮助更好地生成响应,反之亦然。我们发布了我们的大规模数据集以供进一步研究。
2020-12-14 cs.CL
Models of retrieval in sentence comprehension: A computational evaluation using Bayesian hierarchical modeling
University of Potsdam(波茨坦大学)
对干扰的研究表明,非相邻词之间依存关系的形成依赖于基于线索的提取机制。两种不同的模型可以解释干扰的主要预测之一,即,当几个项目共享与检索线索相关的特征时,检索站点的减速:Lewis和Vasishth(2005)基于激活的模型和McElree(2000)的直接存取模型。尽管这两个模型几乎可以互换使用,但它们基于不同的假设,并预测阅读时间和反应准确性之间的关系。基于激活的模型遵循ACT-R的假设,其检索过程表现为单方差证据之间的对数正态竞争。在该模型下,检索的准确率由比赛的获胜者决定,检索时间由其积累率决定。相比之下,直接存取模型假设了一种记忆模型,其中只有检索的概率在项目之间变化;在这种模型中,延迟的差异是可能性和修复不正确检索的副产品。我们在贝叶斯分层框架中实现了这两种模型,以便对其进行评估和比较。我们表明,某些方面的数据更适合在直接存取模型下比基于激活的模型。我们认为,这一发现并不排除检索可能表现为一个种族模型的可能性,与ACT-R框架中的假设不太接近。我们表明,通过引入激活模型的修改,即通过假设用于检索不正确项目的证据的积累不仅更慢,而且更嘈杂(即,正确和不正确项的不同方差),该模型可以提供与直接存取模型一样好的拟合。
2017-08-24 cs.CL stat.AP stat.ML
SetCSE: Set Operations using Contrastive Learning of Sentence Embeddings
受集合论启发提出SetCSE信息检索框架,通过集合间对比学习目标增强句子嵌入模型对复杂语义的理解,并提供交集、差分等集合操作,显著提升模型判别能力,支持现有方法无法实现的复杂提示检索任务。
2024-04-25 cs.CL cs.IR cs.LG
An information-theoretic model of shallow and deep language comprehension
University of California Irvine(加州大学欧文分校)
本研究提出一种语言理解的信息论模型,将理解表述为准确率与加工深度的最优权衡,以加工深度变化衡量加工努力,经行为与神经实验验证,为解释语言理解的多层面特征提供统一框架。
2024-05-13 cs.CL cs.IT math.IT
Abstract, Rationale, Stance: A Joint Model for Scientific Claim Verification
Hangzhou Dianzi University(杭州电子科技大学);University of Yamanashi(山梨大学)
科学主张验证可以帮助研究者从大型语料库中轻松地找到具有给定主张的句子证据的目标科学论文。现有的一些工作提出了管道模型的三个任务的摘要检索,合理性选择和立场预测。这样的工作存在错误在流水线中的模块之间传播和模块之间缺乏共享有价值的信息的问题。因此,我们提出了一种方法,命名为ARSCoint,共同学习模块的三个任务与机器阅读理解框架,包括索赔信息。此外,我们提出了一个正则化项之间的句子注意力分数的抽象检索和理性选择的估计输出的任务,以加强信息交流和约束。在基准数据集SciFact上的实验结果表明,该方法的性能优于现有方法.
2021-09-13 cs.CL
Analyzing Wrap-Up Effects through an Information-Theoretic Lens
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);Massachusetts Institute of Technology(麻省理工学院)
本研究通过分析收尾效应与单词及上下文惊异等信息论量的关系,发现先前上下文的信息分布能有效预测句子和从句末尾的阅读时间,为相关认知过程假设提供了支持。
2024-01-05 cs.CL
Can LLMs capture stable human-generated sentence entropy measures?
Ludwig Maximilian University(路德维希·马克西米利安大学);Technical University of Munich(慕尼黑工业大学)
研究通过实验证明大语言模型在捕捉人类生成句子熵方面的能力,发现GPT-4o与人类数据最一致,但LLMs无法完全替代稳定的人类分布。
2026-02-04 cs.CL
A Benchmark Arabic Dataset for Commonsense Explanation
Jordan University of Science and Technology(约旦科技大学)
机器的语言理解和常识知识验证是一项具有挑战性的任务,目前仍在对阿拉伯语文本进行研究和评估。在本文中,我们提出了一个基准阿拉伯语数据集的常识解释。该数据集由没有意义的阿拉伯语句子组成,以及三个选择,以从中选择解释为什么句子是错误的。此外,本文提出的基线结果,以协助和鼓励在这一领域的研究的未来评估。该数据集在Creative Commons CC-BY-SA 4.0许可下分发,可以在GitHub上找到
2020-12-18 cs.AI cs.CL cs.LG
QAInfomax: Learning Robust Question Answering System by Mutual Information Maximization
National Taiwan University(台湾大学)
标准的准确性度量表明,现代阅读理解系统在许多问答数据集中取得了很好的性能。然而,这些系统真正理解语言的程度仍然是未知的,现有的系统并不擅长区分分心句子,这些句子看起来相关,但实际上并没有回答问题。为了解决这个问题,我们提出QAInfomax作为一个正规化在阅读理解系统中,通过最大限度地提高互信息之间的段落,一个问题,它的答案。QAInfomax帮助规范模型,而不是简单地学习回答问题的表面相关性。实验表明,我们提出的QAInfomax实现了最先进的性能基准的Adversarial-SQuAD数据集。
2019-08-31 cs.AI cs.CL cs.LG