Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
University of Electronic Science and Technology of China(电子科技大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院)
多语言预训练模型可以利用来自丰富源语言(如英语)的训练数据来提高低资源语言的性能。然而,多语言机器阅读理解(MRC)的迁移质量明显低于句子分类任务,这主要是由于MRC需要检测单词级别的答案边界。在本文中,我们提出了两个辅助任务,在微调阶段,以创建额外的短语边界监督:(1)混合MRC任务,将问题或段落翻译到其他语言,并建立跨语言的问题-段落对;(2)语言无关的知识掩蔽任务,利用知识挖掘的短语从Web。此外,在两个跨语言MRC数据集上的大量实验表明了该方法的有效性。
2020-05-08 cs.AI cs.CL
Towards Effective Rebuttal: Listening Comprehension using Corpus-Wide Claim Mining
IBM Research(IBM研究院)
参与现场辩论需要,除其他外,有效地反驳你的对手所声称的论点的能力。特别是,这需要确定这些参数。在这里,我们建议通过自动挖掘包含数十亿句子的新闻文章语料库中的声明,并在给定的演讲中搜索它们来做到这一点。这就提出了一个问题,即这些主张是否确实与口头演讲中提出的主张相对应。为此,我们收集了一个大的数据集的$400$演讲在英语讨论$200$有争议的话题,挖掘每个主题的索赔,并要求注释者确定挖掘索赔中提到的每个演讲。结果表明,在绝大多数的演讲中,辩论者确实使用了这种说法。此外,我们提出了几个基线的自动检测开采索赔的讲话,形成未来工作的基础。所有收集的数据都可免费用于研究。
2019-07-27 cs.AI cs.CL cs.LG
BiPaR: A Bilingual Parallel Dataset for Multilingual and Cross-lingual Reading Comprehension on Novels
Soochow University(苏州大学)
本文介绍了BiPaR,一个双语并行小说风格的机器阅读理解(MRC)数据集,开发支持多语言和跨语言的阅读理解。BiPaR与现有阅读理解数据集之间最大的区别在于,BiPaR中的每个三元组(Passage,Question,Answer)都是用两种语言编写的。我们从中英文小说中收集了3,667个双语平行段落,通过严格的质量控制程序,通过众包工作人员构建了14,668个平行问答对。我们深入分析了BiPaR,发现BiPaR在问题前缀、答案类型以及问题与段落之间的关系方面提供了良好的多样化。我们还观察到,回答问题的小说需要阅读理解技能的共指消解,多句推理,并理解隐含的因果关系等,与BiPaR,我们建立单语,多语种,跨语言MRC基线模型。即使对于该数据集上相对简单的单语MRC,实验表明,在EM和F1分数方面,强BERT基线落后于人类30分以上,这表明BiPaR为小说的单语,多语言和跨语言MRC提供了一个具有挑战性的测试平台。该数据集可在https://multinlp.github.io/BiPaR/上获得。
2019-10-11 cs.AI cs.CL
Structural Pre-training for Dialogue Comprehension
Shanghai Jiao Tong University(上海交通大学)
预训练的语言模型(PrLM)表现出优越的性能,因为它们具有从自我监督的预训练中学习通用语言表示的强大能力。然而,即使在强大的PrLM的帮助下,它仍然是具有挑战性的有效地捕捉任务相关的知识,从对话文本,丰富的说话人意识的话语之间的相关性。在这项工作中,我们提出了SPIDER,结构预训练的对话阅读器,捕捉对话的独特功能。为了模拟类似对话的特征,除了原始的LM目标之外,我们还提出了两个训练目标:1)话语顺序恢复,预测对话上下文中置换话语的顺序; 2)句子主干正则化,正则化模型以提高总结的主谓宾三元组的事实正确性。在广泛使用的对话基准上的实验结果验证了新引入的自监督任务的有效性。
2021-05-23 cs.AI cs.CL
DREAM: A Challenge Dataset and Models for Dialogue-Based Reading Comprehension
Cornell University(康奈尔大学);Tencent AI Lab(腾讯人工智能实验室);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了梦想,第一个基于对话的多项选择阅读理解数据集。我们的数据集收集自人类专家设计的英语作为外语的考试,以评估中国英语学习者的理解水平,我们的数据集包含6,444个对话的10,197个多项选择题。与现有的阅读理解数据集相比,DREAM是第一个专注于深度多回合多方对话理解的数据集。DREAM可能会对现有的阅读理解系统提出重大挑战:84%的答案是非提取的,85%的问题需要推理超过一个句子,34%的问题还涉及常识知识。我们应用了几种流行的神经阅读理解模型,这些模型主要利用文本中的表面信息,并发现它们充其量只是勉强优于基于规则的方法。接下来,我们调查的效果,将对话结构和不同种类的一般世界知识,以基于规则和(神经和非神经)机器学习为基础的阅读理解模型。在DREAM数据集上的实验结果表明了对话结构和一般世界知识的有效性。梦想将在https://dataset.org/dream/上提供。
2019-02-01 cs.CL
Quoref: A Reading Comprehension Dataset with Questions Requiring Coreferential Reasoning
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
机器理解长于单个句子的文本通常需要共指消解。然而,目前大多数阅读理解基准不包含复杂的共指现象,因此无法评估模型解决共指的能力。我们提出了一个新的众包数据集,其中包含超过24 K的跨度选择问题,这些问题需要解决维基百科中超过4.7K英文段落中实体之间的共指。要想获得关注这些现象的问题是很有挑战性的,因为很难避免词汇线索,这些线索可以简化复杂的推理。我们通过使用强大的基线模型作为众包循环中的对手来处理这个问题,这有助于众包工作者避免使用可利用的表面线索编写问题。我们发现,在这个基准测试中,最先进的阅读理解模型的表现明显不如人类--最好的模型表现为70.5 F1,而人类的估计表现为93.4 F1。
2019-09-05 cs.CL
What Makes Reading Comprehension Questions Easier?
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Tohoku University(东北大学);National Institute of Informatics(国立信息学研究所)
为机器阅读理解(MRC)创建数据集的一个挑战是收集需要对语言进行复杂理解的问题,而不仅仅是使用表面线索来回答。在这项工作中,我们调查了是什么让最近12个MRC数据集的问题更容易,有三种问题风格(答案提取,描述和多项选择)。我们建议采用简单的算法将每个数据集分为简单和困难的子集,并检查每个子集的两个基线模型的性能。然后,我们手动注释从每个子集的有效性和必要的推理技能,调查哪些技能解释简单和困难的问题之间的差异采样的问题。从这项研究中,我们观察到(i)与整个数据集相比,硬子集的基线表现显着下降,(ii)与简单问题相比,硬问题需要知识推理和多句推理,(iii)多项选择题往往需要比答案提取和描述问题更广泛的推理技能。这些结果表明,人们可能高估了MRC的最新进展。
2018-08-28 cs.AI cs.CL
PolicyQA: A Reading Comprehension Dataset for Privacy Policies
University of California, Los Angeles(加州大学洛杉矶分校);University of Virginia(弗吉尼亚大学)
隐私政策文件冗长而冗长。问答(QA)系统可以帮助用户找到与他们相关且重要的信息。这一领域的先前研究将QA任务框架为从给定问题的政策文件中检索最相关的文本片段或句子列表。相反,我们认为,为用户提供一个短的文本跨度从政策文件减少了从一个冗长的文本段搜索目标信息的负担。在本文中,我们介绍了PolicyQA,一个包含25,017个阅读理解风格示例的数据集,这些示例来自115个网站隐私政策的现有语料库。PolicyQA提供了714个人工注释的问题,用于广泛的隐私实践。我们评估了两个现有的神经QA模型,并进行了严格的分析,以揭示PolicyQA提供的优势和挑战。
2020-10-06 cs.CL
SQUINKY! A Corpus of Sentence-level Formality, Informativeness, and Implicature
University of Michigan(密歇根大学)
我们介绍了一个语料库的7,032个句子,由人类注释者评估的正式性,信息量和含义的1-7级。语料库注释使用亚马逊机械土耳其。在所获得的判断的可靠性进行了检查,通过比较两个MTurk实验的平均评级,并与飞行员注释(对句子的正式性)在一个更受控的设置进行相关性。尽管主观性和内在的困难的注释任务,平均评级之间的相关性是相当令人鼓舞的,特别是在正式和信息。我们进一步探讨了这三个语言变量之间的相关性,体裁的评级和体裁内的相关性,与自动文体评分的兼容性,以及文档在风格方面的基本构成。到目前为止,我们的语料库是最大的商务级注释语料库发布的正式,信息量和含义。
2016-09-27 cs.CL
STRASS: A Light and Effective Method for Extractive Summarization Based on Sentence Embeddings
EURA NOVA
本文介绍了STRASS:通过变换选择和评分进行的摘要。它是一种利用现有句子嵌入空间中的语义信息的提取文本摘要方法。我们的方法通过选择具有与文档嵌入最接近的嵌入的句子来创建提取摘要。该模型学习文档嵌入的变换,以最小化提取摘要和地面实况摘要之间的相似性。由于转换仅由密集层组成,因此可以在CPU上进行训练,因此成本低廉。此外,推理时间短,根据句子的数量线性。作为第二个贡献,我们介绍了法国CASS数据集,由法国最高上诉法院的判决及其相应的摘要。在这个数据集上,我们的结果表明,我们的方法与最先进的提取方法具有相似的性能,并且具有有效的训练和推断时间。
2019-07-16 cs.CL cs.IR cs.LG
Constructing Datasets for Multi-hop Reading Comprehension Across Documents
University College London(伦敦大学学院);Bloomsbury AI(布卢姆斯伯里人工智能)
大多数阅读理解方法局限于可以使用单个句子,段落或文档回答的问题。使模型能够组合不相交的文本证据片段将扩展机器理解方法的范围,但目前还没有资源来训练和测试这种能力。我们提出了一个新的任务,鼓励跨多个文件的文本理解模型的发展,并调查现有方法的局限性。在我们的任务中,模型学习寻找和组合证据-有效地执行多跳(别名多步)推理。我们设计了一种方法来产生数据集,为这项任务,给出了一个集合的查询答案对和主题链接的文件。两个数据集从不同的域诱导,我们确定潜在的陷阱,并制定规避策略。我们评估了两个先前提出的竞争模型,并发现可以跨文档集成信息。然而,这两种模型都很难选择相关信息,因为提供保证相关的文档会大大提高它们的性能。虽然这些模型的表现优于几个强基线,但它们的最佳准确率达到42.9%,而人类的准确率为74.0%,这留下了足够的改进空间。
2018-06-11 cs.AI cs.CL
Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks
HSE University(俄罗斯高等经济学院);Yandex;Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
在计算机视觉中,使用对比度损失进行表示学习已经变得非常突出,并且现在在自然语言处理(NLP)中也受到关注。在这里,我们探索了在微调大规模预训练的Transformer模型时使用batch-softmax对比损失的想法,以学习更好的特定于任务的句子嵌入,用于成对句子评分任务。我们介绍和研究了一些变化的计算损失,以及在整个训练过程中,特别是,我们发现,数据洗牌可以是相当重要的。我们的实验结果显示,在许多数据集和成对句子评分任务(包括分类,排名和回归)上有相当大的改进。最后,我们提供了详细的分析和讨论,这应该是有用的研究人员旨在探索的对比损失在自然语言处理的效用。
2021-10-10 cs.AI cs.CL cs.IR
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中,我们提出了一个结构化分布模型(SDM),结合词嵌入与形式语义,是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立,通过整合有关事件及其典型参与者的知识,因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图,并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究,研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM,我们的结果表明,将简单的组合模型与事件知识相结合,即使使用不同类型的词嵌入,也能不断提高性能。
2019-06-17 cs.CL
Volctrans Parallel Corpus Filtering System for WMT 2020
Peking University(北京大学);ByteDance AI Lab(字节跳动人工智能实验室);University of California San Diego(加利福尼亚大学圣迭戈分校)
在本文中,我们描述了我们提交的WMT 20共享任务的并行语料库过滤和对齐低资源条件。该任务要求参与者从给定的文档对中对齐潜在的平行句子对,并对它们进行评分,以便过滤低质量的句子对。我们的系统Volctrans由两个模块组成,即,挖掘模块和评分模块。挖掘模块在词对齐模型的基础上,采用迭代挖掘策略抽取潜在的平行句。在评分模块中,基于XLM的评分器提供分数,然后是重新排序机制和集成。我们提交的km-en和ps-en在From Scratch/Fine-tune条件下的表现优于基线3.x/2.x和2.x/2.x,这是所有提交作品中最高的。
2020-10-27 cs.CL
Exploiting Sentence Embedding for Medical Question Answering
Tsinghua University(清华大学);iFlytek Research(讯飞研究院)
尽管词嵌入取得了巨大的成功,但句子嵌入仍然是一个没有很好解决的问题。在本文中,我们提出了一个监督学习框架,利用句子嵌入的医疗问答任务。学习框架由两个主要部分组成:1)一个句子嵌入产生模块,和2)一个评分模块。前者是通过上下文自注意和多尺度技术将句子编码为嵌入张量而开发的。这个模块简称为上下文自我注意多尺度句子嵌入(CAMSE)。后者采用两种评分策略:语义匹配评分(SMS)和语义关联评分(SAS)。SMS测量相似性,而SAS捕获句子对之间的关联:一个医学问题与一个候选选择相连接,以及一个相应的支持证据。建议的框架是由两个医疗问答(MedicalQA)数据集,这是从现实世界中的应用程序:医疗考试和临床诊断的基础上,电子病历(EMR)。比较结果表明,我们提出的框架取得了显着的改进相比,竞争力的基线方法。此外,本文还通过一系列的对照实验,说明了多尺度策略和语境自注意层在产生有效的句子嵌入中的重要作用,以及两种评分策略在问答问题中的互补性。
2018-11-15 cs.AI cs.CL cs.LG
Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-sentence Dependency Graph
Emory University(埃默里大学);NEC Laboratories America(NEC美国实验室)
我们的目标是跨语言机器阅读理解(MRC)的任务,在直接zero-shot设置,通过合并的句法特征,从普遍的相似性(UD),我们使用的关键特征是每个句子内的句法关系。虽然以前的工作已经证明了有效的语法引导的MRC模型,我们建议采用句间的句法关系,除了基本的句内关系,进一步利用在多句输入的MRC任务的句法依赖。在我们的方法中,我们建立了句子间依赖图(ISDG)连接依赖树,以形成跨句子的全局句法关系。然后,我们提出了ISDG编码器,编码的全球依赖图,通过一跳和多跳依赖路径明确地解决句子间的关系。在三个多语言MRC数据集(XQuAD,MLQA,TyDiQA-GoldP)上的实验表明,我们的编码器只在英语上训练,能够提高所有14个测试集的zero-shot性能,覆盖8种语言,平均提高高达3.8 F1 / 5.2 EM,某些语言的5.2 F1 / 11.2 EM。进一步的分析表明,这种改进可以归因于对跨语言一致性句法路径的关注。
2022-03-15 cs.CL cs.LG
A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models
Tohoku University(东大大学);National Institute of Informatics(国家信息研究所);The University of Tokyo(东京大学)
本文提出双任务范式,结合算术计算与句子理解任务,揭示语言模型在资源受限下更倾向于基于合理性推理,支持人类认知资源分配对句子理解的影响。
2026-04-29 cs.CL
Computational Sentence-level Metrics Predicting Human Sentence Comprehension
University of Tübingen(蒂宾根大学);University of Stuttgart(斯图加特大学)
本文提出基于多语言LLM的句子惊异度与句子相关性指标,用于跨语言预测人类整体句子理解,在阅读速度预测上表现出高准确率与良好泛化性。
2024-04-15 cs.CL stat.ML
Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling
Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
句子评分旨在测量句子的似然度得分,并广泛用于许多自然语言处理场景,如重新排序,即从多个候选中选择最佳句子。以往的句子评分方法主要采用GPT等因果语言模型(CLM)或BERT等掩蔽语言模型(MLM),但都存在一定的局限性:1)CLM只利用单向信息进行句子概率估计,没有考虑双向上下文,影响评分质量; 2)MLM一次只能估计部分标记的概率,因此需要多次向前传递来估计整个句子的概率,这会导致大量的计算和时间成本。在本文中,我们提出了\textit{Transcormer} -一个Transformer模型与一个新的\textit{sliding language modeling}(SLM)的句子评分。具体来说,我们的SLM采用了三重流自我注意力机制,以估计所有的令牌在一个句子中的概率与双向上下文,只需要一个单一的向前通过。SLM方法可以避免CLM(单向上下文)和MLM(多个前向传递)的局限性,并继承它们的优点,从而实现高效的评分。多个任务的实验结果表明,我们的方法取得了更好的性能比其他语言建模。
2022-10-19 cs.CL
Gaze-Driven Sentence Simplification for Language Learners: Enhancing Comprehension and Readability
Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田大学科学与工程研究院)
针对语言学习者阅读难文查字典耗时分心的问题,提出结合眼动与语言特征、用GPT-3.5生成简化句的视线驱动句子简化系统,经19名学习者实验验证可准确评估理解度并提升可读性。
2023-09-30 cs.CL cs.HC
SNU_IDS at SemEval-2018 Task 12: Sentence Encoder with Contextualized Vectors for Argument Reasoning Comprehension
Seoul National University(首尔大学)
我们为SemEval 2018的论点推理理解任务提出了一种新的神经架构。它是一个简单的神经网络,由三个部分组成,共同判断建立在一组给定句子(主张、理由和保证)上的逻辑是否合理。该模型利用在大型机器翻译(MT)数据集上预训练的上下文化词向量作为迁移学习的一种形式,这可以帮助减轻训练数据的缺乏。定量分析表明,简单地利用在MT数据集上训练的LSTM的性能优于几个基线和非转移模型,在开发集上实现了约70%的准确率,在测试集上实现了约60%的准确率。
2018-05-18 cs.CL
Sentence Extraction-Based Machine Reading Comprehension for Vietnamese
University of Information Technology(信息技术大学);Vietnam National University(越南国立大学)
自然语言处理的发展,特别是机器阅读理解的发展,引起了研究界的极大关注。近年来,越南语机器阅读理解任务有一些大规模的数据集,如NAP-ViQuAD和NAP-ViNewsQA。然而,这些数据集在为研究服务的答案上并不多样化。在本文中,我们介绍了第一个用于评估越南语中基于句子提取的机器阅读理解的数据集-ViWikiQA。ViWikiQA数据集是从ViWikiQA数据集转换而来的,由23.074个问题-答案组成,基于174篇维基百科越南语文章的5.109个段落。我们提出了一个转换算法来创建数据集的句子提取为基础的机器阅读理解和三种类型的方法,句子提取为基础的机器阅读理解在越南语。我们的实验表明,最好的机器模型是XLM-R_Large,它在我们的数据集上实现了85.97%的精确匹配(EM)和88.77%的F1分数。此外,我们分析了越南语的问题类型和上下文对MRC模型性能的影响方面的实验结果,从而显示了我们向语言处理社区提出的EST-ViWikiQA数据集的挑战。
2021-06-11 cs.CL
Evidence Sentence Extraction for Machine Reading Comprehension
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Tencent AI Lab(腾讯人工智能实验室);Cornell(康奈尔大学);University of Pennsylvania(宾夕法尼亚大学)
在过去的几年里,在一些有限的机器阅读理解(MRC)任务上取得了显着的成功。然而,仍然很难解释现有MRC模型的预测。在本文中,我们专注于提取证据句子,可以解释或支持多项选择MRC任务的答案,其中大多数答案选项不能直接从参考文档中提取。由于在大多数情况下,缺乏地面真理证据句子标签,我们采用远程监督产生不完美的标签,然后使用它们来训练证据句子提取器。为了去除噪声标签,我们应用最近提出的深度概率逻辑学习框架,将句子级和跨句子语言指标用于间接监督。我们将提取的证据句子输入到现有的MRC模型中,并评估三个具有挑战性的多项选择MRC数据集(MultiRC、RACE和DREAM)的端到端性能,实现与将完整参考文档作为输入的相同模型相当或更好的性能。据我们所知,这是第一个工作提取证据句的多项选择MRC。
2019-09-24 cs.CL
Sentence-level Event Detection without Triggers via Prompt Learning and Machine Reading Comprehension
Guangdong University of Technology(广东工业大学)
针对传统句子级事件检测中触发词标注耗时费力且高度依赖其准确性的问题,提出一种基于机器阅读理解和提示学习的无触发词双塔模型,在ACE2005和MAVEN基准上取得竞争力性能。
2023-06-25 cs.CL
Experiments in Extractive Summarization: Integer Linear Programming, Term/Sentence Scoring, and Title-driven Models
University of Houston(休斯顿大学)
在本文中,我们重新审视了具有挑战性的问题,无监督的单文档摘要和研究以下几个方面:基于线性规划(ILP)的算法,参数化规范化的术语和句子的分数,和标题驱动的方法摘要。我们描述了一个新的框架,NewsSumm,其中包括许多现有的和新的方法,包括ILP和标题驱动的方法总结。NewsSumm的灵活性允许无缝结合不同的算法和句子评分方案。我们的结果结合句子评分与ILP和规范化是在对比以前的工作在这个主题上,显示了更广泛的搜索最佳参数的重要性。我们还表明,新的标题驱动的减少的想法导致性能的改善,无论是无监督和监督的方法考虑。
2020-08-01 cs.CL cs.IR
Ensemble Kalman filter for uncertainty in human language comprehension
Institute of Mathematics, University of Potsdam(波茨坦大学数学研究所);Institute of Psychology, University of Potsdam(波茨坦大学心理学研究所)
针对传统人工神经网络在句子理解中缺乏不确定性建模的问题,本文提出基于集合卡尔曼滤波扩展的贝叶斯框架,将语言理解构建为贝叶斯逆问题,以增强句子格式塔模型对人类认知加工中不确定性表示的能力。
2025-05-05 cs.CL stat.AP stat.ML
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
远程监督是一种很有前途的关系抽取方法,但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子,并使用多示例学习技术对标签进行去噪。然而,基于袋的范例,未能利用句间级和实体级的证据关系抽取,其去噪算法往往是专门的和复杂的。在本文中,我们提出了一个新的DS范式-基于文档的远程监督,模型关系抽取作为一个基于文档的机器阅读理解(MRC)的任务。通过将关于实体的所有句子重新组织为文档,并通过使用关系特定问题查询文档来提取关系,基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss(distantsupervisoryloss),该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型,从而从本质上解决了噪声标签问题。实验表明,我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
Scoring Sentence Singletons and Pairs for Abstractive Summarization
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究院)
在撰写摘要时,人类倾向于从一两个句子中选择内容,并将它们合并成一个单一的摘要句子。然而,选择一个或多个源句子背后的机制仍然知之甚少。句子融合假设多句输入;然而句子选择方法仅适用于单个句子,而不是它们的组合。因此,在句子选择和融合之间存在一个关键的差距,以支持通过压缩单句和融合对来进行摘要。本文试图通过在一个统一的空间中将句子的单例和成对排列在一起来弥合这一差距。我们提出的框架试图通过选择单个句子或一对句子来模拟人类方法,然后压缩或融合句子以产生摘要句子。我们在单文档和多文档摘要数据集上进行了广泛的实验,并报告了句子选择和抽象的结果。
2019-05-31 cs.CL
Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校);University of California San Diego(加州大学圣地亚哥分校)
虽然通过简单的事实问答在文本理解方面已经有了实质性的进展,但是对话语的更全面的理解仍然是一个主要的挑战(Dunietz等人,2020年)。有人在阅读文本时批判性地反思文本,会提出好奇心驱动的,通常是开放式的问题,这些问题反映了对内容的深刻理解,需要复杂的推理来回答(Ko等人,2020; Westera等人,2020年)。建立和评估这种类型的话语理解模型的一个关键挑战是缺乏注释数据,特别是因为收集这些问题的答案需要注释者的高认知负荷。本文提出了一种新的范式,使可扩展的数据汇集针对新闻文件的理解,通过话语的镜头看这些问题。由此产生的语料库,DCQA(话语理解的问答),捕捉话语和句子之间的语义联系的形式自由,开放式的问题。在我们对Ko等人(2020)的问题进行注释的评估集上,我们表明DCQA为回答开放式问题提供了有价值的监督。我们还设计了预训练方法,利用现有的问答资源,并使用合成数据,以适应无法回答的问题。
2022-10-17 cs.CL
Deep Learning Models to Study Sentence Comprehension in the Human Brain
University of Oxford(牛津大学);Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);Radboud University(拉德堡德大学)
最近处理自然语言的人工神经网络在需要高级理解的任务中实现了前所未有的性能。因此,它们可能是人类大脑中语言信息整合的有趣模型。我们回顾这些人工语言模型与人脑活动的比较工作,我们评估这种方法在多大程度上提高了我们对自然语言理解中所涉及的神经过程的理解。出现了两个主要结果。首先,词义的神经表示与人工神经网络使用的上下文相关的密集词向量一致。其次,人工神经网络中出现的处理层次与大脑大致匹配,但令人惊讶的是,不同研究之间并不一致。我们讨论了当前建立人工神经网络作为自然语言理解过程模型的挑战。我们建议在将表征映射到大脑数据时,利用人工神经网络的高度结构化的表征几何。
2023-02-16 cs.CL q-bio.NC
A computational investigation of sources of variability in sentence comprehension difficulty in aphasia
University of Potsdam(波茨坦大学);The University of Manchester(曼彻斯特大学);Massachusetts General Hospital(马萨诸塞总医院)
我们提出了一个计算评估失语症的句子理解的赤字来源的三个假设:缓慢的处理,间歇性不足,资源减少。基于ACT-R的Lewis和Vasishth(2005)模型用于实现这三个建议。减缓的处理被实现为减缓默认的产生式规则触发时间;间歇性不足被实现为在内存块的激活中增加随机噪声;以及资源减少被实现为减少目标激活。作为数据,我们考虑了主体与客体关系,其矩阵子句包含NP或反身代词,以自定进度的听力模式呈现给56名失语症患者(IWA)和46名匹配的对照组。参与者听到句子,并进行图片验证任务,以决定对句子的解释。这些响应准确度用于识别与上述三个假设相对应的最佳参数(针对每个参与者)。我们发现,控制有更紧密的集群(较少的变量)比IWA的参数值,具体来说,相比控制,在IWA有更多的个人低目标激活,高噪音,和缓慢的默认动作时间。这表明:(i)个体患者在处理减慢、间歇性不足和资源减少这三个维度上表现出不同的缺陷量;(ii)总体而言,有证据表明所有三种缺陷来源都发挥了作用;(iii)IWA的参数值范围比对照组更可变。总之,本研究提供了一个概念的定量实施和证据,这三个帐户的理解缺陷失语症的证明。
2017-05-31 cs.AI cs.CL
Power in Numbers: Robust reading comprehension by finetuning with four adversarial sentences per example
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对阅读理解模型易受对抗性句子干扰的问题,使用 ELECTRA-Small 在加入一至五句对抗句的 SQuAD v1.1 上微调,发现四至五句可显著提升跨数据集鲁棒性。
2024-01-18 cs.CL
Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention
Georgia Institute of Technology(佐治亚理工学院)
本研究通过四种大语言模型,探究人类与模型在处理花园小径句及持续误解上的一致性,发现二者在处理上表现出有前景的趋同,尤其在句法外信息引导时。
2024-05-25 cs.CL
Towards Empowering Consumers through Sentence-level Readability Scoring in German ESG Reports
University of Augsburg(奥格斯堡大学)
研究通过扩展德国ESG报告的句子级数据集,评估不同可读性评分方法的准确性,发现微调的Transformer模型在预测人类可读性时误差最小。
2026-03-31 cs.AI cs.CL
Effective Sentence Scoring Method using Bidirectional Language Model for Speech Recognition
Seoul National University(首尔国立大学)
在自动语音识别中,许多研究表明使用语言模型(LM)可以提高性能。最近的研究已经尝试使用双向LM(biLM)而不是传统的单向LM(uniLM)来对从声学模型解码的$N$最佳列表进行重新评分。尽管他们的理论上的好处,biLM没有给出显着的改善相比,uniLM在他们的实验。这是因为他们的biLM没有考虑两个方向之间的相互作用。在本文中,我们提出了一种新的句子评分方法,考虑过去和未来的话之间的相互作用的biLM。LibriSpeech语料库上的实验结果表明,biLM与建议的句子评分优于uniLM的$N$ -最好的列表重新评分,在所有实验条件下一致和显着。通过词位置对WERs的分析表明,biLM比uniLM更鲁棒,特别是当识别的句子很短或错误识别的词位于句子的开头时。
2019-05-16 cs.CL cs.SD eess.AS
A Sentence Cloze Dataset for Chinese Machine Reading Comprehension
Research Center for SCIR, Harbin Institute of Technology(哈尔滨工业大学SCIR研究中心);State Key Laboratory of Cognitive Intelligence, iFLYTEK Research, China(科大讯飞研究中心认知智能国家重点实验室);iFLYTEK AI Research (Hebei), Langfang, China(科大讯飞(河北)人工智能研究院,廊坊)
由于中国NLP社区的不断努力,越来越多的中文机器阅读理解数据集变得可用。为了增加这一领域的多样性,在本文中,我们提出了一个新的任务称为句子完形填空式机器阅读理解(SC-MRC)。这个任务的目的是将正确的候选句子填入有几个空格的文章中。我们建立了一个名为CMRC 2019的中国数据集,以评估SC-MRC任务的难度。此外,为了增加难度,我们还制作了与正确候选人相似的假候选人,这需要机器在上下文中判断它们的正确性。建议的数据集包含超过10万个空白(问题)在超过10 K的段落,这是源于中国的叙事故事。为了评估数据集,我们基于预训练的模型实现了几个基线系统,结果表明,最先进的模型仍然远远低于人类的表现。我们发布数据集和基线系统,以进一步促进我们的社区。资源可通过https://github.com/ymcui/cmrc2019获得
2020-11-02 cs.CL
Cross-Linguistic Analysis of Memory Load in Sentence Comprehension: Linear Distance and Structural Density
Department of Biological Sciences, Indian Institute of Science Education and Research (IISER), Mohali, India(生物科学系,印度科学教育与研究学院(IISER),莫哈利,印度)
本研究通过跨语言依存树库和混合效应模型,发现干预者复杂度比线性距离更直接解释句子记忆负荷,调和了线性和层级局部性视角。
2025-09-26 cs.CL q-bio.NC
Modelling dependency completion in sentence comprehension as a Bayesian hierarchical mixture process: A case study involving Chinese relative clauses
University of Potsdam(波茨坦大学);École Nationale de la Statistique et de l’administration économique(国家统计与经济管理学院);CNRS(法国国家科学研究中心);Université Paris-Dauphine(巴黎九大);PSL Research University(巴黎文理研究大学)
我们提出了一个案例研究证明贝叶斯分层混合模型的有用性,调查认知过程。在句子理解中,人们普遍认为语言共同依存关系之间的距离影响依存关系解决的延迟:距离越长,检索时间越长(基于距离的帐户)。另一种理论,直接访问,假设检索时间是两个分布的混合:一个分布代表成功的检索(这些是独立的依赖距离),另一个代表一个初始的失败,以检索正确的依赖,其次是重新分析,导致成功的检索。我们将这两个模型作为贝叶斯层次模型来实现,结果表明,直接访问模型比距离帐户更好地解释了中文关系从句阅读时间数据。
2017-05-05 cs.CL stat.AP stat.ME
Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention
University of Michigan(密歇根大学)
我们提出了一种新的解释,基于相似性的干扰效应在主谓和反身代词一致性处理,接地在从预训练的大规模Transformer模型,GPT-2计算的crossal值。具体而言,我们表明,动词或反身代词的替代预测促进干扰效果在不合语法的句子,在那里一个干扰名词,在数量上与动词或代词匹配导致更快的阅读时间,尽管干扰不参与协议关系。我们回顾了人类的经验证据,包括最近的荟萃分析和大规模的研究。我们还表明,注意模式(索引熵和其他措施)在Transformer显示模式的分散注意力在存在类似的干扰,符合基于线索的检索模型的解析。但与这些模型相反,注意力线索和记忆表征完全是从预测下一个单词的简单自我监督任务中学习的。
2021-04-26 cs.CL
Lexical representation explains cortical entrainment during speech comprehension
Radboud University(拉德堡德大学);NYU Shanghai(上海纽约大学)
最近的一项关于口语句子理解的神经影像学研究的结果被解释为皮层夹带到层次句法结构的证据。我们提出了一个简单的计算模型,预测功率谱从这项研究中,即使该模型的语言知识仅限于词汇水平,和词级表示不结合到更高级别的单位(短语或句子)。因此,皮层夹带的结果也可以解释从词汇性质的刺激,而不求助于层次句法。
2018-01-10 cs.CL q-bio.NC
Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks
Technische Universität Darmstadt(达姆施塔特工业大学)
成对句子评分有两种方法:交叉编码器,它对输入对执行完全关注,以及双编码器,它将每个输入独立地映射到稠密向量空间。虽然交叉编码器通常可以实现更高的性能,但对于许多实际用例来说,它们太慢了。另一方面,双编码器需要大量的训练数据和对目标任务的微调以实现有竞争力的性能。我们提出了一种简单而有效的数据增强策略,称为增强SBERT,其中我们使用交叉编码器来标记更大的一组输入对,以增强双向编码器的训练数据。我们表明,在这个过程中,选择的句子对是不平凡的,关键的方法的成功。我们评估我们的方法在多个任务(在域),以及在一个领域自适应任务。与原始双编码器性能相比,增强的SBERT实现了域内高达6点的改进和领域自适应任务高达37点的改进。
2021-04-12 cs.CL
Learning to Ask: Neural Question Generation for Reading Comprehension
Cornell University(康奈尔大学);Shanghai Jiao Tong University(上海交通大学)
本文研究了阅读理解中从篇章中自动生成句子的问题。我们引入了一个基于注意力的序列学习模型的任务,并研究了编码句子与段落级信息的效果。与以前的所有工作相比,我们的模型不依赖于手工制作的规则或复杂的NLP管道;相反,它是通过序列到序列学习的端到端可训练的。自动评估结果表明,我们的系统显着优于国家的最先进的基于规则的系统。在人类评估中,我们的系统生成的问题也被评为更自然(即,语法性、流畅性)和更难回答(就句法和词汇与原文的分歧以及回答所需的推理而言)。
2017-04-29 cs.AI cs.CL
Syntactically-guided Information Maintenance in Sentence Comprehension
NINJAL(NINJAL研究所);Georgetown University(乔治·华盛顿大学)
本研究提出句法结构引导理性语言使用者选择性维护对未来预测至关重要的信息,并通过日语自然阅读时间数据验证了预测头数量与未完成依赖数量两个因素不可相互约简,且维护成本与预测收益之间存在权衡。
2026-05-22 cs.CL
When the LM misunderstood the human chuckled: Analyzing garden path effects in humans and language models
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);Department of Linguistics, Tel Aviv University(特拉维夫大学语言学系);Sagol School of Neuroscience, Tel Aviv University(特拉维夫大学萨戈尔神经科学学院)
本文通过花园路径句理解任务比较人类与大型语言模型(LLMs)的语言处理,验证心理语言学假设,发现两者均受特定句法复杂性影响,部分模型与人类理解高度相关,并通过释义和图像生成任务进一步验证结果。
2025-02-13 cs.AI cs.CL
Comprehension and Knowledge
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
智能体理解句子的能力与智能体的先验经验和背景知识密切相关。本文建议将理解为一种模态,并提出了一个完整的双模态逻辑系统,描述了理解和知识模态之间的相互作用。
2021-03-01 cs.AI cs.CL cs.LO
Poly-encoders: Transformer Architectures and Pre-training Strategies for Fast and Accurate Multi-sentence Scoring
Facebook AI Research(脸书人工智能研究院)
深度预训练的双向Transformers的使用已经在许多应用中导致了显著的进步(Devlin等人,2018年)。对于在序列之间进行成对比较的任务,将给定的输入与相应的标签进行匹配,有两种方法是常见的:交叉编码器对该对进行完全自注意,双编码器对该对进行单独编码。前者通常性能更好,但对于实际使用来说太慢了。在这项工作中,我们开发了一个新的Transformer架构,多编码器,学习全球,而不是令牌级的自我关注功能。我们对这三种方法进行了详细的比较,包括哪些预训练和微调策略效果最好。我们展示了我们的模型在三个现有任务上实现了最先进的结果; Poly-encoders比Cross-encoders更快,比Bi-encoders更准确;最好的结果是通过在类似于下游任务的大型数据集上进行预训练获得的。
2020-03-25 cs.AI cs.CL
Multi-hop Reading Comprehension via Deep Reinforcement Learning based Document Traversal
University of New South Wales(新南威尔士大学)
近年来,随着高质量的问答(QA)数据集的出现,阅读理解受到了极大的关注。尽管最先进的方法实现了强大的整体准确性,但多跳(MH)推理仍然特别具有挑战性。为了具体解决MH-QA问题,我们提出了一种基于深度强化学习的方法,该方法能够在大量文档集合中学习顺序推理,以便将查询感知的固定大小上下文子集传递给现有模型进行答案提取。我们的方法由两个阶段组成:一个链接器,它将提供的支持文档分解成句子图,和一个提取器,它根据当前问题和已经访问过的句子学习在哪里查找。链接器的结果是在句子级别上形成了一种新颖的图形结构,它保留了逻辑流,同时仍然允许在文档之间快速移动。重要的是,我们证明了所得到的图的稀疏性是不变的上下文大小。这意味着Deep-RL训练的提取器所需的决策更少,从而使系统能够有效地扩展到大型文档集合。在文档遍历步骤中顺序决策的重要性是通过与标准IE方法的比较来证明的,并且我们还引入了一个基于BM 25的IR基线,该基线仅检索与查询相关的文档。我们在最近提出的QAngaroo基准上研究了我们的方法与现有模型的集成,并实现了全面准确性的一致提高,以及训练时间的2- 3倍减少。
2019-05-23 cs.AI cs.CL cs.NE
Information-Theoretic Storage Cost in Sentence Comprehension
Department of Linguistics, Georgetown University, USA(地缘政治学系,乔治城大学,美国);National Institute for Japanese Language and Linguistics, Japan(日本语言学研究院,日本)
本文提出了一种基于信息论的存储成本度量方法,用于评估句法理解过程中上下文信息的存储需求,通过神经语言模型估计该成本,并在英语中验证了其在中心嵌套和相对从句中的处理不对称性,以及在阅读时间变异预测中的有效性。
2026-05-18 cs.CL
Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Department of Linguistics and Translation, City University of Hong Kong(香港城市大学语言及翻译学系)
针对语义组合程度缺乏量化计算指标的问题,研究者基于Transformer前馈网络的键值记忆机制提出组合度指标,实验发现其与多个和语言加工相关的脑簇相关,为研究人脑语义组合提供了新工具。
2024-07-10 cs.AI cs.CL
Underutilization of Syntactic Processing by Chinese Learners of English in Comprehending English Sentences, Evidenced from Adapted Garden-Path Ambiguity Experiment
本研究通过改编花园路径实验,发现中国英语学习者在理解英语句子时存在句法加工利用不足,并识别出部分与完全两种类型,为提升其句子理解水平的新型解析方法奠定基础。
2024-12-21 cs.CL
U3E: Unsupervised and Erasure-based Evidence Extraction for Machine Reading Comprehension
Beijing Institute of Technology(北京理工大学)
机器阅读理解(MRC)中的更多任务除了需要答案预测外,还需要提取支持答案的证据句子。然而,证据句的标注通常是费时费力的。针对这一问题,考虑到现有的证据提取方法大多是半监督的,提出了一种无监督的证据提取方法(U3E)。U3E将文档中的重复级特征擦除后的变化作为输入,模拟人类记忆力下降导致的问题解决能力下降。为了在充分理解原文语义的基础上进行选择,我们还提出了快速选择最佳记忆模型的指标。为了比较U3E和典型的证据提取方法,并研究其在证据提取中的有效性,我们在不同的数据集上进行了实验。实验结果表明,U3E算法简单有效,不仅能更准确地提取证据,而且能显著提高模型性能。
2022-10-22 cs.CL
Text Simplification for Comprehension-based Question-Answering
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校);NSIT Delhi(德里国立信息技术学院);IBM(国际商业机器公司);IIIT, Guwahati(印度国际信息技术研究所古瓦哈提分校);Accenture Tech Labs(埃森哲技术实验室);IBM Research India(印度IBM研究院)
文本简化是将一个句子拆分和重新措辞为一系列句子的过程,使其更容易阅读和理解,同时保留内容并近似原始含义。文本简化已在机器翻译、摘要、语义角色标注和信息抽取等自然语言处理应用中得到利用,为基于理解的问答下游任务的开发开辟了广阔的途径。在这项工作中,我们研究了文本简化在使用理解上下文的问答任务中的效果。我们发布了Simple-SQuAD,这是广泛使用的SQuAD数据集的简化版本。首先,我们概述了数据集创建管道中的每个步骤,包括风格转换,显示正确转换的句子的阈值处理,以及每个答案的偏移量查找。其次,我们通过涉及自动和人工评估的各种方法来验证转移句子的质量。第三,我们对新创建的语料库进行了基准测试,并进行了消融研究,以检验简化过程在基于SQuAD的问答任务中的效果。我们的实验表明,简化导致精确匹配和F1分别增加了2.04%和1.74%。最后,我们总结了传输过程的分析,研究了模型所做的编辑类型,以及句子长度对传输模型的影响。
2021-09-28 cs.CL cs.IR
Comparing Human and Language Models Sentence Processing Difficulties on Complex Structures
Blavatnik School of Computer Science, Tel Aviv University, Israel(巴尔-艾塔夫大学计算机科学学院);Department of Linguistics, Tel Aviv University, Israel(巴尔-艾塔夫大学语言学系);Sagol School of Neuroscience, Tel Aviv University, Israel(巴尔-艾塔夫大学神经科学学院)
本研究系统比较人类与五类LLM在七种复杂语言结构上的句子理解,发现LLM在花园路径句上困难显著,且与人类表现的相关性随模型规模增加而增强,揭示了二者的趋同与分歧。
2025-10-16 cs.AI cs.CL
Neural Automated Essay Scoring and Coherence Modeling for Adversarially Crafted Input
University of Cambridge(剑桥大学);The ALTA Institute(ALTA研究所)
我们证明,目前国家的最先进的方法,自动论文评分(AES)是不适合捕捉adversarially精心制作的输入语法,但不连贯的句子序列。我们开发了一个局部连贯性的神经模型,可以有效地学习句子之间的连接性特征,并提出了一个框架,用于将局部连贯性模型与最先进的AES模型集成并联合训练。我们根据一些基线评估了我们的方法,并通过实验证明了它在AES任务和标记对抗性输入任务上的有效性,进一步促进了一种增强神经论文评分模型有效性的方法的开发。
2020-04-30 cs.AI cs.CL