Machine Comprehension Based on Learning to Rank
Carnegie Mellon University(卡内基梅隆大学)
机器理解在NLP中起着至关重要的作用,并且已经被广泛地应用于像MCTest这样的数据集。然而,这个数据集太简单,太小,无法学习真正的推理能力。因此,\cite{hermann2015teaching}发布了一个大规模的新闻文章数据集,并提出了一个用于机器理解的深度LSTM阅读器系统。然而,培训过程是昂贵的。因此,我们尝试在新数据集上使用语义的特征工程方法,看看传统的机器学习技术和语义如何帮助机器理解。同时,我们提出的L2R阅读器系统取得了良好的性能与效率和较少的训练数据。
2016-05-13 cs.CL
Contextual Semantic Relevance Tracks fMRI BOLD Responses During Naturalistic Speech Comprehension
Tongji University(同济大学);Tuebingen University(图宾根大学)
研究自然语言理解中上下文语义相关性对功能磁共振成像血氧水平依赖反应的预测作用,通过分析两个数据集,用广义相加混合模型等方法,发现语义相关性是有前景的血氧水平依赖指标,扩展了语言理解计算模型。
2026-08-04 cs.CL
SpatialNLI: A Spatial Domain Natural Language Interface to Databases Using Spatial Comprehension
Auburn University(奥本大学);Stony Brook University(石溪大学);WeWork Research(WeWork研究院)
数据库的自然语言接口(NLI)是将自然语言问题转换为可由数据库管理系统(DBMS)执行的结构化查询的接口。然而,由于空间问题的特质和表现力,在一般领域中训练的NLI很难应用于空间领域。受机器理解模型的启发,我们提出了一个空间理解模型,它能够根据上下文的语义来识别空间实体的含义。然后将从空间理解模型中学习到的空间语义注入到自然语言问题中,以减轻捕获空间特定语义的负担。通过我们的空间理解模型和信息注入,我们的空间域NLI,命名为SpatialNLI,能够捕获问题的语义结构,并将其准确地转换为可执行查询的相应语法。我们还通过实验确定SpatialNLI优于最先进的方法。
2019-08-28 cs.CL
NLITrans at SemEval-2018 Task 12: Transfer of Semantic Knowledge for Argument Comprehension
National Cheng Kung University(成功大学)
论点推理理解任务要求对世界知识有显著的语言理解和复杂的推理。我们专注于转移一个句子编码器,以引导更复杂的模型,因为数据集的大小很小。我们的最佳模型使用预训练的BiLSTM对输入句子进行编码,学习论点和论据的特定于任务的特征,然后执行独立的论点-论据匹配。该模型的平均测试集准确率为64.43%。编码器传输产生了显着的增益,我们的最佳模型超过随机初始化。独立的权证匹配有效地将数据集的大小加倍,并提供额外的正则化。我们证明了正则化来自于忽略权证特征和位置之间的统计相关性。我们还报告了一个实验,我们最好的模型,只匹配认股权证的原因,忽略索赔。相对较低的性能下降表明我们的模型不一定在学习预期的任务。
2018-04-23 cs.CL
Discourse-Aware Semantic Self-Attention for Narrative Reading Comprehension
Heidelberg University(海德堡大学)
在这项工作中,我们建议使用语言注释作为基础的\textit{Discourse-Aware Semantic Self-Attention}编码器,我们采用阅读理解长叙事文本。我们提取的话语单位,事件和他们的论点之间的关系,以及共指提及,使用现有的注释工具。我们的实证评估表明,调查结构提高了整体性能,特别是内部和跨部门的话语关系,内部语义角色关系,和长距离共指关系。我们发现,将自我注意力集中在内部关系和连接相邻句子的关系上,有利于在较长的上下文中找到问题的答案。我们的研究结果鼓励使用语篇语义标注来增强自我注意模型对阅读理解的泛化能力。
2019-08-28 cs.CL cs.LG
Synonym Knowledge Enhanced Reader for Chinese Idiom Reading Comprehension
Nanjing University(南京大学);Tencent Inc.(腾讯公司)
机器阅读理解(MRC)是要求机器基于给定的上下文回答问题的任务。对于汉语MRC,由于汉语成语的非字面和非组合语义特征,对机器的理解提出了独特的挑战。以往的研究倾向于将习语单独对待,而没有充分挖掘习语之间的关系。本文首先定义了字面意义覆盖率的概念,用来衡量汉语成语的语义与字面意义的一致性。通过定义,我们证明了许多习语的字面意义与其语义之间存在着较大的差异,同时也证明了同义关系可以缓解这种差异,从而有助于习语的理解。此外,为了充分利用同义关系,我们提出了同义知识增强型阅读器。具体来说,对于每个习语,我们首先根据高质量同义词词典的注释或预先训练的习语嵌入之间的余弦相似度构建同义词图,然后结合图注意网络“与”门机制对图进行编码。在大规模汉语成语阅读理解数据集ChID上的实验结果表明,该模型具有较好的性能。
2020-11-09 cs.CL
Relation/Entity-Centric Reading Comprehension
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田理工学院)
构建一台能够理解人类语言的机器是人工智能中最难以捉摸和长期存在的挑战之一。本文通过对阅读理解的研究来解决这一挑战,重点是理解实体及其关系。更具体地说,我们专注于旨在衡量阅读理解的问答任务。我们关注实体和关系,因为它们通常用于表示自然语言的语义。
2020-08-27 cs.CL
Robust Reading Comprehension with Linguistic Constraints via Posterior Regularization
Tsinghua University(清华大学);Institute for Artificial Intelligence(人工智能研究院);State Key Lab of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
尽管机器阅读理解(RC)取得了很大的进步,但现有的RC模型仍然很脆弱,对不同类型的对抗性示例不鲁棒。神经模型过度自信地预测语义不同的对抗性示例的错误答案,而过度敏感地预测语义等效的对抗性示例的错误答案。现有的方法,提高这种神经模型的鲁棒性,只是减轻了两个问题之一,但忽略了另一个。在本文中,我们解决了过度自信的问题和过度敏感的问题,同时存在于现有的RC模型与外部语言知识的帮助。我们首先将外部知识施加不同的语言约束(实体约束,词汇约束和谓词约束),然后通过后验正则化RC模型。语言约束对语义不同和语义等价的对抗样本都有更合理的预测,后验正则化提供了一种有效的机制来结合这些约束。我们的方法可以应用到任何现有的神经RC模型,包括国家的最先进的BERT模型。大量的实验表明,我们的方法显着提高了基础RC模型的鲁棒性,更好地同时处理这两个问题。
2019-11-16 cs.CL
Semantics-Aware Inferential Network for Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学)
对于自然语言理解任务,无论是机器阅读理解还是自然语言推理,语义感知和推理都是相关建模的有利特征,以获得更好的理解性能。因此,我们提出了一个语义感知推理网络(SAIN),以满足这样的动机。SAIN的推理模块以显式语境化语义作为补充输入,通过注意力机制对语义线索进行一系列推理。通过串接这些步骤,推理网络有效地学习执行迭代推理,该迭代推理结合了显式语义和上下文表示。在良好的预训练语言模型作为前端编码器方面,我们的模型在包括机器阅读理解和自然语言推理在内的11个任务上取得了显着的改进。
2020-04-28 cs.CL
The Acquisition of Semantic Relationships between words
University Ibn Khaldoun(伊本·赫勒敦大学)
本文研究词语语义关系与语言形态之间的动态联系,通过分析词的内部结构及其构成,揭示其对语言解释和理解的影响。
2023-07-12 cs.CL
Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention
Georgia Institute of Technology(佐治亚理工学院)
本研究通过四种大语言模型,探究人类与模型在处理花园小径句及持续误解上的一致性,发现二者在处理上表现出有前景的趋同,尤其在句法外信息引导时。
2024-05-25 cs.CL
Semantics Altering Modifications for Evaluating Comprehension in Machine Reading
University of Manchester(曼彻斯特大学)
NLP的进步已经为机器阅读理解(MRC)任务带来了令人印象深刻的结果,据报道,这些方法可以实现与人类相当的性能。在本文中,我们研究了最先进的MRC模型是否能够正确处理语义改变修改(SAM):语言动机的现象,改变句子的语义,同时保留大部分的词汇表面形式。我们提出了一种方法来自动生成和调整挑战集具有原始和修改的例子。我们进一步提出了一种新的评估方法,正确评估MRC系统处理这些例子的能力,独立于它们被优化的数据,通过对域转移引入的影响进行折扣。在一个大规模的实证研究中,我们应用的方法,以评估提取MRC模型的能力,正确处理SAM丰富的数据。我们全面涵盖了12种不同的最先进的神经架构配置和四个训练数据集,并发现-尽管它们具有众所周知的卓越性能-优化模型始终难以正确处理语义改变的数据。
2021-06-15 cs.AI cs.CL
DEMN: Distilled-Exposition Enhanced Matching Network for Story Comprehension
Beijing Language and Culture University(北京语言大学);Beijing Advanced Innovation for Language Resources of BLCU(北京语言大学北京语言资源高级创新中心)
文章提出了一种用于故事完形填空测试的提取-阐述增强匹配网络(DEMN)。我们将一个完整的故事分为三个叙事片段:一个\textit{exposition}、一个\textit{climax}和一个\textit{ending}。该模型由三个模块组成:输入模块、匹配模块和蒸馏模块。输入模块为三个片段提供语义表示,然后将它们馈送到其他两个模块。匹配模块收集结尾和高潮之间的交互特征。提取模块提取阐述中的关键语义信息,并以两种不同的方式将其注入匹配模块。在ROCStories Corpus \cite{Mostafazadeh2016ACA}上对模型进行了测试,结果表明该模型的正确率分别为80.1%和81.2%。实验结果表明,我们的DEMN模型达到了最先进的性能。
2019-01-08 cs.CL
Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects
International Digital Economy Academy(国际数字经济学院);Southern University of Science and Technology(南方科技大学);South China University of Technology(华南理工大学)
针对大视觉语言模型缺乏细粒度视觉对象检测易产生幻觉的问题,提出Lyrics多模态预训练与指令微调范式,通过语义感知视觉特征等方法提升细粒度对齐与理解能力,在多个数据集和基准上表现优异。
2024-04-12 cs.CL
TokLIP: Marry Visual Tokens to CLIP for Multimodal Comprehension and Generation
ARC Lab, Tencent PCG(腾讯PCG广告实验室);City University of Hong Kong(香港城市大学);Zhejiang University(浙江大学);NLPR & MAIS, Institute of Automation, CAS, Beijing(自动化研究所)
针对现有基于令牌的多模态工作训练开销大、理解性能有限的问题,提出TokLIP视觉令牌器,通过解耦理解与生成目标并融入CLIP语义,实现高效数据利用与双任务性能提升,支持自回归训练。
2025-08-15 cs.AI cs.CL cs.CV
A linguistically-motivated evaluation methodology for unraveling model's abilities in reading comprehension tasks
CNRS(法国国家科学研究中心);Aix-Marseille Université(艾克斯-马赛大学);Orange Innovation(奥兰治创新公司);Université de Montréal(蒙特利尔大学);International Laboratory on Learning Systems (ILLS - IRL CNRS)(国际学习系统实验室(ILLS - IRL CNRS))
提出一种基于语义框架标注的语言学驱动评估方法,通过研究七个复杂性因素揭示模型在阅读理解任务中处理特定语言学特征的能力,发现部分因素能预测模型失败且仅增大模型规模不足以解决这些问题。
2025-01-29 cs.CL
Rethinking Generative Large Language Model Evaluation for Semantic Comprehension
Microsoft Research Asia(微软亚洲研究院)
针对现有大语言模型MCQA评估方法的缺陷,本文提出RWQ-Elo评级系统,基于含20772条真实查询的RWQ基准、以GPT-4为裁判的双人竞技模式评估模型,验证了其稳定性与应用潜力。
2024-03-12 cs.CL
Can LLMs Estimate Cognitive Complexity of Reading Comprehension Items?
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea(韩国立科学技术院人工智能研究生院);Department of Computer Science and Engineering, POSTECH, Republic of Korea(韩国立科学技术院计算机科学与工程系)
本文研究了大型语言模型是否能通过证据范围和转换级别两个维度估算阅读理解题的认知复杂性,结果显示LLMs能够近似估算认知复杂性,但存在推理能力与元认知意识之间的差距。
2026-05-19 cs.CL
Integrating LLM, EEG, and Eye-Tracking Biomarker Analysis for Word-Level Neural State Classification in Semantic Inference Reading Comprehension
Brown University(布朗大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Yale University(耶鲁大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校);National Central University(国立中央大学)
本研究首次利用LLM知识,联合分析EEG和眼动数据,在词级水平上分类语义推理阅读中的神经状态,验证准确率超60%,为阅读辅助技术提供指导。
2023-10-17 cs.AI cs.CL
QLSC: A Query Latent Semantic Calibrator for Robust Extractive Question Answering
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
本文提出查询潜在语义校准器QLSC,通过缩放策略捕获查询潜在语义中心特征,并利用注意力机制融合查询与段落嵌入,从而提升抽取式问答模型对格式变化但语义相同输入的鲁棒性和答案定位准确性。
2024-04-30 cs.CL
Semantics-aware BERT for Language Understanding
Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院人工智能教育部重点实验室);College of Zhiyuan, Shanghai Jiao Tong University(上海交通大学致远学院)
语言表征的最新工作将语境化特征仔细地集成到语言模型训练中,这使得一系列成功,特别是在各种机器阅读理解和自然语言推理任务中。然而,现有的语言表示模型,包括ELMo,GPT和BERT只利用普通的上下文相关的功能,如字符或词嵌入。他们很少考虑将结构化的语义信息,可以提供丰富的语义语言表示。为了促进自然语言理解,我们建议将显式的上下文语义从预先训练的语义角色标注,并引入一个改进的语言表示模型,语义感知BERT(SemBERT),这是能够明确地吸收上下文语义的BERT骨干。SemBERT以轻微的微调方式保持了其BERT前身的方便可用性,而无需进行大量的特定于任务的修改。与BERT相比,语义感知的BERT概念简单,但功能更强大。它在十项阅读理解和语言推理任务中获得了新的最先进的技术或大大提高了结果。
2020-02-04 cs.CL
Underutilization of Syntactic Processing by Chinese Learners of English in Comprehending English Sentences, Evidenced from Adapted Garden-Path Ambiguity Experiment
本研究通过改编花园路径实验,发现中国英语学习者在理解英语句子时存在句法加工利用不足,并识别出部分与完全两种类型,为提升其句子理解水平的新型解析方法奠定基础。
2024-12-21 cs.CL
Co-Attention Hierarchical Network: Generating Coherent Long Distractors for Reading Comprehension
Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
在阅读理解中,产生文章水平的干扰词是一项重要的任务,这需要对文章和问题有深入的理解。传统的以实体为中心的方法只能产生词级或短语级的干扰词。虽然最近提出的基于神经的方法,如序列到序列(Seq2Seq)模型在生成创意文本方面显示出巨大的潜力,但以前用于干扰词生成的神经方法忽略了两个重要方面。首先,他们没有对文章和问题之间的交互进行建模,使得生成的干扰项往往过于笼统或与问题上下文无关。其次,他们没有强调干扰词和文章之间的关系,使得生成的干扰词在语义上与文章无关,因此无法形成一组有意义的选项。为了解决第一个问题,我们提出了一个共同注意增强的层次结构,以更好地捕捉文章和问题之间的相互作用,从而引导解码器产生更多的连贯干扰。为了缓解第二个问题,我们增加了一个额外的语义相似性损失,以推动生成的干扰更相关的文章。实验结果表明,我们的模型在自动度量上优于几个强基线,实现了最先进的性能。进一步的人类评估表明,我们生成的干扰更连贯,更有教育意义的基线相比,这些干扰。
2019-11-20 cs.CL
Reading Comprehension as Natural Language Inference: A Semantic Analysis
College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);IBM Research(IBM研究(中心))
最近,自然语言推理(NLI)得到了极大的关注,特别是考虑到它对下游NLP任务的承诺。然而,其真正的影响是有限的,并没有得到很好的研究。因此,在本文中,我们探讨的效用NLI的最突出的下游任务之一,即。问答(QA)。我们将最大的可用MRC数据集(RACE)转换为NLI形式,并比较了最先进的模型(RoberTa)在这两种形式上的性能。我们提出了新的问题的特征,并评估这些类别的QA和NLI模型的性能。我们突出了明确的类别,模型能够更好地执行时,数据是在一个连贯的蕴涵形式,和结构化的问答连接形式,分别。
2020-10-04 cs.AI cs.CL cs.LG
FrameBench:A Language Understanding Benchmark Based on Frame Semantics
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
针对大型语言模型能否复现人类理解时的隐含丰富问题,构建FrameBench基准并实验发现小型模型有挑战、部分大型模型超人类参考分数,还发布了数据集与代码。
2026-09-04 cs.CL
Robot Language Learning, Generation, and Comprehension
Purdue University(普渡大学)
我们提出了一个统一的框架,支持接地自然语言语义在机器人驾驶。该框架支持获取(从机器人驾驶路径的人类注释中学习名词和介词的基础含义)、生成(使用这样的获取的含义来生成新的机器人驾驶路径的初步描述)和理解(使用这样的获取的含义来支持自动驾驶以实现以自然语言指定的导航目标)。我们通过让独立的人类法官对与路径相关的句子的语义保真度进行评分来评估这三项任务的性能,总体平均正确率为94.6%,总体平均完整性为85.6%。
2015-08-25 cs.AI cs.CL cs.HC
Dynamic Chunking and Selection for Reading Comprehension of Ultra-Long Context in Large Language Models
East China Normal University(华东师范大学)
本文针对大语言模型处理超长上下文时的固定分块缺陷,提出基于相邻句语义相似度的自适应分块和问题感知敏感块选择方法,在单跳与多跳问答任务上稳定优于基线,并可处理长达256k token的序列。
2025-06-03 cs.CL
What Makes it Difficult to Understand a Scientific Literature?
University of Chinese Academy of Sciences(中国科学院大学);Wuhan University(武汉大学)
在人工智能领域,最终目标之一是使计算机理解人类语言并提供帮助。为了实现这一理想,计算机科学的研究者们提出了许多模型和算法,试图使机器能够在不同的语义层次上分析和处理人类的自然语言。虽然最近在这一领域的进展提供了很大的希望,我们仍然要问,目前的研究是否可以提供帮助,人们真正希望在阅读和理解。为此,我们对两篇不同风格的科技论文进行了阅读理解测试。我们使用语义链接模型来分析人们在阅读科技文献的过程中会遇到的理解障碍,并找出导致人们难以理解科技文献的原因。通过分析,总结出不同知识水平的人在理解科技文献难点时所反映出的一些特点和问题,这些特点和问题可以用语义链接网络进行建模。我们相信这些特点和问题将有助于我们重新审视现有的机型,并有助于设计新的机型。
2015-12-04 cs.CL
2M-BELEBELE: Highly Multilingual Speech and American Sign Language Comprehension Dataset
FAIR, Meta(Meta FAIR研究院)
本文通过扩展BELEBELE构建了首个高度多语种语音与美国手语理解数据集2M-BELEBELE,涵盖74种口语和ASL,评估发现语音理解准确率较阅读理解平均低约2-3%。
2024-12-23 cs.CL
Contextual modulation of language comprehension in a dynamic neural model of lexical meaning
Linguistics Department, Yale University(耶鲁大学语言学系)
本文在动态场论框架下构建词汇意义动态神经模型,以英语多义词 have 为例,通过模拟和实验验证语境对语义解释的调节作用,提出词汇多义性源于神经激活的瞬态稳定状态。
2025-09-16 cs.CL
A Code Comprehension Benchmark for Large Language Models for Code
IIT Bombay(印度理工学院博伊斯分校);IBM Research(IBM研究院)
本文针对大模型缺乏深层代码语义理解能力的问题,提出使用大规模数据集微调模型,并构建代码理解基准进行评估,实验证明微调显著提升了模型在 Subjectivity Grading Task 等任务上的准确率。
2025-07-14 cs.AI cs.CL cs.SE
Narrative Modeling with Memory Chains and Semantic Supervision
The University of Melbourne(墨尔本大学);School of Computing and Information Systems(计算与信息系统学院)
故事理解需要对叙事进行深刻的语义理解,这使得它成为一项具有挑战性的任务。受前人ROC故事完形填空研究的启发,本文提出了一种新的方法,即利用外部神经记忆链跟踪不同的语义方面,同时鼓励每个语义方面集中于一个特定的语义方面。通过对故事结局预测任务的评估,我们的模型表现出了优于一系列竞争基线的性能,开创了一个新的艺术境界。
2018-05-16 cs.CL
SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension
HKUST(香港科技大学);WeChat AI, Tencent(腾讯微信AI);IIE-CAS(国际 Institute 中国科学院);Zhejiang University(浙江大学)
本文提出SitEmb模型,通过将短片段与更广的上下文窗口结合,提升长文档检索性能,实验表明其在书本情节检索任务中优于现有模型,且在多语言和下游任务中表现优异。
2026-04-21 cs.CL
Multi-granularity hierarchical attention fusion networks for reading comprehension and question answering
Alibaba Group(阿里巴巴集团)
本文描述了一种新的层次注意网络的阅读理解风格的问答,其目的是回答一个给定的叙述段落的问题。在该方法中,注意力和融合进行水平和垂直跨层的问题和段落之间的不同粒度的水平。具体来说,它首先编码的问题和段落与细粒度的语言嵌入,以更好地捕捉各自的表示在语义层面。然后提出了一种多粒度融合方法,充分融合来自全局和关注表示的信息。最后,引入层次注意网络,通过多层次软对齐逐步关注答案广度。在大规模SQuAD和TriviaQA数据集上的实验验证了该方法的有效性。在撰写本文时(2018年1月12日),我们的模型在SQuAD排行榜上获得了单个和集成模型的第一名。我们还在TriviaQA、AddSent和AddOne-Sent数据集上实现了最先进的结果。
2018-11-29 cs.CL
AJF: Adaptive Jailbreak Framework Based on the Comprehension Ability of Black-Box Large Language Models
本文提出AJF框架,通过分析目标LLM的理解能力,针对不同类型的LLM采用不同的突破策略,实验显示在GPT-4o和GPT-4.1上攻击成功率分别达到98.9%和99.8%。
2026-03-15 cs.CL
GraphFlow: Exploiting Conversation Flow with Graph Neural Networks for Conversational Machine Comprehension
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
会话机器理解(MC)已被证明比传统MC更具挑战性,因为它需要更好地利用会话历史。然而,大多数现有的方法不能有效地捕获会话历史,因此在处理涉及共指或省略的问题时存在困难。此外,在对篇章进行推理时,大多数人只是将篇章作为一个词序列来处理,而没有探索词与词之间丰富的语义关系。在本文中,我们首先提出了一个简单而有效的图结构学习技术,动态构建一个问题和会话历史感知上下文图在每个会话回合。在此基础上,我们提出了一种新的递归图神经网络,并在此基础上,引入了一种流机制来建模上下文图序列中的时间依赖关系。所提出的GraphFlow模型可以有效地捕获对话中的会话流,并显示出竞争力的性能相比,现有的最先进的方法CoQA,QuAC和DoQA基准。此外,可视化实验表明,我们提出的模型可以提供良好的解释推理过程。
2020-07-15 cs.CL
Tracing Origins: Coreference-aware Machine Reading Comprehension
Shanghai International Studies University(上海外国语大学);Shanghai Jiao Tong University(上海交通大学)
机器阅读理解是用于评估新的预训练语言模型(PrLM)和微调策略的大量研究和测试领域,并且最近的研究已经用句法、语义和其他语言信息来丰富预训练语言模型以提高模型的性能。在本文中,我们模仿人类在连接回指表达时的阅读过程,并显式地利用实体的共指信息来增强来自预训练语言模型的词嵌入,以突出必须在QUOREF中识别的实体的共指提及,以进行共指密集型问答,一个相对较新的数据集,专门用于评估模型的相关性能。我们使用两种策略来微调预训练的语言模型,即在预训练的语言模型之后放置额外的编码器层以专注于共指提及或构建关系图卷积网络以对共指关系进行建模。我们证明了在微调阶段显式纳入共指信息比在预训练语言模型中纳入共指信息表现得更好。
2022-03-16 cs.CL
Machine Reading Comprehension for Answer Re-Ranking in Customer Support Chatbots
Sofia University(索非亚大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar Computing Research Institute(卡塔尔计算研究所)
深度神经网络、语言建模和语言生成的最新进展为会话代理领域引入了新的想法。因此,序列到序列、记忆网络和Transformer等深度神经模型已成为最先进对话系统的关键组成部分。虽然这些模型即使在看不见的情况下也能够生成有意义的响应,但它们需要大量的训练数据来构建可靠的模型。因此,大多数现实世界的系统坚持基于信息检索的传统方法,甚至是手工制作的规则,因为它们的鲁棒性和有效性,特别是对于狭窄的对话。在这里,我们提出了一种方法,该方法采用了来自机器阅读理解领域的深度神经架构,以使用问题作为上下文,对来自不同模型的建议答案进行重新排序。我们训练我们的模型使用负采样的基础上的问题,答案对从Twitter的客户支持数据集。实验结果表明,我们的重新排名框架可以提高性能方面的单词重叠和语义的单独模型以及模型组合。
2019-02-26 cs.CL
LLMs Struggle with Abstract Meaning Comprehension More Than Expected
Department of Computer Science and Engineering, The Ohio State University(俄亥俄州立大学计算机科学与工程系)
研究发现大语言模型在零样本、一样本和少样本设置下难以理解抽象意义,而微调模型如BERT和RoBERTa表现更好,提出的双向注意力分类器通过动态关注段落和选项提升模型性能。
2026-04-13 cs.AI cs.CL
Sharing, Teaching and Aligning: Knowledgeable Transfer Learning for Cross-Lingual Machine Reading Comprehension
South China University of Technology(华南理工大学);Alibaba Group(阿里巴巴集团)
提出X-STA方法,通过注意力教师迁移答案跨度、梯度解缠知识共享和多粒度语义对齐,提升跨语言机器阅读理解性能,在三个数据集上超越现有最优方法。
2023-11-12 cs.CL
Reasoning with Memory Augmented Neural Networks for Language Comprehension
University of Massachusetts Medical School(马萨诸塞大学医学院);Bedford VAMC(贝德福德退伍军人医疗中心)
假设检验是支持人类推理的重要认知过程。本文介绍了一种基于记忆增强神经网络的计算假设检验方法。我们的方法涉及一个假设测试循环,重新考虑并逐步完善以前形成的假设,以生成新的假设进行测试。我们使用神经语义编码器(NSE)将所提出的方法应用于语言理解任务。我们的NSE模型实现了最先进的结果,与标准机器理解基准(如儿童图书测试(CBT)和Who-Did-What(WDW)新闻文章数据集)上的单个和集成系统之前获得的结果相比,准确率绝对提高了1.2%至2.6%。
2017-02-28 cs.AI cs.CL cs.NE
GraCoRe: Benchmarking Graph Comprehension and Complex Reasoning in Large Language Models
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
提出GraCoRe基准,通过三层分类法、19项任务和5,140个图系统评估LLMs的图理解与推理,发现o1模型表现突出,语义增强和节点排序影响性能。
2025-02-26 cs.AI cs.CL
Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought
本研究探讨了大型语言模型在提示之外的理解、上下文学习和推理链机制,揭示了模型通过自回归过程推断转移概率、减少提示歧义以及分解复杂问题的能力,为高级提示工程提供了理论支持。
2026-03-12 cs.CL cs.LG
Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking
Tsinghua University(清华大学);Beijing MoreHealth Technology Group Co. Ltd(北京妙健康科技集团有限公司)
摘要大规模、高质量的阅读理解训练数据的出现,使得提取式阅读理解(ERC)取得了巨大的进步。尽管取得了如此迅速的进展和广泛的应用,但除了英语等高资源语言之外,其他语言的数据集仍然很少。为了解决这个问题,我们提出了一个跨语言换位再思考(XLTT)模型建模现有的高质量的提取阅读理解数据集在多语言环境中。具体而言,我们提出了多语言自适应注意(MAA),结合内部注意和相互注意,从每对语言家族中学习更一般的可概括的语义和词汇知识。此外,为了充分利用现有数据集,我们采用了一种新的训练框架,通过计算每个现有数据集和目标数据集之间的任务级相似度来训练我们的模型。实验结果表明,我们的XLTT模型在两个多语言ERC基准测试中超过了六个基线,特别是对低资源语言更有效,F1和EM的平均改善分别为3.9和4.1。
2021-09-28 cs.AI cs.CL
A Multilingual Modeling Method for Span-Extraction Reading Comprehension
Tsinghua University(清华大学);Beijing MoreHealth Technology Group Co. Ltd(北京妙健康科技集团有限公司)
跨度提取阅读理解模型已经取得了巨大的进步,这得益于大规模,高质量的训练数据集的可用性。尽管取得了如此迅速的进展和广泛的应用,但英语以外的其他语言的提取阅读理解数据集仍然很少,并且为每种语言创建如此大量的训练数据是昂贵的,甚至是不可能的。创建大规模高质量单语跨度提取训练数据集的替代方案是开发多语言建模方法和系统,其可以转换到目标语言而不需要该语言的训练数据。本文针对目标语言中提取阅读理解训练数据的稀缺性,提出了一种多语言提取阅读理解方法XLRC,该方法利用自适应注意和多语言注意同时对多语言环境中已有的提取阅读理解训练数据进行建模。具体而言,我们首先通过翻译现有的提取阅读理解数据集(即,CMRC 2018)从目标语言(即,中文)分为不同的语系(即,英文)。其次,为了提高最终的目标表示,我们采用自适应注意(SAA),结合自我注意和相互注意,提取每对目标和源语言的语义关系。此外,我们提出了多语言注意(MLA),学习丰富的知识,从各种语言的家庭。实验结果表明,我们的模型优于最先进的基线(即,RoBERTa_Large)在CMRC 2018任务上的应用,证明了我们提出的多语言建模方法的有效性,并显示了多语言NLP任务的潜力。
2021-05-31 cs.AI cs.CL
Ensemble Kalman filter for uncertainty in human language comprehension
Institute of Mathematics, University of Potsdam(波茨坦大学数学研究所);Institute of Psychology, University of Potsdam(波茨坦大学心理学研究所)
针对传统人工神经网络在句子理解中缺乏不确定性建模的问题,本文提出基于集合卡尔曼滤波扩展的贝叶斯框架,将语言理解构建为贝叶斯逆问题,以增强句子格式塔模型对人类认知加工中不确定性表示的能力。
2025-05-05 cs.CL stat.AP stat.ML
HeQ: a Large and Diverse Hebrew Reading Comprehension Benchmark
Bar-Ilan University(巴伊兰大学);Webiks;Allen Institute for AI(人工智能研究院)
针对希伯来语NLP基准忽视语义理解的问题,构建了大规模抽取式问答基准HeQ,提出适配形态丰富语言的标注指南与评估指标,并发现标准指标不适用及形态句法任务与MRC性能低相关。
2025-08-03 cs.AI cs.CL
Video Referring Expression Comprehension via Transformer with Content-conditioned Query
Peking University(北京大学);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Hong Kong University of Science and Technology(香港科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对视频指代表达式理解中可学习查询难以表征开放语义的问题,提出ConFormer模型,通过基于视频和语言内容的动态查询及跨模态对齐设计,显著提升了目标定位性能。
2023-10-25 cs.CL cs.CV
Contextually Entangled Gradient Mapping for Optimized LLM Comprehension
本文提出上下文纠缠梯度映射(CEGM),通过将梯度视为上下文依赖载体并集成到损失正则化中,提升长程推理、语义连贯性和鲁棒性,实验表明其在词元预测和抗噪性上优于基线。
2025-08-08 cs.AI cs.CL cs.LG
Cross-Lingual Machine Reading Comprehension
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(科大讯飞研究院);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
虽然在机器阅读理解(MRC)方面取得了很大的进展,但由于缺乏大规模的训练数据,以往的研究大多是针对英语的MRC问题,而针对其他语言的研究较少。在本文中,我们提出了跨语言的机器阅读理解(CLMRC)任务的语言以外的英语。首先,我们提出了几种CLMRC任务的回译方法,这是直接采用。然而,将答案准确地与另一种语言对齐是困难的,并且可能引入额外的噪声。在此背景下,我们提出了一种新的模型Dual BERT,该模型利用丰富资源语言(如英语)提供的大规模训练数据,在双语环境下学习文章和问句之间的语义关系,并利用学习到的知识来提高低资源语言的阅读理解能力。我们在两个中文机器阅读理解数据集CMRC 2018和DRCD上进行了实验。结果表明,在各种国家的最先进的系统的大幅度一致和显着的改善,这表明在CLMRC任务的潜力。可用资源:https://github.com/ymcui/Cross-Lingual-MRC
2019-09-01 cs.CL cs.LG cs.NE
On the Lexical Superstition of Large Language Models for Code Comprehension: Re-evaluation on Code of Low Lexical Quality
Nanjing University(南京大学)
本研究通过Face/Off重命名框架揭示LLMs在代码理解中过度依赖词汇线索,即使误导性命名也影响输出,且难以通过干预消除,呼吁平衡词汇与结构语义。
2026-09-23 cs.CL cs.LG cs.SE
VICCA: Visual Interpretation and Comprehension of Chest X-ray Anomalies in Generated Report Without Human Feedback
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔研究所);GIPSA-lab(GIPSA实验室)
提出VICCA多模态框架,结合Phrase Grounding Model与Text-to-Image Diffusion Module,通过双评分系统量化定位准确性与语义一致性,在病理定位和文本到图像对齐任务上取得SOTA,为无专家监督下验证医疗报告质量提供稳健机制。
2025-06-25 cs.CL cs.CV
MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);Eigen Technologies
机器理解式问答是自然语言处理中的一个典型问题。以往的方法很少花时间在编码层的改进上,尤其是句法信息和词的名称实体的嵌入,而这对编码的质量至关重要。此外,现有的注意力方法将每个查询词表示为一个向量,或者用单个向量来表示整个查询语句,都不能正确处理查询语句中关键词的权重。在本文中,我们介绍了一种新的神经网络架构称为多层嵌入与记忆网络(MEMEMEN)的机器阅读任务。在编码层,我们采用经典的skip-gram模型对词汇的句法和语义信息进行训练,形成一种新的嵌入层。我们还提出了一个记忆网络的全方位匹配的查询和通道,以捕捉更多的关键信息。实验结果表明,该模型在Stanford问答数据集(SQuAD)上的测试结果在精度和效率方面都具有竞争力,在TriviaQA数据集上的测试结果也达到了最先进水平。
2017-07-28 cs.AI cs.CL
The Dog the Cat Chased Stumped the Model: Measuring When Language Models Abandon Structure for Shortcuts
Emory University(埃默里大学);Brock University(布罗克大学)
本文提出CenterBench数据集,用于衡量语言模型在处理中心嵌套句子时何时从结构分析转向语义捷径,揭示模型在复杂性增加时性能差距扩大及人类与模型的差异。
2026-01-20 cs.AI cs.CL