Quantum-theoretic Modeling in Computer Science A complex Hilbert space model for entangled concepts in corpuses of documents
Center Leo Apostel for Interdisciplinary Studies, Brussels Free University(布鲁塞尔自由大学利奥·阿波斯泰尔跨学科研究中心);University of Leicester(莱斯特大学)
我们制定了一个量子理论模型,在复杂的希尔伯特空间最近进行的测试共现的两个概念和它们的组合在检索过程中的特定语料库的文件。这个测试违反了贝尔不等式的Clauser-Horne-Shimony-Holt版本(CHSH不等式),因此表明组合概念之间存在纠缠。我们利用最近制定的“纠缠方案”,并表示收集到的数据在希尔伯特空间的张量积的个别概念,表明所确定的违反是由于发生了强形式的纠缠,涉及状态和测量,并反映了组件概念之间的意义连接。这些结果为文档语料库中量子结构的存在提供了重要的确认,就像人类认知中发现的纠缠一样。
2019-01-05 cs.CL quant-ph
Modeling "Newsworthiness" for Lead-Generation Across Corpora
Information Sciences Institute / University of Southern California(信息科学研究所 / 南加州大学)
记者通过阅读大量政府记录(法庭案件、拟议法案等)来获取“线索”或故事创意。然而,此类记录中只有一小部分是有趣的文件。我们提出了一个模型的“新闻价值”,旨在浮出水面有趣的文件。我们在自动标记的语料库(已发表的报纸文章)上训练模型,以预测每篇文章是否是头版文章(即,\textbf{newsworthy})或不(即,\textbf{less newsworthy})。我们将这些模型转移到未标记的语料库(法庭案例、法案、市议会会议记录)中,根据“新闻价值”对这些语料库中的文档进行排名。经过微调的RoBERTa模型在holdout标记文档上实现了.93 AUC性能,在专家验证的未标记语料库上实现了.88 AUC性能。我们为我们的模型提供解释和可视化。
2021-04-19 cs.CL cs.IR
Longtonotes: OntoNotes with Longer Coreference Chains
ETH Zürich(苏黎世联邦理工学院);Google(谷歌);UMass Amherst(马萨诸塞大学阿默斯特分校);Duke University(杜克大学)
Ontonotes已经成为共指消解的最重要的基准。然而,为了便于注释,Ontonotes中的几个长文档被分成了更小的部分。在这项工作中,我们建立了一个语料库的参考注释的文件显着更长的长度比目前可用的。我们通过提供一个准确的,手动策划的,合并注释的文档,这些文档在原始Ontonotes注释过程中被分成多个部分。由此产生的语料库,我们称之为LongtoNotes,包含不同长度的多种英语类型的文档,其中最长的是Ontonotes文档长度的8倍,Litbank文档长度的2倍。我们在这个新语料库上评估了最先进的神经共指系统,分析了模型架构/超参数和文档长度对模型性能和效率的影响,并展示了我们的新语料库揭示的长文档共指建模的改进领域。我们的数据和代码可在https://github.com/kumar-shridhar/LongtoNotes上获得。
2022-10-07 cs.CL cs.LG
Noise Pollution in Hospital Readmission Prediction: Long Document Classification with Reinforcement Learning
Emory University(埃默里大学)
本文提出了一种强化学习方法来提取长临床文档中的噪声,用于肾移植后再入院预测的任务。我们面临着在小数据集上开发鲁棒模型的挑战,其中每个文档可能由超过10K的令牌组成,充满了噪音,包括表格文本和与任务无关的句子。我们首先实验了四种类型的编码器来凭经验决定最佳的文档表示,然后应用强化学习从长文档中去除噪声文本,将噪声提取过程建模为顺序决策问题。我们的研究结果表明,旧的词袋编码器在这项任务上优于基于深度学习的编码器,而强化学习能够在基线上进行改进,同时修剪掉25%的文本片段。我们的分析表明,强化学习能够识别典型的噪声令牌和特定于任务的噪声文本。
2020-05-23 cs.CL cs.LG
Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Transformer对于文本建模非常重要。然而,由于输入文本长度的二次复杂性,它在处理长文档时有困难。为了处理这个问题,我们提出了一个层次化的交互式Transformer(Hi-Transformer),以实现高效和有效的长文档建模。Hi-Transformer以分层的方式对文档进行建模,即,首先学习句子表示,然后学习文档表示。它可以有效地降低复杂度,同时捕获全局文档上下文的建模中的每一个句子。更具体地说,我们首先使用句子Transformer来学习每个句子的表示。然后,我们使用一个文档Transformer来从这些句子表示中建模全局文档上下文。接下来,我们使用另一个句子Transformer来使用全局文档上下文增强句子建模。最后,我们使用层次池方法来获得文档嵌入。在三个基准数据集上的大量实验验证了Hi-Transformer在长文档建模中的效率和有效性。
2021-12-09 cs.CL
CDLM: Cross-Document Language Modeling
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
我们引入了一种新的面向多文档语言建模的预训练方法,将两个关键思想融入到掩蔽语言建模自监督目标中。首先,我们不是孤立地考虑文档,而是在多个相关文档的集合上进行预训练,鼓励模型学习跨文档关系。其次,我们通过引入动态全局注意力来改进最近的长距离Transformers,该动态全局注意力可以访问整个输入来预测掩码令牌。我们发布了CDLM(跨文档语言模型),一个新的通用语言模型多文档设置,可以很容易地应用到下游任务。我们广泛的分析表明,这两个想法是至关重要的CDLM的成功,并协同工作,以设置新的国家的最先进的结果,为几个多文本任务。代码和模型可在https://github.com/aviclu/CDLM上获得。
2021-09-02 cs.CL
ERNIE-Doc: A Retrospective Long-Document Modeling Transformer
Baidu Inc.(百度公司)
Transformers不适合处理长文档,因为它们的内存和时间消耗呈二次方增长。简单地截断长文档或应用稀疏注意力机制将导致上下文碎片问题或导致与可比模型大小相比较差的建模能力。在本文中,我们提出了ERNIE-Doc,一个基于递归Transformers的文档级语言预训练模型。两个设计良好的技术,即追溯饲料机制和增强的循环机制,使ERNIE-Doc,它有一个更长的有效上下文长度,以捕捉一个完整的文档的上下文信息。我们对ERNIE-Doc进行预训练,以显式地学习片段之间的关系,并增加一个文档感知的片段重新排序目标。本研究在英语和汉语两种文档水平的任务上进行了多项实验。ERNIE-Doc在WikiText-103上将最先进的语言建模结果的困惑度提高到16.8。此外,它在大多数语言理解任务(如文本分类和问答)上的表现远远优于竞争性预训练模型。
2021-05-24 cs.CL
Neural Topic Modeling by Incorporating Document Relationship Graph
Southeast University(东南大学)
图神经网络(Graph Neural Networks,GNN)通过消息传递来捕捉图节点之间的关系,是自然语言处理领域的一个研究热点。在本文中,我们提出了图主题模型(GTM),一个基于GNN的神经主题模型,将语料库表示为文档关系图。语料库中的文档和单词成为图中的节点,并基于文档-单词共现来连接。通过引入图结构,文档之间的关系通过它们的共享词建立,从而通过使用图卷积聚合来自其相邻节点的信息来丰富文档的主题表示。在三个数据集上进行了大量的实验,实验结果证明了该方法的有效性。
2020-09-29 cs.CL
Modeling Document-level Temporal Structures for Building Temporal Dependency Graphs
Salesforce Research(赛富时研究院);Texas A&M University(得克萨斯农工大学)
我们建议利用新闻语篇分析来建模文档级的时间结构,以构建时间依赖图。我们的主要观察是,用于分析新闻话语的句子的功能角色表示与新闻故事相关的不同时间框架,因此,可以帮助恢复文档的全局时间结构。我们的分析和广泛使用的知识蒸馏技术的实验表明,语篇分析有效地识别遥远的句子间事件和(或)时间表达对的时间相关,否则难以定位。
2022-10-21 cs.CL
A neural document language modeling framework for spoken document retrieval
National Taiwan University of Science and Technology(台湾科技大学)
近年来,深度学习的发展为语音识别、计算机视觉、问答、信息检索等众多经典和实用学科带来了重大创新。在自然语言处理(NLP)的背景下,语言表示在许多下游任务中取得了巨大成功,因此该研究学派成为近年来的一个主要研究方向。随着多媒体数据和语音的大量传播,语音文档检索在过去的几十年里成为一个重要的研究课题。针对软件无线电性能的提高,提出了一种神经检索框架,该框架综合了软件无线电中语言建模机制的优点,并充分利用了语言表示模型学习到的抽象信息。因此,据我们所知,这是对基于LM的神经SDR框架的监督训练的先驱性研究,特别是与预训练的语言表示方法相结合。
2019-10-31 cs.CL
Dependency Sensitive Convolutional Neural Networks for Modeling Sentences and Documents
University of Michigan(密歇根大学)
句子和文档建模的目标是为各种自然语言处理任务准确地表示句子和文档的含义。在这项工作中,我们提出了依赖敏感的卷积神经网络(DSCNN)作为一个通用的分类系统的句子和文件。DSCNN通过长短期记忆网络处理预训练的词嵌入,然后用卷积算子提取特征,分层构建文本表示。与现有的树结构递归神经网络模型相比,DSCNN不依赖于解析器和昂贵的短语标记,因此不限于任务级任务。此外,与其他基于CNN的模型通过滑动窗口在本地分析句子不同,我们的系统捕获了每个句子内的依赖信息和同一文档中句子之间的关系。实验结果表明,我们的方法是实现国家的最先进的性能在几个任务,包括情感分析,问题类型分类,和主观分类。
2016-11-08 cs.CL
Human in the loop: How to effectively create coherent topics by manually labeling only a few documents per class
TU Clausthal(克劳斯塔尔工业大学);University of Göttingen(哥廷根大学)
用于在稀疏标签设置下精确建模的Few-Shot方法已经显著改进。然而,Few-Shot建模在自然语言处理中的应用仅限于文档分类领域。随着最近的性能改进,有监督的Few-Shot方法与简单的主题提取方法相结合,对无监督的主题建模方法提出了重大挑战。我们的研究表明,有监督的少样本学习,结合一个简单的主题提取方法,可以优于无监督的主题建模技术,在生成连贯的主题,即使每个类只有几个标记的文档使用。
2022-12-19 cs.CL
Modeling Endorsement for Multi-Document Abstractive Summarization
University of Central Florida(中佛罗里达大学);Robert Bosch LLC(罗伯特·博世有限责任公司)
单文档摘要和多文档摘要之间的一个关键区别是显著内容在文档中的表现方式。虽然这些内容可能出现在一份文件的开头,但基本信息经常在与特定主题有关的一组文件中重复,从而产生了增加信息显著性的认可效应。在本文中,我们模型的跨文档背书效应及其利用多文档摘要。我们的方法从每个文档中生成一个概要,它可以作为一个背书者来识别其他文档中的突出内容。强烈认可的文本片段用于丰富神经编码器-解码器模型,以将其合并为抽象摘要。该方法具有很大的潜力,从更少的例子中学习,以确定显着的内容,这表明需要昂贵的重新培训时,一组文件是动态调整。通过对基准多文档摘要数据集的广泛实验,我们证明了我们提出的方法在强发布基线上的有效性。最后,我们阐明了未来的研究方向,并讨论了更广泛的挑战,这项任务使用的案例研究。
2021-10-15 cs.CL
Combining Temporal Information and Topic Modeling for Cross-Document Event Ordering
University of Alicante(阿利坎特大学)
从书面新闻文章的集合中构建统一的时间线需要跨文档事件共指消解和时间关系抽取。在本文中,我们提出了一种方法事件共指消解根据:a)相似的时间信息,和b)相似的语义参数。使用自动时间信息系统(TIPSem)检测时间信息,而语义信息通过LDA主题建模表示。对我们方法的评估表明,它在SemEval2015任务4:时间轴:跨文档事件排序中获得了最高的微平均F分数结果(TrackB为25.36%,SubtrackB为23.15%),与其他系统相比提高了6%。然而,我们的实验也显示了一些缺点的主题建模方法,降低了系统的性能。
2015-06-10 cs.CL
Enhancing Context Modeling with a Query-Guided Capsule Network for Document-level Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent Inc(腾讯公司)
上下文建模对于为文档级神经机器翻译生成连贯一致的翻译至关重要。目前广泛使用的文档级翻译方法通常通过层次注意网络将上下文信息压缩成一种表示形式。然而,这种方法既没有考虑上下文词之间的关系,也没有区分上下文词的角色。为了解决这个问题,我们提出了一个查询引导的胶囊网络聚类上下文信息到不同的角度,从目标翻译可能关注。实验结果表明,我们的方法可以显着优于强基线的多个数据集的不同领域。
2019-11-21 cs.CL
Modeling Context With Linear Attention for Scalable Document-Level Translation
MIT(麻省理工学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);AWS AI(亚马逊云科技人工智能);University of Washington(华盛顿大学)
文档级机器翻译利用句子间的依赖关系来产生更连贯和一致的翻译。然而,这些模型,主要是基于Transformers,很难扩展到长的文件,因为他们的注意层在序列长度的二次复杂性。最近的努力,有效的注意力提高可扩展性,但其对文件翻译的影响仍然是未知的。在这项工作中,我们研究了Peng et al.(2021)最近提出的线性注意力模型对文档翻译的有效性,并通过一个新的门来增强它,以促进近因诱导偏差。我们在IWITOS 2015和OpenSubtitles 2018上对Transformer模型进行了评估,结果表明,在具有类似或更好BLEU分数的长序列上,解码速度大幅提高。我们表明,间接门进一步提高了IWESTs的翻译质量。
2022-10-16 cs.CL
Modeling Discourse Structure for Document-level Neural Machine Translation
Xiamen University(厦门大学);Xiaomi AI Lab, Xiaomi Inc.(小米公司小米人工智能实验室)
近年来,文档级神经机器翻译(NMT)已成为机器翻译界研究的热点。尽管它取得了成功,但大多数现有的研究忽略了待翻译输入文档的语篇结构信息,这在其他任务中已经证明是有效的。在本文中,我们提出了改进文档级NMT的话语结构信息的援助。我们的编码器是基于一个分层的注意力网络(HAN)。具体来说,我们首先解析输入文档,以获得其话语结构。然后,我们引入了一个基于transformer的路径编码器来嵌入每个词的话语结构信息。最后,我们结合的话语结构信息与词嵌入之前,它被送入编码器。在英语到德语数据集上的实验结果表明,我们的模型可以显着优于Transformer和Transformer+HAN。
2020-06-08 cs.CL
Not Just Plain Text! Fuel Document-Level Relation Extraction with Explicit Syntax Refinement and Subsentence Modeling
Tsinghua University(清华大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
文档级关系抽取(DocRE)旨在识别单个文档中实体之间的语义标签。DocRE的一个主要挑战是从长文本中挖掘关于特定实体对的决定性细节。然而,在许多情况下,即使在手动标记的支持证据中,也只有一小部分文本携带所需的信息。为了更好地捕捉和利用有指导意义的信息,我们提出了一种新的显式syntAx细化和子句mOdeliNg为基础的框架(LARSON)。通过引入额外的句法信息,LARSON可以对任意粒度的子句进行建模,并有效地筛选出有指导意义的子句。此外,我们将精炼的语法到文本表示,进一步提高了性能的LARSON。在三个基准数据集(DocRED,CDR和GDA)上的实验结果表明,LARSON显著优于现有方法。
2023-02-13 cs.CL
Cross-document Event Coreference Search: Task, Dataset and Modeling
Bar Ilan University(巴伊兰大学);Intel Labs(英特尔实验室)
跨文档共指消解共指消解的任务传统上被表述为需要识别跨给定文档集的所有共指链接。我们提出了一个有吸引力的,往往更适用,互补的任务-跨文档共指搜索,在本文中的重点是事件共指。具体地说,给定一个感兴趣的事件的上下文中的提及,被认为是一个查询,任务是在一个大的文档集合中找到查询事件的所有共指提及。为了支持这项任务的研究,我们创建了一个相应的数据集,该数据集来自维基百科,同时利用可用的维基百科事件共指数据集(WEC-Eng)中的注释。观察到的共指检索设置在很大程度上类似于开放领域问答的设置,我们适应突出的深度通道检索(DPR)模型,我们的设置,作为一个有吸引力的基线。最后,我们提出了一种新的模型,它集成了一个强大的共指评分计划到DPR架构,从而提高性能。
2022-10-23 cs.CL
Towards a Semantic-based Approach for Modeling Regulatory Documents in Building Industry
Centre Scientifique et Technique du Bâtiment(法国建筑科学技术中心);I3S, Université Nice Sophia Antipolis and CNRS(尼斯索菲亚安提波利斯大学I3S实验室与法国国家科学研究中心);INRIA Sophia Antipolis(法国国家信息与自动化研究所索菲亚安提波利斯分部)
建筑行业的法规越来越复杂,涉及多个技术领域。它们涵盖产品、组件和项目实施。它们还在确保建筑物的质量和尽量减少其对环境的影响方面发挥着重要作用。在本文中,我们特别感兴趣的是来自CSTB发布的技术指南和用于验证技术评估的监管约束的建模。我们首先描述了我们的方法建模监管约束SBVR语言,并正式在SPARQL语言。其次,我们描述了我们如何模拟CSTB技术指南中描述的合规性检查过程。第三,我们展示了如何实施这些流程,以帮助工业起草技术文件,以获得技术评估;合规性报告将自动生成,以解释本技术文件的合规性或不合规性。
2013-02-20 cs.CL
NextLevelBERT: Masked Language Modeling with Higher-Level Representations for Long Documents
Hasso Plattner Institute(哈索·普拉特纳研究院);University of Potsdam(波茨坦大学)
NextLevelBERT 通过在文本嵌入层面进行掩码语言建模处理长文档,在语义相似度、长文档分类和多项选择问答任务上以更小规模超越更大嵌入模型。
2024-06-13 cs.CL
Streamlining Cross-Document Coreference Resolution: Evaluation and Modeling
Bar Ilan University(巴伊兰大学);Intel Labs(英特尔实验室);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
最近的跨文档(CD)共指消解的评估协议往往是不一致的或宽松的,导致不可比的结果跨作品和高估的性能。为了促进适当的未来研究这项任务,我们的主要贡献是提出了一个务实的评估方法,假设访问只有原始文本-而不是假设黄金提到,忽视单例预测,并解决了典型的有针对性的设置在CD共指消解。为了为遵循我们的评估方法的未来研究设定基线结果,我们为此任务构建了第一个端到端模型。我们的模型适应并扩展了最近的文档内共指消解神经模型,以解决CD共指设置,其性能明显优于最先进的结果。
2020-10-23 cs.CL
RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Level Event Extraction
Tencent Cloud(腾讯云)
在文档级事件抽取(DEE)任务中,事件论元通常分散在句子中(跨句子问题),多个事件可能位于一个文档中(多事件问题)。在本文中,我们认为,事件参数的关系信息是解决上述两个问题的重要意义,并提出了一个新的DEE框架,它可以建模的关系依赖,称为扩展文档级事件提取(ReDEE)。更具体地说,这个框架的特点是一个新的和定制的Transformer,命名为增强注意力的Transformer(RAAT)。RAAT是可扩展的,以捕获多尺度和多数量的参数关系。为了进一步利用关系信息,我们引入了一个单独的事件关系预测任务,并采用多任务学习方法来显式地提高事件提取性能。大量的实验表明,该方法的有效性,它可以实现最先进的性能在两个公共数据集。我们的代码可以在https://github上找到。com/YoutuResearch/RAAT.
2022-06-07 cs.CL
Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
The Pennsylvania State University(宾夕法尼亚州立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Nanyang Technological University(南洋理工大学);University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学)
针对互联文档兼具图层次与主题层次的问题,提出在双曲空间中融合主题树嵌入和图结构的 Transformer 模型,提升层次主题建模效果。
2025-02-17 cs.CL
Revisiting Joint Modeling of Cross-document Entity and Event Coreference Resolution
Bar-Ilan University(巴伊兰大学);Intel AI Lab(英特尔人工智能实验室);Technische Universitat Darmstadt(达姆施塔特工业大学)
识别跨多个文本的共指事件和实体对于许多NLP应用程序至关重要。尽管这项任务的重要性,研究重点主要是在文档内实体共指,而很少注意到其他变量。我们提出了一个跨文档共指消解共指消解的神经结构。受Lee et al(2012)的启发,我们联合建模实体和事件共指。我们表示一个事件(实体)提到使用其词汇跨度,周围的上下文,并通过谓词参数结构实体(事件)提到的关系。我们的模型在ECB+上的性能优于以前最先进的事件共指模型,同时在该语料库上提供了第一个实体共指结果。我们的分析证实,我们所有的代表性元素,包括提及跨度本身,它的上下文,以及与其他提及的关系有助于模型的成功。
2019-06-04 cs.CL
Anchor Prediction: A Topic Modeling Approach
Université de Lyon(里昂大学);MeetSYS
通过超链接连接的文档网络,如维基百科,无处不在。作者插入了超链接,以丰富文本,方便在网络上浏览。然而,作者倾向于只插入一小部分相关的超链接,主要是因为这是一项耗时的任务。在本文中,我们解决了一个注释,我们称之为锚预测。尽管它在概念上接近于链接预测或实体链接,但它是一个不同的任务,需要开发一个特定的方法来解决它。给定一个源文档和一个目标文档,这个任务包括自动识别源文档中的锚点,即应该携带指向目标文档的超链接的单词或术语。我们提出了一个上下文中的关系主题模型,CRTM,该模型作为在源文档中的锚和目标文档的整个内容的本地上下文的函数文件之间的直接链接。该模型可用于预测源文档中的锚点,给定目标文档,而不依赖于先前看到的提及或标题的字典,也不依赖于任何外部知识图谱。作者可以从CRTM中受益,让它自动建议超链接,给定一个新文档和一组要连接的目标文档。它还可以通过在他们正在阅读的文档之间动态插入超链接来使读者受益。在几个维基百科语料库(英语,意大利语和德语)上进行的实验突出了锚点预测的实用性,并证明了我们的方法的相关性。
2022-06-01 cs.CL
Enhancing Visually-Rich Document Understanding via Layout Structure Modeling
Wuhan University(武汉大学);Shanghai Jiao Tong University(上海交通大学)
针对视觉丰富文档理解中布局关系被忽视的问题,本文提出 GraphLayoutLM,通过布局结构图、图重排序算法和布局感知多头自注意力注入布局知识,并在 FUNSD、XFUND 和 CORD 上取得最先进性能。
2023-08-15 cs.CL
Unveiling Themes in Judicial Proceedings: A Cross-Country Study Using Topic Modeling on Legal Documents from India and the UK
Manipal Academy of Higher Education(马尼帕尔高等教育学院)
本研究使用 LDA、NMF 和 Bertopic 主题建模算法对印度和英国的冗长法律文档进行标注,以区分两国案件类型差异,并分析印度案件主导主题随时间的演变。
2024-06-30 cs.CL
A document processing pipeline for the construction of a dataset for topic modeling based on the judgments of the Italian Supreme Court
本文提出集成YOLOv8x、OCR、匿名化与BERTopic的意大利最高法院判决处理流水线,构建公开主题建模数据集,并由LLM生成标签和摘要,实验表现优异。
2025-05-13 cs.CL
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
Natural Questions是一个新的具有挑战性的机器阅读理解基准,具有两个粒度的答案,即长答案(通常是一个段落)和短答案(长答案中的一个或多个实体)。尽管现有的方法在这个基准上是有效的,但它们在训练过程中单独对待这两个子任务,而忽略了它们的依赖关系。为了解决这个问题,我们提出了一种新的多粒度机器阅读理解框架,重点是在其层次结构的性质,这是不同级别的粒度建模文档:文档,段落,句子和令牌。我们利用图形注意力网络来获得不同级别的表示,以便它们可以同时学习。长答案和短答案可以分别从段落级表示和标记级表示中提取。通过这种方式,我们可以对两个粒度答案之间的依赖关系进行建模,从而为彼此提供证据。我们联合训练这两个子任务,我们的实验表明,我们的方法显着优于以前的系统在长和短的答案标准。
2020-05-13 cs.CL
Extracting Summary Knowledge Graphs from Long Documents
University of Washington(华盛顿大学)
知识图谱从长文档中捕获实体和关系,并且可以促进许多下游应用中的推理。提取仅包含显著实体和关系的紧凑知识图谱对于理解和总结长文档来说是重要的,但具有挑战性。我们介绍了一个新的文本到图形的任务,预测总结知识图谱从长文档。我们使用自动和人工注释开发了一个包含20万文档/图形对的数据集。我们还基于图形学习和文本摘要为这项任务开发了强大的基线,并对其效果进行了定量和定性研究。
2021-06-14 cs.CL
Lexicon-Enriched Graph Modeling for Arabic Document Readability Prediction
Ulm University(乌尔姆大学);German University in Cairo(开罗德国大学)
面向BAREC 2025受限赛道,本文提出SAMER词典与阿拉伯语transformer增强的句子图模型,通过GNN与编码器双分支后期融合及最大池化预测文档可读性。
2025-09-26 cs.CL
Document Structure in Long Document Transformers
DFKI(德国人工智能研究中心);Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森州人工智能中心)
该研究针对长文档Transformer的结构感知问题,设计探测任务验证其预训练获隐式结构理解,提出通用结构注入方法并在QASPER等任务上提升性能,同时公开数据代码。
2024-01-31 cs.CL
Neural Topic Modeling with Cycle-Consistent Adversarial Training
Southeast University(东南大学)
深度生成模型的进展吸引了神经主题建模的重大研究兴趣。最近提出的对抗神经主题模型的主题与对抗训练的生成器网络,并采用狄利克雷之前捕捉潜在的主题的语义模式。它是有效的,在发现连贯的主题,但无法推断给定的文档或利用可用的文档标签的主题分布。为了克服这些限制,我们提出了主题建模与周期一致的对抗训练(ToMCAT)及其监督版本sToMCAT。ToMCAT采用一个生成器网络来解释主题和一个编码器网络来推断文档主题。对抗性训练和周期一致性约束用于鼓励生成器和编码器产生彼此协调的真实样本。sToMCAT通过将文档标签合并到主题建模过程中来扩展ToMCAT,以帮助发现更连贯的主题。在无监督/有监督主题建模和文本分类上对所提出的模型的有效性进行了评估。实验结果表明,我们的模型可以产生连贯和信息丰富的主题,优于一些竞争基线。
2020-09-29 cs.CL
The study of short texts in digital politics: Document aggregation for topic modeling
Pennsylvania State University(宾夕法尼亚州立大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文研究短文本聚合对主题建模的影响,通过分析美国州议员的一百万条推文发现,按账户聚合文档可使主题与州的关联性更强,并在维基百科数据上复现了该结果。
2025-03-07 cs.CL cs.LG
PHD: Pixel-Based Language Modeling of Historical Documents
University of Copenhagen(哥本哈根大学)
针对传统历史文档OCR分析方法忽略图像优势且噪声多的问题,研究提出合成历史扫描件的方法,结合合成数据与真实历史报纸预训练像素级语言模型PHD,验证了其重建与语言理解能力,并成功应用于历史问答任务。
2023-11-04 cs.CL
Poolingformer: Long Document Modeling with Pooling Attention
Sichuan University(四川大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure AI(微软Azure人工智能);University of Science and Technology of China(中国科学技术大学)
在本文中,我们介绍了一个两级的注意力模式,Poolingformer,长文档建模。它的第一级使用较小的滑动窗口模式来聚合来自邻居的信息。第二层采用更大的窗口来增加感受野,集中注意力以减少计算成本和内存消耗。我们首先评估Poolingformer两个长序列QA任务:单语NQ和多语言TyDi QA。实验结果表明,Poolingformer在F1测量的三个官方排行榜上名列前茅,在NQ长答案上超过了之前最先进的模型1.9分(79.8 vs. 77.9),在TyDi QA通道答案上超过了1.9分(79.5 vs. 77.6),在TyDi QA最小答案上超过了1.6分(67.6 vs. 66.0)。我们进一步评估Poolingformer在一个长序列摘要任务。arXiv基准测试的实验结果继续证明了其卓越的性能。
2022-10-24 cs.CL
Distraction-Based Neural Networks for Document Summarization
University of Science and Technology of China(中国科学技术大学);National Research Council Canada(加拿大国家研究委员会);iFLYTEK Research(科大讯飞研究院);York University(约克大学)
使用神经网络学习的分布式表示最近被证明可以有效地在诸如单词、短语甚至句子之类的细粒度上对自然语言进行建模。是否以及如何扩展这种方法以帮助对更大跨度的文本进行建模,例如,文件,是耐人寻味的,进一步的调查仍将是可取的。本文旨在增强神经网络模型,用于这样的目的。文档级建模的一个典型问题是自动摘要,其目的是对文档进行建模以生成摘要。在本文中,我们提出了神经模型,训练计算机不仅要注意特定区域和内容的输入文件的注意力模型,但也分散他们之间的不同内容的文件,以便更好地把握概括的整体意义。在不设计任何特征的情况下,我们在两个大型数据集上训练模型。这些模型达到了最先进的性能,并且它们显著地受益于分心建模,特别是当输入文档很长时。
2016-10-26 cs.CL
Extractive Summarization of Long Documents by Combining Global and Local Context
University of British Columbia(不列颠哥伦比亚大学)
在本文中,我们提出了一种新的神经单文档提取摘要模型的长文档,结合了整个文档的全局上下文和当前主题内的局部上下文。我们在两个科学论文数据集Pubmed和arXiv上评估了该模型,在ROUGE-1,ROUGE-2和METEOR评分上,它优于以前的工作,无论是提取模型还是抽象模型。我们还表明,与我们的目标一致,我们的方法的好处变得更强,因为我们将其应用于较长的文件。令人惊讶的是,一项消融研究表明,我们的模型的好处似乎完全来自于对本地上下文的建模,即使是最长的文档。
2019-09-17 cs.CL
Leveraging BERT Language Model for Arabic Long Document Classification
Elm Company(埃尔姆公司)
针对阿拉伯语长文档传统分类方法计算需求过高的问题,提出两种简单有效的分类模型,经两个数据集验证,效果优于微调后的Longformer和RoBERT模型。
2023-05-04 cs.CL
On Generating Extended Summaries of Long Documents
Georgetown University(乔治城大学)
以前的工作,在文件摘要主要集中在生成简短的摘要文件。虽然这种类型的摘要有助于获得给定文档的高级视图,但在某些情况下,需要了解有关其突出点的更详细信息,这些信息无法放入简短的摘要中。对于较长的文档,如研究论文、法律文档或书籍,通常是这种情况。在本文中,我们提出了一种新的方法来生成扩展摘要的长文件。我们的方法利用文档的层次结构,并通过多任务学习方法将其纳入提取摘要模型。然后,我们在三个长摘要数据集arXiv-Long,PubMed-Long和Longsumm上展示了我们的结果。我们的方法优于或匹配强基线的性能。此外,我们对生成的结果进行了全面的分析,为长格式摘要生成任务的未来研究提供了见解。我们的分析表明,我们的多任务处理方法可以调整提取概率分布,以支持跨不同部分的摘要值得的句子。我们的数据集和代码可在https://github.com/Georgetown-IR-Lab/ExtendedSumm上公开获取
2020-12-28 cs.CL
Revisiting Transformer-based Models for Long Document Classification
CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);University of Copenhagen(哥本哈根大学);Pioneer Centre for AI(人工智能先锋中心)
最近的文本分类文献偏向于短文本序列(例如,句子或段落)。在现实世界的应用程序中,多页多段落的文档是常见的,它们不能被基于transformer的模型有效地编码。我们比较了不同的基于变换器的长文档分类(TrLDC)方法,旨在减轻香草Transformers编码更长文本的计算开销,即稀疏注意和分层编码方法。我们研究了稀疏注意力的几个方面(例如,局部注意力窗口的大小,全局注意力的使用)和分层(例如,文档分割策略)转换器在覆盖不同域的四个文档分类数据集上进行。我们观察到一个明显的好处,能够处理较长的文本,并根据我们的研究结果,我们得到了实用的建议,应用基于transformer的模型长文档分类任务。
2022-10-25 cs.CL
SenFlow: Inter-Sentence Flow Modeling for AI-Generated Text Detection in Hybrid Documents
Northwestern Polytechnical University(西北工业大学);Zhejiang Lab(浙江实验室)
针对人机混合文档的句子级AI文本检测,提出SenFlow模型,通过图传播和CRF解码建模句间依赖,在MOSAIC基准上跨域F1提升4.15个百分点。
2026-06-18 cs.CL
MemSum-DQA: Adapting An Efficient Long Document Extractive Summarizer for Document Question Answering
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
MemSum-DQA利用MemSum抽取式摘要器,通过前缀问题与类型实现文档问答,精确匹配提升9%,擅长子关系理解。
2023-10-10 cs.CL
Query-Based Keyphrase Extraction from Long Documents
Brno University of Technology(布尔诺理工大学)
自然语言处理中基于转换器的架构强制输入大小限制,当需要处理长文档时,这可能会产生问题。本文克服了这个问题的关键词提取分块的长文档,同时保持一个全局上下文作为一个查询定义的主题,相关的关键词应该被提取。所开发的系统采用了一个预先训练的BERT模型,并适应它来估计一个给定的文本跨度形成一个关键短语的概率。我们在两个流行的数据集Inspec和SemEval以及一个大型的新数据集上使用各种上下文大小进行了实验。所提出的结果表明,一个较短的上下文与查询克服了一个较长的没有查询长文档。
2022-05-11 cs.CL
HERA: Improving Long Document Summarization using Large Language Models with Context Packaging and Reordering
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Ant Group(蚂蚁集团)
针对大语言模型在长文档摘要中因信息分散和叙述顺序混乱导致表现不佳的问题,提出HERA框架,通过语义分段、检索与重排序构建输入上下文,无需额外微调即显著优于基础模型。
2025-02-01 cs.CL
HEGEL: Hypergraph Transformer for Long Document Summarization
University of California, Davis(加州大学戴维斯分校)
由于扩展的结构化输入上下文,长文档的提取摘要具有挑战性。长距离的句子依赖性阻碍了跨句子关系建模,这是抽取式摘要的关键步骤。本文提出了HEGEL,一个超图神经网络长文档摘要捕捉高阶跨句关系。HEGEL使用超图Transformer层更新和学习有效的句子表示,并融合不同类型的句子依赖关系,包括潜在主题,关键字共指和章节结构。我们通过在两个基准数据集上进行广泛的实验来验证HEGEL,实验结果证明了HEGEL的有效性和效率。
2022-10-09 cs.CL
Longformer: The Long-Document Transformer
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
基于transformer的模型无法处理长序列,因为它们的自注意操作与序列长度成二次方关系。为了解决这个限制,我们引入了Longformer,它具有一个注意力机制,可以随序列长度线性扩展,从而可以轻松处理数千个令牌或更长时间的文档。Longformer的注意力机制是标准自我注意力的一种替代,它结合了局部窗口注意力和任务驱动的全局注意力。在长序列Transformers的先前工作之后,我们评估了Longformer的字符级语言建模,并在text 8和enwik 8上获得了最先进的结果。与大多数先前的工作相比,我们还对Longformer进行预训练,并在各种下游任务上对其进行微调。我们经过预训练的Longformer在长文档任务上的表现一直优于RoBERTa,并在WikiHop和TriviaQA上设置了最先进的结果。最后,我们介绍了Longformer-Encoder-Decoder(LED),这是一种用于支持长文档生成序列到序列任务的Longformer变体,并在arXiv摘要数据集上展示了其有效性。
2020-12-02 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University(乔治城大学);Adobe Research(奥多比研究院)
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型,用于对单个较长形式的文档(例如,研究论文)。我们的方法包括一个新的分层编码器,模型的话语结构的文档,和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明,我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
Content Reduction, Surprisal and Information Density Estimation for Long Documents
University of Helsinki(赫尔辛基大学);KU Leuven(鲁汶大学);Aalto University(阿尔托大学)
本文研究长文档的信息分布及内容缩减对信息密度的影响,提出四种信息密度估计标准,并设计基于注意力的词元选择方法,在自动医疗编码等任务中验证了其有效性。
2023-09-12 cs.CL
Trace Only What You Need: Structure-Aware On-Demand Hypergraph Memory for Long-Document Question Answering
University of New South Wales(新南威尔士大学);CSIRO(澳大利亚联邦科学与工业研究组织);University of Wollongong(伍伦贡大学)
提出DocTrace,一种多智能体RAG框架,通过查询触发的知识组织、文档结构感知和经验引导推理,解决长文档问答中知识组织成本高、结构利用不足和推理经验无法复用的问题,在三个数据集上取得最佳性能。
2026-08-07 cs.CL
An Adaptation of Topic Modeling to Sentences
National Taiwan University(国立台湾大学);University of Southern California(南加州大学)
主题建模的发展已经为描述文本数据的潜在语义提供了有效的方法。然而,将标准主题建模方法应用于句子级任务会带来许多挑战。在本文中,我们适应的潜在狄利克雷分配的方法,包括一个额外的层,将信息的句子边界的文件。我们表明,除了这个最小的信息的文档结构,提高了训练模型的困惑结果。
2016-07-20 cs.CL
AttenWalker: Unsupervised Long-Document Question Answering via Attention-based Graph Walking
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学)
针对长文档问答标注成本高、现有无监督问答难处理长距离信息的问题,提出无监督长文档问答任务与AttenWalker方法,通过三模块构建长距离依赖答案,在基准数据集及少样本场景下表现优异。
2023-05-03 cs.CL
Long Document Summarization in a Low Resource Setting using Pretrained Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Goldman Sachs(高盛)
摘要是将长文档压缩成连贯的短文档,同时保留显著信息的任务。现代抽象摘要方法基于深度神经网络,其通常需要大的训练数据集。由于收集摘要数据集是一项昂贵且耗时的任务,因此实际的工业环境通常资源较少。在本文中,我们研究了一个具有挑战性的低资源设置,总结长的法律摘要,平均源文件长度为4268字,只有120个可用(文件,摘要)对。为了解释数据稀缺性,我们使用了一个现代的预先训练的抽象摘要器BART(Lewis等人,2020年),它只达到17.9 ROUGE-L,因为它与长文档作斗争。因此,我们尝试通过使用基于GPT-2的新颖算法(Radford等人,2019)语言模型困惑分数,其在低资源范围内操作。在将压缩文档馈送到BART时,我们观察到6.0 ROUGE-L的改进。我们的方法还击败了几个竞争性的显着性检测基线。此外,所识别的突出句子往往同意由领域专家的独立的人类标记。
2021-03-01 cs.CL