Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical Encoder for Long-Form Document Matching
Google Research(谷歌研究院)
许多自然语言处理和信息检索问题可以形式化为语义匹配任务。这一领域的现有工作主要集中在短文本之间的匹配(例如,问答),或者在短文本和长文本之间(例如,ad-hoc检索)。长文本之间的语义匹配在新闻推荐、相关文章推荐、文档聚类等方面有着重要的应用,但目前研究相对较少,需要更多的研究工作。近年来,基于自注意力的模型如Transformers和BERT在文本匹配任务中取得了最先进的性能。然而,由于自我注意力相对于输入文本长度的二次计算复杂性,这些模型仍然限于短文本,如几个句子或一个段落。在本文中,我们解决这个问题,提出了连体多深度转换器为基础的层次(SMITH)编码器的长形式的文档匹配。我们的模型包含几个创新,以适应较长的文本输入的自我注意力模型。为了更好地捕捉文档中的句子级语义关系,除了BERT使用的掩码词语言建模任务外,我们还使用一种新的掩码句子块语言建模任务对模型进行预训练。我们在几个基准数据集上进行长格式文档匹配的实验结果表明,我们提出的SMITH模型优于以前的最先进的模型,包括层次注意力,基于多深度注意力的层次递归神经网络,和BERT。与基于BERT的基线相比,我们的模型能够将最大输入文本长度从512增加到2048。我们将开源一个基于维基百科的基准数据集、代码和一个预训练的检查点,以加速未来对长格式文档匹配的研究。
2020-10-13 cs.CL cs.IR
Ontology-Based Knowledge Graph Framework for Industrial Standard Documents via Hierarchical and Propositional Structuring
本文提出一种基于本体的知识图谱框架,通过层次化和命题化结构构建工业标准文档,提升问答性能和领域知识表示能力。
2025-12-22 cs.CL cs.IR
HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);National University of Singapore(新加坡国立大学)
HERMES提出一种无需训练的架构,通过将KV缓存视为分层内存框架,实现视频流的实时准确理解,提升处理速度并降低内存消耗。
2026-05-07 cs.AI cs.CL cs.CV
Hierarchical Metadata-Aware Document Categorization under Weak Supervision
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出弱监督下融合标签层次、元数据与文本信号的生成式框架HiMeCat,通过联合表示学习模块与层次化数据增强模块,有效解决了小规模标注样本下的文档分类问题并取得持续性能提升。
2020-12-20 cs.CL cs.IR cs.LG
Hierarchical RNN for Information Extraction from Lawsuit Documents
Jurtech(律典科技);Maurer School of Law, Indiana University Bloomington(印第安纳大学伯明顿分校莫勒法学院)
每一份诉讼文书都包含着当事人的诉讼请求、法院的分析、判决等信息,这些信息有助于更好地理解案件,并预测法官将来对类似案件的判决。然而,从文件中提取这些信息是困难的,因为语言太复杂,句子长度各不相同。我们把这个问题作为一个序列标记的任务,本文提出了在中国的第一个研究,以提取相关信息的民事诉讼文件的层次RNN框架。
2018-04-25 cs.CL
PLAID SHIRTTT for Large-Scale Streaming Dense Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
PLAID SHIRTTT 针对流式场景下 PLAID 性能下降问题,提出基于分层分片的多阶段增量索引方法,并在大规模单语和多语言检索实验中验证了其有效性。
2024-05-02 cs.CL cs.IR
Multilingual Hierarchical Attention Networks for Document Classification
Idiap Research Institute(伊迪亚普研究所);HEIG-VD / HES-SO(沃州工程与管理高等学院 / 瑞士西部应用科学与艺术大学)
分层注意力网络最近在给定语言的文档分类中取得了显着的性能。然而,当考虑多语言文档集合时,为每种语言单独训练这样的模型需要线性参数增长和缺乏跨语言迁移。因此,学习具有较少参数的单一多语言模型是一个具有挑战性但可能有益的目标。为此,我们提出了多语言层次注意力网络学习文档结构,共享编码器和/或共享注意力机制跨语言,使用多任务学习和对齐的语义空间作为输入。我们评估了建议的模型与不相交的标签集的多语言文档分类,在一个大型数据集,我们提供的,在8种语言的600 k新闻文档,和5 k标签。多语言模型在低资源和全资源环境中的表现优于单语言模型,并且使用更少的参数,从而证实了它们的计算效率和跨语言迁移的实用性。
2017-09-15 cs.CL
Beyond Chunking: Discourse-Aware Hierarchical Retrieval for Long Document Question Answering
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)(计算与智能研究院,哈尔滨工业大学(深圳));Shenzhen Loop Area Institute (SLAI)(深圳环形区研究院(SLAI))
本文提出一种篇章意识层次检索框架,利用修辞结构理论处理长文档问答,通过 discourse parsing 和 LLM 增强实现结构与语义信息的融合,实验表明在多种语言和文档类型上均取得显著提升。
2026-05-07 cs.AI cs.CL cs.IR
SciCo: Hierarchical Cross-Document Coreference for Scientific Concepts
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
确定跨文档概念提及的共指是自然语言理解中的一项基本任务。以前的跨文档共指消解(CDCR)通常考虑新闻中的事件,很少涉及科学和技术中流行的抽象技术概念。这些复杂的概念采取不同的或模糊的形式,并具有许多层次级别的粒度(例如,任务和子任务),这给CDCR带来了挑战。我们提出了一个新的任务,分层CDCR(H-CDCR)的目标是共同推断共指集群和它们之间的层次。我们创建了SciCo,这是科学论文中H-CDCR的专家注释数据集,比著名的ECB+资源大3倍。我们研究了我们为H-CDCR定制的强基线模型,并强调了未来工作的挑战。
2021-09-01 cs.CL cs.IR cs.LG
Leveraging Hierarchical Organization for Medical Multi-document Summarization
National Tsing Hua University(清华大学);University of Washington(华盛顿大学);Allen Institute for AI(人工智能研究院)
本文研究在医学多文档摘要输入中引入层次化结构,以提升模型跨文档组织和情境化信息的能力,实验证明该方法能保持事实性、覆盖度与连贯性,并提高人类对摘要的偏好。
2025-11-04 cs.AI cs.CL cs.IR
Document-Level Neural Machine Translation with Hierarchical Attention Networks
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
神经机器翻译(NMT)可以通过包含文档级上下文信息来改进。为此,我们提出了一个层次化的注意力模型,以结构化和动态的方式捕捉上下文。该模型集成在原始NMT架构中作为另一个抽象级别,以NMT模型自己以前的隐藏状态为条件。实验表明,分层注意力显着提高了BLEU分数超过一个强大的NMT基线与最先进的上下文感知方法,编码器和解码器都受益于上下文的互补方式。
2018-10-01 cs.CL
HiTR: Hierarchical Topic Model Re-estimation for Measuring Topical Diversity of Documents
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所);Institute for Logic, Language, and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
高度的主题多样性通常被认为是有趣的文本文档的一个重要特征。最近提出的一项建议,用于衡量主题的多样性,确定了三个分布评估文件的多样性:文件内的话,主题内的话,和文件内的主题的分布。主题模型在这一方法中起着核心作用,因此,它们的质量对衡量主题多样性的有效性至关重要。主题模型的质量受两个因素的影响:主题的一般性和不纯性。一般主题仅包括背景语料库的公共信息,并且被分配给大多数文档。不纯主题包含与主题无关的词。杂质降低了主题模型的可解释性。不纯的主题很可能被错误地分配给文档。我们提出了一个分层的重新估计过程,旨在消除一般性和杂质。我们的方法有三个重新估计组件:(1)文档重新估计,从文档中删除一般单词;(2)主题重新估计,重新估计每个主题的单词分布;(3)主题分配重新估计,重新估计每个文档在主题上的分布。为了测量文本文档的主题多样性,我们的HiTR方法比在PubMed数据集上测量的最先进的方法有所改进。
2018-10-12 cs.CL cs.IR cs.LG
HIBRIDS: Attention with Hierarchical Biases for Structure-aware Long Document Summarization
University of Michigan(密歇根大学)
文档结构对于有效的信息消费至关重要。然而,将其有效地编码到现代Transformer架构中是具有挑战性的。在这项工作中,我们提出了HIBRIDS,它注入了层次偏见的文件结构的注意力分数的计算。我们进一步提出了一个新的任务,分层问题摘要生成,用于将源文档中的突出内容总结为问题和摘要的层次结构,其中每个后续问题询问其父问题摘要对的内容。我们还对一个新的数据集进行了注释,该数据集包含6,153个问题摘要层次结构,这些层次结构标记在长的政府报告上。实验结果表明,我们的模型产生更好的问题摘要层次结构比层次结构质量和内容覆盖率的比较,这一发现也呼应了人类法官。此外,我们的模型提高了从冗长的政府报告和维基百科文章中生成长格式摘要的能力,这是由ROUGE分数来衡量的。
2022-03-21 cs.CL
An Exploration of Hierarchical Attention Transformers for Efficient Long Document Classification
University of Copenhagen(哥本哈根大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);Athens University of Economics and Business(雅典经济与商业大学);Pioneer Centre for AI(人工智能先锋中心)
基于非层次稀疏注意力转换器的模型,如Longformer和Big Bird,是处理长文档的流行方法。与原始的Transformer相比,这些方法在效率方面有明显的好处,但分层注意力Transformer(HAT)模型是一个研究不足的替代方案。我们开发并发布了完全预训练的HAT模型,这些模型使用分段编码器,然后使用跨段编码器,并将它们与Longformer模型和部分预训练的HAT进行比较。在几个长文档下游分类任务中,我们最好的HAT模型优于同等大小的Longformer模型,同时使用的GPU内存减少10-20%,处理文档的速度提高40-45%。在一系列消融研究中,我们发现HAT在整个模型中的跨段情境化表现最好,而不是实施早期或晚期跨段情境化的替代配置。我们的代码在GitHub上:https://github.com/coastalcph/hierarchical-transformers。
2022-10-11 cs.CL
Hierarchical Optimal Transport for Document Representation
IBM Research(IBM研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
测量文档之间相似性的能力使大型语料库的智能摘要和分析成为可能。过去文档之间的距离要么是因为无法合并单词之间的语义相似性,要么是因为可扩展性问题。作为一种替代方案,我们引入分层最优传输作为文档之间的元距离,其中文档被建模为主题的分布,这些主题本身被建模为单词的分布。然后,我们在较小的主题空间上解决一个最优传输问题,以计算相似性得分。我们给出的条件下,这个结构定义的距离的主题,我们把它与词移动的距离。我们评估了我们的技术的k-NN分类,并显示出更好的可解释性和可扩展性,与当前的方法相比,性能在成本的一小部分。
2019-11-01 cs.CL cs.IR cs.LG
A Hierarchical Entity Graph Convolutional Network for Relation Extraction across Documents
National University of Singapore(新加坡国立大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
用于关系抽取的远程监督数据集主要集中在事务级抽取,并且它们覆盖的关系很少。在这项工作中,我们提出了跨文档的关系抽取,其中的两个实体的关系元组出现在两个不同的文件,通过一个共同的实体链连接。按照这个想法,我们创建了一个两跳关系抽取的数据集,其中每个链只包含两个文档。我们提出的数据集涵盖了更多的关系比公开可用的数据集级别。我们还为此任务提出了一个分层实体图卷积网络(HEGCN)模型,与一些强大的神经基线相比,该模型在我们的两跳关系抽取数据集上将性能提高了1.1\% F1分数。
2021-08-21 cs.CL
Parallel Hierarchical Transformer with Attention Alignment for Abstractive Multi-Document Summarization
与单文档摘要相比,抽象的多文档摘要(MDS)在表示和覆盖其冗长和链接的源方面带来了挑战。本研究开发了一种用于MDS的注意对齐的并行分层Transformer(PHT)。通过结合单词级和段落级的多头注意力,PHT的分层架构允许在标记和文档级更好地处理依赖关系。为了引导解码更好地覆盖源文档,然后引入注意力对齐机制来用预测的最佳注意力分布校准束搜索。基于WikiSum数据,进行了全面的评估,以测试所提出的架构对MDS的改进。通过更好地处理内部和跨文档信息,ROUGE和人工评估的结果表明,我们的分层模型以相对较低的计算成本生成了相对于其他基于Transformer的基线质量更高的摘要。
2022-08-16 cs.AI cs.CL
A Sentence-level Hierarchical BERT Model for Document Classification with Limited Labelled Data
University College Dublin(都柏林大学);Teagasc Agriculture and Food Development Authority(爱尔兰农业与食品发展局);ADAPT Research Centre(ADAPT研究中心)
使用有限的标记数据训练深度学习模型对于许多NLP任务(包括文档分类)来说是一个有吸引力的场景。虽然随着最近BERT的出现,深度学习语言模型可以在文档分类中实现相当好的性能,但在长文档分类中应用BERT类模型的实用性缺乏证据。这项工作介绍了一个长文本特定的模型-层次BERT模型(HBM)-学习文本的文本级特征,并在有限的标记数据的情况下工作得很好。各种评估实验表明,HBM可以实现更高的性能,在文档分类比以前的国家的最先进的方法,只有50至200个标记的实例,特别是当文档很长。此外,作为HBM的一个额外好处,由学习过的HBM识别的突出句子对于根据用户研究标记文档的解释非常有用。
2021-06-12 cs.CL
Tree Navigation Without LLM Summaries: A Matched-Cost Study of Hierarchical Retrieval for Long-Document QA
Birla Institute of Technology and Science, Pilani(皮拉尼比尔拉理工学院)
提出NavTree,一种零LLM索引成本的仅叶分层检索器,通过确定性分段树导航,在匹配成本下超越RAPTOR式摘要树,并在长文档多跳问答中显著优于BM25。
2026-10-07 cs.CL cs.IR
HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for Document Summarization
Microsoft Research Asia(微软亚洲研究院)
神经提取摘要模型通常采用分层编码器进行文档编码,并使用基于规则的方法创建的分级标签进行训练。用这些\emph{inaccurate}标签训练分层编码器是具有挑战性的。受最近关于预训练Transformer语句编码器\cite{devlin:2018:arxiv}的工作的启发,我们提出了用于文档编码的{ \sc Hibert}(作为{ \bf HI}erachical { \bf B}idirectional { \bf E}ncoder { \bf R} epresentation from { \bf T} transformers的简写)以及使用未标记数据对其进行预训练的方法。我们将预训练的{ \sc Hibert}应用于我们的摘要模型,它在CNN/Dailymail数据集上的性能优于随机初始化的对应模型1.25 ROUGE,在纽约时报数据集上的性能优于随机初始化的对应模型2.0 ROUGE。我们还在这两个数据集上实现了最先进的性能。
2019-05-16 cs.CL cs.LG
LTG-Oslo Hierarchical Multi-task Network: The importance of negation for document-level sentiment in Spanish
University of Oslo(奥斯陆大学)
本文详细介绍了LTG-Oslo团队参与NEGES 2019评估活动的情绪跟踪。我们使用分层多任务网络参与任务,该网络使用深度BiLSTM中的共享较低层来预测否定,而较高层则致力于预测文档级情感。多任务组件显示出将否定信息纳入深度神经情感分类器的希望,尽管测试集上的绝对结果对于二进制分类任务来说相对较低。
2019-06-18 cs.CL
Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
The Pennsylvania State University(宾夕法尼亚州立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Nanyang Technological University(南洋理工大学);University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学)
针对互联文档兼具图层次与主题层次的问题,提出在双曲空间中融合主题树嵌入和图结构的 Transformer 模型,提升层次主题建模效果。
2025-02-17 cs.CL
Contrastive Hierarchical Discourse Graph for Scientific Document Summarization
University of California, Davis(加州大学戴维斯分校)
本文提出 CHANGES,通过层级语篇图、图信息聚合与图对比学习获得主题感知句子表示,用于抽取式科学论文摘要,并在 PubMed 和 arXiv 上验证有效。
2023-05-31 cs.CL
DocParser: Hierarchical Structure Parsing of Document Renderings
ETH Zurich(苏黎世联邦理工学院)
翻译渲染(e. G. PDF、扫描)转换为分层文档结构,这在许多实际应用程序的日常工作中有着广泛的需求。然而,一个整体的,原则性的方法来推断完整的层次结构的文件是失踪。作为补救措施,我们开发了“DocParser”:一个端到端的系统,用于解析完整的文档结构-包括所有文本元素,嵌套的图形,表格和表格单元格结构。我们的第二个贡献是提供了一个数据集,用于评估分层文档结构解析。我们的第三个贡献是提出了一个可扩展的学习框架设置特定领域的数据是稀缺的,我们解决了一种新的方法,以弱监督,显着提高了文档结构解析性能。我们的实验证实了我们提出的弱监督的有效性:与没有弱监督的基线相比,它将检测文档实体的平均精度提高了39.1%,将分类层次关系的F1得分提高了35.8%。
2021-01-25 cs.CL cs.CV cs.LG
Hierarchical Neural Network for Extracting Knowledgeable Snippets and Documents
Chinese Academy of Sciences(中国科学院);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent(腾讯)
在这项研究中,我们专注于从Web语料库中提取知识片段和知识文档注释,包括来自社交媒体和自媒体的文档。非正式地说,知识性片段是指描述概念、实体属性或实体之间关系的文本,而知识性文档是指具有足够知识性片段的文档。这些知识片段和文档可以在多种应用中提供帮助,例如知识库构建和面向知识的服务。以往的研究都是使用基于模式的方法来提取知识片段。在这里,我们提出了基于语义的方法来完成这项任务。具体来说,一个基于CNN的模型开发,同时提取知识的片段和注释知识的文件。此外,CNN的“低级共享,高级拆分”结构被设计用于处理来自不同内容域的文档。与构建多个特定领域的CNN相比,该联合模型不仅大大节省了训练时间,而且明显提高了预测精度。在微信公众平台的真实数据集上验证了该方法的优越性。
2018-08-22 cs.AI cs.CL cs.IR
Hierarchical Transformers for Multi-Document Summarization
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
在本文中,我们开发了一个神经摘要模型,它可以有效地处理多个输入文档和提取Transformer架构的能力,以分层的方式编码文档。我们表示跨文档的关系,通过一个注意力机制,它允许共享信息,而不是简单地连接文本跨度和处理它们作为一个平面序列。我们的模型学习文本单元之间的潜在依赖关系,但也可以利用专注于相似性或话语关系的显式图形表示。WikiSum数据集上的实证结果表明,所提出的架构带来了几个强大的基线大幅改善。
2019-05-30 cs.AI cs.CL
MultiDocFusion: Hierarchical and Multimodal Chunking Pipeline for Enhanced RAG on Long Industrial Documents
Human-inspired AI Research(人机协同人工智能研究所);Department of Computer Science and Engineering(计算机科学与工程系);School of Software(软件学院)
针对长工业文档结构复杂的问题,提出MultiDocFusion分块流程,结合视觉解析、OCR提取、层次结构重建和DFS分组,提升RAG检索精度和问答质量。
2026-04-14 cs.AI cs.CL
Hierarchical Multi-Label Classification of Scientific Documents
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
自动主题分类已被广泛研究,以帮助管理和索引的数字收集的科学文献。随着近年来出现的大量主题,有必要将它们按层次排列。因此,自动分类系统需要能够分级地对文档进行分类。此外,每篇论文往往被分配到一个以上的相关主题。例如,一篇论文可以被分配到层次树中的几个主题。在本文中,我们介绍了一个新的数据集,用于科学论文的分层多标签文本分类(HMLTC),称为SciHTC,它包含来自ACM CCS树的186,160篇论文和1,233个类别。我们为HMLTC建立了强大的基线,并提出了一种多任务学习方法,用于主题分类,关键字标记作为辅助任务。我们的最佳模型达到了34.57%的Macro-F1得分,这表明该数据集为分层科学主题分类提供了重要的研究机会。我们在Github上提供数据集和代码。
2022-11-05 cs.CL
Self-Supervised Document Similarity Ranking via Contextualized Language Models and Hierarchical Inference
Tel-Aviv University(特拉维夫大学);Ariel University(阿里埃勒大学);Bar-Ilan University(巴伊兰大学);Microsoft(微软)
我们提出了一种新的模型,根据其语义相似性的源(查询)文档的文档集合的排名问题。虽然已经研究了文档到文档相似性排名的问题,但大多数现代方法仅限于相对较短的文档或依赖于“地面实况”相似性标签的存在。然而,在大多数常见的现实情况下,相似性排名是一个无监督的问题,因为相似性标签不可用。此外,一个理想的模型不应该受到文档长度的限制。因此,我们引入SDR,这是一种用于文档相似性的自监督方法,可以应用于任意长度的文档。重要的是,SDR可以有效地应用于非常长的文档,超过了Longformer的4,096个最大令牌限制。对大型文档数据集的广泛评估表明,SDR在所有指标上都显着优于其替代品。为了加速未来对无标签长文档相似性排名的研究,并作为对社区的额外贡献,我们在此发布了两个人工注释的长文档相似性评估测试集。SDR代码和数据集是公开的。
2021-06-02 cs.CL
HIN: Hierarchical Inference Network for Document-Level Relation Extraction
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
文档级RE需要阅读,推断和聚合多个句子。从我们的观点来看,文档级RE需要利用多粒度的推理信息:实体级,句子级和文档级。因此,如何获取和聚合不同粒度的推理信息是具有挑战性的文档级RE,这是以前的工作没有考虑。本文提出了一种层次推理网络(HIN),充分利用了实体级、句子级和文档级的丰富信息。在多个子空间中对目标实体对进行平移约束和双线性变换,得到实体级推理信息。其次,我们对实体级信息和句子表示之间的推理进行建模,得到句子级的推理信息。最后,采用层次聚合方法获得文档级推理信息。通过这种方式,我们的模型可以有效地聚合这三个不同粒度的推理信息。实验结果表明,我们的方法在大规模DocRED数据集上实现了最先进的性能。我们还证明,使用BERT表示可以进一步大幅提高性能。
2020-03-28 cs.CL
Hierarchical Retrieval with Evidence Curation for Open-Domain Financial Question Answering on Standardized Documents
Department of Applied Artificial Intelligence, Hanyang University(应用人工智能系,翰阳大学)
针对标准化金融文档中相似格式导致重复检索的问题,提出 HiREC 框架,通过分层检索与证据整理提升开放域金融问答的准确性和完整性,并发布包含 145,897 份 SEC 文档和 1,595 个问答对的 LOFin 基准。
2025-11-06 cs.AI cs.CL cs.IR
HRDoc: Dataset and Baseline Method Toward Hierarchical Reconstruction of Document Structures
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(科大讯飞研究院)
文档结构重构问题是指将数字文档或扫描文档转换成相应的语义结构。现有的工作主要集中在单个文档页面中各个元素的边界分割,而忽略了多页面文档中语义结构的重构。本文介绍了一种新的任务,适合自然语言处理和CV领域的文档结构的层次重建。为了更好地评估系统在新任务上的性能,我们构建了一个名为HRDoc的大规模数据集,该数据集由2,500个多页文档组成,具有近200万个语义单元。HRDoc中的每个文档都有行级注释,包括从基于规则的提取器和人工注释器获得的类别和关系。此外,我们提出了一个基于编码器-解码器的分层文档结构解析系统(DSPS)来解决这个问题。通过采用多模态双向编码器和具有软掩模操作的结构感知GRU解码器,DSPS模型大大超过基线方法。所有脚本和数据集将在https://github.com/jfma-USTC/HRDoc上公开提供。
2023-03-24 cs.CL cs.CV
Multilingual Clustering of Streaming News
University of Edinburgh(爱丁堡大学);Priberam Labs(Priberam实验室);Innovation Labs LETA(LETA创新实验室);University of Latvia(拉脱维亚大学)
跨语言的新闻聚类通过将来自多语言来源的文章聚合成连贯的故事来实现有效的媒体监测。在在线环境中这样做可以对大量新闻流进行可扩展的处理。为此,我们描述了一种新的方法,用于将传入的多语言文档流聚类为单语和跨语言的故事集群。与考虑少量已知标签的典型聚类方法不同,我们使用多种语言的真实新闻数据集,以在线方式解决发现不断增长的集群标签的问题。我们的方法易于实现,计算效率高,并在德语,英语和西班牙语的数据集上产生最先进的结果。
2018-09-03 cs.CL cs.IR
Iterative Hierarchical Attention for Answering Complex Questions over Long Documents
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们提出了一个新的模型,DocHopper,迭代地出席不同部分的长,层次结构的文档来回答复杂的问题。类似于多跳问答(QA)系统,在每一步,DocHopper使用查询$q$来处理来自文档的信息,将此"检索“信息与$q$组合以产生下一个查询。然而,与大多数以前的多跳QA系统相比,DocHopper能够“检索”文档的短段落或长部分,从而模拟通过长文档“导航”的多步骤过程来回答问题。为了实现这种新颖的行为,DocHopper并没有通过将文本连接到$q$的文本来将文档信息与$q$结合起来,而是通过将$q$的紧凑神经表示与文档的分层部分的紧凑神经表示结合起来,这可能非常大。我们在四个不同的QA任务上使用DocHopper进行了实验,这些任务需要阅读长而复杂的文档来回答多跳问题,并表明DocHopper在三个数据集上实现了最先进的结果。此外,DocHopper在推理时间上是有效的,比基线快3- 10倍。
2021-10-22 cs.AI cs.CL
A BART-based approach with hierarchical strategy for Vietnamese abstractive multi-document summarization
Aimesoft JSC(Aimesoft股份公司)
提出一种新颖简单的基于黄金摘要缩短文档的分层策略,结合BART模型实现越南语多文档抽象式摘要,在VLSP 2022测试集上达到ROUGE2-F1 0.2468,并利用外部数据增强训练。
2026-06-19 cs.AI cs.CL
HiCuLR: Hierarchical Curriculum Learning for Rhetorical Role Labeling of Legal Documents
Technical University of Munich(慕尼黑工业大学);Télécom Paris(巴黎电信学院);South China University of Technology(华南理工大学)
本文提出分层课程学习框架HiCuLR,通过文档级课程和修辞角色级课程由易到难地训练模型,在法律文档修辞角色标注任务上取得有效提升。
2024-09-27 cs.CL
HPD-Parsing: Hierarchical Parallel Document Parsing
研究基于统一视觉语言模型的文档解析器顺序瓶颈问题,提出HPD解析,采用分层并行解码范式,含主要布局分支和P-MTP,实验显示其吞吐量高且精度有竞争力,为高效统一文档解析开辟新方向。
2026-07-22 cs.CL
A Hierarchical Structured Self-Attentive Model for Extractive Document Summarization (HSSAS)
School of Information Science and Engineering, Central South University(中南大学信息科学与工程学院)
神经网络结构和训练算法的最新进展表明了表示学习的有效性。基于神经网络的模型比传统的模型产生更好的表示。它们能够自动学习句子和文档的分布式表示。为此,我们提出了一种新的模型,解决了几个问题,没有充分建模的先前提出的模型,如内存问题,并将文档结构的知识。我们的模型使用一个层次结构的自我注意力机制来创建句子和文档嵌入。该架构反映了文档的层次结构,从而使我们能够获得更好的特征表示。注意力机制提供额外的信息源来指导摘要提取。新模型将摘要任务视为一个分类问题,在该问题中,模型计算各个摘要-摘要成员资格的概率。该模型的预测被分解的几个功能,如信息内容,显着性,新颖性和位置表示。该模型进行了评估,两个著名的数据集,CNN /每日邮报,DUC 2002年。实验结果表明,我们的模型优于目前的提取国家的最先进的一个相当大的保证金。
2018-05-20 cs.CL
Bidirectional Context-Aware Hierarchical Attention Network for Document Understanding
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
分层注意力网络(HAN)已经取得了很大的进步,但它有一个主要的局限性:在第一层,每个句子都是完全孤立地编码的。在这项工作中,我们提出并比较了几个修改的HAN中的句子编码器能够上下文感知的注意力决策(CAHAN)。此外,我们提出了一个双向的文件编码器,处理文件的前进和后退,使用前后的句子作为上下文。在三个大规模情感和主题分类数据集上的实验表明,CAHAN的双向版本在任何地方都优于HAN,而计算时间只有适度的增加。虽然结果是有希望的,但我们预计CAHAN的优越性在需要更深入理解输入文档的任务(如抽象摘要)上会更加明显。代码是公开的。
2019-08-16 cs.CL cs.LG
Hierarchical Interaction Networks with Rethinking Mechanism for Document-level Sentiment Analysis
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);National Computer System Engineering Research Institute of China(国家计算机系统工程研究所)
文档级的情感分析由于语义链接模糊、情感信息复杂而更具挑战性。最近的工作一直致力于利用文本摘要,并取得了可喜的成果。然而,这些基于摘要的方法并没有充分利用摘要,包括忽略摘要和文档之间的内在相互作用。因此,他们将表示限制在表达文档中的主要观点,这高度表明了关键情绪。在本文中,我们研究了如何有效地生成一个歧视性的表示与显式的主题模式和情感背景的DSA。提出了一种分层交互网络(HIN),以探索多粒度摘要和文档之间的双向交互,并学习面向主题的文档表示用于情感分类。此外,我们设计了一个基于情感的反思机制(SR),通过精炼的HIN与情感标签信息,学习一个更感知的文档表示。我们在三个公共数据集上广泛评估了我们提出的模型。实验结果一致地证明了我们提出的模型的有效性,并表明HIN-SR优于各种最先进的方法。
2022-09-07 cs.CL
HDLTex: Hierarchical Deep Learning for Text Classification
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Department of System and Information Engineering, University of Virginia(弗吉尼亚大学系统与信息工程系);Data Science Institute, University of Virginia(弗吉尼亚大学数据科学研究所)
每年产生的文件数量不断增加,这就需要不断改进搜索、检索和组织文本的信息处理方法。这些信息处理方法的核心是文档分类,它已经成为监督学习的一个重要应用。最近,这些传统的分类器的性能已经退化的文件数量的增加。这是因为随着文件数量的增长,类别的数量也在增加。本文探讨这个问题不同于目前的文档分类方法,认为这个问题作为多类分类。相反,我们使用一种我们称之为分层深度学习文本分类(HDLTex)的方法来执行分层分类。HDLTex采用深度学习架构堆栈,在文档层次结构的每个级别提供专业的理解。
2017-10-06 cs.AI cs.CL cs.CV
Multi-News: a Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model
Yale University(耶鲁大学)
随着在线出版物数量的迅速增长,从多篇新闻文章自动生成摘要是一个有价值的工具。由于大数据集的可用性,单文档摘要(SDS)系统受益于神经编码器-解码器模型的进步。然而,新闻文章的多文档摘要(MDS)仅限于几百个例子的数据集。在本文中,我们介绍了多新闻,第一个大规模的MDS新闻数据集。此外,我们提出了一个端到端的模型,该模型将传统的提取摘要模型与标准SDS模型相结合,并在MDS数据集上取得了有竞争力的结果。我们在Multi-News上对几种方法进行了基准测试,并发布了我们的数据和代码,希望这项工作能够促进多文档环境中摘要的进步。
2019-06-19 cs.CL
Hierarchical Question Answering for Long Documents
University of Washington(华盛顿大学);Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
我们提出了一个用于问答的框架,可以有效地扩展到更长的文档,同时保持甚至提高最先进模型的性能。虽然大多数成功的阅读理解方法都依赖于递归神经网络(RNN),但在长文档上运行它们的速度非常慢,因为很难在序列上并行化。受人们如何首先浏览文档,识别相关部分,并仔细阅读这些部分以产生答案的启发,我们结合了一个粗糙,快速的模型来选择相关句子,并使用一个更昂贵的RNN来从这些句子中产生答案。我们把句子选择作为一个潜在的变量,只使用强化学习从答案中联合训练。实验证明了在维基阅读的一个具有挑战性的子集和一个新的数据集上的最先进的性能,同时将模型加速了3.5x-6.7x。
2017-02-08 cs.CL
Hierarchical Document Refinement for Long-context Retrieval-augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学首都人工智能学院);Huawei Poisson Lab(华为Poisson实验室)
针对长上下文RAG中的冗余与噪声问题,提出即插即用的LongRefiner,通过双层查询分析、分层文档结构化和多任务自适应精炼,在七个QA数据集上以十分之一成本取得竞争力性能。
2025-05-15 cs.CL
A Hierarchical Neural Autoencoder for Paragraphs and Documents
Stanford University(斯坦福大学)
自然语言生成连贯的长文本,如段落或更长的文档,是递归网络模型的一个具有挑战性的问题。在本文中,我们探索了这个生成任务的重要一步:训练LSTM(长短期记忆)自动编码器来保存和重建多句段落。我们引入了一个LSTM模型,该模型从句子和单词的嵌入中分层构建段落的嵌入,然后解码该嵌入以重建原始段落。我们使用ROUGE和Entity Grid等标准度量来评估重建的段落,表明神经模型能够以保持句法,语义和话语连贯性的方式编码文本。虽然这只是从神经模型生成连贯文本单元的第一步,但我们的工作有可能显著影响自然语言生成和摘要\footnote {本文中描述的三个模型的代码可以在www.stanford.edu/~jiweil/上找到。
2015-06-06 cs.CL
Hierarchical Attention Graph for Scientific Document Summarization in Global and Local Level
School of Electronic Engineering, Beijing University of Posts and Telecommunications(北京邮电大学电子工程学院);Beijing Key Laboratory of Work Safety Intelligent Monitoring, Beijing University of Posts and Telecommunications(北京邮电大学安全生产智能监控北京市重点实验室)
针对长科学文档摘要中难以同步建模全局句间与局部句内关系的问题,提出基于层级语篇结构的HAESum方法,结合局部异构图与超图自注意力层建模两类关系,在两个基准数据集上验证了有效性。
2024-05-16 cs.CL
Hierarchical Attentional Hybrid Neural Networks for Document Classification
Universidade Federal de Pernambuco(伯南布哥联邦大学)
文档分类是一项具有挑战性的任务,具有重要的应用。解决这个问题的深度学习方法最近受到了广泛关注。尽管取得了进展,所提出的模型没有有效地将文档结构的知识纳入体系结构中,也没有考虑到单词和句子的上下文重要性。在本文中,我们提出了一种新的方法,结合卷积神经网络,门控递归单元,和注意力机制的文件分类任务。本文的主要贡献是通过卷积层的分层表示来提取更有意义的、可推广的和抽象的特征。本文提出的方法改进了目前基于注意力的文档分类方法的结果。
2019-06-28 cs.AI cs.CL cs.LG
HiQA: A Hierarchical Contextual Augmentation RAG for Multi-Documents QA
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Southeast University(东南大学);Hello World(Shanghai) Technology Co., Ltd.(Hello World(上海)科技有限公司)
针对检索增强生成在多文档问答中面对大量相似文档时检索准确性有限的问题,提出HiQA框架,它集成级联元数据与多路径检索机制,还发布MasQA基准,在多文档环境中展现了最优性能。
2026-08-26 cs.AI cs.CL cs.LG
A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);National University of Singapore(新加坡国立大学);Hupan Lab(湖畔实验室)
本文提出在编码器和解码器上施加层次结构以增强预训练语言模型处理多文档交互的能力,在10个多文档摘要基准上取得领先或具有竞争力的性能,并在Rouge-L上最高提升3分。
2023-11-01 cs.CL
Context-Aware Hierarchical Merging for Long Document Summarization
University of Edinburgh(爱丁堡大学)
本文提出通过引入源文档上下文来增强分层合并方法,以缓解长文档摘要中LLM的幻觉问题,实验证明上下文增强策略在法律和叙事数据集上优于基线方法。
2025-08-08 cs.CL
KohakuRAG: A simple RAG framework with hierarchical document indexing
National Tsing Hua University;Comfy Org Research;Kohaku-Lab
KohakuRAG通过层次文档索引和集合推理技术,提升了检索增强生成系统在高精度引用任务中的性能,取得挑战赛第一名。
2026-03-08 cs.CL
Hierarchical Document Parsing via Large Margin Feature Matching and Heuristics
La Rochelle University(拉罗谢尔大学)
本文提出一种结合大间隔特征匹配、启发式规则与贪心算法的层次化文档解析方法,在 AAAI-25 VRD-IU 挑战赛中以 0.98904 准确率获得第一名。
2025-03-08 cs.CL cs.CV
TontaubeV1: Streaming Text-to-Speech with Hierarchical Codec Modeling and Bounded Context
Craitech
TontaubeV1提出分层编解码器与有界上下文流式TTS,在单GPU上实现自然韵律与低延迟,匹配ElevenLabs并超越多个竞品。
2026-10-14 cs.CL cs.LG cs.SD
HCRE: LLM-based Hierarchical Classification for Cross-Document Relation Extraction with a Prediction-then-Verification Strategy
School of Informatics, Xiamen University(厦门大学信息学院);Li Auto Inc.(Li Auto公司);Alibaba International Digital Commerce Group(阿里巴巴国际数字贸易集团)
本文提出HCRE方法,通过分层关系树减少LLM需考虑的关系选项,结合预测-验证策略提升可靠性,实验表明其优于现有基线。
2026-04-20 cs.CL