Nested Hierarchical Dirichlet Processes
Columbia University（哥伦比亚大学）；Voleon Capital Management（Voleon资本管理）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
我们开发了一个嵌套的层次Dirichlet过程（nHDP）的层次主题建模。nHDP是嵌套中国餐馆过程（nCRP）的概括，它允许每个单词根据共享树上特定于文档的分布遵循自己的路径到达主题节点。这说明了nCRP的刚性，单一路径的制定，使文件更容易表达主题借款作为一个随机效应。我们推导出一个随机的变分推断算法的模型，除了贪婪的子树选择方法为每个文件，它允许使用大量的文本文档集合进行有效的推理。我们在《纽约时报》的180万份文档和维基百科的330万份文档上展示了我们的算法。
2014-05-02 cs.LG stat.ML
DocParser: Hierarchical Structure Parsing of Document Renderings
ETH Zurich（苏黎世联邦理工学院）
翻译渲染（e. G. PDF、扫描）转换为分层文档结构，这在许多实际应用程序的日常工作中有着广泛的需求。然而，一个整体的，原则性的方法来推断完整的层次结构的文件是失踪。作为补救措施，我们开发了“DocParser”：一个端到端的系统，用于解析完整的文档结构-包括所有文本元素，嵌套的图形，表格和表格单元格结构。我们的第二个贡献是提供了一个数据集，用于评估分层文档结构解析。我们的第三个贡献是提出了一个可扩展的学习框架设置特定领域的数据是稀缺的，我们解决了一种新的方法，以弱监督，显着提高了文档结构解析性能。我们的实验证实了我们提出的弱监督的有效性：与没有弱监督的基线相比，它将检测文档实体的平均精度提高了39.1%，将分类层次关系的F1得分提高了35.8%。
2021-01-25 cs.CL cs.CV cs.LG
HDT: Hierarchical Document Transformer
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））
针对现有方案处理层次化文档效率低、未利用文档结构的问题，提出带稀疏多层注意力和新型稀疏注意力核的HDT架构，可提升效率与下游任务性能。
2024-07-11 cs.LG
A Machine Learning Approach to Classifying Construction Cost Documents into the International Construction Measurement Standard
University of the West of England（西英格兰大学）
我们介绍了第一个自动化模型分类自然语言描述提供的成本文件中称为“账单”（BOQs）流行的基础设施建设行业，到国际建设测量标准（ICMS）。我们部署和系统评估的多类文本分类模型是从英国24个大型基础设施建设项目中检索的5万多个项目描述的数据集中学习的。我们描述了我们的语言表示和随后的建模方法，以检查上下文语义的强度和时间依赖性的语言在建设项目文档中使用。为了做到这一点，我们评估了两个实验管道，从文本中推断ICMS代码，基于两种不同的语言表示模型和一系列最先进的基于序列的分类方法，包括循环和卷积神经网络架构。研究结果表明，一个高效准确的ICMS自动化模型是触手可及的，在32个ICMS类别中，报告的准确性结果平均超过90%的F1分数。此外，由于BoQs文本中语言使用的特定性质;简短，主要是描述性和技术性的，我们发现，更简单的模型比较有利于实现更高的准确性结果。我们的分析表明，信息更有可能嵌入描述性文本中的局部关键特征中，这解释了为什么更简单的通用时间卷积网络（TCN）表现出与具有相同容量的递归架构相当的记忆，并且随后在此任务中表现优于这些架构。
2022-10-24 cs.CL cs.LG
Hierarchical Optimal Transport for Document Representation
IBM Research（IBM研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
测量文档之间相似性的能力使大型语料库的智能摘要和分析成为可能。过去文档之间的距离要么是因为无法合并单词之间的语义相似性，要么是因为可扩展性问题。作为一种替代方案，我们引入分层最优传输作为文档之间的元距离，其中文档被建模为主题的分布，这些主题本身被建模为单词的分布。然后，我们在较小的主题空间上解决一个最优传输问题，以计算相似性得分。我们给出的条件下，这个结构定义的距离的主题，我们把它与词移动的距离。我们评估了我们的技术的k-NN分类，并显示出更好的可解释性和可扩展性，与当前的方法相比，性能在成本的一小部分。
2019-11-01 cs.CL cs.IR cs.LG
HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for Document Summarization
Microsoft Research Asia（微软亚洲研究院）
神经提取摘要模型通常采用分层编码器进行文档编码，并使用基于规则的方法创建的分级标签进行训练。用这些\emph{inaccurate}标签训练分层编码器是具有挑战性的。受最近关于预训练Transformer语句编码器\cite{devlin:2018:arxiv}的工作的启发，我们提出了用于文档编码的{ \sc Hibert}（作为{ \bf HI}erachical { \bf B}idirectional { \bf E}ncoder { \bf R} epresentation from { \bf T} transformers的简写）以及使用未标记数据对其进行预训练的方法。我们将预训练的{ \sc Hibert}应用于我们的摘要模型，它在CNN/Dailymail数据集上的性能优于随机初始化的对应模型1.25 ROUGE，在纽约时报数据集上的性能优于随机初始化的对应模型2.0 ROUGE。我们还在这两个数据集上实现了最先进的性能。
2019-05-16 cs.CL cs.LG
Hierarchical thematic classification of major conference proceedings
针对专家给定树状层次结构的文本分类场景，提出基于词熵加权的层次相似度函数，结合变分贝叶斯推理的闭式EM算法，在两个数据集上的排序准确率优于多种现有层次分类方法。
2024-06-21 cs.IR cs.LG stat.ML
CHIP: Contrastive Hierarchical Image Pretraining
提出CHIP模型，利用三级层次对比损失和ResNet152，在少样本条件下将未见对象分类到通用层次类别，实验基于ImageNet动物子集，取得满意效果。
2023-10-12 cs.AI cs.CV cs.LG
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新的文档生成过程的基础上，层次潜在树模型（HLTM）从数据中学习。HLTM在底部有一层观察到的单词变量，在顶部有多层潜变量。对于每一个文档，我们首先通过逻辑采样逐层采样潜变量的值，然后根据潜变量的值绘制单词的相对频率，最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比，新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
Hierarchical Attention Generative Adversarial Networks for Cross-domain Sentiment Classification
Department of Computer Science and Technology, Tongji University（同济大学计算机科学与技术系）；Key Laboratory of Embedded System and Service Computing, Ministry of Education（教育部嵌入式系统与服务计算重点实验室）；Tongji University（同济大学）
跨领域情感分类是领域自适应和情感分类中的一项重要任务。由于域差异，在源域数据上训练的情感分类器可能不能很好地在目标域数据上工作。近年来，许多研究人员将深度神经网络模型用于跨领域情感分类任务，其中许多使用梯度反射层（GRL）来设计对抗性网络结构以训练域共享情感分类器。与这些方法不同的是，我们提出了分层注意力生成对抗网络（HAGAN），它交替地训练生成器和生成器，以产生一个文档表示，这是情感可区分的，但域不可区分。此外，HAGAN模型采用双向门控递归单元（Bi-GRU）将单词和句子的上下文信息编码到文档表示中。此外，HAGAN模型使用层次注意力机制来优化文档表示，并自动捕获主元和非主元。在Amazon评论数据集上的实验表明了HAGAN的有效性。
2019-03-27 cs.LG stat.ML
Gaussian Hierarchical Latent Dirichlet Allocation: Bringing Polysemy Back
Graduate School of Information Science and Technology（信息科学技术研究生院）；The University of Tokyo（东京大学）
针对高斯潜在狄利克雷分配无法捕捉一词多义的问题，本文提出高斯分层LDA，通过主题分层结构恢复多义建模能力，并提升主题一致性、预测准确率与表示简约性。
2023-06-07 cs.LG stat.ML
Bidirectional Context-Aware Hierarchical Attention Network for Document Understanding
École Polytechnique（巴黎综合理工学院）；AUEB（雅典经济与商业大学）
分层注意力网络（HAN）已经取得了很大的进步，但它有一个主要的局限性：在第一层，每个句子都是完全孤立地编码的。在这项工作中，我们提出并比较了几个修改的HAN中的句子编码器能够上下文感知的注意力决策（CAHAN）。此外，我们提出了一个双向的文件编码器，处理文件的前进和后退，使用前后的句子作为上下文。在三个大规模情感和主题分类数据集上的实验表明，CAHAN的双向版本在任何地方都优于HAN，而计算时间只有适度的增加。虽然结果是有希望的，但我们预计CAHAN的优越性在需要更深入理解输入文档的任务（如抽象摘要）上会更加明显。代码是公开的。
2019-08-16 cs.CL cs.LG
Hierarchical Metadata-Aware Document Categorization under Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出弱监督下融合标签层次、元数据与文本信号的生成式框架HiMeCat，通过联合表示学习模块与层次化数据增强模块，有效解决了小规模标注样本下的文档分类问题并取得持续性能提升。
2020-12-20 cs.CL cs.IR cs.LG
Hierarchical Attentional Hybrid Neural Networks for Document Classification
Universidade Federal de Pernambuco（伯南布哥联邦大学）
文档分类是一项具有挑战性的任务，具有重要的应用。解决这个问题的深度学习方法最近受到了广泛关注。尽管取得了进展，所提出的模型没有有效地将文档结构的知识纳入体系结构中，也没有考虑到单词和句子的上下文重要性。在本文中，我们提出了一种新的方法，结合卷积神经网络，门控递归单元，和注意力机制的文件分类任务。本文的主要贡献是通过卷积层的分层表示来提取更有意义的、可推广的和抽象的特征。本文提出的方法改进了目前基于注意力的文档分类方法的结果。
2019-06-28 cs.AI cs.CL cs.LG
HiQA: A Hierarchical Contextual Augmentation RAG for Multi-Documents QA
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Southeast University（东南大学）；Hello World(Shanghai) Technology Co., Ltd.（Hello World（上海）科技有限公司）
针对检索增强生成在多文档问答中面对大量相似文档时检索准确性有限的问题，提出HiQA框架，它集成级联元数据与多路径检索机制，还发布MasQA基准，在多文档环境中展现了最优性能。
2026-08-26 cs.AI cs.CL cs.LG
Classifying Options for Deep Reinforcement Learning
Imperial College London（帝国理工学院）
在本文中，我们将分层强化学习的一种方法-选项框架-与深度Q网络（DQN）相结合，通过在策略网络上使用不同的“选项头”，以及在不同选项之间进行选择的监督网络。我们利用我们的设置，以调查的影响，建筑的限制，在子任务的积极和消极的转移，在一系列的网络能力。我们的经验表明，我们的增强DQN具有较低的样本复杂度，同时学习子任务与负迁移，而不会降低性能时，学习子任务与正迁移。
2017-06-19 cs.AI cs.LG stat.ML
SciCo: Hierarchical Cross-Document Coreference for Scientific Concepts
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
确定跨文档概念提及的共指是自然语言理解中的一项基本任务。以前的跨文档共指消解（CDCR）通常考虑新闻中的事件，很少涉及科学和技术中流行的抽象技术概念。这些复杂的概念采取不同的或模糊的形式，并具有许多层次级别的粒度（例如，任务和子任务），这给CDCR带来了挑战。我们提出了一个新的任务，分层CDCR（H-CDCR）的目标是共同推断共指集群和它们之间的层次。我们创建了SciCo，这是科学论文中H-CDCR的专家注释数据集，比著名的ECB+资源大3倍。我们研究了我们为H-CDCR定制的强基线模型，并强调了未来工作的挑战。
2021-09-01 cs.CL cs.IR cs.LG
Hierarchical Retrieval: The Geometry and a Pretrain-Finetune Recipe
Google（谷歌）
本文研究层次化检索中双编码器的几何可行性，提出预训练-微调方法解决远距离检索退化问题，在WordNet上将远距离召回率从19%提升至76%。
2025-09-19 cs.CL cs.IR cs.LG
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology（香港科技大学）；Ant Financial Services Group（蚂蚁金融服务集团）；The Education University of Hong Kong（香港教育大学）
我们提出了一种新的分层主题检测方法，主题是通过多种方式聚类文件。具体来说，我们使用一类称为分层潜在树模型（HLTM）的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量，表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量，最低潜级别的变量表示单词同现模式，较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区，分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式，从而给主题更一般的主题，而那些在低层次的捕获短范围的词共现模式，并给主题更具体的主题。与基于LDA的主题模型不同，HLTM不引用文档生成过程，而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系，这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Timeline: A Dynamic Hierarchical Dirichlet Process Model for Recovering Birth/Death and Evolution of Topics in Text Stream
主题模型已被证明是发现文档集合中潜在结构的有用工具。然而，大多数文档集合往往是时间流，因此潜在结构的几个方面，如主题的数量，主题的分布和流行度是随时间演变的。有几种模型可以模拟上述一些方面的演变，但不是所有方面。在本文中，我们介绍了无限动态主题模型iDTM，它可以适应所有上述方面的发展。我们的模型假设文档被组织到epoch中，每个epoch中的文档是可交换的，但文档之间的顺序在epoch中保持不变。iDTM允许无限数量的主题：主题可以在任何时期死亡或出生，并且每个主题的表示可以根据马尔可夫动力学进化。我们使用iDTM来分析NIPS社区中主题的诞生和演变，并评估了我们的模型在模拟和真实数据集上的有效性，结果良好。
2012-03-15 cs.IR cs.LG stat.ML
Interpretable Structure-aware Document Encoders with Hierarchical Attention
University of California, San Diego（加州大学圣迭戈分校）；Swisscom AG（瑞士电信公司）；EPFL（洛桑联邦理工学院）
我们提出了一种方法来创建文件表示，反映其内部结构。我们修改Tree-LSTM，将单词和句子等基本元素分层合并为复杂度不断增加的块。我们的结构树-LSTM在各个组件及其组合上实现了分层的注意力机制。因此，我们强调Tree-LSTM对于大于句子的文本的有用性。我们表明，结构感知编码器可以用来提高性能的文件分类。我们证明，我们的方法是弹性的变化的基本构建块，因为它表现良好的句子和词嵌入。结构树-LSTM通过利用结构线索在两个数据集上优于所有基线。我们通过可视化我们的模型如何在文档中分配注意力来展示我们的模型的可解释性。在来自医疗领域的第三个数据集上，我们的模型实现了与最先进技术竞争的性能。这一结果表明，结构树-LSTM可以利用文本结构以外的依赖关系，例如同一患者的一组报告。
2019-10-05 cs.AI cs.CL cs.LG
HiTR: Hierarchical Topic Model Re-estimation for Measuring Topical Diversity of Documents
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Institute for Logic, Language, and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
高度的主题多样性通常被认为是有趣的文本文档的一个重要特征。最近提出的一项建议，用于衡量主题的多样性，确定了三个分布评估文件的多样性：文件内的话，主题内的话，和文件内的主题的分布。主题模型在这一方法中起着核心作用，因此，它们的质量对衡量主题多样性的有效性至关重要。主题模型的质量受两个因素的影响：主题的一般性和不纯性。一般主题仅包括背景语料库的公共信息，并且被分配给大多数文档。不纯主题包含与主题无关的词。杂质降低了主题模型的可解释性。不纯的主题很可能被错误地分配给文档。我们提出了一个分层的重新估计过程，旨在消除一般性和杂质。我们的方法有三个重新估计组件：（1）文档重新估计，从文档中删除一般单词;（2）主题重新估计，重新估计每个主题的单词分布;（3）主题分配重新估计，重新估计每个文档在主题上的分布。为了测量文本文档的主题多样性，我们的HiTR方法比在PubMed数据集上测量的最先进的方法有所改进。
2018-10-12 cs.CL cs.IR cs.LG
DocHRL: A Hierarchical Reinforcement Learning Framework for Cost-Optimised Document Classification
研究针对文档分类中资源利用低效问题，提出分层强化学习框架DocHRL，将其作为顺序决策问题，以负总预期成本为奖励信号，经近端策略优化训练，在提升分类性能同时降低文档处理成本。
2026-07-28 cs.AI cs.CV cs.LG
Hierarchical Neural Network Approaches for Long Document Classification
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
文本分类算法研究单词或短语之间的复杂关系，并试图推断文档的解释。在过去的几年里，这些算法取得了巨大的进步。Transformer体系结构和句子编码器已被证明在自然语言处理任务上提供了优越的结果。但是这些架构的一个主要限制是它们对于不超过几百个单词的文本的适用性。在本文中，我们探讨了分层迁移学习方法的长文档分类。我们采用预先训练的通用句子编码器（USE）和双向编码器表示从Transformers（BERT）在一个层次化的设置，以捕捉更好的表示有效。我们提出的模型在概念上很简单，我们将输入数据分成块，然后将其传递给BERT和USE的基础模型。然后，通过由LSTM或CNN组成的浅层神经网络传播每个块的输出表示，以对文本数据进行分类。这些扩展在6个基准数据集上进行了评估。我们证明了USE + CNN/LSTM的性能优于其独立基线。而BERT + CNN/LSTM的性能与其独立的对应物相当。然而，分层BERT模型仍然是可取的，因为它避免了BERT中的注意力机制的二次复杂性。除了分层方法，这项工作还提供了不同深度学习算法的比较，如USE，BERT，HAN，Longformer和BigBird用于长文档分类。Longformer方法在大多数数据集上都表现良好。
2022-01-18 cs.CL cs.LG
Application of Hierarchical Temporal Memory Theory for Document Categorization
College of Engineering, Pune（浦那工程学院）；Maker’s Lab, Tech Mahindra Ltd.（马恒达科技公司创客实验室）
目前的工作打算研究的性能的层次时间记忆（HTM）理论的自动分类的文本以及文件。HTM是一种基于人类大脑新皮层工作原理的生物启发理论。本研究旨在提供一个替代的框架，使用HTM理论中的空间位置学习算法进行文档分类。由于HTM只接受二进制数据流作为输入，潜在语义索引（LSI）技术用于从输入中提取顶部特征并将其转换为二进制格式。Spatial Poisson算法将二进制输入转换为稀疏模式，其中具有重叠空间模式的类似输入文本使得易于将模式分类为类别。所获得的结果证明，HTM理论，虽然是在其新生阶段，执行与大多数流行的机器学习为基础的分类。
2021-12-29 cs.CL cs.LG
Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出Ψ-RAG框架，通过迭代'合并与坍缩'过程构建分层抽象树索引，并引入多粒度检索代理，解决传统树状RAG在跨文档多跳问题中的分布适应性、结构隔离和抽象粗粒度等挑战，实验表明其在跨文档多跳问答任务中表现更优。
2026-05-01 cs.AI cs.IR cs.LG
HDLTex: Hierarchical Deep Learning for Text Classification
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）；Department of System and Information Engineering, University of Virginia（弗吉尼亚大学系统与信息工程系）；Data Science Institute, University of Virginia（弗吉尼亚大学数据科学研究所）
每年产生的文件数量不断增加，这就需要不断改进搜索、检索和组织文本的信息处理方法。这些信息处理方法的核心是文档分类，它已经成为监督学习的一个重要应用。最近，这些传统的分类器的性能已经退化的文件数量的增加。这是因为随着文件数量的增长，类别的数量也在增加。本文探讨这个问题不同于目前的文档分类方法，认为这个问题作为多类分类。相反，我们使用一种我们称之为分层深度学习文本分类（HDLTex）的方法来执行分层分类。HDLTex采用深度学习架构堆栈，在文档层次结构的每个级别提供专业的理解。
2017-10-06 cs.AI cs.CL cs.CV
Weakly-Supervised Hierarchical Text Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
层次文本分类是将文本分类到给定的层次结构中的一个重要任务。最近，深度神经模型由于其表达能力和对特征工程的最低要求而越来越受欢迎。然而，将深度神经网络应用于分层文本分类仍然具有挑战性，因为它们严重依赖于大量的训练数据，同时不能容易地确定分层设置中文档的适当级别。本文提出了一种弱监督的神经网络层次文本分类方法。我们的方法不需要大量的训练数据，但只需要容易提供弱的监督信号，如一些类相关的文件或关键字。我们的方法有效地利用这种微弱的监督信号来生成用于模型预训练的伪文档，然后对真实的未标记数据进行自训练，以迭代地改进模型。在训练过程中，我们的模型具有分层神经结构，它模仿给定的层次结构，并能够通过阻塞机制确定文档的适当级别。在三个不同领域的数据集上进行的实验表明，与一组全面的基线相比，我们的方法是有效的。
2018-12-29 cs.AI cs.CL cs.LG
Classifying spam emails using agglomerative hierarchical clustering and a topic-based approach
University of León（莱昂大学）；INCIBE (Spanish National Cybersecurity Institute)（西班牙国家网络安全研究所）
该研究提出基于主题的垃圾邮件多分类方法，构建两个各含约1.5万封邮件的数据集，评估16种流水线，发现TF-IDF与逻辑回归在英文数据集上F1达0.953，在西班牙语数据集上朴素贝叶斯F1为0.945。
2024-02-07 cs.AI cs.LG
fLSA: Learning Semantic Structures in Document Collections Using Foundation Models
Microsoft Research Redmond（微软研究院雷德蒙德）
针对能否用大型语言模型从示例文档归纳高级结构的问题，提出基于基础模型的潜在语义分析方法fLSA，其通过迭代聚类和标记文档片段建模潜在结构，实验证明在重构文本和分层采样方面优于现有方法。
2025-08-26 cs.LG
Neural Attention-Aware Hierarchical Topic Model
Monash University（莫纳什大学）；Deakin University（迪肯大学）
神经主题模型（NTM）将深度神经网络应用于主题建模。尽管他们的成功，NTMs通常忽略了两个重要方面：（1）只有文档级的单词计数信息被用于训练，而更细粒度的文本级信息被忽略，以及（2）关于文档，句子和单词的外部语义知识没有被利用的训练。为了解决这些问题，我们提出了一个变分自编码器（VAE）NTM模型，该模型使用词袋（BoW）主题嵌入和预训练语义嵌入的组合来联合重建句子和文档字数。预训练的嵌入首先被转换到一个公共的潜在主题空间中，以使它们的语义与BoW嵌入保持一致。我们的模型还具有分层KL分歧，以利用每个文档的嵌入来正则化其句子的嵌入，从而更加关注语义相关的句子。定量和定性实验都表明了我们的模型在以下方面的有效性：1）降低句子和文档级别的重建错误; 2）从真实世界的数据集中发现更连贯的主题。
2021-10-14 cs.CL cs.LG
ETDPC: A Multimodality Framework for Classifying Pages in Electronic Theses and Dissertations
Old Dominion University（老道明大学）；Virginia Tech（弗吉尼亚理工大学）
针对现有文档页面分类框架在电子学位论文（ETDs）上表现不佳的问题，本文提出带交叉注意力网络的双流多模态框架ETDPC，结合数据增强与分层分类器解决样本不平衡问题，在13类页面分类任务中全面超越最优模型。
2023-11-07 cs.AI cs.CV cs.DL
Hierarchical Contextualized Representation for Named Entity Recognition
Shanghai Jiao Tong University（上海交通大学）
命名实体识别（NER）模型通常基于双向LSTM（BiLSTM）的架构。顺序性的约束和单输入的建模阻止了从更大范围充分利用全局信息，不仅在整个句子中，而且在整个文档（数据集）中。在本文中，我们解决这两个不足，并提出了一个模型增强层次上下文表示：文档级表示和文档级表示。在句子级，我们考虑单个句子中单词的不同贡献，通过标签嵌入注意力机制增强从独立BiLSTM学习的句子表示。在文档级，采用键值记忆网络来记录每个唯一词的文档感知信息，该信息对上下文信息的相似性敏感。我们的两级分层上下文表示分别与每个输入标记嵌入和相应的BiLSTM隐藏状态融合。在三个基准NER数据集（CoNLL-2003和Ontonotes 5.0英语数据集，CoNLL-2002西班牙语数据集）上的实验结果表明，我们建立了新的最先进的结果。
2019-11-19 cs.CL cs.LG
Hybrid Machine Learning Models of Classifying Residential Requests for Smart Dispatching
Concordia University（康考迪亚大学）
本文提出了一种混合机器学习方法，将自然语言的住宅请求分类到负责部门，这些部门在智慧城市的数字政府服务的愿景下及时响应居民。自然语言描述的居住请求几乎涵盖了城市日常运行的方方面面。因此，负责部门甚至细化到当地社区的级别。每个请求样本没有特定的一般类别或标签。这导致了监督分类解决方案的两个问题，即（1）请求样本数据不平衡和（2）缺乏用于训练的特定标签。为了解决这些问题，我们研究了一种混合机器学习方法，该方法通过无监督聚类算法生成元类标签;应用具有三个分类器（包括两个分层分类器和一个残差卷积神经网络）的两词嵌入方法;并选择性能最好的分类器作为分类结果。我们展示了我们的方法执行更好的分类任务相比，两个基准机器学习模型，朴素贝叶斯分类器和多层感知器（MLP）。此外，分层分类方法提供了对分类错误来源的洞察。
2019-12-22 cs.CL cs.LG
Assigning Medical Codes at the Encounter Level by Paying Attention to Documents
Univ of Maryland, College Park（马里兰大学帕克分校）；M Health Information Systems（3M健康信息系统公司）
计算机辅助医疗编码的绝大多数研究都集中在文档级别的编码上，但现实世界中相当大一部分医疗编码涉及临床遇到的编码，其中每一个通常由潜在的大型文档集表示。我们引入了层次级文档注意力网络，它使用层次注意力来明确地考虑遇到文档的层次结构。实验评估表明，编码的准确性，以及促进人类审查员在他们的能力，以确定遇到的文件中发挥作用，确定遇到的水平代码的改进。
2019-11-15 cs.CL cs.LG
HiNet: Hierarchical Classification with Neural Network
SAP Innovation Center（SAP创新中心）；Yale-NUS College（耶鲁-新加坡国立大学学院）
传统上，分类具有超过10000个不同轨迹的大型分层标签只能通过扁平标签来实现。虽然扁平标签是可行的，它错过了标签中的层次信息。像\cite{vural2004hierarchical}的HSVM这样的分层模型变得不可能训练，因为整个架构中的SVM数量太多了。我们开发了一种基于神经网络的分层架构，这种架构易于训练。此外，我们推导出一个推理算法，可以有效地推断MAP（最大后验概率）跟踪我们的定理保证。此外，与扁平模型中的$O(n^h)$相比，该模型的复杂度仅为$O(n^2)$，其中$h$是层次结构的高度。
2018-01-12 cs.LG
HiClass: a Python library for local hierarchical classification compatible with scikit-learn
Hasso Plattner Institute（哈索·普拉特纳研究院）；University of Potsdam（波茨坦大学）；Free University of Berlin（柏林自由大学）
HiClass是一个开源的Python库，用于本地分层分类，与scikit-learn完全兼容。它包含文献中发现的分层机器学习模型的最常见设计模式的实现，即每个节点、每个父结点和每个级别的局部分类器。此外，该软件包包含分层度量的实现，这更适合于评估分层数据的分类性能。文档包括安装和使用说明、教程和交互式笔记本中的示例以及API的完整描述。HiClass在简化的BSD许可下发布，鼓励在学术和商业环境中使用。源代码和文档可在https://github.com/scikit-learn-contrib/hiclass上获得。
2023-01-03 cs.LG
HAND: Hierarchical Attention Network for Multi-Scale Handwritten Document Recognition and Layout Analysis
École de Technologie Supérieure (ÉTS)（高等技术学院（ÉTS））
本文提出端到端无分割架构HAND，通过分层注意力、多尺度自适应处理及课程学习，同时实现手写文本识别与版面分析，在READ 2016上显著降低CER并保持紧凑模型规模。
2024-12-25 cs.CV cs.LG
Machine learning approach for text and document mining
Institute of technology Gopeshwar（戈佩什瓦尔技术学院）；Bansathali University（班萨塔利大学）；University of Oviedo（奥维耶多大学）；Siemens Information Systems Limited（西门子信息系统有限公司）
文本分类（TC），也称为文本分类，是将一组文本文档自动分类为预定义集合中的不同类别的任务。如果一个文档恰好属于其中一个类别，则它是一个单标签分类任务;否则，它是一个多标签分类任务。TC使用来自信息检索（IR）和机器学习（ML）的几种工具，并且在过去几年中受到学术界研究人员和行业开发人员的广泛关注。在本文中，我们首先使用基于KNN的机器学习方法对文档进行分类，然后返回最相关的文档。
2014-06-06 cs.IR cs.LG
Hierarchical Label-wise Attention Transformer Model for Explainable ICD Coding
University of New South Wales（新南威尔士大学）；The Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；Australian Institute of Health and Welfare（澳大利亚卫生与福利研究所）
国际疾病分类（ICD）编码在发病率和死亡率数据的系统分类中发挥着重要作用。在这项研究中，我们提出了一个分层的标签式注意力Transformer模型（HiLAT）的ICD代码的解释性预测从临床文件。HiLAT首先微调预训练的Transformer模型以表示临床文档的标记。随后，我们采用了两个层次的标签明智的注意力机制，创建标签特定的文档表示。这些表示又被前馈神经网络用来预测特定ICD代码是否被分配给感兴趣的输入临床文档。我们使用来自MIMIC-III数据库的出院总结及其相应ICD-9代码评价HiLAT。为了研究不同类型的Transformer模型的性能，我们开发了ClinicalplusXLNet，它使用所有MIMIC-III临床笔记从XLNet-Base进行持续的预训练。实验结果表明，HiLAT+ClinicalplusXLNet的F1评分优于MIMIC-III中前50个最常见ICD-9代码的先前最先进模型。注意力权重的可视化提供了一个潜在的可解释性工具，用于检查ICD代码预测的表面有效性。
2022-09-30 cs.CL cs.LG
Classification of hierarchical text using geometric deep learning: the case of clinical trials corpus
HES-SO（瑞士西部应用科学与艺术大学）；University of Geneva（日内瓦大学）；Risklick AG（Risklick公司）；Clinical Trials Unit, Bern（伯尔尼临床试验中心）
我们将文档的分层表示视为图形，并使用几何深度学习将其分类为不同的类别。虽然图神经网络可以有效地处理可变结构的分层文件使用的置换不变的消息传递操作，我们表明，我们可以获得额外的性能改进，使用我们提出的选择性图池操作，产生的事实，层次结构的某些部分是不变的不同的文件。我们应用我们的模型来分类临床试验（CT）协议到完成和终止类别。我们使用基于词袋和预训练的基于transformer的嵌入来特征化图节点，在大约360K协议的公开大规模CT注册表上实现了大约0.85的f1分数。我们进一步展示了选择性合并如何增加对CT终止状态预测的了解。我们使源代码和数据集分割可访问。
2021-10-04 cs.CL cs.LG
Zero-Shot Hierarchical Classification on the Common Procurement Vocabulary Taxonomy
University of Milano Bicocca（米兰比可卡大学）；SpazioDati s.r.l.（斯帕齐奥达蒂有限公司）
针对公共招标CPV分类体系中细粒度类别样本不足的问题，提出基于预训练语言模型的零样本层次分类方法，仅依赖标签描述即可有效预测低频及未见类别。
2024-05-30 cs.CL cs.LG
CommunityFish: A Poisson-based Document Scaling With Hierarchical Clustering
Universität Hamburg（汉堡大学）
本文提出CommunityFish，一种基于层次聚类（Louvain算法）的Wordfish增强版本，通过生成语义社区作为输入，提升文档缩放的可解释性与速度，并在美国国情咨文和德国政党宣言语料上优于经典模型。
2023-08-28 cs.CL cs.LG cs.SI
Zero-Shot Document Understanding using Pseudo Table of Contents-Guided Retrieval-Augmented Generation
针对复杂多模态文档理解的结构与数据难题，研究提出无需训练的DocsRay系统，结合伪目录生成与分层RAG，通过三项关键技术实现效率与准确率的双提升。
2025-07-31 cs.AI cs.LG
Semi-Supervised Hierarchical Graph Classification
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
节点分类和图分类是两个图学习问题，分别预测节点的类标签和图的类标签。图的节点通常表示真实世界的实体，例如，社交网络中的用户或文档引文网络中的文档。在这项工作中，我们考虑一个更具挑战性但实际上有用的设置，其中节点本身是一个图形实例。这导致了一个层次图的观点，出现在许多领域，如社会网络，生物网络和文档收集。我们研究层次图中的节点分类问题，其中“节点”是图实例。由于标签通常是有限的，我们设计了一个新的半监督解决方案命名为SEAL-CI。SEAL-CI采用迭代框架，轮流更新两个模块，一个工作在图实例级别，另一个工作在层次图级别。为了保证层次图中不同层次之间的一致性，提出了层次图互信息（HGMI），并给出了一种有理论保证的HGMI计算方法。我们证明了这种层次图建模和建议的SEAL-CI方法对文本和社交网络数据的有效性。
2022-09-05 cs.AI cs.LG cs.SI
Unsupervised Terminological Ontology Learning based on Hierarchical Topic Modeling
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
在本文中，我们提出了层次关系为基础的潜在狄利克雷分配（hrLDA），数据驱动的层次主题模型，从大量的异构文档中提取术语本体。与传统的主题模型相比，hrLDA依赖于名词短语而不是一元语法，考虑语法和文档结构，并通过主题关系丰富主题层次结构。通过一系列的实验，我们证明了hrLDA优于现有的主题模型，特别是在建立层次结构。此外，我们说明了鲁棒性的hrLDA在噪声数据集的设置，这是可能发生在许多实际情况下。我们的本体评价结果表明，从hrLDA提取的本体是非常有竞争力的领域专家创建的本体。
2017-08-29 cs.CL cs.IR cs.LG
