An Effective Approach for Web Document Classification using the Concept of Association Analysis of Data Mining
网络的指数增长增加了网络文档分类和数据采掘的重要性。要获得确切的信息，以知道Web文档属于什么类的形式，是昂贵的。Web文档的自动分类对于搜索引擎来说有着重要的意义，因为搜索引擎能够以较低的代价提供这些信息。本文提出了一种利用数据采掘中的关联分析技术--频繁模式增长（FP）生成的频繁项目词集对Web文档进行分类的方法。这些关联词集充当特征集。在特征集上使用朴素贝叶斯分类器后得到的最终分类。在实验工作中，我们使用Gensim软件包，因为它简单而健壮。实验结果表明，该方法能够有效地对Web文档进行分类.
2014-06-21 cs.IR
Arabic documents classification using fuzzy R.B.F. classifier with sliding window
在本文中，我们提出了一个系统的上下文和语义的阿拉伯文文档分类，通过改进的标准模糊模型。事实上，通过使用径向基建模来提升在该模型中似乎不存在的邻域语义项。以便识别相关文档进行查询。该方法基于核函数，通过确定每个相对于文档的相关性（NEAR算子）来计算相关术语之间的相似度。滑动窗口的使用改进了分类过程。在阿拉伯语press数据集上得到的结果与文献相比显示出非常好的性能。
2013-03-03 cs.IR
Semantic classifier approach to document classification
Polish Academy of Sciences（波兰科学院）
在本文中，我们提出了一种新的文档分类方法，弥合训练集和应用集的文本数据之间的差异（所谓的语义差距）。我们证明了它的优越性，经典的文本分类方法，包括传统的分类器集成。该方法包括将文档分类技术与单个分类器或分类器集成（SEMCOM算法-具有语义分类器的委员会）相结合。
2017-01-16 cs.CL cs.IR
Document Classification Using Expectation Maximization with Semi Supervised Learning
随着网上文档数量的增加，对文档分类以辅助文档分析和管理的需求也越来越大。文本是廉价的，但信息，以知道文档属于什么类的形式，是昂贵的。本文的主要目的是解释数据采掘的期望最大化技术来分类文档，并学习如何提高准确率，同时使用半监督的方法。期望最大化算法应用于监督和半监督的方法。结果表明，半监督方法更准确、更有效。半监督方法的主要优点是“动态生成新类”。该算法首先使用标记的文档训练分类器，并对未标记的文档进行概率分类。用于评估目的的汽车数据集是从UCI存储库数据集中收集的，其中我们已经做了一些更改。
2011-12-09 cs.IR
Document Classification by Inversion of Distributed Language Representations
University of Chicago Booth School of Business（芝加哥大学布斯商学院）
最近在分布式语言模型的结构和度量方面取得了许多进展：这些模型从单词映射到富含单词选择和组成信息的向量空间。这个向量空间是分布式语言表示。本文的目的是指出，任何分布式表示都可以通过贝叶斯规则的反演转换为分类器。该方法是简单和模块化的，因为它将与任何语言表示一起工作，其训练可以被公式化为优化概率模型。在我们对来自Yelp评论的200万个句子的应用中，我们还发现它的性能与复杂的专用算法一样好，甚至更好。
2015-07-24 cs.CL cs.IR stat.AP
A comparison of SVM and RVM for Document Classification
FAST-NU, Karachi Campus（FAST-NU卡拉奇校区）
文档分类是将新的未分类文档分配到预定义的类集合之一的任务。基于内容的文档分类使用文档的内容和一些加权标准来将其分配到预定义的类之一。它是图书馆学、电子文献管理系统和情报学的一个重要课题。本文研究了使用两种不同的分类技术（1）支持向量机（SVM）和（2）相关向量机（RVM）进行文档分类。支持向量机是一种有监督的机器学习技术，可用于分类任务。在其基本形式中，SVM将数据的实例表示到空间中，并试图通过分离类别的最大可能宽间隙（超平面）来分离不同的类别。另一方面，RVM使用概率测度来定义这个分离空间。RVM使用贝叶斯推理获得简洁的解决方案，因此RVM使用显着较少的基函数。在三个标准文本分类数据集上的实验研究表明，RVM虽然需要更多的训练时间，但其分类性能要优于SVM。
2013-01-13 cs.IR cs.LG
Improving Multi-Document Summarization via Text Classification
The Hong Kong Polytechnic University（香港理工大学）；Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）；Peking University（北京大学）；Microsoft Research（微软研究院）
由于缺乏足够的训练数据和文档种类的多样性，多文档自动文摘技术发展至今已达到瓶颈。文本分类正好弥补了这些不足。在本文中，我们提出了一种新的摘要系统称为TCSUM，它利用丰富的文本分类数据，以提高多文档摘要的性能。TCSum将文档投影到分布式表示上，作为文本分类和摘要之间的桥梁。它还利用分类结果来生成不同风格的摘要。在DUC通用多文档摘要数据集上进行的大量实验表明，TCSum可以在不使用任何手工特征的情况下实现最先进的性能，并且能够捕捉不同文本类别的摘要风格的变化。
2016-11-28 cs.CL cs.IR
Expériences de classification d'une collection de documents XML de structure homogène
本文提出了一些实验，在聚类同质XML文档，以验证现有的分类或更普遍的anorganisational结构。我们的方法集成了从文档中提取知识的技术与文档的无监督分类（聚类）。我们专注于特征选择用于表示文档及其对新兴分类的影响。我们将结构化特征的选择与基于句法特征的精细文本选择相结合，并以2003年的Inria活动报告为例对这种方法进行了说明和评估。目标是根据这些活动报告的关键词或不同章节将项目分组为更大的组（主题）。然后，我们使用不同的特征选择的聚类结果进行比较，与Inria使用的官方主题结构。
2005-08-09 cs.IR
Comparison of Classification Algorithms Used Medical Documents Categorization
Ondokuz Mayıs Üniversitesi（翁多库兹·马伊斯大学）
基于文本的文档量日益增加。医学文档位于这种不断增长的文本文档中。在这项研究中，用于文本分类的技术应用于医疗文档和评估分类性能。使用的数据集是多类别和多标记的。采用卡方（Chi Square，CHI）技术进行特征选择，采用SMO、NB、C4.5、RF和KNN算法进行分类。本研究的目的是，各种分类器的成功评估多类和多标签的数据集组成的医疗文件。在前400个特征中，KNN分类器最成功，而在后400个特征中SMO分类器最成功。
2018-11-02 cs.CL cs.IR cs.LG
Document Selection in a Distributed Search Engine Architecture
分布式搜索引擎体系结构（DSEA）托管许多独立的特定主题的搜索引擎，并选择数据库的子集在体系结构内进行搜索。这种方法的目的是通过仅查询可用总数据的子集来减少执行搜索所需的空间量。为了跨多个数据库操作数据，最有效的方法是识别一个较小的数据库子集，这些数据库最有可能返回特定感兴趣的数据，然后可以更详细地检查这些数据。选择索引最常用作选择最适用的数据库的方法，因为它捕获关于每个数据库及其索引文件的广泛信息。使用这种类型的数据库可以让研究人员更快地找到信息，不仅成本更低，而且还可以最大限度地减少偏见的可能性。本文研究了在分布式搜索引擎体系结构的框架和范围内选择的不同数据库的有效性。研究的目的是提高分布式信息检索的质量。
2016-03-31 cs.DB cs.IR
Large scale link based latent Dirichlet allocation for web document classification
在本文中，我们证明了潜在的Dirichlet分配（LDA）分类大型Web文档集合的适用性。我们的主要成果之一是一个新的影响力模型，它给出了一个完全生成的模型，考虑到链接的文档内容。在我们的设置中，主题沿着链接传播，链接文档直接影响链接文档中的单词。作为另一个主要贡献，我们开发LDA特定的提升吉布斯采样器，从而在我们的实验中显着加速。推断的LDA模型可以应用于分类，类似于潜在语义索引的降维。此外，该模型产生的链接权重，可以应用于算法来处理Web图，作为一个例子，我们部署LDA链接权重堆叠图形学习。通过使用Weka的BayesNet分类器，在分类的AUC方面，我们使用BayesNet比普通LDA提高了4%，使用SVM比tf.idf提高了18%。我们的吉布斯采样策略产生约5-10倍的加速，在分类的可能性和AUC方面的准确性下降不到1%。
2010-06-25 cs.IR
A Novel Approach to Document Classification using WordNet
Indian Statistical Institute（印度统计研究所）；Calcutta University（加尔各答大学）
基于内容的文档分类是自由文本挖掘领域面临的最大挑战之一。现有的文本分类算法大多依赖于基于词袋的聚类分析方法。然而，这种方法仍然适用于许多现代科学的困境。它在经济学和社会科学等领域建立了强大的影响力，值得研究人员认真关注。在本文中，我们想提出和探索一种替代接地更安全的字典分类和相关性的单词和短语。预计我们现有的知识的应用程序的基本分类结构可能会导致分类器的性能的改善。
2015-12-12 cs.CL cs.IR
Medical Documents Classification Based on the Domain Ontology MeSH
研究了利用领域本体对Web文档进行分类的问题。我们的目标是提供一种方法，通过利用MeSH词库（医学主题词），这将使我们能够生成一个新的表示的基础上的概念，以提高医疗文件的分类。用两种著名的数据采掘算法C4.5和KNN对这种方法进行了测试，并与通常使用词干的表示法进行了比较。使用从领域本体中提取的概念和上位词来丰富向量，显著地提高了它们的表示，这对于良好的分类是必不可少的。我们的实验结果的基准生物医学集合Ohsumed确认的方法的重要性，一个非常显着的改进，基于本体的分类的性能相比，经典的表示（干）的30%。
2012-07-02 cs.IR
Exploiting the Randomness of Large Language Models (LLM) in Text Classification Tasks: Locating Privileged Documents in Legal Matters
Ankura Consulting Group, LLC（安克洛咨询公司）；SAP（思爱普）
本文研究了在法律事务中利用LLM随机性提高特权文件识别准确性的方法，并探讨了其在合规流程中的应用价值。
2025-12-08 cs.IR
Multilingual Medical Documents Classification Based on MesH Domain Ontology
本文讨论语义Web和本体。它解决了多语言Web文档的分类问题，基于领域本体。目标是能够使用模型对不同语言的文件进行分类。我们将尝试使用两种不同的方法来解决这个问题。这两种方法将有两个基本阶段：在标记语料库上使用机器学习算法创建模型，然后在检测其语言并将其术语映射到参考语言（英语）的概念后对文档进行分类。但每一个国家都将以不同的方式处理多语制问题。一种认为本体是单语的，而另一种认为它是多语言的。为了展示我们工作的可行性和重要性，我们在一个领域上实现了它，这个领域现在吸引了数据采掘社区的很多关注：生物医学领域。所选文档来自生物医学基准语料库Ohsumed，相关本体是同义词库MeSH（医学主题词）。我们工作的主要思想是一个新的文档表示，所有好的分类的杰作，基于概念。实验结果表明，所推荐的思路是有前途的。
2012-06-21 cs.IR
A Survey of Naïve Bayes Machine Learning approach in Text Document Classification
Pondicherry University（本地治里大学）
文本文档分类的目的是根据标签文档训练集所建议的可能性将一个或多个预定义的类别关联起来。许多机器学习算法在训练具有预定义类别的系统方面发挥着至关重要的作用，其中朴素贝叶斯有一些有趣的事实，即它简单、易于实现，并且尽管存在朴素的依赖性，但在大型数据集中仍能获得更好的准确性。朴素贝叶斯机器学习方法的重要性已经被认识到，因此该研究已经被用于文本文档分类和可用的统计事件模型。本文对文本分类中的各种特征选择方法以及与文本分类相关的度量进行了讨论和比较。
2010-03-09 cs.IR cs.LG
Deep Learning for Technical Document Classification
Massachusetts Institute of Technology（麻省理工学院）；Shanghai Jiao Tong University（上海交通大学）
本文提出多模态深度学习架构 TechDoc，融合文本、图像及文档间关联，通过卷积、循环和图神经网络联合训练，在专利分类任务上优于单模态及现有基准方法，可扩展至海量技术文档管理。
2022-02-19 cs.CV cs.IR cs.LG
Explainable Text Classification in Legal Document Review A Case Study of Explainable Predictive Coding
在当今的法律环境中，诉讼和监管调查要求公司开始越来越密集的以数据为中心的活动，以识别、收集和分析大量数据。当文件被提交审查时，这一过程可能需要公司投入大量的资源，无论是在人力资源方面，还是在使用基于技术的技术来智能筛选数据方面。几年来，律师们一直在使用各种工具来进行这项工作，最近，他们正在接受使用文本分类等机器学习技术来有效地剔除大量数据，以识别用于这些问题的响应文档。近年来，一批人工智能和机器学习研究人员一直在积极研究可解释人工智能。在可解释的人工智能系统中，行动或决策是人类可以理解的。在典型的法律“文件审查”情况下，只要文件中的一个或多个文本片段被认为是响应性的，就可以将文件标识为响应性的。在这些情况下，如果预测编码可以用来定位这些响应片段，那么律师可以很容易地评估模型的文档分类决策。当使用定义和可解释的结果进行部署时，预测编码可以通过减少审查文档所需的时间来大大提高文档审查过程的整体质量和速度。本文作者提出了可解释预测编码的概念和简单的可解释预测编码方法来定位响应文档中的响应片段。我们还报告了我们的初步实验结果，使用的数据从实际的法律问题，需要这种类型的文件审查。
2019-04-03 cs.IR
End-to-End Document Classification and Key Information Extraction using Assignment Optimization
Aflac Northern Ireland（北爱尔兰美国家庭人寿保险公司）
提出端到端文档分类与 KIE 方法，结合文本版面编码、余弦相似度及混合整数分配优化，在噪声扫描表单上取得 0.97 分类 f1 和 0.94 KIE 平均 f1。
2023-06-01 cs.AI cs.IR cs.LG
Explainable Text Classification Techniques in Legal Document Review: Locating Rationales without Using Human Annotated Training Text Snippets
针对法律文件审查中文本分类被视为“黑箱”的问题，提出自动化识别训练文本片段以定位相关理由的方法，在无需人工标注的情况下提升模型精确度并降低成本。
2023-11-15 cs.IR
Empirical Comparisons of CNN with Other Learning Algorithms for Text Classification in Legal Document Review
Sidley Austin LLP（世达律师事务所）；AT&T Services, Inc.（美国电话电报公司服务部）；Ankura（安库拉咨询公司）
研究表明，卷积神经网络（CNN）可以有效地应用于文本分类，作为预测编码协议的一部分。也就是说，到目前为止，大多数研究都是在短文档的数据集上进行的，这些短文档并不能反映真实世界文档审查中的文档种类。使用来自不同长度文档的四个实际评论的数据，我们将CNN与其他流行的文本分类机器学习算法进行了比较，包括Logistic回归，支持向量机和随机森林。对于每个数据集，使用不同的学习算法用不同的训练样本量训练分类模型。然后使用大量随机抽样的文档测试集对这些模型进行评估，并使用精确度和召回率曲线对结果进行比较。我们的研究表明，CNN表现良好，但没有一种算法在数据集和训练样本大小的组合中表现最好。这些结果将有助于推进对法律行业使用机器学习算法的研究，以最大限度地提高性能。
2019-12-19 cs.IR cs.LG
Text Classification and Distributional features techniques in Datamining and Warehousing
传统的文本分类方法是利用词频和逆文档词频进行分类，这种方法效果不好，因为文档中可能出现一些不重要的词，不重要的词的词频可能增加，文档可能被错误分类，为了减少错误分类的错误。介绍了分布式的特点。在分布特征部分，分析了词在整个文档中的分布情况。整个文档是非常密切地分析了不同的措施，如第一次出现，最后出现，中心，计数等措施进行计算，并在tf * idf方程和结果中使用k-最近邻和K-均值算法分类的文件。
2013-11-22 cs.IR
Knowledge-based Document Classification with Shannon Entropy
Microsoft（微软）
文档分类是检测文本文档中特定的感兴趣内容。与数据驱动的机器学习分类器相比，基于知识的分类器可以基于领域特定的知识来构建，该领域特定的知识通常采取主题相关关键字的集合的形式。虽然典型的基于知识的分类器基于关键字丰度来计算预测分数，但是由于在测量关键字匹配时缺乏指导原则，因此其通常遭受噪声检测。在本文中，我们提出了一种新的知识为基础的模型配备了香农熵，它衡量的丰富性的信息，有利于统一和多样化的关键字匹配。这种方法不需要调用任何正样本，为文档分类提供了一种简单易行的解决方案。我们发现，香农熵显着提高召回率在固定水平的误报率。此外，我们表明，该模型是更强大的数据分布的变化，而与传统的机器学习相比，在推理，特别是当积极的训练样本是非常有限的。
2022-06-06 cs.CL cs.IR
Classification and Clustering of arXiv Documents, Sections, and Abstracts, Comparing Encodings of Natural and Mathematical Language
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；FIZ Karlsruhe（卡尔斯鲁厄专业信息中心）；George Washington University（乔治华盛顿大学）
在本文中，我们将展示如何选择和结合编码的自然和数学语言影响分类和聚类的文件与数学内容。我们通过使用arXiv预印本服务器中的文档、章节和摘要集来证明这一点，这些文档、章节和摘要都是按其主题类（数学、计算机科学、物理等）标记的。比较文本和公式的不同编码，并评估所选分类和聚类算法的性能和运行时间。我们的编码实现分类精度高达$82.8\%$和集群纯度高达$69.4\%$（集群的数量等于类的数量），和$99.9\%$（未指定的集群数量）分别。我们观察到文本和数学相似性之间的相关性相对较低，这表明文本和公式的独立性，并激励将它们作为文档的单独特征。可以采用分类和聚类，例如，用于文档搜索和推荐。此外，我们表明，计算机在分类文档时优于人类专家。最后，我们评估和讨论多标签分类和公式语义。
2020-05-22 cs.CL cs.DL cs.IR
Empirical Evaluation of Embedding Models in the Context of Text Classification in Document Review in Construction Delay Disputes
针对工程延误纠纷文档审查中的文本分类需求，对比评估四种嵌入模型结合KNN、LR的二分类效果，验证了其提升法律文档分析效率与准确性的潜力。
2025-01-16 cs.IR
Evaluation of Deep Convolutional Nets for Document Image Classification and Retrieval
Ryerson University（瑞尔森大学）
本文提出了一种新的最先进的文档图像分类和检索，使用深卷积神经网络（CNN）学习的特征。在对象和景物分析中，深度神经网络能够学习从像素输入到简洁和描述性表示的分层抽象链。目前的工作探讨了这种能力在文档分析领域，并证实，这种表示策略优于各种流行的手工制作的替代品。实验还表明，（i）从CNN中提取的特征对压缩具有鲁棒性，（ii）在非文档图像上训练的CNN可以很好地转移到文档分析任务中，以及（iii）如果有足够的训练数据，则不需要强制执行特定于区域的特征学习。这项工作还提供了IIT-CDIP集合的一个新的标记子集，包含16个类别的40万个文档图像，可用于训练新的CNN进行文档分析。
2015-02-25 cs.CV cs.IR cs.LG
Weighted Naive Bayes Model for Semi-Structured Document Categorization
本文的目标是半结构化数据的监督分类。一个正式的模型的基础上baidu分类的开发，同时解决的文档结构的分类任务的集成。我们定义了我们所谓的结构上下文发生的非结构化数据，我们推导出一个递归公式，其中参数被用来衡量结构元素相对于其他的贡献。这个形式化模型的一个简化版本实现进行文本文档分类实验。第一个结果表明，对于一个特设的加权策略，词出现的结构背景有一个显着的影响，分类结果相比，一个简单的多项式朴素贝叶斯分类器的性能。所提出的实现竞争的路透社-21578数据与SVM分类器相关联或不与结构组件的分裂。这些结果鼓励探索学习可接受的加权策略，特别是提升策略。
2009-01-04 cs.IR
Semi-supervised Nonnegative Matrix Factorization for Document Classification
Harvey Mudd College（哈维穆德学院）；Colorado State Univ.（科罗拉多州立大学）；Univ. of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Cal. State Univ. Channel Islands（加州州立大学海峡群岛分校）；Wofford College（沃福德学院）；New York Univ.（纽约大学）；Univ. of Alabama（阿拉巴马大学）；Univ. of Cal., Los Angeles（加州大学洛杉矶分校）；Boston Medical Cent.（波士顿医疗中心）；Southern Methodist Univ.（南卫理公会大学）；Occidental College（西方学院）
我们提出了新的半监督非负矩阵分解（SSNMF）模型的文件分类，并提供这些模型的最大似然估计的动机。所提出的SSNMF模型同时提供了一个主题模型和分类模型，从而提供了高度可解释的分类结果。我们推导出的训练方法，使用乘法更新每个新的模型，并证明了这些模型的单标签和多标签文档分类的应用程序，虽然模型是灵活的其他监督学习任务，如回归。我们说明了这些模型和训练方法在文档分类数据集上的前景（例如，20 Newsgroups，Reuters）。
2022-02-28 cs.IR cs.LG cs.NA
A Framework for Explainable Text Classification in Legal Document Review
Cleary Gottlieb Steen & Hamilton LLP（克利里戈特利布斯蒂恩汉密尔顿律师事务所）；Ankura Consulting Group, LLC（安库拉咨询集团有限责任公司）
公司经常花费数百万美元制作电子存储的法律文件。最近，“法律通道”两边的各方都接受使用文本分类等机器学习技术来剔除大量数据，并识别用于这些问题的响应文档。虽然文本分类经常用于降低法律事务中的发现成本，但它也面临着一个特殊的认知挑战：在律师中，这项技术有时被视为“黑匣子”，为律师提供的信息很少，无法理解为什么文件被归类为响应性文件。近年来，一群人工智能和机器学习研究人员一直在积极研究可解释的人工智能，其中的行为或决策是人类可以理解的。在法律文档审阅场景中，如果文档的一个或多个文本片段被认为是响应的，则可以将文档标识为响应的。在这些情况下，如果可以使用文本分类来定位这些片段，那么律师可以很容易地评估模型的分类决策。当使用定义和可解释的结果部署时，文本分类可以通过减少审查时间来大大提高审查过程的整体质量和速度。此外，可解释的预测编码为律师提供了对监督学习任务结果的更大信心。本文描述了一个框架，可解释的文本分类作为一个有价值的工具，在法律服务：提高法律文件审查的质量和效率，并协助在响应文件中定位响应片段。该框架已在我们的法律分析产品中实施，该产品已用于数百起法律事务。我们还报告了我们的实验结果使用的数据，从实际的法律问题，使用这种类型的文件审查。
2019-12-19 cs.AI cs.IR cs.LG
Empirical Study of Deep Learning for Text Classification in Legal Document Review
Ankura（安库拉）
预测编码已广泛用于法律事务中，以在大量电子存储的信息中找到相关或特权文档。它大大节省了时间和成本。逻辑回归（LR）和支持向量机（SVM）是预测编码中常用的两种机器学习算法。最近，深度学习在许多行业受到了广泛的关注。本文报告了我们在法律文件审查中使用深度学习的初步研究。具体而言，我们进行了实验，以比较深度学习结果与使用SVM算法在四个真实法律事务数据集上获得的结果。实验结果表明，CNN在训练数据量较大的情况下具有较好的分类效果，是一种适合于法律行业文本分类的方法。
2019-04-03 cs.IR cs.LG
Experiments in Clustering Homogeneous XML Documents to Validate an Existing Typology
本文提出了一些实验，在聚类同质XML文档，以验证现有的分类或更普遍的anorganisational结构。我们的方法集成了从文档中提取知识的技术与文档的无监督分类（聚类）。我们专注于特征选择用于表示文档及其对新兴分类的影响。我们将结构化特征的选择与基于句法特征的精细文本选择相结合，并以2003年的Inria活动报告为例对这种方法进行了说明和评估。目标是根据这些活动报告的关键词或不同章节将项目分组为更大的组（主题）。然后，我们使用不同的特征选择的聚类结果进行比较，与Inria使用的官方主题结构。
2005-08-09 cs.IR
A Robust Hybrid Approach for Textual Document Classification
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；National Center for Artificial Intelligence (NCAI), University of Engineering and Technology（国家人工智能中心（NCAI），工程技术大学）；National Center for Artificial Intelligence (NCAI), National University of Sciences and Technology（国家人工智能中心（NCAI），国家科技大学）
文本分类是各种基于自然语言处理的应用的重要任务。传统的机器学习方法主要集中在降低文本数据的维数来进行分类。这虽然提高了整体分类精度，但由于缺乏更好的数据表示技术，分类器仍然面临稀疏性问题。另一方面，基于深度学习的文本文档分类极大地受益于词嵌入的发明，它解决了稀疏性问题，研究人员的重点主要集中在深度架构的开发上。然而，更深层次的架构会学习一些冗余的功能，这些功能限制了基于深度学习的解决方案的性能。在本文中，我们提出了一个两阶段的文本文档分类方法，结合传统的特征工程和自动特征工程（使用深度学习）。所提出的方法包括基于滤波器的特征选择（FSE）算法，然后是深度卷积神经网络。该方法在两个最常用的公共数据集上进行评估，即，20新闻组数据和BBC新闻数据。评估结果表明，所提出的方法优于最先进的（传统）机器学习和深度学习的文本文档分类方法，在20个新闻组和BBC新闻数据集上的显着利润率分别为7.7%和6.6%。
2019-09-12 cs.CL cs.IR cs.LG
HDLTex: Hierarchical Deep Learning for Text Classification
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）；Department of System and Information Engineering, University of Virginia（弗吉尼亚大学系统与信息工程系）；Data Science Institute, University of Virginia（弗吉尼亚大学数据科学研究所）
每年产生的文件数量不断增加，这就需要不断改进搜索、检索和组织文本的信息处理方法。这些信息处理方法的核心是文档分类，它已经成为监督学习的一个重要应用。最近，这些传统的分类器的性能已经退化的文件数量的增加。这是因为随着文件数量的增长，类别的数量也在增加。本文探讨这个问题不同于目前的文档分类方法，认为这个问题作为多类分类。相反，我们使用一种我们称之为分层深度学习文本分类（HDLTex）的方法来执行分层分类。HDLTex采用深度学习架构堆栈，在文档层次结构的每个级别提供专业的理解。
2017-10-06 cs.AI cs.CL cs.CV
Enriching BERT with Knowledge Graph Embeddings for Document Classification
DFKI GmbH（德国人工智能研究中心）；University of Konstanz（康斯坦茨大学）
在本文中，我们专注于使用简短的描述性文本（封面简介）和附加元数据的图书分类。在深度神经语言模型BERT的基础上，我们演示了如何将文本表示与元数据和知识图谱嵌入相结合，这些嵌入对作者信息进行编码。与标准的BERT方法相比，我们取得了更好的分类任务的结果。对于使用8个标签的更粗粒度的分类，我们获得了87.20的F1分数，而使用343个标签的详细分类产生了64.70的F1分数。我们公开了实验的源代码和训练模型
2019-09-18 cs.CL cs.IR cs.LG
Pairwise Multi-Class Document Classification for Semantic Relations between Wikipedia Articles
DFKI GmbH（德国人工智能研究中心有限公司）；University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）
许多数字图书馆在向用户推荐文献时会考虑到查询文档与其存储库之间的相似性。然而，他们经常无法区分是什么关系使两个文档相似。在本文中，我们模型的问题，找到两个文件之间的关系作为一个成对的文件分类任务。为了发现文档之间的语义关系，我们应用了一系列技术，例如GloVe，Paragraph-Vectors，BERT和XLNet，在不同的配置下（例如，序列长度、向量级联方案），包括用于基于变换器的系统的连体架构。我们在一个新提出的数据集上进行实验，该数据集包含32，168个维基百科文章对和定义语义文档关系的Wikidata属性。我们的研究结果表明，香草BERT作为最好的表现系统的F1得分为0.93，我们手动检查，以更好地了解其适用于其他领域。我们的研究结果表明，分类文档之间的语义关系是一个可解决的任务，并激励推荐系统的发展的基础上评估的技术。本文中的讨论作为第一步，在探索文件通过SPARQL类查询，这样就可以找到文件，在一个方面是相似的，但在另一个不同的。
2020-03-22 cs.CL cs.DL cs.IR
Weakly-Supervised Scientific Document Classification via Retrieval-Augmented Multi-Stage Training
Emory University（埃默里大学）；Georgia Institute of Technology（佐治亚理工学院）
针对科学文献分类标注成本高、标签与文献难匹配的问题，提出仅用标签名的弱监督框架WANDER，结合检索增强、标签扩展与自训练，在三个数据集上平均超最优基线11.9%。
2023-06-12 cs.CL cs.IR
Neural Embedding Allocation: Distributed Representations of Topic Models
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Atypon Systems（Atypon系统公司）
诸如skip-gram之类的词嵌入模型学习词的语义关系的向量表示，并且文档嵌入模型学习文档的类似表示。另一方面，主题模型提供了文档主题的潜在表示。为了同时获得这些表示的好处，我们提出了一种统一的算法，称为神经嵌入分配（NEA），它通过学习神经嵌入来模仿主题模型，将主题模型解构为单词，主题，文档，作者等的可解释向量空间嵌入。我们展示了NEA的LDA，作者主题模型和最近提出的混合成员跳克主题模型的有效性和通用性，并实现了更好的性能与嵌入相比，几个国家的最先进的模型。此外，我们证明，使用NEA平滑的主题，提高了一致性分数超过原来的主题模型时，主题的数量是大的。
2019-09-10 cs.CL cs.IR cs.LG
Legal Document Classification: An Application to Law Area Prediction of Petitions to Public Prosecution Service
MPPR（巴拉那州检察院）；UFPR（巴拉那联邦大学）；SAP SE（SAP公司）
近年来，人们越来越关注将自然语言处理（NLP）应用于法律文档。当应用于文本分类问题时，例如情感分析和文档的主题分割，卷积和递归神经网络以及词嵌入技术的使用已经呈现出有希望的结果。本文建议使用NLP技术进行文本分类，目的是对巴拉那州检察官办公室在该机构所涵盖的法律领域之一向民众提供的服务的描述进行分类。我们的主要目标是自动化将请愿书分配到各自法律领域的过程，从而减少与此过程相关的成本和时间，同时允许将人力资源分配给更复杂的任务。在本文中，我们比较了上述任务中的不同单词表示方法：包括文档术语矩阵和一些不同的词嵌入。关于分类模型，我们评估了三种不同的家族：线性模型、提升树和神经网络。在特定领域语料库上训练的Word2Vec和递归神经网络（RNN）架构（更具体地说，LSTM）的组合获得了最佳结果，在18个类别（法律领域）的分类中，准确率为90%，F1得分为85%。
2020-10-13 cs.IR cs.LG
Multi-label Dataless Text Classification with Topic Modeling
State Key Lab of Software Engineering, Wuhan University（武汉大学软件工程国家重点实验室）
手动标记文档既繁琐又昂贵，但它对于训练传统的文本分类器至关重要。近年来，一些无数据文本分类技术被提出来解决这个问题。然而，现有的工作主要集中在单标签分类问题，即，每个文件被限制为属于一个单一的类别。在本文中，我们提出了一种新的种子引导的多标签主题模型，命名为SMTM。SMTM利用与每个类别相关的几个种子词，对没有任何标记文档的文档集合进行多标记分类。在SMTM中，每个类别都与一个单独的类别主题相关联，该主题涵盖了类别的含义。为了适应多标签文档，我们显式模型的类别稀疏SMTM使用尖峰和板先验和弱平滑先验。也就是说，在不使用任何阈值调优的情况下，SMTM会自动为每个文档选择相关的类别。为了结合对种子词的监督，我们提出了种子引导的偏置GPU（即，广义波利亚瓮）抽样程序来指导SMTM的主题推理。在两个公共数据集上的实验表明，SMTM比最先进的替代方案实现了更好的分类精度，甚至在某些情况下优于监督解决方案。
2017-11-05 cs.CL cs.IR
DWT-CompCNN: Deep Image Classification Network for High Throughput JPEG 2000 Compressed Documents
Indian Institute of Information Technology Allahabad（阿拉哈巴德印度信息技术学院）；Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）
本文提出 DWT-CompCNN，通过五层卷积网络直接学习 HTJ2K 压缩文档的小波系数，在 Tobacco-3482 和 RVL-CDIP 上实现更高效且更准确的压缩域分类。
2023-07-15 cs.CV cs.IR cs.LG
Spatial Information Integration in Small Language Models for Document Layout Generation and Classification
Salzburg University of Applied Sciences（萨尔茨堡应用科技大学）
针对半结构化文档公开数据不足的问题，提出一种基于小型语言模型整合空间信息的合成版面生成方法，其效果优于LayoutTransformer，并证明边界框信息可提升文本分类。
2025-01-09 cs.AI cs.CL cs.IR
Multimodal Approaches for Visually-Rich Document Type Classification: A Comparative Analysis
OTH Regensburg（雷根斯堡应用技术大学）
针对视觉丰富文档类型分类中多模态建模策略难以系统比较的问题，本文在统一实验框架下对基于Transformer和LLM的四种代表性模型进行受控对比，发现专用多模态Transformer优于LLM方法，且图像信息贡献最大。
2026-06-01 cs.AI cs.CL cs.CV
Automating Document Classification with Distant Supervision to Increase the Efficiency of Systematic Reviews
Pennsylvania State University（宾夕法尼亚州立大学）；King Fahad University of Petroleum and Minerals（法赫德国王石油与矿业大学）
目的：学术文献的系统综述通常提供与研究问题相关的文献的完整和详尽的总结。然而，做得好的系统评价是昂贵的，需要时间和劳动密集型。在这里，我们提出了一个自动文档分类方法，以显着减少审查文件的努力。研究方法：我们首先描述了一个手动文档分类过程，用于策划一个相关的训练数据集，然后提出了三个分类器：一个关键词引导的方法，基于聚类分析的改进方法，和一个随机森林的方法，利用了一个大的功能令牌集。例如，这一方法被用来确定研究女性性工作者的文件，这些文件被认为含有与艾滋病毒或暴力有关的内容。我们通过交叉验证比较了三个分类器的性能，并对训练模型中使用的部分数据进行了敏感性分析。结果如下：随机森林方法为受试者操作特征（ROC）和精确度/召回率（PR）提供了最高的曲线下面积（AUC）。精确度和召回率的分析表明，随机森林可以帮助手动审查的文章的20%，而包含80%的相关案件。最后，我们发现一个很好的分类器可以使用一个相对较小的训练样本量。结论：总之，本文介绍的文件分类自动化程序可以提高系统综述的精度和效率，并促进定期更新综述的实时综述。
2020-12-09 cs.CL cs.IR cs.LG
Machine learning approach for text and document mining
Institute of technology Gopeshwar（戈佩什瓦尔技术学院）；Bansathali University（班萨塔利大学）；University of Oviedo（奥维耶多大学）；Siemens Information Systems Limited（西门子信息系统有限公司）
文本分类（TC），也称为文本分类，是将一组文本文档自动分类为预定义集合中的不同类别的任务。如果一个文档恰好属于其中一个类别，则它是一个单标签分类任务;否则，它是一个多标签分类任务。TC使用来自信息检索（IR）和机器学习（ML）的几种工具，并且在过去几年中受到学术界研究人员和行业开发人员的广泛关注。在本文中，我们首先使用基于KNN的机器学习方法对文档进行分类，然后返回最相关的文档。
2014-06-06 cs.IR cs.LG
A hybrid learning algorithm for text classification
International Islamic University Chittagong（吉大港国际伊斯兰大学）
文本分类是将文档根据其内容分为预定义类别的过程。现有的用于文本自动分类的监督学习算法需要足够的文档才能准确地学习。本文提出了一种新的文本分类算法，需要更少的文件进行训练。不使用单词，而是使用单词关系（即这些单词的关联规则）来从预分类文本文档中获取特征集。朴素贝叶斯分类器的概念，然后使用派生的功能，最后只有一个单一的概念，遗传算法已被添加到最终的分类。实验结果表明，该方法建立的分类器比现有的文本分类系统更准确。
2010-09-23 cs.IR cs.LG cs.NE
Improving Document Classification with Multi-Sense Embeddings
University of Utah（犹他大学）；IIT Guwahati（印度理工学院古瓦哈提分校）；IISC Bangalore（印度科学学院班加罗尔分院）
文本文档的有效表示是许多NLP任务中的重要组成部分。对长文本分类的研究表明，简单的词向量加权平均用于句子表示通常优于更复杂的神经模型。最近提出的稀疏复合文档向量（SCDV）（Mekala et. al，2017）使用词向量上的软聚类将这种方法从句子扩展到文档。然而，SCDV忽视了词的多义性，也遭受了更高维度的诅咒。在这项工作中，我们解决这些缺点，并提出SCDV-MS。SCDV-MS利用多意义的词嵌入和学习一个低维流形。通过在多个真实数据集上的广泛实验，我们表明SCDV-MS嵌入在多类和多标签文本分类任务上优于以前最先进的嵌入。此外，SCDV-MS嵌入在文本分类任务的时间和空间复杂度方面比SCDV更有效。
2019-11-18 cs.CL cs.IR cs.LG
HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries
Standard Chartered Bank（渣打银行）；OCBC（华侨银行）
HIRA是面向受监管行业的无训练本地检索增强级联文档分类模型，结合多模态检索与本地LLM及人工审核，仅需少量人工修正即可大幅提升Macro-F1，减少LLM调用，性能接近全标注神谕模型。
2026-08-25 cs.AI cs.CV cs.IR
Open Set Classification of Untranscribed Handwritten Documents
PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）；tranSkriptorium IA（tranSkriptorium人工智能公司）；HUM313 Research Group（HUM313研究组）；Universidad de Cádiz（加的斯大学）
大量重要手稿的数字页面图像保存在世界各地的档案馆中。由于数量庞大，档案工作者通常无法用所需的元数据对大多数文件进行适当标记，从而降低了对档案的适当组织以及学者和公众的有效探索。文档的类或“类型”可能是元数据中包含的最重要的标记。技术问题是通过图像的文本内容对文档进行自动分类，每个文档由一组未转录的手写文本图像组成。所考虑的方法是基于“概率索引”，一个相对新颖的技术，允许有效地表示手写文本图像所表现出的内在字级的不确定性。我们评估了这种方法的性能，从西班牙档案馆Hostórico省加的斯，一个大的集合复杂的公证手稿，有希望的结果。
2022-06-20 cs.CL cs.CV cs.IR
Document classification using a Bi-LSTM to unclog Brazil's supreme court
Universidade de Brasília (UnB)（巴西利亚大学）
巴西的法院系统是目前世界上最堵塞的司法系统。每天有成千上万的诉讼案件到达最高法院。需要对这些案例进行分析，以便与相关标签相关联并分配给正确的团队。大多数案件以光栅扫描文件的形式到达法院，其质量水平参差不齐。分析的第一步是对这些文档进行分类。在本文中，我们提出了一个双向长短期记忆网络（Bi-LSTM）来分类这些法律文件。
2018-11-27 cs.IR cs.LG stat.ML
Unity in Diversity: Learning Distributed Heterogeneous Sentence Representation for Extractive Summarization
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
多文档自动摘要是自然语言理解领域的一个研究热点。这样的提取机制以某种形式计算要被包括到摘要中的句子的价值。虽然传统的方法依赖于人工制作的文档独立的功能来生成摘要，我们开发了一个数据驱动的新的摘要系统称为HNet，它利用各种语义和成分方面潜在的一句话来捕捉文档独立的功能。该网络以一种方式学习句子表示，即显著句子在向量空间中比非显著句子更接近。然后将此语义和组成特征向量与文档相关特征连接起来，以进行句子排名。在DUC基准数据集（DUC-2001，DUC-2002和DUC-2004）上的实验表明，与最先进的基线相比，我们的模型在ROUGE得分方面显示出约1.5-2点的显着性能增益。
2019-12-25 cs.CL cs.IR cs.LG
A Comparison of Approaches for Imbalanced Classification Problems in the Context of Retrieving Relevant Documents for an Analysis
Ludwig-Maximilians-University Munich（慕尼黑路德维希-马克西米利安大学）
许多基于文本的社会科学研究的第一步是从大量的不相关文档中检索与分析相关的文档。在社会科学中，解决这一检索任务的传统方法是应用一组关键字，并认为这些文档是相关的，至少包含一个关键字。但是，应用不完整的关键字列表有可能得出有偏见的推论。更复杂和昂贵的方法，如查询扩展技术，基于主题模型的分类规则，以及主动和被动的监督学习可能有潜力更准确地分离相关的不相关的文件，从而减少潜在的偏见的大小。然而，应用这些更昂贵的方法是否会增加检索性能相比，关键字列表在所有，如果是这样的话，有多少，是不清楚的，因为这些方法的比较是缺乏的。这项研究通过比较这些方法在与德国推文数据集（Linder，2017），社会偏见推理语料库（SBIC）（Sap等人，2020）和Reuters-21578语料库（Lewis，1997）。结果表明，查询扩展技术和主题模型为基础的分类规则，在大多数研究设置往往会降低，而不是提高检索性能。然而，主动监督学习如果应用于不太小的标记训练实例集（例如，1,000个文档），则达到比关键字列表高得多的检索性能。
2022-05-03 cs.CL cs.IR stat.AP
Multiple Document Representations from News Alerts for Automated Bio-surveillance Event Detection
Pacific Northwest National Laboratory（太平洋西北国家实验室）
由于全球化，地理边界不再是传染病传播的有效屏障。为了帮助生物监测分析人员进行疾病跟踪，最近的研究致力于开发利用因特网上大量公开可用文档的信息检索和分析方法。在这项工作中，我们提出的方法，自动检索和分类的文件相关的积极的公共卫生事件。我们展示了自动生成的语料库上的分类性能，使用递归神经网络，TF-IDF和朴素贝叶斯对数计数比文档表示。通过对文档的标题和描述进行联合建模，我们使用性能最好的生物监测事件分类模型实现了97%的召回率和93.3%的准确率：对一对双向递归神经网络的组合输出进行逻辑回归。
2019-02-17 cs.IR cs.LG stat.ML
Comparative Document Summarisation via Classification
Australian National University（澳大利亚国立大学）；Data to Decision CRC（数据与决策合作研究中心）；Google Research（谷歌研究院）
本文考虑了比较环境中的提取摘要：给定两个或多个文档组（例如，按出版时间分开），目标是选择少量的文件，这些文件代表每个组，并且最大限度地区别于其他组。我们制定了一套新的目标函数，这个问题，连接最近的文献文档摘要，可解释的机器学习，和数据子集选择。特别是，通过铸造的问题作为一个二进制分类之间的不同群体，我们得出的最大平均差异的概念，以及一个简单而有效的基于梯度的优化策略的基础上的目标。我们的新配方允许可扩展的评估比较总结作为一个分类任务，自动和通过众包。为此，我们评估了比较总结方法的新策划的收集有争议的新闻话题超过13个月。我们观察到，基于梯度的优化优于离散和基线方法在14个24个不同的自动评估设置。在众包评估中，梯度优化的摘要比离散优化从人类工作者那里得到的分类准确率高出7%。我们的结果与最近的文献相比，有利于离散优化的子模块化数据子集选择。我们认为，我们的比较总结的制定将在各种用例中证明是有用的，例如比较内容来源，作者，相关主题或不同的观点。
2020-01-02 cs.IR cs.LG stat.ML
Funnelling: A New Ensemble Method for Heterogeneous Transfer Learning and its Application to Cross-Lingual Text Classification
Consiglio Nazionale delle Ricerche（意大利国家研究委员会）
跨语言文本分类（CLC）包括根据公共类集合C自动分类每个以语言集合L中的一个编写的文档，并且这样做比通过其对应的语言特定分类器对每个文档进行简单分类时更准确。为了获得给定语言的分类准确性的增加，系统因此还需要利用以其他语言编写的训练样本。我们通过漏斗处理多标签CLC，这是我们在这里提出的一种新的集成学习方法。漏斗包括生成一个两层分类系统，其中所有文档，无论语言如何，都由相同的（第二层）分类器进行分类。对于这个分类器，所有的文件都表示在一个共同的，独立于语言的特征空间，由第一层，语言相关的分类器生成的后验概率。这允许任何语言的所有测试文档的分类受益于任何语言的所有训练文档中存在的信息。我们提出了大量的实验，运行在公开的多语言文本集合，其中漏斗显着优于一些国家的最先进的基线。所有代码和数据集（矢量形式）都是公开的。
2019-04-16 cs.AI cs.IR cs.LG
