Rationale-Augmented Convolutional Neural Networks for Text Classification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）
我们提出了一个新的卷积神经网络（CNN）模型的文本分类，联合利用标签的文件和它们的组成部分的句子。具体来说，我们考虑注释器显式标记支持其整体文档分类的句子（或片段）的场景，即，他们提供了理由。我们的模型利用这种监督通过一个分层的方法，其中每个文件是由其组成句子的向量表示的线性组合表示。我们提出了一个句子级卷积模型，该模型估计给定句子是合理性的概率，然后我们将每个句子对聚合文档表示的贡献与这些估计成比例。在五个具有文档标签和相关原理的分类数据集上的实验表明，我们的方法始终优于强基线。此外，我们的模型自然为它的预测提供了解释。
2016-09-24 cs.CL
APRF-Net: Attentive Pseudo-Relevance Feedback Network for Query Categorization
Emory University（埃默里大学）；The Home Depot（家得宝）
查询分类是电子商务搜索中查询意图理解的重要组成部分。常见的查询分类任务是在产品分类中选择相关的细粒度产品类别。对于频繁的查询，丰富的客户行为（例如，点进数据）可用于推断相关产品类别。然而，对于覆盖大量搜索流量的更罕见的查询，由于缺乏这种信号，仅仅依靠客户行为可能是不够的。为了提高罕见的查询分类，我们适应伪相关反馈（PRF）的方法，利用潜在的知识嵌入在语义或词汇相似的产品文档，以丰富表示更罕见的查询。为此，我们提出了一种新的深度神经模型，称为注意伪相关反馈网络（APRF-Net），以增强查询分类的罕见查询的表示。为了证明我们的方法的有效性，我们收集了来自大型商业搜索引擎的搜索查询，并将APRF-Net与最先进的文本分类深度学习模型进行了比较。我们的结果表明，APRF-Net在F1@1评分上比基线显着提高了查询分类5.9%，对于罕见（尾部）查询，这一提高提高到8.2%。本文的研究结果可以用来进一步改善搜索查询表示和理解。
2021-05-10 cs.CL cs.IR cs.LG
On the Role of Text Preprocessing in Neural Network Architectures: An Evaluation Study on Text Categorization and Sentiment Analysis
Cardiff University（卡迪夫大学）
文本预处理通常是自然语言处理（NLP）系统的第一步，对系统的最终性能有潜在的影响。尽管文本预处理很重要，但在深度学习文献中并没有受到太多关注。在本文中，我们研究了简单的文本预处理决策（特别是标记化，词形化，小写和多词分组）对标准神经文本分类器性能的影响。我们进行了广泛的评价标准的基准，从文本分类和情感分析。虽然我们的实验表明，输入文本的简单标记化通常是足够的，但它们也突出了预处理技术之间的显著差异。这揭示了在管道中注意这个通常被忽视的步骤的重要性，特别是在比较不同模型时。最后，我们的评估提供了最佳的预处理实践训练词嵌入的见解。
2018-08-23 cs.CL cs.IR
From Image to Text Classification: A Novel Approach based on Clustering Word Embeddings
University of Bucharest（布加勒斯特大学）
受计算机视觉中广泛应用的视觉词袋模型的启发，提出了一种基于聚类词嵌入的文本分类方法。在使用预训练的词嵌入模型将文档集合中的每个词表示为词向量之后，对词向量应用k均值算法以获得固定大小的聚类集。每个聚类的质心被解释为一个超级词嵌入，它包含了嵌入空间某个区域中所有语义相关的词向量。然后将文档集合中的每个嵌入词分配到最近的聚类质心。最后，通过计算每个超级词嵌入在相应文档中的频率，将每个文档表示为一个超级词嵌入包。我们还偏离了为整个文档集合构建单个词汇表的想法，并建议构建特定于类的词汇表以获得更好的性能。使用这种表示，我们报告结果的两个文本挖掘任务，即文本分类的主题和极性分类。在这两个任务上，我们的模型都比标准的单词袋有更好的性能。
2017-07-25 cs.CL
A Comparative Study on Different Types of Approaches to Bengali document Categorization
Shahjalal University of Science & Technology（沙贾拉尔科技大学）
文档分类是一种确定文档类别的技术。本文比较了支持向量机（SVM）、朴素贝叶斯（NB）和随机梯度下降（SGD）这三种著名的监督学习技术在孟加拉文文档分类中的应用。除了分类器，分类还取决于如何从数据集中选择特征。为了分析这些分类器对12个类别的文档进行预测的性能，本文还应用了几种特征选择技术，即卡方分布，归一化TFIDF（词频-逆文档频率）与词分析器。因此，我们尝试在这篇文章中使用两种不同的特征选择技术来探索这三种分类算法的效率。
2017-01-27 cs.CL cs.LG
Supervised learning Methods for Bangla Web Document Categorization
University Malaysia Pahang（马来西亚彭亨大学）；Hajee Mohammad Danesh Science and Technology University（哈吉·穆罕默德·达内什科学技术大学）；Rajshai University of Engineering and Technology（拉杰沙希工程技术大学）
本文探讨了机器学习方法的使用，或者更具体地说，四种监督学习方法，即决策树（C 4.5），K-最近邻（KNN），朴素贝叶斯（NB），和支持向量机（SVM）的孟加拉语Web文档的分类。这是一个自动将一组文档从预定义的集合中分类的任务。虽然广泛的方法已被应用于英语文本分类，孟加拉语文本分类的研究相对较少。因此，我们试图分析的效率，这四种方法分类孟加拉文文件。为了验证，孟加拉语语料库从各种网站已经开发并作为实验的例子。对于孟加拉语，实证结果支持，所有四种方法都产生了令人满意的性能与SVM达到良好的效果，在高维和相对嘈杂的文档特征向量。
2014-10-08 cs.CL cs.LG
Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon.com, Inc.（亚马逊公司）；University of California San Diego（加利福尼亚大学圣迭戈分校）
文本分类是Web内容分析中的一项重要任务。考虑到不断发展的Web数据和新出现的类别，而不是费力的监督设置，在本文中，我们专注于最小监督设置，旨在有效地对文档进行分类，每个类别有几个种子文档注释。我们认识到，从网络上收集的文本通常是结构丰富的，即，伴随着各种元数据。人们可以很容易地将语料库组织成一个文本丰富的网络，将原始文本文档与文档属性、高质量短语、标签表面名称作为节点，并将它们的关联作为边。这样的网络提供了语料库的异构数据源的整体视图，并实现了基于网络的分析和深度文本模型训练的联合优化。因此，我们提出了一个新的框架，最低限度的监督分类学习的文本丰富的网络。具体来说，我们联合训练两个模块不同的归纳偏见-文本分析模块的文本理解和网络学习模块的类判别，可扩展的网络学习。每个模块从未标记的文档集生成伪训练标签，并且两个模块通过使用池化伪标签进行共同训练来相互增强。我们在两个真实世界的数据集上测试我们的模型。在具有挑战性的683个类别的电子商务产品分类数据集上，我们的实验表明，给定每个类别只有三个种子文档，我们的框架可以达到约92%的准确率，显著优于所有比较方法;我们的准确率与在约50 K标记文档上训练的监督BERT模型仅相差不到2%。
2021-02-23 cs.CL
Towards a Heuristic Categorization of Prepositional Phrases in English with WordNet
本文讨论了PPs自动分类的方法及其基本实现;该主题在NLP中没有像NP和VP那样受到关注。该方法是一个基于规则的算法概述了我们的研究的几个层次。有7个语义类别的PP考虑在本文件中，我们能够从一个注释的语料库进行分类。
2010-02-04 cs.CL
Web Document Categorization Using Naive Bayes Classifier and Latent Semantic Analysis
Iran University of Science and Technology（伊朗科学技术大学）；Umeå University（于默奥大学）
由于大量使用万维网的Web文档的快速增长，需要有效的技术来有效地分类在Web上的文档。因此，它产生了每秒高容量的数据，具有高多样性。自动分类这些不断增长的Web文档量是我们今天面临的最大挑战之一。概率分类算法，如朴素贝叶斯已成为常用的Web文档分类。这主要是因为在很多应用领域中分类精度不高，以及对文本数据表示所独有的高维稀疏数据缺乏支持。传统的特征选择方法在处理大数据、大规模Web文档时，往往缺乏对词与词之间语义关系的关注和支持。为了解决这个问题，我们提出了一种Web文档分类方法，使用LSA来增加同类文档的相似性，提高分类精度。使用这种方法，我们设计了一个更快，更准确的分类器的Web文档。实验结果表明，采用上述预处理方法可以有效地提高朴素贝叶斯分类器的准确率和速度，准确率和召回率指标都得到了提高。
2020-06-02 cs.CL
A document processing pipeline for the construction of a dataset for topic modeling based on the judgments of the Italian Supreme Court
本文提出集成YOLOv8x、OCR、匿名化与BERTopic的意大利最高法院判决处理流水线，构建公开主题建模数据集，并由LLM生成标签和摘要，实验表现优异。
2025-05-13 cs.CL
Light-Weighted CNN for Text Classification
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
对于管理，文档被分类到一个特定的类别中，为了做到这一点，大多数组织使用手工劳动。在今天的自动化时代，手动完成这样的任务是不合理的，为了避免这种情况，我们在市场上有很多软件。然而，效率和最低的资源消耗是焦点，这也是创造竞争的焦点。通过机器将这些文档分类到指定的类中提供了很好的帮助。分类技术之一是使用卷积神经网络（TextCNN）的文本分类。TextCNN使用多种大小的过滤器，就像Googlenet中引入的inception层一样。该网络提供了良好的精度，但由于大量的可训练参数而导致高内存消耗。为了解决这个问题，我们引入了一种基于可分离卷积的全新架构。可分离卷积的思想已经存在于图像分类领域，但尚未引入文本分类任务。在这种架构的帮助下，我们可以大幅减少可训练参数。
2020-04-16 cs.CL cs.LG stat.ML
Towards the Improvement of Automated Scientific Document Categorization by Deep Learning
University of Hagen（哈根大学）
这篇硕士论文描述了一种使用深度学习技术对科学文档进行自动分类的算法，并将其结果与现有分类算法的结果进行了比较。作为一个额外的目标，一个可重复使用的API将被开发，允许在现有的软件中的分类任务的自动化。将提出使用卷积神经网络作为分类器并将其集成到基于REST的API中的设计。然后，这是作为一个实际的概念实现证明的基础，以及在这篇论文中。它将表明，深度学习分类器在多类文档分类的上下文中提供了非常好的结果，并且可以使用基于REST的服务将这些分类器集成到更大的生态系统中。
2017-06-18 cs.CL cs.IR
Arabic Text Categorization Algorithm using Vector Evaluation Method
Isra University（伊斯拉大学）；University of Jordan（约旦大学）；Al-Ahliyya Amman University（艾哈利亚安曼大学）
文本分类是将文档根据其内容进行分类的过程。这个过程对于使信息检索更容易是很重要的，并且由于在线可获得的大量文本信息，它变得更加重要。文本分类中的主要问题是如何提高分类精度。阿拉伯语文本分类是一个新兴的研究领域，但相关的研究却很少。提出了一种基于向量评估的阿拉伯文文本分类方法。该方法利用一个已分类的阿拉伯语文档语料库，通过计算待测文档词的权值来确定文档关键词，并将其与已分类的语料库中的关键词进行比较，从而确定待测文档的最佳类别。
2015-01-06 cs.CL cs.IR
Document Informed Neural Autoregressive Topic Models
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
单词周围的上下文信息有助于确定它们的实际含义，例如在人工神经网络或生物神经网络的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。这导致在泛化、可解释性和适用性方面的性能提高。我们将我们的建模方法应用于来自各个领域的七个数据集，并证明我们的方法始终优于最先进的生成主题模型。使用学习的表示，我们在检索分数为0.02和F1的文本分类中平均获得了9.6%（0.57 Vs 0.52）的精度和7.2%（0.582 Vs 0.543）的精度。
2018-08-11 cs.CL cs.IR cs.LG
Thematic and Task-Based Categorization of K-12 GenAI Usages with Hierarchical Topic Modeling
University of Liechtenstein（利肯stein大学）；University College of Teacher Education Vorarlberg（前阿尔卑斯教师教育大学）；School Authority Liechtenstein（利肯stein学校当局）；Leuphana University of Lüneburg（吕内堡大学）
本研究采用新颖的分层主题建模方法，通过直接应用最先进的LLM对K-12阶段超过17,000条真实课堂交互消息进行内容与任务双维度分类，揭示了GenAI的新颖应用并指出了未来研究的开放问题。
2025-08-01 cs.CL cs.CY
Automatic Generation of Language-Independent Features for Cross-Lingual Classification
Technion – Israel Institute of Technology（以色列理工学院）
许多应用程序需要使用预定义的类别对文本文档进行分类。执行文本分类的主要方法是从标记的示例中学习。对于许多任务，可能很难找到一种语言的示例，但在其他语言中很容易。从一种或多种语言的例子中学习并在另一种语言中分类的问题称为跨语言学习。在这项工作中，我们提出了一种新的方法，解决了一般的跨语言文本分类问题。我们的方法为每个训练文档生成一组与语言无关的特征。使用这些特征进行训练会产生一个独立于语言的分类器。在分类阶段，我们为未标记的文档生成与语言无关的特征，并将分类器应用于新的表示。为了构建特征生成器，我们利用了一个分层的独立于语言的本体，其中每个概念都有一组支持文档，用于所涉及的每种语言。在预处理阶段，我们使用支持文档来构建一组与语言无关的特征生成器，每种语言一个。这些生成器的集合用于将任何文档映射到与语言无关的特征空间。我们的方法适用于最一般的跨语言文本分类问题，能够从任何语言的混合中学习，并对任何其他语言的文档进行分类。我们还提出了一种方法，利用本体的层次结构来创建虚拟的支持文件的语言，没有他们。我们测试了我们的方法，使用维基百科作为我们的本体，在跨语言文本分类中最常用的测试集合，并发现它优于现有的方法。
2018-02-12 cs.CL
Term-Class-Max-Support (TCMS): A Simple Text Document Categorization Approach Using Term-Class Relevance Measure
University of Mysore（迈索尔大学）
本文提出了一种简单的基于词类相关性的文本分类方法。最初，处理文本文档以提取其中存在的重要术语。对于从文档中提取的每个术语，我们通过Guru和Suhil（2015）[1]提出的称为术语类相关性（TCR）的新术语加权方案来计算其在保留类内容方面的重要性。通过这种方式，对于每个术语，计算其与语料库中存在的所有类的相关性并存储在知识库中。在测试过程中，测试文档中存在的术语被提取，并且从存储的知识库中获得每个术语的术语类相关性。为了实现词项权重的快速查找，采用了B树索引数据结构。最后，在术语类相关性方面获得最大支持的类被确定为给定测试文档的类。所提出的方法在对数复杂度的测试时间和简单的实现相比，在文献中的任何其他文本分类技术。在各种基准数据集上进行的实验表明，所提出的方法的性能是令人满意的和令人鼓舞的。
2016-10-16 cs.CL cs.IR
Application of Hierarchical Temporal Memory Theory for Document Categorization
College of Engineering, Pune（浦那工程学院）；Maker’s Lab, Tech Mahindra Ltd.（马恒达科技公司创客实验室）
目前的工作打算研究的性能的层次时间记忆（HTM）理论的自动分类的文本以及文件。HTM是一种基于人类大脑新皮层工作原理的生物启发理论。本研究旨在提供一个替代的框架，使用HTM理论中的空间位置学习算法进行文档分类。由于HTM只接受二进制数据流作为输入，潜在语义索引（LSI）技术用于从输入中提取顶部特征并将其转换为二进制格式。Spatial Poisson算法将二进制输入转换为稀疏模式，其中具有重叠空间模式的类似输入文本使得易于将模式分类为类别。所获得的结果证明，HTM理论，虽然是在其新生阶段，执行与大多数流行的机器学习为基础的分类。
2021-12-29 cs.CL cs.LG
An Improved k-Nearest Neighbor Algorithm for Text Categorization
k是基于k-近邻算法（kNN）的文本分类系统中最重要的参数，在分类过程中，首先确定训练集中与测试文档最近的k个文档。然后，可以根据这k个最近邻的类别分布进行预测。一般来说，训练集中的类分布是不均匀的。某些类可能比其他类具有更多的样本。因此，系统性能对参数k的选择非常敏感。固定的k值很可能会导致对大类别的偏见。为了解决这些问题，我们提出了一种改进的kNN算法，它使用不同数量的最近邻为不同的类别，而不是一个固定的数量在所有类别。更多的样本（最近邻）将用于决定是否将测试文档分类到训练集中具有更多样本的类别。在中文文本分类上的初步实验表明，该方法对参数k的敏感性比传统方法低，并且在k较大的情况下也能正确地对较小类别的文档进行分类。该方法是有前途的某些情况下，估计参数k通过交叉验证是不允许的。
2003-06-16 cs.CL
Neural Natural Language Processing for Long Texts: A Survey on Classification and Summarization
Athens University of Economics and Business（雅典经济与商业大学）；Harokopio University of Athens（雅典哈罗科皮奥大学）
本文综述了长文本的神经自然语言处理，聚焦文档分类与摘要任务，提供入门教程、最新技术考察、长文本定义及方法分类体系，并列出公开数据集以促进研究。
2024-03-15 cs.AI cs.CL
Hierarchical Metadata-Aware Document Categorization under Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出弱监督下融合标签层次、元数据与文本信号的生成式框架HiMeCat，通过联合表示学习模块与层次化数据增强模块，有效解决了小规模标注样本下的文档分类问题并取得持续性能提升。
2020-12-20 cs.CL cs.IR cs.LG
An Automated Text Categorization Framework based on Hyperparameter Optimization
CONACyT Consejo Nacional de Ciencia y Tecnología（墨西哥国家科学技术委员会）；INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación（INFOTEC 信息与通信技术研究与创新中心）
各种各样的文本任务，如主题或垃圾邮件识别，用户分析和情感分析可以作为一个监督学习问题，并使用文本分类器来解决。一个文本分类器由几个子过程组成，其中一些是一般的，足以适用于任何监督学习问题，而其他人是专门设计来解决一个特定的任务，使用复杂的和计算昂贵的过程，如词形还原，语法分析等，与传统的方法相反，我们提出了一个最小的和广泛的系统，能够处理文本分类任务独立的领域和语言，即microTC。它由一些易于实现的文本转换、文本表示和一个监督学习算法组成。这些作品甚至在非正式书面文本领域也产生了竞争性的分类器。我们提供了一个详细的描述microTC随着广泛的实验比较与相关的国家的最先进的方法。在30个不同的数据集上比较了mircoTC。在准确性方面，microTC在20个数据集中获得了最佳性能，而在其余10个数据集中获得了竞争性结果。比较的数据集包括几个问题，如主题和极性分类，垃圾邮件检测，用户分析和作者归属。此外，重要的是要声明，我们的方法允许使用该技术，即使没有机器学习和自然语言处理的知识。
2017-09-14 cs.AI cs.CL stat.ML
Analysis of opinionated text for opinion mining
Government Engineering College, Hassan（哈桑政府工程学院）
在情感分析中，确定对对象/特征表达的意见的极性，以评估句子或文档的情感是积极的/消极的/中性的。自然地，对象/特征是名词表示，其指的是产品或产品的组件，让我们说，相机中的“镜头”和在其上发出的意见被捕获在形容词、动词、副词和名词词本身中。除了这些词，其他元信息和各种有效特征也将在影响情感极性方面发挥重要作用，并对系统的性能做出显着贡献。在本文中，一些相关的信息/元数据的情感文本进行了探索和研究。基于这里提出的分析结果，有进一步的评估和利用的元信息的文本分类，排名文本文件，识别垃圾邮件的文件和极性分类问题的功能的范围。
2016-07-14 cs.AI cs.CL cs.IR
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore（迈索尔大学）
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法，直到实现期望的级别分区，使得每个分区包含单个类的标记文档。一旦获得所需的聚类，各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验，以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
A Novel Term_Class Relevance Measure for Text Categorization
University of Mysore（迈索尔大学）
在本文中，我们引入了一个新的措施，称为Term_Class相关性计算的相关性的一个术语分类到一个特定的类的文件。建议的措施估计的相关程度的一个给定的术语，在放置一个未标记的文档是一个已知的类的成员，作为产品的类_术语权重和类_术语密度;其中，Class_Term权重是包含该术语的类的文档的数量与包含该术语的文档的总数的比率，并且Class_Term权重是包含该术语的类的文档的数量与包含该术语的文档的总数的比率。术语密度是术语在类中出现的相对密度，与术语在整个群体中的总出现率。与其他现有的长期加权计划，如TF-IDF及其变种，建议的相关性措施考虑到整个人口的类的所有文件的长期的相对参与程度。为了证明拟议措施的重要性，在20个新闻组数据集上进行了实验。通过对比分析，进一步说明了该方法的优越性.
2016-09-14 cs.CL cs.IR
Minimally Supervised Categorization of Text with Metadata
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
针对文档分类中元数据未被利用和标签稀缺的问题，提出最小监督框架MetaCat，通过生成模型将文本与元数据嵌入同一语义空间并合成训练样本，有效提升了分类性能。
2021-11-13 cs.CL cs.IR cs.LG
NeuroSym-BioCAT: Leveraging Neuro-Symbolic Methods for Biomedical Scholarly Document Categorization and Question Answering
TIB—Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心（TIB））；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Daffodil International University（水仙国际大学）
针对生物医学学术文档摘要信息检索难题，提出融合OVB-LDA主题模型与BI-POP CMA-ES的分类方法，搭配微调的蒸馏MiniLM模型做答案抽取，在多配置下优于现有方法，验证了小模型与摘要的应用价值。
2024-10-29 cs.AI cs.CL cs.DL
Improving Large-Scale k-Nearest Neighbor Text Categorization with Label Autoencoders
University of Vigo（维戈大学）
本文提出一种基于标签自编码器的多标签懒惰学习方法，改进传统k近邻算法，在MEDLINE数据集上评估多种文档表示和自编码器配置，实现大规模文本自动语义索引。
2024-02-03 cs.CL cs.IR cs.LG
Sequence-to-Set Semantic Tagging: End-to-End Multi-label Prediction using Neural Attention for Complex Query Reformulation and Automated Text Categorization
The Ohio State University（俄亥俄州立大学）；Nationwide Children’s Hospital（全国儿童医院）
新颖的上下文可能经常出现在复杂的查询场景中，例如在涉及生物医学文献的循证医学（EBM）中，其可能不明确地指出现在任何基于事实或规则的知识源（例如，像UMLS的本体）中的实体或规范概念形式。此外，在当前上下文中有意义的候选概念之间的隐藏关联可能不存在于单个文档中，而是通过替代词汇形式存在于集合中。因此，受到最近序列到序列神经模型在广泛的NLP任务中提供最先进技术的成功的启发，我们开发了一种新的序列到集合框架，用于学习可以影响语料库内术语转移的文档表示，用于语义标记大量文档。我们证明了我们提出的方法在用于文本分类的监督多标签分类设置中以及在没有人类注释的文档标签的独特无监督设置中都是有效的，该设置不使用外部知识资源，只使用语料库派生的术语统计来驱动训练。此外，我们表明，使用我们的架构对大量未标记数据进行半监督训练，可以在有限的标记数据可用时提高文本分类任务的性能。我们的方法来生成文档编码，采用我们的序列到集合模型来推断语义标签，根据我们所知，在基于Okapi BM 25的文档检索系统上评估时，为TREC CDS 2016挑战数据集提供了最先进的无监督查询扩展任务;以及MLTM基线（Soleimani et al，2016），用于www.example.com和Ohsumed数据集上的监督和半监督多标签预测任务del.icio.us。我们将公开我们的代码和数据。
2019-11-11 cs.CL cs.IR cs.LG
Beyond original Research Articles Categorization via NLP
University of Genova（热那亚大学）
本研究提出一种基于 SciBERT 和 K-Means 算法的科学文献未知类别文本分类方法，利用轮廓系数确定最佳聚类数，实验证明其比传统 arXiv 标记系统更有效，能改进文献导航与推荐。
2023-09-13 cs.CL
Multi-label Categorization of Accounts of Sexism using a Neural Framework
IIIT-Hyderabad（海得拉巴国际信息技术学院）；Adobe Research（奥多比研究院）
性别歧视是一种不公正现象，使妇女和女孩遭受巨大痛苦，其表现形式既明显又微妙。随着网络上关于性别歧视经历的文件越来越多，对性别歧视叙述的自动分类有可能帮助社会科学家和决策者更好地研究和打击性别歧视。现有的性别歧视分类工作不同于性别歧视检测，在性别歧视的类别和/或它们是否可以共存方面存在一定的局限性。据我们所知，这是第一个对任何类型的性别歧视进行多标签分类的工作，我们为性别歧视分类贡献了最大的数据集。我们为这种多标签分类开发了一种神经解决方案，该解决方案可以使用涉及循环组件和可选卷积组件的灵活分层架构，将使用BERT等模型获得的句子表示与分布式和语言学词嵌入相结合。此外，我们利用性别歧视的未标记的帐户注入特定领域的元素到我们的框架。最好的方法优于几种深度学习以及传统的机器学习基线。
2019-11-18 cs.CL
Deep Multi-Task Models for Misogyny Identification and Categorization on Arabic Social Media
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Cadi Ayyad University（卡迪·阿亚德大学）
社交媒体平台上有毒内容的流行，如仇恨言论，攻击性语言和厌女症，对我们相互联系的社会提出了严重挑战。这些具有挑战性的问题引起了自然语言处理（NLP）界的广泛关注。在本文中，我们提出了第一个阿拉伯厌女症识别共享任务提交的系统。我们研究了三种多任务学习模型以及它们的单任务对应模型。为了对输入文本进行编码，我们的模型依赖于预训练的MARBERT语言模型。总体结果表明，我们提交的所有模型在厌女症识别和分类任务中都取得了最好的性能（排名前三的提交）。
2022-06-16 cs.CL
Improving Document Classification with Multi-Sense Embeddings
University of Utah（犹他大学）；IIT Guwahati（印度理工学院古瓦哈提分校）；IISC Bangalore（印度科学学院班加罗尔分院）
文本文档的有效表示是许多NLP任务中的重要组成部分。对长文本分类的研究表明，简单的词向量加权平均用于句子表示通常优于更复杂的神经模型。最近提出的稀疏复合文档向量（SCDV）（Mekala et. al，2017）使用词向量上的软聚类将这种方法从句子扩展到文档。然而，SCDV忽视了词的多义性，也遭受了更高维度的诅咒。在这项工作中，我们解决这些缺点，并提出SCDV-MS。SCDV-MS利用多意义的词嵌入和学习一个低维流形。通过在多个真实数据集上的广泛实验，我们表明SCDV-MS嵌入在多类和多标签文本分类任务上优于以前最先进的嵌入。此外，SCDV-MS嵌入在文本分类任务的时间和空间复杂度方面比SCDV更有效。
2019-11-18 cs.CL cs.IR cs.LG
Categorization of Semantic Roles for Dictionary Definitions
University of Passau（帕绍大学）
理解术语之间的语义关系是自然语言处理应用中的一项基本任务。虽然可以以正式方式表达这些关系的结构化资源（如本体）仍然稀缺，但收集字典定义的大量语言资源正在变得可用，但理解自然语言定义的语义结构是使其在语义解释任务中有用的基础。WordNet的注释的一个子集的分析的基础上，我们提出了一组语义角色，组成的字典定义的语义结构，并显示它们是如何相关的定义的语法配置，识别模式，可用于开发的信息抽取框架和语义模型。
2018-06-20 cs.CL
Domain and Language Independent Feature Extraction for Statistical Text Categorization
本文提出了一个通用的文本分类系统，它使用一个具有代表性的文本语料库来适应处理步骤：特征提取，降维和分类。特征提取通过使用语料库的统计信息和一般语言学知识来减少实际单词形式，从而自动地从语料库中学习特征。在保持特征向量基本信息的前提下，通过线性变换对特征向量进行降维.分类原则是基于多项式的最小最小二乘方法。所描述的系统可以容易地适应新的领域或新的语言。在实际应用中，该系统运行可靠、速度快、过程完全自动化。结果表明，文本分类器成功地工作在文本生成的文件图像分析- DIA和地面真实数据。
1996-07-02 cmp-lg cs.CL
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略，我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习（特别是使用深度神经模型）以及启动和停止AL。最后，我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
Categorization in the Wild: Generalizing Cognitive Models to Naturalistic Data across Languages
Amazon CoreAI（亚马逊CoreAI）；University of Edinburgh（爱丁堡大学）
动物或家具等类别是在很小的时候就获得的，在处理、组织和交流世界知识方面发挥着重要作用。类别存在于不同的文化中：它们允许有效地代表世界的复杂性，社区的成员强烈同意它们的性质，揭示了共同的心理表征。然而，类别学习和表征的模型通常是在小规模实验的数据上进行测试的，这些实验涉及具有人为限制特征的小组概念;实验主要涉及选定的文化和社会经济群体的参与者（通常涉及以英语为母语的西方人，如美国大学生）。这项工作研究了分类模型是否推广到（a）接近人类生活环境的丰富和嘈杂的数据;以及（b）跨语言和文化。我们提出了一个贝叶斯认知模型，旨在共同学习类别和它们的结构化表示从自然语言文本，使我们能够（a）大规模评估性能，（b）将我们的模型应用到一组不同的语言。我们表明，有意义的类别，包括数百个概念和丰富的结构化特征表示出现在不同的语言。我们的工作说明了最近在计算建模和大规模自然数据集的认知科学研究的进展的潜力。
2019-02-23 cs.CL
Leveraging Large Language Models For Optimized Item Categorization using UNSPSC Taxonomy
Data Scientist（数据科学家）
本文研究利用大型语言模型（LLMs）根据物品描述自动将库存数据分类为 UNSPSC 代码，实验表明该方法在保持高准确性的同时大幅减少了手工劳动，为企业提供了可扩展的库存管理解决方案。
2024-12-28 cs.AI cs.CL
How Document Pre-processing affects Keyphrase Extraction Performance
CNRS（法国国家科学研究中心）；Université de Nantes（南特大学）
SemEval-2010基准数据集重新引起了人们对自动关键词提取任务的关注。该数据集由从PDF格式自动转换为纯文本的科学文章组成，因此需要仔细的预处理，以便文本的无关跨度不会对关键词提取性能产生负面影响。在以前的工作中，广泛的文档预处理技术进行了描述，但它们对关键词提取模型的整体性能的影响仍然是未开发的。在这里，我们重新评估几个关键词提取模型的性能，并衡量其对日益复杂的文档预处理水平的鲁棒性。
2016-10-25 cs.CL
Text Categorization Can Enhance Domain-Agnostic Stopword Extraction
Masakhane Research Community（Masakhane研究社区）
本文结合 MasakhaNEWS 等数据集验证文本分类可有效提取九种非洲语言及法语的领域无关停用词，并提出统计与语言学结合的混合方法。
2024-01-24 cs.CL cs.LG
State of the Art, Evaluation and Recommendations regarding "Document Processing and Visualization Techniques"
在欧洲FP5研究计划的框架内建立了几个卓越网络。在这些卓越网络中，NEMIS项目专注于文本挖掘领域。在这一领域内，文件处理和可视化被确定为关键主题之一，并在NEMIS项目中创建了WG1工作组，对与文本挖掘过程相关的技术进行详细调查，并确定相关研究领域的相关研究主题。在本文件中，我们介绍了这一全面调查的结果。该报告包括对当前最先进技术和实践的描述，确定领域的后续研究路线图，以及对文本挖掘领域预期技术发展的建议。
2004-12-29 cs.CL
"What is Relevant in a Text Document?": An Interpretable Machine Learning Approach
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）
文本文档可以用许多抽象概念来描述，如语义类别、写作风格或情感。机器学习（ML）模型已经被训练成自动将文档映射到这些抽象概念，允许注释非常大的文本集合，超过人类一生所能处理的。除了非常准确地预测文本的类别之外，还非常希望了解分类过程如何以及为什么发生。在本文中，我们证明了这样的理解可以通过使用分层相关传播（LRP），最近开发的技术，用于解释复杂的非线性分类器的预测跟踪的分类决策回单个单词。我们训练两个基于单词的ML模型，一个卷积神经网络（CNN）和一个词袋SVM分类器，对主题分类任务，并适应LRP方法分解这些模型的预测到单词。所得分数表示单个单词对整体分类决策的贡献程度。这使得人们能够从文本文档中提取相关信息，而无需明确的语义信息抽取步骤。我们进一步使用的词明智的相关性得分生成新的基于矢量的文档表示捕捉语义信息。基于这些文档向量，我们引入了模型解释能力的度量，并表明，尽管SVM和CNN模型在分类准确性方面表现相似，但后者表现出更高的可解释性，这使得它更容易为人类所理解，并可能对其他应用更有用。
2016-12-23 cs.CL cs.IR cs.LG
Language Lexicons for Hindi-English Multilingual Text Processing
Jamia Millia Islamia（贾米亚·米利亚伊斯兰大学）
文本文档中的语言识别是根据文档内容自动检测文档中包含的语言的过程。目前的语言识别技术假设文档包含固定语言集合中的一种语言的文本，然而，当处理包括多于一种可能语言的内容的多语言文档时，这种假设是不正确的。由于没有大型标准语料库的印地语-英语混合语言的语言处理任务，我们提出了语言词典，一种新的词汇数据库，支持多种语言处理任务。这些词汇是通过在音译印地语和英语词汇上学习分类器建立的。所设计的词汇比其主要的收集来源具有更丰富的数量特征，这是使用可视化技术揭示的。
2021-06-29 cs.CL
Cross-lingual Dataless Classification for Languages with Small Wikipedia Presence
Hong Kong University of Science and Technology（香港科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种在没有任何文本分类训练数据的情况下，将任何语言的文档分类到英文主题标签空间的方法。跨语言无数据文档分类（CLDDC）的方法依赖于将英文标签或短类别描述映射到基于维基百科的语义表示，并且依赖于使用目标语言维基百科。因此，当目标语言的维基百科很小时，性能可能会受到影响。在本文中，我们专注于小维基百科的语言（小维基百科语言，SWLs）。我们使用一个词级词典将SWL中的文档转换为大型维基百科语言（LWL），然后基于LWL的维基百科执行CLDDC。这种方法可以应用于数千种语言，这可以与机器翻译形成对比，机器翻译是一种监督繁重的方法，可以对大约100种语言进行。我们还开发了一个排名算法，利用语言相似性指标，自动选择一个好的LWL，并表明，这显着提高了SWLs的文档分类，执行最好的桥梁可能。
2016-11-13 cs.CL
The Influence of Data Pre-processing and Post-processing on Long Document Summarization
长文档摘要是自然语言处理领域的一项重要而艰巨的任务。长文档摘要的良好表现表明该模型对人类语言有很好的理解。目前，大多数研究集中在如何修改Transformer的注意力机制，以获得更高的ROUGE分数。对数据的前处理和后处理的研究相对较少。在本文中，我们使用了两种预处理方法和一种后处理方法，并分析了这些方法对各种长文档摘要模型的效果。
2021-12-03 cs.AI cs.CL
Development and validation of a natural language processing algorithm to pseudonymize documents in the context of a clinical data warehouse
Sorbonne Université（索邦大学）；Inserm（法国国家健康与医学研究院）；Université Sorbonne Paris Nord（索邦巴黎北大学）；Assistance Publique-Hôpitaux de Paris（巴黎公立医院援助联盟）
本研究的目的是解决临床报告去识别化的关键问题，以允许出于研究目的访问数据，同时确保患者隐私。这项研究强调了在这一领域中共享工具和资源所面临的困难，并介绍了大巴黎大学医院（AP-HP）在实施其临床数据仓库的文本文件的系统化的经验。我们根据12种类型的识别实体对临床文档语料库进行了注释，并构建了一个混合系统，将深度学习模型的结果与手动规则相结合。我们的结果显示F1得分的总体性能为0.99。我们讨论了实现的选择，并提出了实验，以更好地理解这样的任务，包括数据集大小，文档类型，语言模型，或规则添加所涉及的工作。我们在3-Clause BSD许可证下共享指南和代码。
2023-03-23 cs.CL
Key Information Extraction From Documents: Evaluation And Generator
Maastricht University（马斯特里赫特大学）；KI Group GmbH（KI集团有限公司）
从文档中提取信息通常依赖于处理一维文本序列的自然语言处理方法。在某些情况下，例如，为了从半结构化文档（诸如发票文档）中提取关键信息，文本的空间和格式信息对于理解上下文含义是至关重要的。卷积神经网络在计算机视觉模型中已经很常见，用于处理和提取多维数据中的关系。因此，自然语言处理模型在过去已经与计算机视觉模型相结合，以受益于例如位置信息并提高这些关键信息抽取模型的性能。现有的模型要么是在未公布的数据集上训练的，要么是在附有注释的收据集上训练的，这些收据集并不侧重于类似PDF的文件。因此，在这个研究项目中，创建了一个基于模板的文档生成器来比较信息抽取的最新模型。现有的信息抽取模型“Chargrid”（Katti等人，2019）进行了重建，并评估了限界框回归解码器的影响以及NLP预处理步骤对从文档中提取信息抽取的影响。结果表明，基于NLP的预处理有利于模型的性能。然而，限界框回归解码器的使用仅对于不遵循矩形形状的场增加模型性能。
2021-06-09 cs.CL
CC-OCR V2: Fine-Grained Attribution of LMM Failures in Real-World Visual Document Understanding
Northeastern University（东北大学）；Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
该研究针对真实文档采集条件下多模态大模型（LMMs）的失效归因问题，构建了含7093个样本的CC-OCR v2基准，经17个LMMs实验发现，基准性能与实际部署可靠性存在显著差距。
2026-08-11 cs.CL
A Robust Framework for Classifying Evolving Document Streams in an Expert-Machine-Crowd Setting
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Eurecat（Eurecat技术与创新中心）
社交媒体数据流的在线分类中的一个新兴挑战是保持用于分类的类别是最新的。在本文中，我们提出了一个创新的框架的基础上专家机器人群（EMC）的黑社会，以帮助分类项目不断识别新的概念，在异构数据流中往往充斥着离群值。我们统一约束聚类和离群点检测制定一个新的优化问题：COD-Means。我们设计了一个算法来解决COD-Means问题，并表明COD-Means不仅有助于检测新的类别，而且还可以无缝地发现人类注释错误，并提高分类过程的整体质量。不同的真实数据集上的实验表明，我们的方法是有效的和高效的。
2016-10-06 cs.CL cs.IR
HERITAGE: An End-to-End Web Platform for Processing Korean Historical Documents in Hanja
KAIST（韩国科学技术院）；New York University（纽约大学）；Genentech（基因泰克公司）
针对韩国历史文献因汉文专业知识门槛高而难以理解的问题，HERITAGE作为首个开源汉文NLP工具包，提供标点恢复、命名实体识别和机器翻译功能，并辅以交互式词汇表，旨在降低翻译门槛，促进文献的现代语言翻译。
2025-01-21 cs.CL
G-Loss: Graph-Guided Fine-Tuning of Language Models
BITS Pilani（BITS 派拉尼）；Bucknell University（巴克内尔大学）
提出G-Loss损失函数，通过构建文档相似度图并利用半监督标签传播捕捉全局语义结构，引导语言模型学习更具判别性和鲁棒性的嵌入，在多个分类任务上提升准确率并加速收敛。
2026-08-31 cs.AI cs.CL cs.LG
SciWING -- A Software Toolkit for Scientific Document Processing
National University of Singapore（新加坡国立大学）
我们介绍SciWING，一个开源的软件工具包，它提供了访问预先训练的模型，科学文档处理任务，包括引文字符串解析和逻辑结构恢复。SciWING使研究人员能够通过交换和堆叠不同的模块来快速实验不同的模型。它还使它们能够从配置文件中声明和运行模型。它使研究人员能够从一般的、预先训练的Transformers迁移学习（即，BERT、SciBERT等），并帮助开发最终用户应用程序。它包括随时可用的Web和基于终端的应用程序和演示（可从http://sciwing.io获得）。
2020-10-23 cs.CL cs.DL
Multimodal Categorization of Crisis Events in Social Media
Dataminr Inc.（Dataminr公司）；Rutgers University（罗格斯大学）；University of California, Davis（加州大学戴维斯分校）
图像分类和自然语言处理的最新发展，加上社交媒体使用的快速增长，使实时检测世界各地突发事件的工作取得了根本性的进展。应急反应就是这样一个领域，它将从这些进展中获益。通过每分钟处理数十亿条文本和图像，可以自动检测事件，使应急响应工作人员能够更好地评估快速变化的情况，并相应地部署资源。迄今为止，该领域的大多数事件检测技术都集中在仅图像或仅文本的方法上，这限制了检测性能并影响了向危机响应团队提供的信息的质量。在本文中，我们提出了一种新的多模态融合方法，利用图像和文本作为输入。特别是，我们引入了一个交叉注意模块，可以过滤无信息和误导性的组件，从弱模态的样本样本的基础上。此外，我们采用了一种基于多模态图的方法，在训练过程中随机转换不同的多模态对的嵌入，以更好地规范学习过程，以及处理有限的训练数据，通过构建新的匹配对从不同的样本。我们表明，我们的方法优于单峰的方法和强大的多峰基线上的三个危机相关的任务的大幅度。
2020-04-10 cs.AI cs.CL cs.CV
Multi-Modal Vision vs. Text-Based Parsing: Benchmarking LLM Strategies for Invoice Processing
Fraunhofer IAIS（弗劳恩霍夫人工智能研究所）；Lamarr Institute（拉马尔研究所）
针对发票处理场景，对三款系列的多模态大模型开展零样本基准测试，对比直接图像处理与先转markdown的结构化解析策略，发现原生图像处理整体表现更优，为文档自动化系统的模型与策略选择提供参考。
2025-08-29 cs.AI cs.CL
