Syllabification by Phone Categorization
Gonzaga University（贡萨加大学）；Washington State University（华盛顿州立大学）
音节在语音合成、语音识别和口语文档检索中起着重要的作用。提出了一种新颖的、低成本的、与语言无关的将词划分为相应音节的方法。一个混合遗传算法构造一个音节优化的音素分类。这种分类是用在隐马尔可夫模型序列分类器的顶部，以找到音节边界。该技术在对英语单词进行训练和测试时显示出有希望的初步结果。
2018-07-15 cs.CL
Integrating a Lexical Database and a Training Collection for Text Categorization
文本自动分类是自然语言处理领域的一项复杂而有用的任务。最近的文本分类方法更多地关注算法，而不是涉及这个操作的资源。与此相反，我们提出了一种方法的基础上整合广泛可用的资源，词汇数据库和训练集合，以克服目前的任务的局限性。我们的方法利用WordNet同义词信息来增加训练不好的类别的证据。当测试一个直接的分类，一个基于WordNet的，一个训练算法，和我们的综合方法，后者表现出更好的perfomance比任何其他的。顺便说一句，基于WordNet的方法性能与训练方法相当。
1997-09-15 cmp-lg cs.CL
Text Categorization Can Enhance Domain-Agnostic Stopword Extraction
Masakhane Research Community（Masakhane研究社区）
本文结合 MasakhaNEWS 等数据集验证文本分类可有效提取九种非洲语言及法语的领域无关停用词，并提出统计与语言学结合的混合方法。
2024-01-24 cs.CL cs.LG
A Computational Acquisition Model for Multimodal Word Categorization
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Melbourne（墨尔本大学）
近年来，文本和图像的自监督建模技术的发展为儿童语言习得的计算模型提供了新的机会，而儿童语言习得被认为在很大程度上依赖于跨模态信号。然而，之前的研究受到了限制，因为它们依赖于在大型图像数据集上训练的视觉模型，这些图像数据集用一组预定义的描绘对象类别进行注释。这是（a）不忠实于儿童收到的信息和（b）禁止评估这些模型的类别学习任务，由于预先规定的类别结构。我们解决了这一差距，并提出了一个认知启发，多模态采集模型，训练从图像标题对自然的数据，使用跨模态自我监督。我们表明，该模型学习单词类别和对象识别能力，并提出了发展文献中报道的趋势。我们公开我们的代码和训练模型，以供将来参考和使用。
2022-05-12 cs.CL
A Comparative Study on Different Types of Approaches to Bengali document Categorization
Shahjalal University of Science & Technology（沙贾拉尔科技大学）
文档分类是一种确定文档类别的技术。本文比较了支持向量机（SVM）、朴素贝叶斯（NB）和随机梯度下降（SGD）这三种著名的监督学习技术在孟加拉文文档分类中的应用。除了分类器，分类还取决于如何从数据集中选择特征。为了分析这些分类器对12个类别的文档进行预测的性能，本文还应用了几种特征选择技术，即卡方分布，归一化TFIDF（词频-逆文档频率）与词分析器。因此，我们尝试在这篇文章中使用两种不同的特征选择技术来探索这三种分类算法的效率。
2017-01-27 cs.CL cs.LG
Handling Imbalanced Dataset in Multi-label Text Categorization using Bagging and Adaptive Boosting
Institut Teknologi Bandung（万隆理工学院）
不平衡的数据集是由于现实世界中可用的数据分布不均匀而发生的，例如对万隆政府办公室投诉的处理。因此，多标签文本分类算法可能不会产生最好的性能，因为分类器往往会被大多数数据所拖累，而忽略少数数据。本文采用Bagging和Adaptive Boosting算法来解决这个问题，提高文本分类的性能。采用汉明损失、子集准确度、基于实例的准确度和微平均f-测度等四个评价指标对结果进行评价。采用SMO弱分类器的Bagging ML-LP在子集准确率和基于示例的准确率方面表现最好。采用SMO弱分类器对ML-BR进行Bagging具有最好的微平均f-测度。另一方面，AdaBoost MH与J 48弱分类器具有最低的汉明损失值。因此，这两种算法在提高文本分类性能方面都有很大的潜力，但仅适用于某些弱分类器。然而，在提高少数标签的准确性方面，bagging比adaptive boosting更具潜力。
2019-06-11 cs.CL cs.LG
Multi-Granular Text Encoding for Self-Explaining Categorization
IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；Westlake University（西湖大学）；Tencent AI Lab（腾讯人工智能实验室）
自解释文本分类需要一个分类器进行预测，并提供支持证据。一种流行的证据类型是从输入文本中提取的子序列，这些子序列足以让分类器进行预测。在这项工作中，我们定义了多粒度的ngrams作为解释的基本单元，并将所有的ngrams组织成一个层次结构，以便在计算较长的ngrams时可以重用较短的ngrams。我们利用树结构的LSTM通过参数共享来学习每个单元的上下文无关表示。医学疾病分类实验表明，我们的模型比BiLSTM和CNN基线更准确，更高效，更紧凑。更重要的是，我们的模型可以提取直观的多粒度证据来支持其预测。
2019-07-19 cs.CL cs.LG
Multilingual Sentence Categorization according to Language
在本文中，我们描述了一种方法，句子分类的独创性是基于自然属性的语言没有训练集依赖。该实现是快速的，小的，健壮的和文本容错。通过对法语、英语、西班牙语和德语的测试，该系统给出了非常有趣的结果，在一次测试中，真实句子的正确率达到99.4%。分辨率是基于语法单词（不是最常见的单词）和字母表。有了每种语言的语法单词和字母表，系统就可以计算出每种语言被选中的可能性。具有最佳可能性的语言名称将标记句子-但未解决的歧义将被保留。我们将讨论导致我们使用这些语言事实的原因，并提出几个方向，以提高系统的分类性能。具有语言属性的分类句子表明，困难的问题有时有简单的解决方案。
1995-03-10 cmp-lg cs.CL
Variational Learning for the Inverted Beta-Liouville Mixture Model and Its Application to Text Categorization
Hezhou University（贺州学院）；North China University of Technology（北方工业大学）；DigApis Information Security Technology Co., Ltd.（江苏迪格艾普斯信息安全技术有限公司）；Jiangsu University（江苏大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
有限逆Beta-Liouville混合模型（IBLMM）最近由于其正数据建模能力而获得了一些关注。在传统的变分推理（VI）框架下，分析上容易处理的解决方案的变分后验分布的优化不能得到，因为变分目标函数涉及评价的难处理的时刻。在最近提出的扩展变分推理框架下，提出了一种新的变分目标函数来代替原变分目标函数，以避免难以处理的矩计算，从而使IBLMM的解析解能够以一种优雅的方式导出.实验表明，所提出的方法具有良好的性能与合成数据和现实世界的应用程序，即文本分类。
2021-12-29 cs.CL cs.LG
Joint Embedding of Hierarchical Categories and Entities for Concept Categorization and Dataless Classification
Carnegie Mellon University（卡内基梅隆大学）
由于缺乏结构化的知识应用于学习的分布式表示的类别，现有的工作不能纳入类别层次结构的实体信息。我们提出了一个框架，嵌入实体和类别到一个语义空间，通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。我们的框架可以同时处理单词概念和多词概念，在概念分类上具有优越的性能，并在无数据层次分类上产生最先进的结果。
2016-07-27 cs.AI cs.CL
Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding
RJ Research Consulting（RJ研究咨询公司）；Baidu Inc.（百度公司）；Rutgers University（罗格斯大学）
本文提出了一种新的半监督框架与卷积神经网络（CNN）的文本分类。与以前依赖于单词嵌入的方法不同，我们的方法从未标记的数据中学习小文本区域的嵌入，以集成到有监督的CNN中。所提出的嵌入式学习方案是基于双视图半监督学习的思想，即使训练是在未标记的数据上完成的，也可以用于感兴趣的任务。我们的模型在情感分类和主题分类任务上取得了比以前更好的结果。
2015-11-01 cs.CL cs.LG stat.ML
Improve Document Embedding for Text Categorization Through Deep Siamese Neural Network
Data Science Institute, University of Virginia（弗吉尼亚大学数据科学研究所）
由于互联网上的数据量不断增加，找到一个高信息量，低维的文本表示是有效的自然语言处理任务，包括文本分类的主要挑战之一。这种表示应该捕获文本的语义信息，同时保留它们的相关性级别用于文档分类。该方法将具有相似主题的文档映射到向量空间表示中的相似空间。为了获得大文本的表示，我们提出了利用深连体神经网络。为了在分布式表示中嵌入主题中的文档相关性，我们使用连体神经网络来共同学习文档表示。我们的连体网络由两个多层感知器的子网络组成。我们检查我们的表示为文本分类任务的BBC新闻数据集。结果表明，所提出的表示优于传统的和国家的最先进的表示在文本分类任务在这个数据集上。
2020-05-31 cs.CL cs.IR cs.LG
Arabic Text Categorization Algorithm using Vector Evaluation Method
Isra University（伊斯拉大学）；University of Jordan（约旦大学）；Al-Ahliyya Amman University（艾哈利亚安曼大学）
文本分类是将文档根据其内容进行分类的过程。这个过程对于使信息检索更容易是很重要的，并且由于在线可获得的大量文本信息，它变得更加重要。文本分类中的主要问题是如何提高分类精度。阿拉伯语文本分类是一个新兴的研究领域，但相关的研究却很少。提出了一种基于向量评估的阿拉伯文文本分类方法。该方法利用一个已分类的阿拉伯语文档语料库，通过计算待测文档词的权值来确定文档关键词，并将其与已分类的语料库中的关键词进行比较，从而确定待测文档的最佳类别。
2015-01-06 cs.CL cs.IR
Automating Violence Detection and Categorization from Ancient Texts
Universität Hamburg（汉堡大学）
本文首次利用大型语言模型自动检测古代文本中的暴力并跨维度分类，通过微调和数据增强在检测与细粒度分类上分别达到0.93和0.86的F1分数。
2025-03-11 cs.CL cs.DL cs.LG
Consistent Text Categorization using Data Augmentation in e-Commerce
Technion – Israel Institute of Technology（以色列理工学院）；Yahoo Research（雅虎研究院）
本文针对电商产品分类中相似商品标注不一致的问题，提出一种基于半监督数据增强的一致性文本分类框架，在保持生产级性能的同时提升模型一致性。
2023-05-30 cs.CL cs.IR cs.LG
Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings
RJ Research Consulting（RJ研究咨询公司）；Baidu Inc（百度公司）
One-hot CNN（卷积神经网络）已被证明对文本分类有效（Johnson & Zhang，2015）。我们将其视为一般框架的一个特例，该框架联合训练线性模型和由“文本区域嵌入+池化”组成的非线性特征生成器。在这个框架下，我们探索了一种使用长短期记忆（LSTM）的更复杂的区域嵌入方法。LSTM可以嵌入可变（可能很大）大小的文本区域，而区域大小需要在CNN中固定。我们寻求在监督和半监督设置中有效和高效地使用LSTM。通过结合LSTM形式的区域嵌入和在未标记数据上训练的卷积层，获得了最佳结果。结果表明，在这个任务中，嵌入的文本区域，可以传达复杂的概念，是更有用的比孤立的单个单词的嵌入。我们报告的性能超过了以前的最佳结果在四个基准数据集。
2016-05-26 cs.CL cs.LG stat.ML
A Comparative Study of Pretrained Language Models on Thai Social Text Categorization
Chulalongkorn University（朱拉隆功大学）
社交媒体上用户生成内容的数据量不断增长，即使在资源稀缺的语言中，也提供了几乎无限的未标记数据语料库。在本文中，我们证明了两个泰国社会文本分类任务的最先进的结果，可以实现预训练语言模型上的一个大的嘈杂的泰国社会媒体语料库超过12.6亿令牌，后来微调的下游分类任务。由于内容的语言噪音和特定领域的性质，我们为泰国社交媒体设计的独特数据预处理步骤被用来简化模型的训练理解。我们比较了四种现代语言模型：ULMFiT、ELMo与biLSTM、OpenAI GPT和BERT。我们系统地比较了不同维度的模型，包括预训练和微调的速度，困惑，下游分类基准以及有限预训练数据的性能。
2019-12-17 cs.CL cs.LG stat.ML
Minimally Supervised Categorization of Text with Metadata
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
针对文档分类中元数据未被利用和标签稀缺的问题，提出最小监督框架MetaCat，通过生成模型将文本与元数据嵌入同一语义空间并合成训练样本，有效提升了分类性能。
2021-11-13 cs.CL cs.IR cs.LG
Toward Optimal Feature Selection in Naive Bayes for Text Categorization
University of Rhode Island（罗德岛大学）
自动特征选择对于文本分类具有重要意义，它可以减少特征量，加快分类器的学习过程。在本文中，我们提出了一种新的和有效的特征选择框架的基础上的信息理论，其目的是排名的功能与他们的区分能力的分类。本文首先回顾了两种信息测度：用于二元假设检验的库尔贝克-莱布勒散度和Jeffreys散度，并分析了它们在贝叶斯分类器I类和第二类错误下的渐近性质。然后，我们引入了一个新的分歧措施，称为杰弗里斯多假设（JMH）分歧，多类分类的多分布分歧的措施。基于JMH分歧，我们开发了两种有效的特征选择方法，称为最大区分度（$MD$）和$MD-χ^2$方法，用于文本分类。大量的实验结果表明，所提出的方法的有效性。
2016-02-09 cs.CL cs.IR cs.LG
Automatically Annotated Turkish Corpus for Named Entity Recognition and Text Categorization using Large-Scale Gazetteers
Huawei Turkey Research and Development Center（华为土耳其研发中心）
土耳其语维基百科命名实体识别和文本分类（TWNERTC）数据集是从维基百科获得的自动分类和注释句子的集合。我们构建了大规模的地名词典，使用图爬虫算法提取相关的实体和领域的信息，从语义知识库，Freebase。构建的地名录包含约30万个实体，在77个不同领域下有数千个细粒度实体类型。由于自动化过程容易产生歧义，我们还介绍了两种新的内容特定的降噪方法。此外，我们将细粒度的实体类型映射到等效的四个粗粒度类型：person，loc，org，misc。最后，我们构建了六个不同的数据集版本，并通过比较来自人类注释者的基本事实来评估注释的质量。我们公开这些数据集，以支持土耳其命名实体识别（NER）和文本分类（TC）的研究。
2017-02-09 cs.CL
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore（迈索尔大学）
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法，直到实现期望的级别分区，使得每个分区包含单个类的标记文档。一旦获得所需的聚类，各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验，以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon.com, Inc.（亚马逊公司）；University of California San Diego（加利福尼亚大学圣迭戈分校）
文本分类是Web内容分析中的一项重要任务。考虑到不断发展的Web数据和新出现的类别，而不是费力的监督设置，在本文中，我们专注于最小监督设置，旨在有效地对文档进行分类，每个类别有几个种子文档注释。我们认识到，从网络上收集的文本通常是结构丰富的，即，伴随着各种元数据。人们可以很容易地将语料库组织成一个文本丰富的网络，将原始文本文档与文档属性、高质量短语、标签表面名称作为节点，并将它们的关联作为边。这样的网络提供了语料库的异构数据源的整体视图，并实现了基于网络的分析和深度文本模型训练的联合优化。因此，我们提出了一个新的框架，最低限度的监督分类学习的文本丰富的网络。具体来说，我们联合训练两个模块不同的归纳偏见-文本分析模块的文本理解和网络学习模块的类判别，可扩展的网络学习。每个模块从未标记的文档集生成伪训练标签，并且两个模块通过使用池化伪标签进行共同训练来相互增强。我们在两个真实世界的数据集上测试我们的模型。在具有挑战性的683个类别的电子商务产品分类数据集上，我们的实验表明，给定每个类别只有三个种子文档，我们的框架可以达到约92%的准确率，显著优于所有比较方法;我们的准确率与在约50 K标记文档上训练的监督BERT模型仅相差不到2%。
2021-02-23 cs.CL
On the Role of Text Preprocessing in Neural Network Architectures: An Evaluation Study on Text Categorization and Sentiment Analysis
Cardiff University（卡迪夫大学）
文本预处理通常是自然语言处理（NLP）系统的第一步，对系统的最终性能有潜在的影响。尽管文本预处理很重要，但在深度学习文献中并没有受到太多关注。在本文中，我们研究了简单的文本预处理决策（特别是标记化，词形化，小写和多词分组）对标准神经文本分类器性能的影响。我们进行了广泛的评价标准的基准，从文本分类和情感分析。虽然我们的实验表明，输入文本的简单标记化通常是足够的，但它们也突出了预处理技术之间的显著差异。这揭示了在管道中注意这个通常被忽视的步骤的重要性，特别是在比较不同模型时。最后，我们的评估提供了最佳的预处理实践训练词嵌入的见解。
2018-08-23 cs.CL cs.IR
Beyond original Research Articles Categorization via NLP
University of Genova（热那亚大学）
本研究提出一种基于 SciBERT 和 K-Means 算法的科学文献未知类别文本分类方法，利用轮廓系数确定最佳聚类数，实验证明其比传统 arXiv 标记系统更有效，能改进文献导航与推荐。
2023-09-13 cs.CL
Application of Hierarchical Temporal Memory Theory for Document Categorization
College of Engineering, Pune（浦那工程学院）；Maker’s Lab, Tech Mahindra Ltd.（马恒达科技公司创客实验室）
目前的工作打算研究的性能的层次时间记忆（HTM）理论的自动分类的文本以及文件。HTM是一种基于人类大脑新皮层工作原理的生物启发理论。本研究旨在提供一个替代的框架，使用HTM理论中的空间位置学习算法进行文档分类。由于HTM只接受二进制数据流作为输入，潜在语义索引（LSI）技术用于从输入中提取顶部特征并将其转换为二进制格式。Spatial Poisson算法将二进制输入转换为稀疏模式，其中具有重叠空间模式的类似输入文本使得易于将模式分类为类别。所获得的结果证明，HTM理论，虽然是在其新生阶段，执行与大多数流行的机器学习为基础的分类。
2021-12-29 cs.CL cs.LG
Comparison of Classification Algorithms Used Medical Documents Categorization
Ondokuz Mayıs Üniversitesi（翁多库兹·马伊斯大学）
基于文本的文档量日益增加。医学文档位于这种不断增长的文本文档中。在这项研究中，用于文本分类的技术应用于医疗文档和评估分类性能。使用的数据集是多类别和多标记的。采用卡方（Chi Square，CHI）技术进行特征选择，采用SMO、NB、C4.5、RF和KNN算法进行分类。本研究的目的是，各种分类器的成功评估多类和多标签的数据集组成的医疗文件。在前400个特征中，KNN分类器最成功，而在后400个特征中SMO分类器最成功。
2018-11-02 cs.CL cs.IR cs.LG
JaTeCS an open-source JAva TExt Categorization System
Istituto di Scienza e Tecnologie dell’Informazione Consiglio Nazionale delle Ricerche（意大利国家研究委员会信息科学与技术研究所）
JaTeCS是一个开源的Java库，支持自动文本分类和其他相关问题的研究，如有序回归和量化，这些问题在意见挖掘应用中特别重要。它涵盖了实验活动的所有步骤，从阅读语料到评估实验结果。由于JaTeCS专注于将文本作为主要输入数据，因此它为用户提供了许多文本专用工具，例如：包括最常用的文本语料库和词汇资源的许多格式的数据读取器、自然语言处理工具、多语言支持、用于特征选择和加权的方法、许多机器学习算法的实现以及用于公知的外部软件的包装器（例如，SVM_light），使其能够从代码中进行完全控制。JaTeCS通过接口抽象了文本处理任务中使用的许多典型工具和过程，从而支持其扩展。该库还提供了一些典型实验设置的“模板”实现（例如，训练测试、k折验证、网格搜索优化、随机运行），其仅通过将模板与数据读取器、学习算法和评估措施连接就能够快速实现实验。
2017-06-21 cs.CL
Improving Document Classification with Multi-Sense Embeddings
University of Utah（犹他大学）；IIT Guwahati（印度理工学院古瓦哈提分校）；IISC Bangalore（印度科学学院班加罗尔分院）
文本文档的有效表示是许多NLP任务中的重要组成部分。对长文本分类的研究表明，简单的词向量加权平均用于句子表示通常优于更复杂的神经模型。最近提出的稀疏复合文档向量（SCDV）（Mekala et. al，2017）使用词向量上的软聚类将这种方法从句子扩展到文档。然而，SCDV忽视了词的多义性，也遭受了更高维度的诅咒。在这项工作中，我们解决这些缺点，并提出SCDV-MS。SCDV-MS利用多意义的词嵌入和学习一个低维流形。通过在多个真实数据集上的广泛实验，我们表明SCDV-MS嵌入在多类和多标签文本分类任务上优于以前最先进的嵌入。此外，SCDV-MS嵌入在文本分类任务的时间和空间复杂度方面比SCDV更有效。
2019-11-18 cs.CL cs.IR cs.LG
Adapting Neural Text Classification for Improved Software Categorization
University of Notre Dame（圣母大学）
软件分类是将软件组织成大致描述软件行为的组的任务，例如“编辑”或“科学”。“分类在一些维护任务中起着重要的作用，例如存储库导航和功能提取。目前的方法试图将问题转化为文本分类，以利用NLP领域丰富的文献。然而，正如我们将在本文中展示的那样，文本分类算法通常不适用于现成的源代码;我们发现，当高级别的项目描述可用时，它们工作得很好，但是当仅对源代码和注释进行分类时，它们会受到非常大的性能损失。我们提出了一套适应最先进的神经分类算法，并进行了两次评估：一次是使用Debian最终用户程序的参考数据，另一次是使用我们聘请专业程序员注释的一组C/C++库。我们表明，我们提出的方法实现的性能超过以前的软件分类技术，以及最先进的神经文本分类技术。
2018-06-15 cs.CL cs.SE
Improving Large-Scale k-Nearest Neighbor Text Categorization with Label Autoencoders
University of Vigo（维戈大学）
本文提出一种基于标签自编码器的多标签懒惰学习方法，改进传统k近邻算法，在MEDLINE数据集上评估多种文档表示和自编码器配置，实现大规模文本自动语义索引。
2024-02-03 cs.CL cs.IR cs.LG
Leveraging Weighted Syntactic and Semantic Context Assessment Summary (wSSAS) Towards Text Categorization Using LLMs
Tellagence Inc.（Tellagence公司）；Villanova School of Business, Villanova University（维拉诺瓦大学商学院）
本文提出wSSAS框架，通过两阶段验证方法提升文本分类的准确性和可重复性，实验表明其在不同数据集上有效降低分类熵。
2026-04-13 cs.AI cs.CL
Domain and Language Independent Feature Extraction for Statistical Text Categorization
本文提出了一个通用的文本分类系统，它使用一个具有代表性的文本语料库来适应处理步骤：特征提取，降维和分类。特征提取通过使用语料库的统计信息和一般语言学知识来减少实际单词形式，从而自动地从语料库中学习特征。在保持特征向量基本信息的前提下，通过线性变换对特征向量进行降维.分类原则是基于多项式的最小最小二乘方法。所描述的系统可以容易地适应新的领域或新的语言。在实际应用中，该系统运行可靠、速度快、过程完全自动化。结果表明，文本分类器成功地工作在文本生成的文件图像分析- DIA和地面真实数据。
1996-07-02 cmp-lg cs.CL
MOSLD-Bench: Multilingual Open-Set Learning and Discovery Benchmark for Text Categorization
Department of Computer Science, University of Bucharest（计算机科学系，布加勒斯特大学）
MOSLD-Bench是一个多语言开放集学习与发现基准，用于文本分类，包含960,000个数据样本，覆盖12种语言，提出新框架以连续发现和学习新类别。
2026-01-19 cs.AI cs.CL cs.LG
An Improved k-Nearest Neighbor Algorithm for Text Categorization
k是基于k-近邻算法（kNN）的文本分类系统中最重要的参数，在分类过程中，首先确定训练集中与测试文档最近的k个文档。然后，可以根据这k个最近邻的类别分布进行预测。一般来说，训练集中的类分布是不均匀的。某些类可能比其他类具有更多的样本。因此，系统性能对参数k的选择非常敏感。固定的k值很可能会导致对大类别的偏见。为了解决这些问题，我们提出了一种改进的kNN算法，它使用不同数量的最近邻为不同的类别，而不是一个固定的数量在所有类别。更多的样本（最近邻）将用于决定是否将测试文档分类到训练集中具有更多样本的类别。在中文文本分类上的初步实验表明，该方法对参数k的敏感性比传统方法低，并且在k较大的情况下也能正确地对较小类别的文档进行分类。该方法是有前途的某些情况下，估计参数k通过交叉验证是不允许的。
2003-06-16 cs.CL
Exploiting Domain Knowledge via Grouped Weight Sharing with Application to Text Categorization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）
NLP神经模型的一个基本优势是它们能够从头开始学习表示。然而，在实践中，这往往意味着忽视现有的外部语言资源，例如，WordNet或领域特定本体，如统一医学语言系统（UMLS）。我们提出了一种通过权重共享来利用此类资源的通用、新颖方法。在神经网络中的权值共享的先前工作主要将其视为模型压缩的手段。相比之下，我们将权重共享视为将先验知识纳入神经模型的灵活机制。我们表明，这种方法始终产生改进的分类任务的性能相比，基线策略，不利用权重共享。
2017-04-25 cs.CL
Comparative Analysis of OpenAI GPT-4o and DeepSeek R1 for Scientific Text Categorization Using Prompt Engineering
West Virginia State University（西弗吉尼亚州立大学）；Fractal Analytics Inc（分形分析公司）；Marshall University（马歇尔大学）
本研究探讨GPT-4o和DeepSeek R1在科学文本分类中的表现，通过引入新评估方法和多领域清洗数据集，分析两模型分类的有效性与一致性。
2025-03-03 cs.AI cs.CL cs.CV
Hierarchical Metadata-Aware Document Categorization under Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出弱监督下融合标签层次、元数据与文本信号的生成式框架HiMeCat，通过联合表示学习模块与层次化数据增强模块，有效解决了小规模标注样本下的文档分类问题并取得持续性能提升。
2020-12-20 cs.CL cs.IR cs.LG
Term-Class-Max-Support (TCMS): A Simple Text Document Categorization Approach Using Term-Class Relevance Measure
University of Mysore（迈索尔大学）
本文提出了一种简单的基于词类相关性的文本分类方法。最初，处理文本文档以提取其中存在的重要术语。对于从文档中提取的每个术语，我们通过Guru和Suhil（2015）[1]提出的称为术语类相关性（TCR）的新术语加权方案来计算其在保留类内容方面的重要性。通过这种方式，对于每个术语，计算其与语料库中存在的所有类的相关性并存储在知识库中。在测试过程中，测试文档中存在的术语被提取，并且从存储的知识库中获得每个术语的术语类相关性。为了实现词项权重的快速查找，采用了B树索引数据结构。最后，在术语类相关性方面获得最大支持的类被确定为给定测试文档的类。所提出的方法在对数复杂度的测试时间和简单的实现相比，在文献中的任何其他文本分类技术。在各种基准数据集上进行的实验表明，所提出的方法的性能是令人满意的和令人鼓舞的。
2016-10-16 cs.CL cs.IR
PromptMind Team at MEDIQA-CORR 2024: Improving Clinical Text Correction with Error Categorization and LLM Ensembles
本研究针对MEDIQA-CORR 2024临床文本纠错共享任务的三个子任务，提出基于提示的上下文学习策略，并结合自一致性与LLM集成方法提升医疗文本的错误检测与纠正性能。
2024-05-14 cs.AI cs.CL cs.LG
On the Effectiveness of Large Language Models in Automating Categorization of Scientific Texts
University of Applied Sciences, Mannheim（曼海姆应用科学大学）
针对科学文献快速增长下的分类需求，研究评估多种大语言模型的层级分类能力，发现Meta Llama 3.1等模型在FORC数据集上准确率达0.82，优于传统BERT模型。
2025-02-08 cs.CL cs.DL cs.LG
Sequence-to-Set Semantic Tagging: End-to-End Multi-label Prediction using Neural Attention for Complex Query Reformulation and Automated Text Categorization
The Ohio State University（俄亥俄州立大学）；Nationwide Children’s Hospital（全国儿童医院）
新颖的上下文可能经常出现在复杂的查询场景中，例如在涉及生物医学文献的循证医学（EBM）中，其可能不明确地指出现在任何基于事实或规则的知识源（例如，像UMLS的本体）中的实体或规范概念形式。此外，在当前上下文中有意义的候选概念之间的隐藏关联可能不存在于单个文档中，而是通过替代词汇形式存在于集合中。因此，受到最近序列到序列神经模型在广泛的NLP任务中提供最先进技术的成功的启发，我们开发了一种新的序列到集合框架，用于学习可以影响语料库内术语转移的文档表示，用于语义标记大量文档。我们证明了我们提出的方法在用于文本分类的监督多标签分类设置中以及在没有人类注释的文档标签的独特无监督设置中都是有效的，该设置不使用外部知识资源，只使用语料库派生的术语统计来驱动训练。此外，我们表明，使用我们的架构对大量未标记数据进行半监督训练，可以在有限的标记数据可用时提高文本分类任务的性能。我们的方法来生成文档编码，采用我们的序列到集合模型来推断语义标签，根据我们所知，在基于Okapi BM 25的文档检索系统上评估时，为TREC CDS 2016挑战数据集提供了最先进的无监督查询扩展任务;以及MLTM基线（Soleimani et al，2016），用于www.example.com和Ohsumed数据集上的监督和半监督多标签预测任务del.icio.us。我们将公开我们的代码和数据。
2019-11-11 cs.CL cs.IR cs.LG
Mistake-Driven Learning in Text Categorization
文本处理领域中的学习问题通常将文本映射到其维度是文本的测量特征的空间，例如，它的话。这个域的三个特征属性是：（a）非常高的维度，（b）学习的概念和实例都非常稀疏地驻留在特征空间中，以及（c）实例中活动特征的数量变化很大。在这项工作中，我们研究了三个错误驱动的学习算法，这种性质的一个典型的任务-文本分类。我们认为，这些算法--通过学习特征空间中的线性分隔符来对文档进行分类--有一些属性使它们成为这个领域的理想选择。然后，我们表明，当我们进一步修改算法，以更好地解决该领域的一些具体特点，实现了性能的飞跃。特别是，我们展示了（1）如何通过归一化特征权重或使用负权重来容忍文档长度的变化，（2）在训练中应用阈值范围的积极影响，（3）考虑特征频率的替代方案，以及（4）在训练时丢弃特征的好处。总的来说，我们提出了一种算法，Littlestone的Winnow的变化，它的性能显着优于使用类似的功能集在此任务上测试的任何其他算法。
1997-06-09 cmp-lg cs.CL
Multi-class Categorization of Reasons behind Mental Disturbance in Long Texts
研究针对社交媒体长文本中识别心理疾病因果指标的问题，通过使用 Longformer 处理长文本限制，在 M-CAMS 数据集上达到 62% 的 F1 分数，促进了心理健康的因果分析。
2023-04-08 cs.CL cs.CY
A scale of conceptual orality and literacy: Automatic text categorization in the tradition of "Nähe und Distanz"
JLU Gießen（吉森大学）
本文基于主成分分析为德语文本构建概念口语性与书面性的自动分类量表，并用两个新高地德语语料库验证，发现须区分口语性与书面性特征才能有效排序文本，该量表可用于语料库构建与大规模语料分析。
2025-02-05 cs.CL
Cluster Based Symbolic Representation for Skewed Text Categorization
University of Mysore（迈索尔大学）
在这项工作中，与不平衡的文本语料库的问题得到解决。提出了一种将不平衡文本语料库转换为平衡文本语料库的方法。该方法采用聚类算法进行转换。首先，为了避免维数灾难，一个有效的表示方案的基础上的术语类相关性措施，这大大降低了在语料库中的类的数量的维数。随后，较大尺寸的类的样本被分组为若干较小尺寸的子类，以使整个语料库平衡。每个子类，然后给出一个单一的符号向量表示使用区间值的功能。这种符号表示除了紧凑之外，还有助于减少空间需求和分类时间。所提出的模型已被经验证明其优越性的基准数据集，即，路透社21578和TDT2。此外，它已与其他几个现有的当代模型，包括基于支持向量机的模型进行了比较。对比分析表明，该模型优于其他现有的模型。
2017-06-24 cs.CL cs.IR
Automatic Generation of Language-Independent Features for Cross-Lingual Classification
Technion – Israel Institute of Technology（以色列理工学院）
许多应用程序需要使用预定义的类别对文本文档进行分类。执行文本分类的主要方法是从标记的示例中学习。对于许多任务，可能很难找到一种语言的示例，但在其他语言中很容易。从一种或多种语言的例子中学习并在另一种语言中分类的问题称为跨语言学习。在这项工作中，我们提出了一种新的方法，解决了一般的跨语言文本分类问题。我们的方法为每个训练文档生成一组与语言无关的特征。使用这些特征进行训练会产生一个独立于语言的分类器。在分类阶段，我们为未标记的文档生成与语言无关的特征，并将分类器应用于新的表示。为了构建特征生成器，我们利用了一个分层的独立于语言的本体，其中每个概念都有一组支持文档，用于所涉及的每种语言。在预处理阶段，我们使用支持文档来构建一组与语言无关的特征生成器，每种语言一个。这些生成器的集合用于将任何文档映射到与语言无关的特征空间。我们的方法适用于最一般的跨语言文本分类问题，能够从任何语言的混合中学习，并对任何其他语言的文档进行分类。我们还提出了一种方法，利用本体的层次结构来创建虚拟的支持文件的语言，没有他们。我们测试了我们的方法，使用维基百科作为我们的本体，在跨语言文本分类中最常用的测试集合，并发现它优于现有的方法。
2018-02-12 cs.CL
APRF-Net: Attentive Pseudo-Relevance Feedback Network for Query Categorization
Emory University（埃默里大学）；The Home Depot（家得宝）
查询分类是电子商务搜索中查询意图理解的重要组成部分。常见的查询分类任务是在产品分类中选择相关的细粒度产品类别。对于频繁的查询，丰富的客户行为（例如，点进数据）可用于推断相关产品类别。然而，对于覆盖大量搜索流量的更罕见的查询，由于缺乏这种信号，仅仅依靠客户行为可能是不够的。为了提高罕见的查询分类，我们适应伪相关反馈（PRF）的方法，利用潜在的知识嵌入在语义或词汇相似的产品文档，以丰富表示更罕见的查询。为此，我们提出了一种新的深度神经模型，称为注意伪相关反馈网络（APRF-Net），以增强查询分类的罕见查询的表示。为了证明我们的方法的有效性，我们收集了来自大型商业搜索引擎的搜索查询，并将APRF-Net与最先进的文本分类深度学习模型进行了比较。我们的结果表明，APRF-Net在F1@1评分上比基线显着提高了查询分类5.9%，对于罕见（尾部）查询，这一提高提高到8.2%。本文的研究结果可以用来进一步改善搜索查询表示和理解。
2021-05-10 cs.CL cs.IR cs.LG
"What is Relevant in a Text Document?": An Interpretable Machine Learning Approach
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）
文本文档可以用许多抽象概念来描述，如语义类别、写作风格或情感。机器学习（ML）模型已经被训练成自动将文档映射到这些抽象概念，允许注释非常大的文本集合，超过人类一生所能处理的。除了非常准确地预测文本的类别之外，还非常希望了解分类过程如何以及为什么发生。在本文中，我们证明了这样的理解可以通过使用分层相关传播（LRP），最近开发的技术，用于解释复杂的非线性分类器的预测跟踪的分类决策回单个单词。我们训练两个基于单词的ML模型，一个卷积神经网络（CNN）和一个词袋SVM分类器，对主题分类任务，并适应LRP方法分解这些模型的预测到单词。所得分数表示单个单词对整体分类决策的贡献程度。这使得人们能够从文本文档中提取相关信息，而无需明确的语义信息抽取步骤。我们进一步使用的词明智的相关性得分生成新的基于矢量的文档表示捕捉语义信息。基于这些文档向量，我们引入了模型解释能力的度量，并表明，尽管SVM和CNN模型在分类准确性方面表现相似，但后者表现出更高的可解释性，这使得它更容易为人类所理解，并可能对其他应用更有用。
2016-12-23 cs.CL cs.IR cs.LG
Using Images to Find Context-Independent Word Representations in Vector Space
Indian Institute of Science（印度科学学院）
本文提出结合词典释义与词图像、利用自动编码器学习上下文无关词向量的方法，在词相似度、概念分类和离群点检测任务上达到与基于上下文方法相当的性能，且训练时间显著更短。
2024-11-28 cs.AI cs.CL cs.CV
All-but-the-Top: Simple and Effective Postprocessing for Word Representations
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
实值单词表示已经改变了NLP应用程序;流行的例子是word 2 vec和GloVe，它们以捕获语言学特征的能力而闻名。在本文中，我们展示了一个{ \em非常简单}，但却违反直觉的后处理技术-从单词向量中消除常见的均值向量和一些顶部主导方向-使现成的表示{ \em甚至更强大}。后处理的经验验证的各种词汇水平的内在任务（词相似性，概念分类，词类比）和语义层次的任务（语义纹理相似性和{文本分类}）在多个数据集上，并与各种表示方法和超参数的选择在多种语言;在每种情况下，处理后的表示始终优于原来的。
2018-03-19 cs.CL stat.ML
An Automated Text Categorization Framework based on Hyperparameter Optimization
CONACyT Consejo Nacional de Ciencia y Tecnología（墨西哥国家科学技术委员会）；INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación（INFOTEC 信息与通信技术研究与创新中心）
各种各样的文本任务，如主题或垃圾邮件识别，用户分析和情感分析可以作为一个监督学习问题，并使用文本分类器来解决。一个文本分类器由几个子过程组成，其中一些是一般的，足以适用于任何监督学习问题，而其他人是专门设计来解决一个特定的任务，使用复杂的和计算昂贵的过程，如词形还原，语法分析等，与传统的方法相反，我们提出了一个最小的和广泛的系统，能够处理文本分类任务独立的领域和语言，即microTC。它由一些易于实现的文本转换、文本表示和一个监督学习算法组成。这些作品甚至在非正式书面文本领域也产生了竞争性的分类器。我们提供了一个详细的描述microTC随着广泛的实验比较与相关的国家的最先进的方法。在30个不同的数据集上比较了mircoTC。在准确性方面，microTC在20个数据集中获得了最佳性能，而在其余10个数据集中获得了竞争性结果。比较的数据集包括几个问题，如主题和极性分类，垃圾邮件检测，用户分析和作者归属。此外，重要的是要声明，我们的方法允许使用该技术，即使没有机器学习和自然语言处理的知识。
2017-09-14 cs.AI cs.CL stat.ML
Order from Chaos: Comparative Study of Ten Leading LLMs on Unstructured Data Categorization
RingCentral（RingCentral公司）；UC Davis（加州大学戴维斯分校）
本研究比较十种大语言模型在非结构化文本分类中的表现，发现经典指标中等且存在过度生成，提出集成方法显著提升准确性并消除幻觉。
2025-10-14 cs.AI cs.CL
Beyond Word Embeddings: Learning Entity and Concept Representations from Large Scale Knowledge Bases
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Samsung Research America（三星美国研究院）
使用神经词嵌入的文本表示在许多NLP应用中已经证明是有效的。最近的研究采用传统的词嵌入模型来学习多词表达（概念/实体）的向量。然而，这些方法限于文本知识库（例如，Wikipedia）.在本文中，我们提出了一种新的和简单的技术，整合知识的概念，从两个大规模的知识库的不同结构（维基百科和Probase），以学习概念表示。我们采用高效的skip-gram模型来无缝地从维基百科文本和Probase概念图中学习知识。我们在两个任务上评估了我们的概念嵌入模型：（1）类比推理，在语义类比上我们实现了91%的最先进性能，（2）概念分类，在两个基准数据集上实现了最先进的性能，其中一个数据集的分类准确率为100%，另一个为98%。此外，我们提出了一个案例研究，以评估我们的神经语义解析的无监督参数类型识别模型。我们证明了我们的无监督方法的竞争力的准确性和它的能力，更好地推广到词汇表中的实体提到相比，繁琐和容易出错的方法，依赖于地名词典和正则表达式。
2018-08-30 cs.AI cs.CL cs.IR
Deep learning models for representing out-of-vocabulary words
University of Campinas (UNICAMP)（坎皮纳斯大学（UNICAMP））；Engineering College of Sorocaba (Facens)（索罗卡巴工程学院（Facens））；Federal University of São Carlos (UFSCar)（圣卡洛斯联邦大学（UFSCar））
本研究全面评估了深度学习模型表示词汇表外单词的性能，通过内在和外在任务测试，发现Comick方法基于上下文和形态推断嵌入，表现有前景。
2020-07-28 cs.CL cs.LG
