Classifying Long Clinical Documents with Pre-trained Transformers
University of Arizona（亚利桑那大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Loyola University Chicago（芝加哥洛约拉大学）
自动表型分析是识别与预定义的一组标准匹配的患者队列的任务。表型分析通常涉及对包含数千个标记的长临床文档进行分类。同时，最近最先进的基于transformer的预训练语言模型将输入限制为几百个标记（例如，对于BERT为512个标记）。我们评估了将预训练的句子编码器纳入临床文本的文档级表示的几种策略，并发现没有预训练的分层Transformers与任务预训练模型具有竞争力。
2021-05-14 cs.CL
A WL-SPPIM Semantic Model for Document Classification
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
本文对基于SPPIM的文本分类方法进行了研究，实验表明，在20个新闻组、路透社52和WebKB三个国际标准文本数据集上，SPPIM方法的文本分类性能与SGNS方法相当，甚至优于SGNS方法。与SGNS相比，虽然SPPMI提供了更好的解决方案，但在文本分类任务上并不一定优于SGNS。基于我们的分析，SGNS在分解过程中考虑了权重计算，因此在一些标准数据集上比SPPIM具有更好的性能。受此启发，本文在SPIM模型的基础上提出了一种WL-SPIM语义模型，实验表明，与LDA、SGNS和SPIM方法相比，WL-SPIM方法在文本分类任务中具有更好的分类效果和更高的可扩展性。
2017-05-26 cs.AI cs.CL
OpenFraming: We brought the ML; you bring the data. Interact with your data and discover its frames
当记者报道新闻故事时，他们可以从多个角度或视角报道故事。例如，一篇关于COVID-19的新闻文章可能会关注个人预防措施，如戴口罩，而另一篇可能会关注COVID-19对经济的影响。这些观点被称为“框架”，使用时可能会影响公众对问题的看法和意见。我们介绍了一个基于Web的系统，用于分析和分类文本文档中的框架。我们的目标是基于主题建模和深度学习，为来自不同学科的研究人员提供有效的自动框架发现和标记工具。为此，我们提供了关于各种问题的最先进的预训练框架分类模型，以及用于在用户提供的语料库上训练新分类模型的用户友好管道。研究人员可以提交他们的文件，并获得文件的框架。用户参与的程度是灵活的：他们可以运行已经预先训练过的模型;提交标记的文档并训练一个新的模型进行框架分类;或者提交未标记的文档并获得文档的潜在框架。组成我们系统的代码也是开源的，并且有很好的文档记录，使系统透明且可扩展。该系统可在http://www.openframing.org和我们的GitHub页面https://github.com/davidatbu/openFraming上获得。
2020-08-16 cs.CL cs.IR cs.LG
Various Approaches to Aspect-based Sentiment Analysis
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
基于方面的情感分析的问题涉及对句子中给定方面的情感（消极、中性、积极）进行分类。传统的情感分类任务涉及将整个句子视为文本文档，并基于所有单词对情感进行分类。让我们假设，我们有一句话，如“这辆车的加速是快，但可靠性是可怕的”。这可能是一个很难的句子，因为它有两个方面，对同一个实体有冲突的情感。考虑到机器学习技术（或深度学习），我们如何编码我们对一个方面感兴趣的信息及其情感，而不是另一个？让我们来探索各种预处理步骤，功能和方法，以促进解决这个任务。
2018-05-05 cs.CL
Classifying long legal documents using short random chunks
Jus Mundi
本文提出基于DeBERTa V3和LSTM的法律文件分类器，通过随机片段输入和高效部署流程实现高分类精度与处理效率。
2025-12-31 cs.AI cs.CL
Classification of news spreading barriers
Jozef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；Jozef Stefan Institute（约瑟夫·斯特凡研究所）
本文提出利用维基百科概念结合新闻正文作为特征进行新闻传播障碍分类，实验表明该方法优于经典文本分类、深度学习和Transformer方法。
2023-04-10 cs.AI cs.CL
A Robust Framework for Classifying Evolving Document Streams in an Expert-Machine-Crowd Setting
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Eurecat（Eurecat技术与创新中心）
社交媒体数据流的在线分类中的一个新兴挑战是保持用于分类的类别是最新的。在本文中，我们提出了一个创新的框架的基础上专家机器人群（EMC）的黑社会，以帮助分类项目不断识别新的概念，在异构数据流中往往充斥着离群值。我们统一约束聚类和离群点检测制定一个新的优化问题：COD-Means。我们设计了一个算法来解决COD-Means问题，并表明COD-Means不仅有助于检测新的类别，而且还可以无缝地发现人类注释错误，并提高分类过程的整体质量。不同的真实数据集上的实验表明，我们的方法是有效的和高效的。
2016-10-06 cs.CL cs.IR
Classifying Patent Applications with Ensemble Methods
Zurich University of Applied Sciences（苏黎世应用科学大学）；Harvard Medical School（哈佛医学院）；Macquarie University（麦考瑞大学）；University of Wolverhampton（伍尔弗汉普顿大学）
我们提出了使用ALTA 2018共享任务-分类专利申请的组织者提供的注释数据集对专利申请进行自动分类的方法。该任务的目标是使用计算方法根据基于国际专利分类（IPC）的八类粗粒度分类法对专利申请进行分类。我们测试了各种方法来完成这项任务，最好的结果，0.778微平均F1分数，是通过SVM集成使用单词和字符的组合作为特征来实现的。我们的团队BMZ在比赛中的14个团队中排名第一。
2018-11-12 cs.CL
Discrimination between Arabic and Latin from bilingual documents
National Engineering School of Tunis（突尼斯国家工程学校）
2011年通信、计算和控制应用国际会议（CCCA）
2012-04-07 cs.CL cs.CV cs.IR
NLNDE: The Neither-Language-Nor-Domain-Experts' Way of Spanish Medical Document De-Identification
Bosch Center for Artificial Intelligence（博世人工智能中心）；Saarland University（萨尔大学）
自然语言处理在医学领域有着巨大的应用潜力，近年来引起了大量的研究。然而，安全处理医疗文件的先决条件，例如，患者记录和临床试验，是隐私敏感信息的适当去识别。在本文中，我们描述了我们的NLNDE系统，我们参加了MEDDOCAN竞赛，这是IberLEF 2019的医疗文档匿名化任务。我们解决的任务是从西班牙数据中检测和分类受保护的健康信息作为一个序列标签问题，并研究我们的神经网络不同的嵌入方法。尽管处理非标准语言和领域设置，NLNDE系统在竞争中取得了可喜的成绩。
2020-07-02 cs.CL cs.LG
Classifying Crime Types using Judgment Documents from Social Media
针对司法数据集分布不均且规模较小的问题，提出包含数据预处理模块CFDPM和改进Bert模型的NLP训练方法，通过预训练与微调提升泛化能力，在犯罪类型分类任务上取得SOTA结果。
2023-10-21 cs.AI cs.CL
Classifying Unstructured Clinical Notes via Automatic Weak Supervision
Carnegie Mellon University（卡内基梅隆大学）
医疗保健提供者通常记录向每个患者提供的临床护理的详细说明，用于临床，研究和计费目的。由于这些叙述的非结构化性质，提供者雇用专门的工作人员使用国际疾病分类（ICD）编码系统为患者的诊断分配诊断代码。这种手动过程不仅耗时，而且成本高且容易出错。先前的工作证明了机器学习（ML）方法在自动化这一过程中的潜在效用，但它依赖于大量手动标记的数据来训练模型。此外，诊断编码系统随着时间的推移而发展，这使得传统的监督学习策略无法推广到局部应用之外。在这项工作中，我们引入了一个通用的弱监督文本分类框架，该框架仅从类别标签描述中学习，而不需要使用任何人类标记的文档。它利用存储在预训练的语言模型和数据编程框架中的语言领域知识为各个文本分配代码标签。我们证明了我们的方法的有效性和灵活性，通过比较它的国家的最先进的弱文本分类器在四个现实世界的文本分类数据集，除了分配ICD代码的医疗记录在公开的MIMIC-III数据库。
2022-08-02 cs.CL cs.LG
Universal Automatic Phonetic Transcription into the International Phonetic Alphabet
University of Notre Dame（圣母大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Google（谷歌）
本文提出一种基于wav2vec 2.0的通用语音转IPA模型，利用CommonVoice 11.0七种语言的高质量半自动转写数据进行微调，以更小数据集取得与Wav2Vec2Phoneme相当或更优的性能，并接近人类标注水平。
2023-08-07 cs.CL cs.SD eess.AS
Application of Hierarchical Temporal Memory Theory for Document Categorization
College of Engineering, Pune（浦那工程学院）；Maker’s Lab, Tech Mahindra Ltd.（马恒达科技公司创客实验室）
目前的工作打算研究的性能的层次时间记忆（HTM）理论的自动分类的文本以及文件。HTM是一种基于人类大脑新皮层工作原理的生物启发理论。本研究旨在提供一个替代的框架，使用HTM理论中的空间位置学习算法进行文档分类。由于HTM只接受二进制数据流作为输入，潜在语义索引（LSI）技术用于从输入中提取顶部特征并将其转换为二进制格式。Spatial Poisson算法将二进制输入转换为稀疏模式，其中具有重叠空间模式的类似输入文本使得易于将模式分类为类别。所获得的结果证明，HTM理论，虽然是在其新生阶段，执行与大多数流行的机器学习为基础的分类。
2021-12-29 cs.CL cs.LG
Classifying informative and imaginative prose using complex networks
Institute of Mathematics and Computer Science（数学与计算机科学学院）
近年来，统计学方法被广泛应用于掌握语言的许多特性。这种技术的应用已经允许改进若干语言应用，其包括机器翻译、自动摘要和文档分类。在后者中，许多方法强调文本的语义内容，如词袋语言模型。这一做法确实取得了合理的业绩。然而，一些潜在的特征，如文本的结构组织，只在少数研究中使用。在这种情况下，我们探讨如何从文本结构分析的功能，可以有效地采用在分类任务。更具体地说，我们进行了监督分类，旨在区分信息丰富的想象力的文件。使用网络模型，描述功能词的局部拓扑/动力学特性，我们实现了高达95%的准确率，这是远远高于类似的网络方法。特征相关性的系统分析表明，对称性和可访问性测量是最突出的网络测量。我们的研究结果表明，这些测量可以用于相关的语言应用程序，因为它们在表征文本中起着补充作用。
2015-07-28 cs.CL
PyEuroVoc: A Tool for Multilingual Legal Document Classification with EuroVoc Descriptors
Research Institute for Artificial Intelligence “Mihai Drăgănescu”（“米哈伊·德勒格内斯库”人工智能研究所）
EuroVoc是一个多语种词库，是为组织欧洲联盟机构的立法文件而建立的。它包含数千个不同具体程度的类别，其描述符是近30种语言的法律文本的目标。在这项工作中，我们提出了一个统一的框架EuroVoc分类22种语言微调现代基于transformer的预训练语言模型。我们广泛研究了我们训练模型的性能，并表明它们显着改善了类似工具JEX在相同数据集上获得的结果。代码和微调的模型是开源的，还有一个编程接口，可以简化加载训练模型的权重和分类新文档的过程。
2021-08-10 cs.AI cs.CL cs.LG
Document Classification Using a Finite Mixture Model
我们提出了一种新的方法来分类文件到类别。对基于词的类别分布进行假设检验的简单方法受到数据稀疏问题的影响。为了解决这个困难，Guthrie等人已经开发了一种使用基于词的硬聚类的分布的方法，即，其中将单词分配给单个簇，并且统一处理同一簇中的单词。然而，这种方法可能会降低分类结果，因为它使用的分布并不总是足够精确，无法表示类别之间的差异。我们在这里建议使用软聚类的话，即，其中一个单词可以被分配到几个不同的簇，并且每个簇的特征在于特定的单词概率分布。我们为每个文档类别定义了一个有限混合模型，它是聚类概率分布的线性组合。因此，我们对待的问题进行统计假设检验有限混合模型的文件分类。为了完成这一测试，我们采用EM算法，这有助于有效地估计参数的有限混合模型。实验结果表明，该方法不仅优于基于硬聚类的分布方法，而且优于基于词分布的方法和基于余弦相似度的方法。
1997-05-06 cmp-lg cs.CL
Leveraging BERT Language Model for Arabic Long Document Classification
Elm Company（埃尔姆公司）
针对阿拉伯语长文档传统分类方法计算需求过高的问题，提出两种简单有效的分类模型，经两个数据集验证，效果优于微调后的Longformer和RoBERT模型。
2023-05-04 cs.CL
Is text normalization relevant for classifying medieval charters?
Center for Information Modelling, University of Graz（信息建模中心，格拉茨大学）
本文评估文本规范化对中世纪宪章年代与地点分类的影响，发现规范化仅微弱改善定位却损害断代，且支持向量机和梯度提升优于 Transformer，主张选择性保留原文特征。
2025-07-23 cs.CL cs.IR
Text mining policy: Classifying forest and landscape restoration policy agenda with neural information retrieval
World Resources Institute（世界资源研究所）
数十个国家承诺到2030年恢复3.5亿公顷土地的生态功能。为了实现这种大规模的恢复，多部门利益攸关方的价值观和优先事项必须与国家一级的承诺和其他发展议程相一致和相结合。虽然政策范围和利益攸关方之间的不协调是实施恢复的众所周知的障碍，但在多利益攸关方环境中快节奏的决策使治理和政策的监测和分析复杂化。在这项工作中，我们评估了机器学习的潜力，以确定不同的政策文件的恢复政策议程。介绍了一种无监督神经信息检索架构，该架构利用迁移学习和词嵌入来创建段落的高维表示。策略议程标签被改写为信息检索查询，以分类的段落和查询嵌入之间的余弦相似度阈值的政策。该方法在马拉维，肯尼亚和卢旺达的31份政策文件中的14项政策议程中获得了0.83的F1分数，表明自动文本挖掘可以提供可靠，可推广和有效的恢复政策分析。
2019-08-07 cs.CL cs.IR
Developing automatic verbatim transcripts for international multilingual meetings: an end-to-end solution
World Intellectual Property Organization（世界知识产权组织）
本文介绍WIPO利用内部S2T与MT组件构建的端到端多语言会议自动转录与翻译系统，总结其数据、架构、业务收益及对既有会议文档流程的替代。
2023-09-27 cs.AI cs.CL cs.LG
ICDBigBird: A Contextual Embedding Model for ICD Code Classification
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Semantic Health（语义健康公司）
国际疾病分类（ICD）系统是对医疗保健过程中的疾病和程序进行分类的国际标准，广泛用于医疗保健报告和管理目的。正确的临床程序代码对于医疗保健中的临床，操作和财务决策非常重要。上下文词嵌入模型在多个NLP任务中取得了最先进的结果。然而，这些模型尚未在ICD分类任务中实现最先进的结果，因为它们的主要缺点之一是它们只能处理包含少量令牌的文档，而真正的患者笔记很少出现这种情况。在本文中，我们介绍了ICDBigBird基于BigBird的模型，它可以集成一个图卷积网络（GCN），利用ICD代码之间的关系，以创建“丰富”的表示其嵌入，与BigBird上下文模型，可以处理更大的文件。我们在真实世界临床数据集上的实验证明了我们基于BigBird的模型在ICD分类任务上的有效性，因为它优于以前的最先进模型。
2022-04-21 cs.CL cs.LG
A Multi-Modal Multilingual Benchmark for Document Image Classification
AWS AI Labs（亚马逊云科技人工智能实验室）
针对现有文档图像分类数据集的局限，本文提出WIKI-DOC和MULTIEURLEX-DOC两个多语言数据集，并在多标签分类和零样本跨语言迁移设置下评估Document AI模型，揭示了其在跨语言迁移上的局限性。
2023-10-25 cs.CL
Deep Dive into the Language of International Relations: NLP-based Analysis of UNESCO's Summary Records
University of Warsaw（华沙大学）；NASK (National Research Institute)（NASK（国家研究院））
本研究针对UNESCO遗产列入引发的国际冲突，开发了基于总结记录的主题建模与紧张局势检测方法，准确率达72%，并构建了辅助外交等人员高效检索的应用。
2023-08-01 cs.CL
Introduction to speech recognition
本文通过Matlab实验，利用动态时间规整、迪杰斯特拉算法和最近邻方法，在小型数据库上实现了三个单词的正确分类，并介绍了机器学习评估指标。
2024-02-01 cs.CL cs.LG cs.SD
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore（迈索尔大学）
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法，直到实现期望的级别分区，使得每个分区包含单个类的标记文档。一旦获得所需的聚类，各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验，以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
Efficient Classification of Long Documents Using Transformers
University of Illinois（伊利诺伊大学）；Amazon（亚马逊）；AWS AI Labs（AWS人工智能实验室）；Microsoft（微软）
已经提出了几种使用Transformers对长文本文档进行分类的方法。然而，在能够对不同办法进行公平比较的基准方面缺乏共识。在本文中，我们提供了一个全面的评估相对于各种基线和不同的数据集测量的效率-无论是在准确性以及时间和空间开销。我们的数据集涵盖了二进制、多类和多标签分类任务，并代表了信息在长文本中的各种组织方式（例如，对分类决策至关重要的信息位于文档的开头或结尾）。我们的研究结果表明，更复杂的模型往往无法超越简单的基线，并且在数据集之间产生不一致的性能。这些研究结果强调，未来的研究需要考虑全面的基线和数据集，更好地代表长文件分类的任务，以开发强大的模型。
2022-03-21 cs.CL
GVdoc: Graph-based Visual Document Classification
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Richmond（里士满大学）；Amazon（亚马逊）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
GVdoc利用文档布局构建图并训练图神经网络进行分类，以更少参数在分布外数据上超越现有模型，同时保持分布内性能。
2023-05-26 cs.CL cs.CV cs.LG
The Linguistic DS: Linguisitic Description in MPEG-7
MPEG-7（Moving Picture Experts Group Phase 7）是一个基于XML的多媒体内容语义描述的国际标准。本文档讨论了语言DS和相关工具。语言DS是基于GDA标签集（http：//i-content.org/GDA/tagset.html）的工具，用于多媒体内容中或与多媒体内容相关联的语言数据的语义注释。当前的文档文本反映了2003年3月发布的“FPDAM-MPEG-7 MDS扩展的研究”，而不是MPEG-7 MDS的大部分，读者可以参考ISO（http：//www.example.com）提供的MPEG-7 MDS文档的第一版。www.iso.org但是，如果没有这些参考，熟悉XML和语言学理论的人应该基本上可以理解本文。欢迎提出意见，并将在标准化过程中予以考虑。
2003-07-19 cs.CL
The Influence of Feature Representation of Text on the Performance of Document Classification
University of Rijeka（里耶卡大学）；University of Ljubljana（卢布尔雅那大学）；Institute Jožef Stefan（约瑟夫·斯蒂芬研究所）
在本文中，我们进行了比较分析的文本文档的特征表示的背景下，文档分类的三种模式。特别是，我们认为最常用的家庭模型袋的话，最近提出的连续空间模型word2vec和doc2vec，和模型的基础上表示的文本文件作为语言网络。虽然词袋模型已被广泛用于文档分类任务，其他两个模型的性能相同的任务还没有得到很好的理解。这对于基于网络的模型尤其如此，该模型很少被考虑用于表示用于分类的文本文档。在这项研究中，我们测量的文件分类器的性能训练使用的方法随机森林的功能产生的三个模型及其变种。实证比较的结果表明，常用的词袋模型的性能与新兴的连续空间模型doc2vec。特别是，生成多达75个特征的doc2vec的低维变体是性能最好的文档表示模型之一。最后指出，doc2vec在大型文档的分类任务中表现出优越的性能。
2017-07-05 cs.CL
A Mixed-Language Multi-Document News Summarization Dataset and a Graphs-Based Extract-Generate Model
Faculty of Information Engineering and Automation, Kunming University of Science and Technology（昆明理工大学信息工程与自动化学院）；Yunnan Key Laboratory of Artificial Intelligence, Kunming University of Science and Technology（昆明理工大学云南省人工智能重点实验室）
针对混合语言多文档新闻摘要研究缺乏数据集的问题，本文构建了包含四种语言和10,992个文档摘要对的MLMD-news数据集，并提出基于图的抽取-生成模型进行基准测试，以推动该领域研究。
2024-10-13 cs.CL
Classification and Clustering of arXiv Documents, Sections, and Abstracts, Comparing Encodings of Natural and Mathematical Language
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；FIZ Karlsruhe（卡尔斯鲁厄专业信息中心）；George Washington University（乔治华盛顿大学）
在本文中，我们将展示如何选择和结合编码的自然和数学语言影响分类和聚类的文件与数学内容。我们通过使用arXiv预印本服务器中的文档、章节和摘要集来证明这一点，这些文档、章节和摘要都是按其主题类（数学、计算机科学、物理等）标记的。比较文本和公式的不同编码，并评估所选分类和聚类算法的性能和运行时间。我们的编码实现分类精度高达$82.8\%$和集群纯度高达$69.4\%$（集群的数量等于类的数量），和$99.9\%$（未指定的集群数量）分别。我们观察到文本和数学相似性之间的相关性相对较低，这表明文本和公式的独立性，并激励将它们作为文档的单独特征。可以采用分类和聚类，例如，用于文档搜索和推荐。此外，我们表明，计算机在分类文档时优于人类专家。最后，我们评估和讨论多标签分类和公式语义。
2020-05-22 cs.CL cs.DL cs.IR
Evaluation of Embedding-Based and Generative Methods for LLM-Driven Document Classification: Opportunities and Challenges
本文比较了基于嵌入和生成模型在地学技术文档分类中的表现，发现增强的生成视觉-语言模型在零样本准确率上表现更优，但监督微调对训练数据不平衡敏感。
2026-04-05 cs.AI cs.CL cs.CV
Extracting Sentiment Attitudes From Analytical Texts
Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）；Bauman Moscow State Technical University（莫斯科国立鲍曼技术大学）
在本文中，我们提出了RuSentRel语料库，包括在国际关系领域的分析文本。对于每个文档，我们注释了作者对提到的命名实体的情感，以及提到的实体之间的关系的情感。在目前的实验中，我们认为提取实体之间的情感关系的问题，为整个文件作为一个三级机器学习任务。我们尝试了传统的机器学习方法（朴素贝叶斯，SVM，随机森林）。
2018-08-27 cs.CL
Bridging the domain gap in cross-lingual document classification
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（Facebook人工智能）
标记的训练数据的稀缺性通常阻碍了NLP模型到多种语言的国际化。跨语言理解（XLU）的最新发展在这一领域取得了进展，试图使用语言通用表示来弥合语言障碍。然而，即使语言问题得到解决，由于跨语言和文化的自然领域漂移，用一种语言训练的模型也不会完美地转移到另一种语言。我们考虑半监督跨语言理解的设置，其中标记的数据在源语言（英语）中可用，但只有未标记的数据在目标语言中可用。我们将最先进的跨语言方法与最近提出的弱监督学习方法（如无监督预训练和无监督数据增强）相结合，以同时缩小XLU中的语言差距和领域差距。我们表明，解决域的差距是至关重要的。我们在强大的基线上进行了改进，并实现了跨语言文档分类的新的最先进技术。
2019-09-20 cs.CL
N-gram-Based Low-Dimensional Representation for Document Classification
Idiap Research Institute（Idiap研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Facebook AI Research（Facebook人工智能研究院）
词袋（BOW）模型是对文档进行分类的常用方法，其中单词被用作训练分类器的特征。这通常涉及大量的特征。一些技术，如潜在语义分析（LSA）或潜在狄利克雷分配（LDA），已被设计为在较低的维度中以最少的语义信息损失来总结文档。然而，一些语义信息总是丢失，因为只考虑单词。相反，我们的目标是使用来自n-gram的信息来克服这一限制，同时保持在低维空间中。许多方法，如Skip-gram模型，可以非常快速地提供良好的词向量表示。我们建议平均这些表示，以获得表示的n-gram。所有的n-gram都被嵌入到同一个语义空间中。K-means聚类可以将它们分组为语义概念。因此，特征的数量大大减少，文档可以表示为一袋语义概念。我们表明，该模型优于LSA和LDA的情感分类任务，并产生类似的结果比传统的BOW模型少得多的功能。
2015-04-10 cs.CL
DOCMASTER: A Unified Platform for Annotation, Training, & Inference in Document Question-Answering
University of California San Diego（加利福尼亚大学圣迭戈分校）；Halıcıoğlu Data Science Institute, University of California San Diego（加利福尼亚大学圣迭戈分校哈利乔格鲁数据科学学院）
本文提出DOCMASTER统一平台，在设备端集成PDF文档标注、模型训练与推理，支持布局感知和文本模型，解决文档问答中的格式复杂性与隐私保护问题，并已应用于UCSD的AI助手处理大量PDF文档。
2024-03-30 cs.CL
Classifying Patents Based on their Semantic Content
London School of Economics（伦敦经济政治学院）；Keio University（庆应义塾大学）；Université Paris VII（巴黎第七大学）；IFSTTAR（法国国家交通、规划与网络科技研究院）；Ecole Nationale des Ponts et Chaussées（法国国立路桥学院）
在本文中，我们扩展了一些常见的分类技术，从大规模的数据挖掘和网络的方法。这项新技术特别适用于大数据，用于从1976年以来从美国专利局获取的400万项专利的原始数据构建开放的统一数据库。为了构建模式网络，我们不仅要查看每个专利标题，还要查看它们的完整摘要并相应地提取相关关键词。我们将这种分类称为语义方法，与更常见的技术方法相比，后者在考虑美国专利局技术类别时采用拓扑结构。此外，我们的文件，这两种方法有高度不同的拓扑措施和强有力的统计证据表明，它们具有不同的模型。这表明，我们的方法是一个有用的工具，提取内源性信息。
2016-12-27 cs.CL physics.soc-ph
Document AI: A Comparative Study of Transformer-Based, Graph-Based Models, and Convolutional Neural Networks For Document Layout Analysis
University of Amsterdam（阿姆斯特丹大学）；Elsevier BV（爱思唯尔公司）
本研究比较评估了基于Transformer、图和CNN的文档布局分析模型，并利用机器翻译探索跨语言知识迁移的潜力，以填补先前缺乏系统比较的空白。
2023-08-29 cs.CL cs.CV
OCR for TIFF Compressed Document Images Directly in Compressed Domain Using Text segmentation and Hidden Markov Model
Indian Institute of Information Technology Allahabad（印度理工学院阿拉哈巴德分校）
在当今的技术时代，文档图像在我们的日常生活中发挥着重要和不可或缺的作用，特别是随着COVID-19的激增，数字扫描文档已成为沟通的主要来源，从而避免了任何形式的身体接触感染。扫描文档图像的存储和传输是一项非常占用内存的任务，因此压缩技术被用于在存档和传输之前减小图像大小。为了提取信息或对压缩图像进行操作，我们有两种方法：第一种方法是对图像进行压缩和操作，然后再次压缩图像，以提高存储和传输的效率。另一种方法是使用底层压缩算法的特性直接处理压缩形式的图像，而不涉及解压缩和重新压缩。本文提出了一种新的思路，即在压缩域中直接为CCITT（The International Telegraph and Telephone Consultative Committee，国际电报电话咨询委员会）压缩机打印的TIFF文档图像开发OCR。在将文本区域分割成行和词之后，使用CCITT的三种编码模式（水平、垂直和通过模式）应用HMM进行识别。实验结果表明，光学字符识别的通过模式给出了一个有前途的结果。
2022-09-13 cs.CL cs.CV cs.IR
Beyond Black Box AI-Generated Plagiarism Detection: From Sentence to Document Level
New York University（纽约大学）；Columbia University（哥伦比亚大学）；IBM Research（IBM研究院）
针对现有AI生成文本剽窃检测准确率低、易误报的问题，提出基于NLP的多维度检测方法，通过释义生成和余弦相似度对比匹配文本，句级与文档级均提供可量化指标，分类准确率最高达94%，鲁棒透明且可随LLM迭代升级。
2023-06-13 cs.AI cs.CL cs.LG
Pairwise Multi-Class Document Classification for Semantic Relations between Wikipedia Articles
DFKI GmbH（德国人工智能研究中心有限公司）；University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）
许多数字图书馆在向用户推荐文献时会考虑到查询文档与其存储库之间的相似性。然而，他们经常无法区分是什么关系使两个文档相似。在本文中，我们模型的问题，找到两个文件之间的关系作为一个成对的文件分类任务。为了发现文档之间的语义关系，我们应用了一系列技术，例如GloVe，Paragraph-Vectors，BERT和XLNet，在不同的配置下（例如，序列长度、向量级联方案），包括用于基于变换器的系统的连体架构。我们在一个新提出的数据集上进行实验，该数据集包含32，168个维基百科文章对和定义语义文档关系的Wikidata属性。我们的研究结果表明，香草BERT作为最好的表现系统的F1得分为0.93，我们手动检查，以更好地了解其适用于其他领域。我们的研究结果表明，分类文档之间的语义关系是一个可解决的任务，并激励推荐系统的发展的基础上评估的技术。本文中的讨论作为第一步，在探索文件通过SPARQL类查询，这样就可以找到文件，在一个方面是相似的，但在另一个不同的。
2020-03-22 cs.CL cs.DL cs.IR
Cross-lingual Distillation for Text Classification
Carnegie Mellon University（卡内基梅隆大学）
跨语言文本分类（CLTC）是将用不同语言编写的文档分类到相同的类别分类中的任务。本文提出了一种新的CLTC方法，建立在模型蒸馏，适应和扩展最初提出的模型压缩的框架。使用软概率预测的文件在一个标签丰富的语言作为（诱导）监督标签的平行语料库中的文件，我们训练分类成功的新语言中标记的训练数据不可用。在模型训练过程中还应用了对抗性特征自适应技术，以减少分布失配。我们在两个基准CLTC数据集上进行了实验，将英语作为源语言，将德语、法语、日语和汉语作为未标记的目标语言。所提出的方法具有其他最先进的方法的优势或相当的性能。
2018-03-28 cs.CL
KréyoLID From Language Identification Towards Language Mining
Inria（法国国家信息与自动化研究所）；Common Crawl Foundation（Common Crawl基金会）
本文提出将低资源语言语料库构建从多类分类问题重新定义为语言挖掘问题，并针对多种法语克里奥尔语引入新流程与语料库，以更少资源实现更快、更广的语料覆盖。
2025-03-09 cs.CL
Automatic Generation of Language-Independent Features for Cross-Lingual Classification
Technion – Israel Institute of Technology（以色列理工学院）
许多应用程序需要使用预定义的类别对文本文档进行分类。执行文本分类的主要方法是从标记的示例中学习。对于许多任务，可能很难找到一种语言的示例，但在其他语言中很容易。从一种或多种语言的例子中学习并在另一种语言中分类的问题称为跨语言学习。在这项工作中，我们提出了一种新的方法，解决了一般的跨语言文本分类问题。我们的方法为每个训练文档生成一组与语言无关的特征。使用这些特征进行训练会产生一个独立于语言的分类器。在分类阶段，我们为未标记的文档生成与语言无关的特征，并将分类器应用于新的表示。为了构建特征生成器，我们利用了一个分层的独立于语言的本体，其中每个概念都有一组支持文档，用于所涉及的每种语言。在预处理阶段，我们使用支持文档来构建一组与语言无关的特征生成器，每种语言一个。这些生成器的集合用于将任何文档映射到与语言无关的特征空间。我们的方法适用于最一般的跨语言文本分类问题，能够从任何语言的混合中学习，并对任何其他语言的文档进行分类。我们还提出了一种方法，利用本体的层次结构来创建虚拟的支持文件的语言，没有他们。我们测试了我们的方法，使用维基百科作为我们的本体，在跨语言文本分类中最常用的测试集合，并发现它优于现有的方法。
2018-02-12 cs.CL
Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies
Universidad Politécnica de Madrid（马德里理工大学）；Amazon Research（亚马逊研究院）
随着越来越多的数字文章以更广泛的语言出现，以及不同语言的使用范围不断扩大，我们需要能够浏览多语言语料库的注释方法。多语言概率主题模型是近年来出现的一组半监督机器学习模型，可用于对多种语言的文本集合进行主题探索。然而，这些方法需要主题对齐的训练数据来创建语言独立的空间。这种限制限制了该技术可以为训练提供解决方案的场景数量，并且很难扩展到训练阶段需要大量多语言文档的情况。本文提出了一种无监督的文档相似度算法，不需要平行或可比语料库，或任何其他类型的翻译资源。该算法用跨语言标签标注从单一语言文档中自动创建的主题，并通过独立训练的模型中的多语言概念层次来描述文档。在英语，西班牙语和法语版的JCR-Accounts语料库上进行的实验显示，通过相似内容对文档进行分类和排序的结果很有希望。
2020-12-15 cs.AI cs.CL cs.IR
Classifying Cyber-Risky Clinical Notes by Employing Natural Language Processing
St. John’s University（圣约翰大学）；Weill Cornell Medicine（威尔康奈尔医学院）
临床笔记可以嵌入到电子医疗记录中，记录患者护理服务并总结医疗保健提供者和患者之间的互动。这些临床记录直接为患者护理提供信息，也可以间接为研究和质量/安全指标以及其他间接指标提供信息。最近，美利坚合众国的一些州要求患者开放获取他们的临床记录，以改善患者信息的交换，从而进行患者护理。因此，在共享和交换数据之前，开发评估临床记录网络风险的方法至关重要。虽然现有的自然语言处理技术是为了去识别临床记录，但据我们所知，很少有人专注于对敏感信息风险进行分类，这是发展有效的，广泛的患者健康信息保护的基本步骤。为了弥合这一差距，本研究探讨了识别临床笔记中的安全/隐私风险的方法。该分类可以在上游用于识别笔记内可能包含敏感信息的区域，或者在下游用于改进对尚未完全去识别的临床笔记的识别。我们开发了几个模型，使用unigram和word 2 vec功能与不同的分类器来分类句子的风险。在i2 b2去识别数据集上的实验表明，使用word 2 vec特征的SVM分类器获得了最大F1-得分0.792。未来的研究涉及不同的全球监管要求方面的风险的衔接和区分。
2022-03-24 cs.CL cs.CY
A Novel Term_Class Relevance Measure for Text Categorization
University of Mysore（迈索尔大学）
在本文中，我们引入了一个新的措施，称为Term_Class相关性计算的相关性的一个术语分类到一个特定的类的文件。建议的措施估计的相关程度的一个给定的术语，在放置一个未标记的文档是一个已知的类的成员，作为产品的类_术语权重和类_术语密度;其中，Class_Term权重是包含该术语的类的文档的数量与包含该术语的文档的总数的比率，并且Class_Term权重是包含该术语的类的文档的数量与包含该术语的文档的总数的比率。术语密度是术语在类中出现的相对密度，与术语在整个群体中的总出现率。与其他现有的长期加权计划，如TF-IDF及其变种，建议的相关性措施考虑到整个人口的类的所有文件的长期的相对参与程度。为了证明拟议措施的重要性，在20个新闻组数据集上进行了实验。通过对比分析，进一步说明了该方法的优越性.
2016-09-14 cs.CL cs.IR
A Graph-based Approach for Multi-Modal Question Answering from Flowcharts in Telecom Documents
Ericsson R&D Bangalore Karnataka India（爱立信研发部班加罗尔卡纳塔克邦印度）
针对技术文档问答中基于文本的RAG无法处理流程图类问题的痛点，提出将VLM生成的流程图图表示整合进文本RAG的端到端方法，在电信专有数据集上验证了其检索性能与成本优势。
2025-07-25 cs.AI cs.CL
Leveraging Large Language Models for Topic Classification in the Domain of Public Affairs
Universidad Autónoma de Madrid（马德里自治大学）；VINCES Consulting（VINCES咨询公司）
本研究利用大型语言模型对公共事务文档进行多标签主题分类，构建了超33K样本的数据库，评估4种西班牙语LLM在30个主题上的性能，证明其有效处理领域文档。
2023-08-08 cs.AI cs.CL
