Empirical Comparisons of CNN with Other Learning Algorithms for Text Classification in Legal Document Review
Sidley Austin LLP（世达律师事务所）；AT&T Services, Inc.（美国电话电报公司服务部）；Ankura（安库拉咨询公司）
研究表明，卷积神经网络（CNN）可以有效地应用于文本分类，作为预测编码协议的一部分。也就是说，到目前为止，大多数研究都是在短文档的数据集上进行的，这些短文档并不能反映真实世界文档审查中的文档种类。使用来自不同长度文档的四个实际评论的数据，我们将CNN与其他流行的文本分类机器学习算法进行了比较，包括Logistic回归，支持向量机和随机森林。对于每个数据集，使用不同的学习算法用不同的训练样本量训练分类模型。然后使用大量随机抽样的文档测试集对这些模型进行评估，并使用精确度和召回率曲线对结果进行比较。我们的研究表明，CNN表现良好，但没有一种算法在数据集和训练样本大小的组合中表现最好。这些结果将有助于推进对法律行业使用机器学习算法的研究，以最大限度地提高性能。
2019-12-19 cs.IR cs.LG
Combining Deep Learning and Reasoning for Address Detection in Unstructured Text Documents
Fraunhofer Institute for Industrial Engineering IAO（弗劳恩霍夫工业工程研究所）；University of Stuttgart, Institute of Human Factors and Technology Management IAT（斯图加特大学人类因素与技术管理研究所）；University of Leipzig（莱比锡大学）；Microsoft（微软）
从非结构化文本文档中提取信息是一项要求很高的任务，因为这些文档可能具有各种不同的布局和非平凡的阅读顺序，就像多列文档或嵌套表的情况一样。此外，许多业务文档都是以纸质形式收到的，这意味着在进一步分析之前需要将文本内容数字化。尽管如此，自动检测和捕获发件人地址等关键文档信息将提高许多公司的处理效率。在这项工作中，我们提出了一种混合的方法，结合深度学习与推理，从非结构化文本文档中查找和提取地址。我们使用视觉深度学习模型来检测扫描文档图像上可能的地址区域的边界，并通过使用表示为基于规则的系统的领域知识分析包含的文本来验证这些结果。
2022-02-07 cs.AI cs.IR cs.LG
Improve Document Embedding for Text Categorization Through Deep Siamese Neural Network
Data Science Institute, University of Virginia（弗吉尼亚大学数据科学研究所）
由于互联网上的数据量不断增加，找到一个高信息量，低维的文本表示是有效的自然语言处理任务，包括文本分类的主要挑战之一。这种表示应该捕获文本的语义信息，同时保留它们的相关性级别用于文档分类。该方法将具有相似主题的文档映射到向量空间表示中的相似空间。为了获得大文本的表示，我们提出了利用深连体神经网络。为了在分布式表示中嵌入主题中的文档相关性，我们使用连体神经网络来共同学习文档表示。我们的连体网络由两个多层感知器的子网络组成。我们检查我们的表示为文本分类任务的BBC新闻数据集。结果表明，所提出的表示优于传统的和国家的最先进的表示在文本分类任务在这个数据集上。
2020-05-31 cs.CL cs.IR cs.LG
Accessing accurate documents by mining auxiliary document information
Christ University Faculty of Engineering（基督大学工程学院）
早期的文本挖掘技术包括k-means，Naive Bayes，SVM等算法，这些算法对文本文档进行分类和聚类，以挖掘文档的相关信息。改进挖掘技术的需要使我们使用可用的算法来搜索技术。本文提出了一种技术，它使用的辅助信息，是存在于文本文档中，以提高挖掘。该辅助信息可以是对内容的描述。这些信息可能对挖矿有用，也可能完全无用。在考虑使用这种技术进行文本挖掘之前，用户应该评估辅助信息的价值。本文结合经典的聚类算法对数据集进行挖掘。该算法分两个阶段运行，在不同的抽象层次上进行挖掘。然后，将根据必要的类别对分组文件进行分类。所提出的技术是针对改进的结果，文档聚类。
2016-04-15 cs.AI cs.IR cs.LG
Graph Convolution for Multimodal Information Extraction from Visually Rich Documents
Alibaba Group（阿里巴巴集团）
视觉丰富文档（VRD）在日常商业和生活中无处不在。在VRD中，视觉和布局信息对于文档理解至关重要，并且此类文档中的文本无法在不丢失信息的情况下序列化为一维序列。经典的信息抽取模型，如BiLSTM-CRF，通常对文本序列进行操作，并且不包含视觉特征。在本文中，我们介绍了一个图形卷积为基础的模型，结合文字和视觉信息的VRD。图嵌入被训练来总结文档中文本段的上下文，并进一步与文本嵌入相结合以进行实体提取。已经进行了大量的实验，以表明我们的方法优于BiLSTM-CRF基线的显着利润率，在两个真实世界的数据集。此外，还进行了消融研究，以评估我们模型中每个组件的有效性。
2019-03-27 cs.CV cs.IR cs.LG
VTLayout: Fusion of Visual and Text Features for Document Layout Analysis
University of Chinese Academy of Sciences（中国科学院大学）；The Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
文档通常包含复杂的物理结构，这使得文档布局分析（DLA）任务具有挑战性。作为内容提取的预处理步骤，DLA具有大规模捕获历史或科学文档中丰富信息的潜力。尽管许多基于深度学习的计算机视觉方法在从文档中检测\emph{Figure}方面已经取得了优异的性能，但它们在识别DLA中的\emph{List}、\emph{Table}、\emph{Text}和\emph{Title}类别块方面仍然不令人满意。本文提出了一种融合文档的深视觉、浅视觉和文本特征的VTLayout模型来定位和识别不同的类别块。该模型主要包括两个阶段，三个特征提取器建立在内置的第二阶段。在第一阶段，Cascade Mask R-CNN模型直接应用于定位文档的所有类别块。在第二阶段中，深视觉，浅视觉和文本特征提取融合，以确定类别块的文档。因此，我们加强了分类能力的不同类别块的基础上现有的本地化技术。实验结果表明，VTLayout的识别能力优于基于PubLayNet数据集的最先进的DLA方法，F1得分高达0.9599。
2021-08-12 cs.CL cs.IR cs.LG
A Framework for Explainable Text Classification in Legal Document Review
Cleary Gottlieb Steen & Hamilton LLP（克利里戈特利布斯蒂恩汉密尔顿律师事务所）；Ankura Consulting Group, LLC（安库拉咨询集团有限责任公司）
公司经常花费数百万美元制作电子存储的法律文件。最近，“法律通道”两边的各方都接受使用文本分类等机器学习技术来剔除大量数据，并识别用于这些问题的响应文档。虽然文本分类经常用于降低法律事务中的发现成本，但它也面临着一个特殊的认知挑战：在律师中，这项技术有时被视为“黑匣子”，为律师提供的信息很少，无法理解为什么文件被归类为响应性文件。近年来，一群人工智能和机器学习研究人员一直在积极研究可解释的人工智能，其中的行为或决策是人类可以理解的。在法律文档审阅场景中，如果文档的一个或多个文本片段被认为是响应的，则可以将文档标识为响应的。在这些情况下，如果可以使用文本分类来定位这些片段，那么律师可以很容易地评估模型的分类决策。当使用定义和可解释的结果部署时，文本分类可以通过减少审查时间来大大提高审查过程的整体质量和速度。此外，可解释的预测编码为律师提供了对监督学习任务结果的更大信心。本文描述了一个框架，可解释的文本分类作为一个有价值的工具，在法律服务：提高法律文件审查的质量和效率，并协助在响应文件中定位响应片段。该框架已在我们的法律分析产品中实施，该产品已用于数百起法律事务。我们还报告了我们的实验结果使用的数据，从实际的法律问题，使用这种类型的文件审查。
2019-12-19 cs.AI cs.IR cs.LG
Unifying Vision, Text, and Layout for Universal Document Processing
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft Azure Cognitive Services Research（微软Azure认知服务研究院）；Microsoft Azure Visual Document Intelligence（微软Azure视觉文档智能部门）
我们提出了通用文档处理（UDOP），这是一个基础文档AI模型，它将文本，图像和布局模式与各种任务格式结合在一起，包括文档理解和生成。UDOP利用文本内容和文档图像之间的空间相关性，用一个统一的表示来建模图像、文本和布局模态。通过一种新颖的视觉文本布局Transformer，UDOP将预训练和多域下游任务统一到基于序列的序列生成方案中。UDOP使用创新的自监督目标和不同的标记数据在大规模未标记文档语料库上进行预训练。UDOP还通过掩码图像重建从文本和布局模态中学习生成文档图像。据我们所知，这是文档人工智能领域首次实现一个模型同时实现高质量的神经文档编辑和内容定制。我们的方法在8个文档AI任务上设置了最先进的技术，例如，文档理解和QA，跨财务报告、学术论文和网站等不同数据领域。UDOP在文档理解基准排行榜上排名第一。
2023-03-13 cs.AI cs.CL cs.CV
DUET: Detection Utilizing Enhancement for Text in Scanned or Captured Documents
Samsung SDS（三星SDS）
我们提出了一种用于文档图像中文本检测的新型深度神经模型。为了在有噪声的扫描文档中进行鲁棒的文本检测，通过添加文本增强的辅助任务来利用多任务学习的优点。也就是说，我们提出的模型被设计为执行噪声降低和文本区域增强以及文本检测。此外，我们还利用经过完全标记的合成文档图像丰富了该模型的训练数据，从而克服了标记文档图像数据的不足。为了有效利用合成数据和真实数据，训练过程分为两个阶段。第一阶段是以完全监督的方式仅训练合成数据。然后在第二阶段添加仅具有检测标签的真实数据。实际数据的增强任务是弱监督的，其信息来自其检测标签。我们的方法在一个真实的文档数据集上进行了验证，其性能超过了其他文本检测方法。此外，消融进行，结果证实了有效的合成数据，辅助任务，和弱监督。鉴于现有的文本检测研究主要集中在场景中的文本，我们提出的方法是优化的应用程序的文本扫描文档。
2021-06-10 cs.AI cs.CV cs.LG
Generalised Differential Privacy for Text Document Processing
Macquarie University（麦考瑞大学）；INRIA（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）
我们解决的问题是如何“混淆”的文本删除文体线索，可以识别作者，同时保留（尽可能多地）的文本的内容。在本文中，我们结合了“广义差分隐私“和机器学习技术的文本处理的思想，为文本文档的隐私建模。我们定义了一个隐私机制，在文本文档的水平表示为“词袋”-这些表示是典型的机器学习，并包含足够的信息来执行多种分类任务，包括主题识别和作者归属（原始文档）。我们表明，我们的机制满足隐私方面的度量语义相似性，从而提供了一个平衡的效用，定义的文本的语义内容，与混淆的风格线索。我们展示了我们的实现在一个“同人小说”数据集，确认它确实是可以有效地伪装写作风格，同时保留足够的信息和变化，准确的内容分类任务。
2019-02-05 cs.CR cs.LG
Amharic Text Clustering Using Encyclopedic Knowledge with Neural Word Embedding
在这个数字时代，几乎在每个学科中，人们都在使用自动化系统，这些系统生成以不同自然语言的文档格式表示的信息。因此，人们对寻找、组织和分析这些文档的更好解决方案越来越感兴趣。在本文中，我们提出了一个系统，集群阿姆哈拉语文本文件使用百科知识（EK）与神经词嵌入。EK使相关概念的表征和神经词嵌入允许我们处理的相关性的上下文。在聚类过程中，所有的文本文件通过预处理阶段。通过EK映射和词嵌入模型，从每个文档中提取丰富的文本文档特征。生成TF-IDF加权特征向量。最后，使用流行的球形K-means算法对文本文档进行聚类。所提出的系统进行了测试，阿姆哈拉语文本语料库和阿姆哈拉语维基百科数据。测试结果表明，使用EK与词嵌入的文档聚类提高了平均精度比单独使用EK。此外，改变类的大小对准确性有很大影响。
2022-09-22 cs.CL cs.LG
Modelling the semantics of text in complex document layouts using graph transformer networks
BlackRock Inc.（贝莱德集团）
从复杂文档中表示结构化文本通常需要不同的机器学习技术，例如用于段落的语言模型和用于表格提取的卷积神经网络（CNN），这禁止在不同内容类型的文本跨度之间绘制链接。在这篇文章中，我们提出了一个模型，近似的人类阅读模式的文件，并输出一个独特的语义表示为每个文本跨度，无论内容类型，他们被发现。我们的架构的结构化文本的图形表示的基础上，我们证明，我们不仅可以检索语义相似的信息跨文档，而且我们生成的嵌入空间捕获有用的语义信息，类似于语言模型，只对文本序列的工作。
2022-02-18 cs.AI cs.CL cs.LG
The study of short texts in digital politics: Document aggregation for topic modeling
Pennsylvania State University（宾夕法尼亚州立大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究短文本聚合对主题建模的影响，通过分析美国州议员的一百万条推文发现，按账户聚合文档可使主题与州的关联性更强，并在维基百科数据上复现了该结果。
2025-03-07 cs.CL cs.LG
Terminology-based Text Embedding for Computing Document Similarities on Technical Content
Skopai（Skopai公司）；Univ. Grenoble Alps/CNRS（格勒诺布尔阿尔卑斯大学/法国国家科学研究中心）
在本文中，我们提出了一种新的，混合文档嵌入方法，以解决文件的相似性方面的技术内容的问题。为此，我们采用了最先进的图形技术，首先提取文档的关键词（复合关键词），然后使用它们对句子进行评分。使用排名的句子，我们提出了两种方法来嵌入文档，并显示其性能相对于两个基线。领域专家注释，我们说明了所提出的方法可以找到更多的相关文件，并优于基线高达27%的NDCG。
2019-07-01 cs.CL cs.LG stat.ML
Detecting covariate drift in text data using document embeddings and dimensionality reduction
本文研究TF-IDF、Doc2Vec和BERT等文档嵌入结合LSA、PCA降维及KS、MMD检测方法在文本协变量漂移检测中的效果，发现特定组合表现更优，为提升文本分析模型可靠性提供依据。
2023-09-17 cs.CL cs.LG
Going Full-TILT Boogie on Document Understanding with Text-Image-Layout Transformer
Poznan University of Technology（波兹南理工大学）；Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；Jagiellonian University（雅盖隆大学）
我们通过引入TILT神经网络架构来解决纯文本文档之外的自然语言理解的挑战性问题，该架构同时学习布局信息，视觉特征和文本语义。与以前的方法相反，我们依赖于一个解码器，能够统一涉及自然语言的各种问题。布局被表示为注意力偏差，并补充了上下文视觉信息，而我们模型的核心是一个预先训练的编码器-解码器Transformer。我们的新方法在从文档中提取信息和回答需要布局理解的问题（DocVQA，CORD，SROIE）方面取得了最先进的结果。与此同时，我们通过采用端到端模型简化了流程。
2021-07-12 cs.CL cs.LG
TLGAN: document Text Localization using Generative Adversarial Nets
Data Analytic Laboratory（数据分析实验室）；Samsung Life Insurance（三星人寿保险）
从数字图像中定位文本是光学字符识别任务的第一步。传统的基于图像处理的文本定位对于特定的例子来说是足够的。然而，一般的文本本地化仅由最近的基于深度学习的模式存档。在这里，我们提出了文档文本定位生成对抗网络（TLGAN），它是深度神经网络，用于从数字图像中执行文本定位。TLGAN是一种通用且易于训练的文本本地化模型，需要少量数据。在扫描收据OCR和信息抽取（SROIE）上仅训练来自Robust Reading Challenge的10个标记收据图像，TLGAN对SROIE测试数据实现了99.83%的准确率和99.64%的召回率。我们的TLGAN是一个实用的文本本地化解决方案，只需最少的数据标记和模型训练工作，即可产生最先进的性能。
2020-10-22 cs.CV cs.LG
Label-aware Document Representation via Hybrid Attention for Extreme Multi-Label Text Classification
Beijing Jiaotong University（北京交通大学）
极端多标签文本分类（XMTC）的目的是从一个非常大规模的标签集标记的最相关的标签的文档。这是一个具有挑战性的问题，特别是对于尾部标签，因为只有很少的训练文件来构建分类器。本文的动机是更好地探索每个文档和极端标签之间的语义关系，利用文档内容和标签的相关性。我们的目标是建立一个明确的标签感知表示为每个文件的混合注意力深度神经网络模型（LAHA）。LAHA由三部分组成。第一部分采用多标签自注意机制来检测每个词对标签的贡献。第二部分利用标签结构和文档内容来确定同一潜在空间中单词和标签之间的语义联系。第三部分设计了一种自适应的融合策略，以获得最终的标签感知文档表示，使前两部分的本质可以充分融合。在六个基准数据集上进行了大量的实验，并与现有的方法进行了比较。结果表明，我们提出的LAHA方法的优越性，特别是在尾部标签。
2019-07-12 cs.LG stat.ML
Deep Bayes Factor Scoring for Authorship Verification
Ruhr University Bochum（波鸿鲁尔大学）；Bucknell University（巴克内尔大学）
PAN 2020作者身份验证（AV）挑战的重点是在一组同人小说文本上进行跨主题/封闭集AV任务。同人小说是由同人创作的故事情节的延伸，其中一个所谓的同人话题描述了文档的主要主题。PAN 2020 AV任务中提供的数据相当具有挑战性，因为包括了多个/不同同人圈主题的文本作者。在这项工作中，我们将两种众所周知的方法分层融合到一个端到端的学习过程中：底部的深度度量学习框架旨在学习一个伪度量，将可变长度的文档映射到固定大小的特征向量上。在顶部，我们结合了一个概率层，以在学习的度量空间中执行贝叶斯因子评分。我们还提供了文本预处理策略来处理跨主题问题。
2020-08-23 cs.CL cs.LG
Text Change Detection in Multilingual Documents Using Image Comparison
Samsung SDS（三星 SDS）
针对多语言文档比较中OCR语言模型选择困难及混合模型性能受限的问题，提出基于词级图像比较和多尺度注意力特征的TCD模型，并构建多语言打印扫描词对数据集进行验证。
2024-12-05 cs.AI cs.CL cs.CV
FETILDA: An Effective Framework For Fin-tuned Embeddings For Long Financial Text Documents
Rensselaer Polytechnic Institute（伦斯勒理工学院）；School of Science（理学院）；Lally School of Management（拉里管理学院）
针对金融长文本表征难题，提出FETILDA框架，通过分块处理、预训练LM聚合与自注意力提取特征，在两个金融披露数据集上优于基线，提升了文本回归预测效果。
2022-06-14 cs.AI cs.CL cs.LG
LAPDoc: Layout-Aware Prompting for Documents
RheinMain University of Applied Sciences（莱茵美茵应用科学大学）；Insiders Technologies GmbH（Insiders科技有限公司）；National University of Sciences and Technology（国家科技大学）
本文提出LAPDoc，通过直接插入式修改和基于规则的方法将布局信息融入纯文本LLM提示，在标准文档基准上性能提升高达15%，为文档理解任务提供了模型选择依据。
2024-02-15 cs.CL cs.CV cs.LG
Towards a Multi-modal, Multi-task Learning based Pre-training Framework for Document Representation Learning
University of Alberta（阿尔伯塔大学）；IBM Research（IBM研究院）
文献中的最新方法已经利用文档中的多模态信息（文本、布局、图像）来服务于特定的下游文档任务。然而，它们受到以下限制：（i）无法学习跨文本、布局和文档图像维度的跨模态表示，以及（ii）无法处理多页文档。预训练技术已经在自然语言处理（NLP）领域中展示，以从大型未标记数据集学习通用文本表示，适用于各种下游NLP任务。在本文中，我们提出了一个基于多任务学习的框架，该框架利用自监督和监督预训练任务的组合来学习适用于各种下游文档任务的通用文档表示。具体来说，我们引入了文档主题建模和文档洗牌预测作为新的预训练任务，以学习丰富的图像表示以及文档的文本和布局表示。我们利用Longformer网络架构作为骨干，以端到端的方式对来自多页文档的多模态信息进行编码。我们展示了我们的预训练框架在各种不同的现实世界的文档任务，如文档分类，文档信息抽取和文档检索的适用性。我们在不同的标准文档数据集上评估我们的框架，并进行详尽的实验，以比较我们的框架和最先进的基线的各种消融的性能。
2022-01-05 cs.AI cs.CL cs.LG
