Cartridges at Scale: Training Modular KV Caches over Large Document Collections
Amazon AGI(亚马逊人工智能研究院)
提出Cartridges at Scale (CAS)框架,通过动态干扰混合和内存高效预算管理器实现大规模多弹匣训练,在减少预填充开销的同时保持准确性,性能优于单块弹匣10-31点,接近全上下文学习。
2026-06-03 cs.CL cs.IR cs.LG
Unfolding the Structure of a Document using Deep Learning
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
从大型文档(如商业机会、学术文章、医学文档和技术报告)中理解和提取信息带来了短文档中不存在的挑战。这样的大型文档可能是多主题的、复杂的、嘈杂的,并且涵盖不同的主题。我们描述了一个框架,可以分析大型文档,并帮助人们和计算机系统找到所需的信息。我们的目标是自动识别和分类文档的不同部分,并了解它们在文档中的用途。我们研究的一个关键贡献是使用深度学习技术建模和提取电子文档的逻辑和语义结构。我们通过对两个集合进行广泛的实验来评估我们框架的有效性和鲁棒性:来自arXiv的100多万篇学术文章和来自政府来源的提案文件请求集合。
2019-09-29 cs.CL cs.LG stat.ML
ScaleDoc: Scaling LLM-based Predicates over Large Document Collections
Tsinghua University(清华大学)
本文提出ScaleDoc系统,通过将谓词执行分为离线表示阶段和优化的在线过滤阶段,解决了大规模文档分析中大语言模型高推理成本的问题,实现了端到端速度提升和LLM调用成本降低。
2026-03-03 cs.AI cs.DB cs.LG
Lifelong learning for text retrieval and recognition in historical handwritten document collections
本章概述了在构建终身学习的检索、识别和索引引擎时需要处理的问题,该引擎用于多种脚本和语言的大型历史文档集,即Monk系统。这种应用随着时间的推移是高度可变的,因为最终用户的连续标记改变了“地面实况”的概念。尽管深度学习的当前进展在该应用领域中提供了巨大的潜力,但是问题的规模,即,超过520种不同的书籍,文档和手稿排除了目前设计和开发成功的深度学习系统所需的细致和艰苦的人力努力。介绍了球场原理,它描述了从稀疏标记阶段(只能通过传统方法或预训练神经网络的嵌入向量上的最近邻方法来解决)到另一端(大规模标记允许深度学习方法的可靠训练)的演变。内容包括:介绍、期望管理、深度学习、大致原理、技术实现、工作流程、材料的质量和数量、工业化和可扩展性、人工努力、算法、识别对象、处理管道、性能、组合性、结论。
2019-12-11 cs.CL cs.CV cs.LG
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
针对短文档数据稀疏导致主题建模效果不佳的问题,提出终身神经主题建模(LNTM)框架,通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘,在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
Boosting Entity Linking Performance by Leveraging Unlabeled Documents
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
现代实体链接系统依赖于专门为任务注释的大量文档集合(例如,AIDA CONLL)。相比之下,我们提出了一种只利用自然发生的信息的方法:未标记的文档和维基百科。我们的方法包括两个阶段。首先,我们为未标记文档中的每个提及构建候选实体的高召回列表。其次,我们使用候选列表作为弱监督来约束我们的文档级实体链接模型。该模型将实体视为潜在变量,并且在对未标记文本的集合进行估计时,学习选择依赖于每次提及的本地上下文以及与文档中其他实体的一致性的实体。由此产生的方法可以在标准测试集上与完全监督的最先进系统相媲美。它还接近他们的表现在非常具有挑战性的设置:当测试集上的数据采样用于估计监督系统进行测试。通过与仅使用维基百科训练我们的模型进行比较,我们证明了对未标记文档进行建模是有益的。
2019-06-04 cs.AI cs.CL cs.LG
CDJUR-BR -- A Golden Collection of Legal Document from Brazilian Justice with Fine-Grained Named Entities
Universidade de Fortaleza(福塔莱萨大学);Instituto Federal de Educação, Ciência e Tecnologia do Ceará(塞阿拉联邦教育、科学与技术学院);Tribunal de Justiça do Estado do Ceará(塞阿拉州法院)
本文构建了巴西司法系统细粒度法律命名实体黄金标准集合CDJUR-BR,并基于BERT训练NER模型,验证了该集合在法律实体识别中的优势。
2023-05-20 cs.AI cs.CL cs.IR
Efficient Sparse Spherical k-Means for Document Clustering
University of Stuttgart(斯图加特大学)
球形k-Means经常用于对文档集合进行聚类,因为它在许多设置中表现良好,并且计算效率很高。然而,时间复杂度随着聚类数k线性增加,这限制了算法对取决于集合大小的较大k值的适用性。针对欧几里德k均值算法的优化在很大程度上不适用,因为余弦距离不是度量。因此,我们提出了一个有效的索引结构,以提高球形k-Means相对于k的可扩展性。我们的方法利用了输入向量的稀疏性和k-Means的收敛行为,以显着减少每次迭代的比较次数。
2021-07-30 cs.AI cs.DS cs.LG
Scalable Evaluation and Improvement of Document Set Expansion via Neural Positive-Unlabeled Learning
Bar Ilan University(巴伊兰大学);RIKEN(理化学研究所);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Tokyo(东京大学)
我们考虑的情况下,用户已经收集了一个小的一组文档的内聚主题,他们希望从一个大的集合中检索更多的文档。信息检索(IR)解决方案将文档集视为查询,并在集合中查找相似的文档。我们建议通过将问题视为正未标记(PU)学习的实例来扩展IR方法-即,仅从正数据和未标记数据学习二进制分类器,其中正数据对应于查询文档,并且未标记数据是由IR引擎返回的结果。利用PU学习大型神经网络的文本是一个很大程度上未开发的领域。我们讨论了将PU学习应用于设置的各种挑战,包括未知的类先验,极不平衡的数据和模型的大规模准确评估,我们提出了解决方案并进行了经验验证。我们证明了该方法的有效性,使用一系列的实验检索PubMed摘要坚持细粒度的主题。我们展示了基础IR解决方案和其他基线的改进。
2021-01-14 cs.CL cs.LG
Understanding the Logical and Semantic Structure of Large Documents
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
当前的语言理解方法集中于小文档,例如新闻专线文章、博客文章、产品评论和论坛条目。从大型文件(如法律摘要、提案、技术手册和研究文章)中理解和提取信息仍然是一项具有挑战性的任务。我们描述了一个框架,可以分析一个大的文件,并帮助人们知道在该文件中的特定信息。我们的目标是自动识别和分类文档的语义部分,并为文档中的相似部分分配一致且人类可理解的标签。我们的研究的一个关键贡献是建模的逻辑和语义结构的电子文档。我们在原型系统中应用了机器学习技术,包括深度学习。我们还提供了一个关于arXiv eprints集合中学术文章集合的信息数据集,其中包括每篇文章的各种元数据,包括目录,章节标签,章节摘要等。我们希望这个数据集将成为机器学习和NLP社区在信息检索,基于内容的问答和语言建模方面的有用资源。
2017-09-03 cs.CL cs.IR cs.LG
Latent Topic Models for Hypertext
School of CS and Eng.(计算机科学与工程学院);IBM Research Laboratory in Haifa(IBM海法研究实验室);The Hebrew University(希伯来大学);Haifa University(海法大学)
潜在主题模型作为一种无监督的主题发现技术已经成功地应用于大型文档集。随着超文本文档集合(如Internet)的激增,人们对将这些方法扩展到超文本也产生了极大的兴趣[6,9]。这些方法通常以类似于它们如何建模单词的方式对链接进行建模-以与在标准主题模型中对文档-单词共现矩阵进行建模相同的方式对文档-链接共现矩阵进行建模。在本文中,我们提出了一个概率生成模型的超文本文档集合,明确建模的链接的生成。具体来说,从单词w到文档d的链接直接取决于w的主题在d中的频率,以及d的入度。我们展示了如何在这个模型上有效地执行EM学习。通过不将链接建模为类似于单词,我们最终使用更少的自由参数并获得更好的链接预测结果。
2012-06-13 cs.CL cs.IR cs.LG
Extraction of Keyphrases from Text: Evaluation of Four Algorithms
这份报告提出了一个实证评估的四个算法自动提取关键字和关键短语的文件。使用五个不同的文件集合的四种算法进行比较。对于每个文档,我们都有一组目标关键词,这些关键词是手工生成的。目标关键词是为人类读者生成的;它们不是为四种关键词提取算法中的任何一种而定制的。每个算法都通过算法的关键词与手动生成的关键词的匹配程度进行评估。这四种算法是(1)微软Word 97中的自动摘要功能,(2)基于Eric Brill的词性标记器的算法,(3)Verity Search 97中的摘要功能,以及(4)NRC的提取器算法。对于所有五个文档集合,NRC的Extractor会产生与手动生成的关键词的最佳匹配。
2002-12-08 cs.IR cs.LG
A large-scale field test on word-image classification in large historical document collections using a traditional and two deep-learning methods
University of Groningen(格罗宁根大学)
这份技术报告描述了一个实际的现场测试,在一个非常大的收集了300多个不同的手写历史手稿的文字-图像分类,有160万个独特的标记图像和超过1100万个图像用于测试。结果表明,几个深度学习测试完全失败(平均准确率83%)。在用于分类的独热编码中具有超过1000个输出单元(词汇词)的测试中,性能急剧下降到几乎为零的准确率,即使预决赛的大小适中(即,倒数第二)层(150个单位)。传统的特征方法(BOVW)在类的数量和训练样本的数量上表现出一致的性能(平均准确率87%)。对于每本书,在Inception V3网络的pre-final层的输出上使用最接近的平均值进行额外的测试,只产生了平庸的结果(平均准确率49%),但对大量的类不敏感。值得注意的是,这个实验只能在传统方法的基础上收获标签,传统方法已经从每个类的单个标记图像开始工作。预计失败的深度学习测试的性能可以修复,但只能基于人工手工制作(sic)的网络架构和超参数。当不考虑失败的问题书籍时,端到端的CNN训练产生约95%的准确率。这一平均值主要是由一个大的汉字子集,其他脚本风格的表现较低。
2019-04-17 cs.CV cs.LG stat.ML
Follow the Entities: A Corpus Map for Agentic Search
KAIST(韩国科学技术院);Microsoft(微软)
针对大型文档集合中证据分散的问题,提出CorpusMap导航层,以实体为中心组织语料库,构建实体-文档图,使智能体高效收集证据,提升检索质量并减少token消耗。
2026-09-30 cs.AI cs.CL cs.IR
Hierarchical thematic classification of major conference proceedings
针对专家给定树状层次结构的文本分类场景,提出基于词熵加权的层次相似度函数,结合变分贝叶斯推理的闭式EM算法,在两个数据集上的排序准确率优于多种现有层次分类方法。
2024-06-21 cs.IR cs.LG stat.ML
Timeline: A Dynamic Hierarchical Dirichlet Process Model for Recovering Birth/Death and Evolution of Topics in Text Stream
主题模型已被证明是发现文档集合中潜在结构的有用工具。然而,大多数文档集合往往是时间流,因此潜在结构的几个方面,如主题的数量,主题的分布和流行度是随时间演变的。有几种模型可以模拟上述一些方面的演变,但不是所有方面。在本文中,我们介绍了无限动态主题模型iDTM,它可以适应所有上述方面的发展。我们的模型假设文档被组织到epoch中,每个epoch中的文档是可交换的,但文档之间的顺序在epoch中保持不变。iDTM允许无限数量的主题:主题可以在任何时期死亡或出生,并且每个主题的表示可以根据马尔可夫动力学进化。我们使用iDTM来分析NIPS社区中主题的诞生和演变,并评估了我们的模型在模拟和真实数据集上的有效性,结果良好。
2012-03-15 cs.IR cs.LG stat.ML