Lbl2Vec: An Embedding-Based Approach for Unsupervised Document Retrieval on Predefined Topics
Technical University of Munich（慕尼黑工业大学）
在本文中，我们考虑使用无监督的方法从未标记的文档数据集中检索具有预定义主题的文档的任务。所提出的无监督方法只需要少量的关键字描述各自的主题，没有标记的文件。现有的方法要么严重依赖于大量的额外编码的世界知识或术语文档频率。此外，我们引入了一种方法，学习联合嵌入的文档和词向量，仅从未标记的文档数据集，以找到语义相似的主题所描述的关键字的文件。所提出的方法几乎不需要文本预处理，但同时有效地检索相关文档的概率很高。当从公开和常用的数据集连续检索不同预定义主题的文档时，我们在一个数据集上实现了0.95的接收器工作特征曲线值下的平均面积，在另一个数据集上实现了0.92。此外，我们的方法可以用于多类文档分类，而不需要预先为数据集分配标签。与无监督分类基线相比，我们将各自数据集的F1分数从76.6增加到82.7，从61.0增加到75.1。为了便于复制我们的方法，我们将开发的Lbl 2 Vec代码作为3-Clause BSD许可证下的即用型工具公开提供。
2022-10-12 cs.AI cs.CL
Wukong-Reader: Multi-modal Pre-training for Fine-grained Visual Document Understanding
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
对数百万数字生成或扫描文档的无监督预训练在视觉文档理解~（VDU）方面显示出有希望的进步。虽然在现有的解决方案中研究了各种视觉语言预训练目标，但文档文本行作为VDU中的固有粒度，迄今为止很少被探索。文档文本行通常包含空间和语义相关的单词，这些单词可以很容易地从OCR引擎中获得。在本文中，我们提出了Wukong-Reader，用新的预训练目标训练，以利用嵌套在文档文本行中的结构知识。我们引入文本行-区域对比学习来实现视觉区域和文档文本行的文本之间的细粒度对齐。此外，掩蔽区域建模和文本行网格匹配也被设计来增强文本行的视觉和布局表示。实验表明，我们的悟空阅读器在信息抽取等各种VDU任务上具有优越的性能。对文本行的细粒度对齐也使Wukong-Reader具有很好的本地化能力。
2022-12-19 cs.CL cs.CV
CONDITOR1: Topic Maps and DITA labelling tool for textual documents with historical information
Universidad de Zaragoza（萨拉戈萨大学）
Conditor是一个处理包含历史信息的文本文档的软件工具。这项工作的目的是双重的：首先，以显示开发的引擎的有效性，正确地识别和标记的实体的宇宙的话语与标记组合的XTM-DITA模型。其次，解释了由于使用面向对象的数据库（JPOX）以及将其集成到Lucene类型的数据库搜索过程中，从而不仅实现更准确的搜索，而且还有助于推荐系统的未来发展，从而在信息检索过程中实现的改进。最后，我们以上述搜索结果的3D图中的简短演示结束。
2016-03-23 cs.CL cs.DL cs.IR
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
Natural Questions是一个新的具有挑战性的机器阅读理解基准，具有两个粒度的答案，即长答案（通常是一个段落）和短答案（长答案中的一个或多个实体）。尽管现有的方法在这个基准上是有效的，但它们在训练过程中单独对待这两个子任务，而忽略了它们的依赖关系。为了解决这个问题，我们提出了一种新的多粒度机器阅读理解框架，重点是在其层次结构的性质，这是不同级别的粒度建模文档：文档，段落，句子和令牌。我们利用图形注意力网络来获得不同级别的表示，以便它们可以同时学习。长答案和短答案可以分别从段落级表示和标记级表示中提取。通过这种方式，我们可以对两个粒度答案之间的依赖关系进行建模，从而为彼此提供证据。我们联合训练这两个子任务，我们的实验表明，我们的方法显着优于以前的系统在长和短的答案标准。
2020-05-13 cs.CL
Improving Long Document Topic Segmentation Models With Enhanced Coherence Modeling
Alibaba Group（阿里巴巴集团）
本文提出TSSP和CSSL方法，从逻辑结构和语义相似性增强监督模型的连贯性捕获能力，在多个数据集上显著提升了长文档主题分割性能并超越SOTA。
2023-10-23 cs.CL
Structural Text Segmentation of Legal Documents
Heidelberg University（海德堡大学）
随着法律案件的日益复杂化，人们对能够有效满足用户特定信息需求的法律信息检索系统的兴趣日益增加。然而，这样的下游系统通常要求文档被适当地格式化和分段，这通常是通过相对简单的预处理步骤来完成的，而不考虑片段的主题一致性。系统通常依赖于单个句子或段落的表示，这可能缺乏关键的上下文，或者文档级表示，这对于有意义的搜索结果来说太长了。为了解决这个问题，我们提出了一个分割系统，它可以预测跨几个段落的连续文本段的主题连贯性，有效地分割文档，并为下游应用程序提供更平衡的表示。我们建立我们的模型上流行的Transformer网络和制定结构文本分割为主题的变化检测，通过执行一系列独立的分类，允许有效的微调特定于任务的数据。我们抓取了一个新的数据集，该数据集大致由$74,000$在线服务条款文档组成，包括我们用于训练的分层主题注释。结果表明，我们提出的系统显着优于基线，并适应法律文件的结构特点。我们向研究社区发布数据和经过训练的模型，供未来使用work.https://github.com/dennlinger/TopicalChange
2021-05-17 cs.CL
ChiMDQA: Towards Comprehensive Chinese Document QA with Fine-grained Evaluation
Beijing Jiaotong University（北京交通大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing University of Technology（北京理工大学）；Foxit Software Co. Ltd（Foxit软件有限公司）
本文提出中文多文档问答数据集ChiMDQA，覆盖六大领域、包含6,068个高质量问答对并细分为十类，同时构建细粒度评测体系，为中文文档问答研究与应用提供基础。
2025-11-05 cs.AI cs.CL
Utilizing coarse-grained data in low-data settings for event extraction
Graduate School of Sciences and Engineering（理工学研究生院）
为事件信息抽取系统注释文本数据是困难的、昂贵的并且容易出错。我们研究了集成粗粒度数据（文档或句子标签）的可行性，这是更可行的获得，而不是注释更多的文档。我们利用一个多任务模型与两个辅助任务，文档和句子的二进制分类，除了令牌分类的主要任务。我们进行了一系列的实验，不同的数据制度，上述整合。结果表明，虽然引入额外的粗粒度数据提供了更大的改进和鲁棒性，增益仍然是可能的，只有增加的负面文件，没有任何事件的信息。
2022-05-11 cs.CL cs.LG
FLATM: A Fuzzy Logic Approach Topic Model for Medical Documents
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
医学领域文本分析的挑战之一是分析大规模的医学文档。因此，查找相关文件变得更加困难。主题建模是一种基于主题发现的信息检索方法。文档中的主题有助于在有查询和没有查询的情况下检索相同主题的文档。在本文中，我们提出了一种新的方法，使用模糊聚类的主题建模。为了评估我们的模型，我们用两个医学文档的文本数据集进行了实验。通过文档分类和文档建模进行的评价指标表明，我们的模型产生更好的性能比LDA，表明模糊集理论可以提高在医疗领域的主题模型的性能。
2019-11-25 cs.CL cs.IR
Topic Scaling: A Joint Document Scaling -- Topic Model Approach To Learn Time-Specific Topics
Universität Hamburg（汉堡大学）
本文提出了一种新的方法来研究顺序语料库，通过实施一个两阶段的算法，学习时间为基础的主题相对于规模的文档位置，并介绍了主题缩放的概念，在同一文档规模内排名学习的主题。第一阶段使用Wordfish（一种基于Poisson的文档缩放方法）对文档进行排名，以估计文档位置，在第二阶段，文档位置作为因变量，通过有监督的潜在狄利克雷分配来学习相关主题。这种新颖性带来了两个创新的文本挖掘，因为它解释了文档的位置，其规模是一个潜在的变量，并排名推断的主题的文档规模，以匹配其出现在语料库中，并跟踪其演变。这种归纳方法在美国国情咨文两党演讲中进行了测试，结果表明，每一方都在学习量表的一端占据主导地位，并在双方任期之后进行可互换的过渡。除了在预测样本中的文档的位置从主题得分证明了高精度，该方法揭示了进一步隐藏的主题，区分相似的文档，通过增加学习的主题的数量，以展开潜在的嵌套层次的主题结构。与其他流行的主题模型相比，Topic Scaling可以根据文档相似性学习主题，而无需指定时间频率来学习主题演化，从而捕获比动态主题模型更广泛的主题模式，并产生比普通潜在Dirichlet分配更可解释的输出。
2021-03-31 cs.CL cs.IR cs.LG
Improving Term Frequency Normalization for Multi-topical Documents, and Application to Language Modeling Approaches
POSTECH（浦项科技大学）；KISTI（韩国科学技术信息研究院）
由于文档的长度不同，词频规范化是一个严重的问题。通常，文档变长是由于两个不同的原因-冗长和多主题。首先，冗长意味着同一主题被与该主题相关的术语重复提及，因此术语频率比概括良好的术语频率更高。第二，多主题性表明一份文件对多个主题进行了广泛的讨论，而不是单一主题。虽然这些文件的特点，应该有不同的处理，所有以前的方法的词频规范化忽略了这些差异，并使用了一个简化的长度驱动的方法，减少的词频只有一个文件的长度，造成不合理的惩罚。为了解决这个问题，我们提出了一种新的TF归一化方法，这是一种部分公理化的方法。首先，我们制定了两个正式的约束，检索模型应满足的文件具有冗长和多主题的特点，分别。然后，我们修改语言建模方法，以更好地满足这两个约束，并推导出新的平滑方法。实验结果表明，该方法显著提高了关键字查询的准确率，并大大提高了详细查询的平均精度。
2015-02-08 cs.CL cs.IR
HiTR: Hierarchical Topic Model Re-estimation for Measuring Topical Diversity of Documents
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Institute for Logic, Language, and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
高度的主题多样性通常被认为是有趣的文本文档的一个重要特征。最近提出的一项建议，用于衡量主题的多样性，确定了三个分布评估文件的多样性：文件内的话，主题内的话，和文件内的主题的分布。主题模型在这一方法中起着核心作用，因此，它们的质量对衡量主题多样性的有效性至关重要。主题模型的质量受两个因素的影响：主题的一般性和不纯性。一般主题仅包括背景语料库的公共信息，并且被分配给大多数文档。不纯主题包含与主题无关的词。杂质降低了主题模型的可解释性。不纯的主题很可能被错误地分配给文档。我们提出了一个分层的重新估计过程，旨在消除一般性和杂质。我们的方法有三个重新估计组件：（1）文档重新估计，从文档中删除一般单词;（2）主题重新估计，重新估计每个主题的单词分布;（3）主题分配重新估计，重新估计每个文档在主题上的分布。为了测量文本文档的主题多样性，我们的HiTR方法比在PubMed数据集上测量的最先进的方法有所改进。
2018-10-12 cs.CL cs.IR cs.LG
Prior-aware Dual Decomposition: Document-specific Topic Inference for Spectral Topic Models
Cornell University（康奈尔大学）
谱主题建模算法对词共现统计的矩阵/张量进行操作，以学习特定于主题的词分布。这种方法消除了对原始文档的依赖，并在效率和可证明的主题推理方面产生了实质性的收益，但代价是：模型不再能够提供有关单个文档的主题组成的信息。最近提出的线性逆（TLI）映射观察到的词的每个文件回到其主题组成。然而，它的线性特性限制了推理质量，没有考虑主题的重要先验信息。在本文中，我们评估简单的概率逆（SPI）方法和新的先验感知的双重分解（PADD），能够学习文档特定的主题组成并行。实验表明，PADD成功地利用主题相关性作为先验，特别是优于TLI和学习质量的主题组成可比吉布斯采样的各种数据。
2017-11-19 cs.CL cs.IR cs.LG
Query-focused Multi-document Summarization: Combining a Novel Topic Model with Graph-based Semi-supervised Learning
基于图的半监督学习已被证明是一种有效的方法，以查询为中心的多文档摘要。以往的半监督学习存在的问题是在对句子进行排序时没有考虑句子层次以外的更高层次的信息。对一般文摘的研究表明，增加主题层次可以有效地提高文摘质量。在前人研究的启发下，本文提出了一种基于图的两层（句子层和主题层）半监督学习方法。同时，我们提出了一个新的主题模型，充分利用句子和单词之间的依赖关系。在DUC和TAC数据集上的实验结果证明了该方法的有效性。
2013-12-31 cs.CL cs.IR
Document Visualization using Topic Clouds
传统上，文档是由单词云可视化的。最近，分布式表示方法的文件已经开发出来，它映射到一组主题嵌入的文件。可视化这样的表示对于以更高的粒度呈现文档的语义是有用的;它也是具有挑战性的，因为有多个主题，每个主题包含多个单词。我们建议使用Topic Cloud来可视化一组主题，Topic Cloud是一个由主题切片组成的饼图，每个切片都包含该主题中的重要单词。为了使重要的主题/单词在视觉上突出，主题切片和单词字体的大小与它们在文档中的重要性成比例。主题云可以帮助用户快速评估派生文档表示的质量。对于NLP从业者来说，它可以用来定性地比较不同文档表示算法的主题质量，或者检查模型参数如何影响派生的表示。
2017-02-06 cs.IR
Graph-Community Detection for Cross-Document Topic Segment Relationship Identification
Instituto Superior Técnico（高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个图-社区发现的方法来识别跨文档的关系，在主题段的水平。给定一组相关文档，我们通过聚类具有相似内容（主题）的片段来自动找到这些关系。在这种情况下，我们研究了不同的权重机制如何影响发现的单词社区，涉及到不同的主题中发现的文件。最后，我们测试了不同的映射函数来分配主题段到单词社区，确定哪些主题段被认为是等价的。通过执行此任务，可以实现高效的多文档浏览，因为当用户在一个文档中找到相关内容时，我们可以提供对其他文档中类似主题的访问。我们在两个不同的场景中部署我们的方法。一个是教育场景，需要在学习材料之间找到对等关系;另一个是社会背景下的一系列对话，学生讨论常见的话题。结果表明，我们提出的方法更好地发现等价关系的学习材料的文件，并在社会语音领域，其中表现最好的方法是聚类技术，获得了接近的结果。
2016-06-13 cs.CL cs.IR cs.SI
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
文档聚类和主题建模是两个密切相关的任务，可以相互受益。主题建模可以将文档投影到一个主题空间中，这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中，以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中，我们提出了一个多粒度聚类主题模型（MGCTM），它集成了文档聚类和主题建模到一个统一的框架，并共同执行这两项任务，以达到整体最佳性能。该模型将两个组件紧密耦合：用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件，其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题，采用变分推理来近似隐变量的后验，并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
Multi-Vector Models with Textual Guidance for Fine-Grained Scientific Document Similarity
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出了一种基于文本细粒度特征匹配的科技文档相似度模型。为了训练我们的模型，我们利用了一个自然发生的监督源：论文全文中的句子，这些句子一起引用了多篇论文（共同引用）。这样的共同引用不仅反映了密切的论文相关性，而且还提供了共同引用的论文是如何相关的文本描述。这种新颖的文本监督形式用于学习跨论文匹配方面。我们开发了多向量表示，其中向量对应于文档的文档级方面，并提出了两种方面匹配方法：（1）仅匹配单个方面的快速方法，以及（2）使用最优传输机制进行稀疏多个匹配的方法，该机制计算方面之间的地球移动器距离。我们的方法提高了四个数据集的文档相似性任务的性能。此外，我们的快速单匹配方法取得了有竞争力的结果，为将细粒度相似性应用于大型科学语料库铺平了道路。代码、数据和模型请访问：https://github.com/allenai/aspire
2022-05-04 cs.CL cs.IR
Topic Extraction of Crawled Documents Collection using Correlated Topic Model in MapReduce Framework
University of Computer Studies（计算机研究大学）；Faculty of Computing（计算机学院）
大量的可用研究文档的巨大增长促使研究人员提出主题模型来提取文档集合中的潜在语义主题。然而，如何从文档集合中提取出隐藏的主题已经成为许多主题模型应用的关键任务。此外，传统的主题建模方法遭受的可扩展性问题时，文档集合的大小增加。本文在MapReduce框架下实现了基于变分期望最大化算法的相关主题模型，解决了相关主题模型的可扩展性问题。所提出的方法利用从公共数字图书馆爬取的数据集。此外，抓取的文档的全文进行分析，以提高MapReduce CTM的准确性。最后通过实验验证了该算法的有效性。从评估，所提出的方法具有可比的性能方面的主题一致性与LDA实现MapReduce框架。
2020-01-06 cs.CL cs.IR cs.LG
Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation
Sichuan University（四川大学）
本文通过混合结构摘要与基于LLM的数据增强方法，提升社交搜索中查询与文档的主题相关性建模性能。
2025-12-10 cs.CL cs.IR
Automatic Text Summarization Approaches to Speed up Topic Model Learning Process
École Polytechnique de Montréal（蒙特利尔理工学院）；LIA - Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidad Autónoma Metropolitana Azcapotzalco（阿兹卡波察尔科大都会自治大学）
互联网上的文件数量每天都在增加。出于这个原因，有效和可表达地处理这些信息量成为公司和科学家的主要关注点。通过主题表示来表示文本文档的方法被广泛用于信息检索（IR）中以处理诸如维基百科文章之类的大数据。在大规模数据汇集上使用主题模型的主要困难之一是模型估计所需的材料资源（CPU时间和内存）。为了解决这个问题，我们建议从摘要文档中构建主题空间。在本文中，我们提出了在大数据的背景下的主题空间表示的研究。分析了不同语言的主题空间表示行为。实验表明，从文本摘要估计的主题空间的相关性从完整的文档。这种方法的真正优点是处理时间的增益：我们表明，使用摘要文档可以大大减少处理时间（一般超过60%）。本研究最后指出了不同语言（英语或拉丁语）的文档主题表征之间的差异。
2017-03-20 cs.CL cs.IR
A Novel Feature-based Bayesian Model for Query Focused Multi-document Summarization
监督学习方法和基于LDA的主题模型已经成功地应用于面向查询的多文档摘要领域。在本文中，我们提出了一种新的监督的方法，可以将丰富的句子特征到贝叶斯主题模型的原则性的方式，从而利用主题模型和基于特征的监督学习方法的优势。在TAC2008和TAC2009上的实验证明了该方法的有效性。
2013-12-27 cs.CL cs.IR
Hierarchical Re-estimation of Topic Models for Measuring Topical Diversity
高度的主题多样性通常被认为是有趣的文本文档的一个重要特征。最近的一项衡量主题多样性的建议确定了评估多样性的三个要素：单词、主题和作为单词集合的文件。主题模型在这种方法中起着核心作用。使用标准的主题模型测量文档的多样性是次优的，由于通用性和杂质。一般主题仅包括来自背景语料库的公共信息，并被分配给集合中的大多数文档。不纯主题包含与主题无关的词;不纯降低了主题模型的可解释性，并且不纯主题可能会被错误地分配给文档。我们提出了一个分层的主题模型，以打击一般性和杂质的重新估计方法，所提出的方法在三个层次上操作：单词，主题和文件。我们的重新估计方法来衡量文件的主题多样性优于最先进的PubMed数据集，这是常用的多样性实验。
2017-01-16 cs.IR
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新的文档生成过程的基础上，层次潜在树模型（HLTM）从数据中学习。HLTM在底部有一层观察到的单词变量，在顶部有多层潜变量。对于每一个文档，我们首先通过逻辑采样逐层采样潜变量的值，然后根据潜变量的值绘制单词的相对频率，最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比，新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
Multi-label Dataless Text Classification with Topic Modeling
State Key Lab of Software Engineering, Wuhan University（武汉大学软件工程国家重点实验室）
手动标记文档既繁琐又昂贵，但它对于训练传统的文本分类器至关重要。近年来，一些无数据文本分类技术被提出来解决这个问题。然而，现有的工作主要集中在单标签分类问题，即，每个文件被限制为属于一个单一的类别。在本文中，我们提出了一种新的种子引导的多标签主题模型，命名为SMTM。SMTM利用与每个类别相关的几个种子词，对没有任何标记文档的文档集合进行多标记分类。在SMTM中，每个类别都与一个单独的类别主题相关联，该主题涵盖了类别的含义。为了适应多标签文档，我们显式模型的类别稀疏SMTM使用尖峰和板先验和弱平滑先验。也就是说，在不使用任何阈值调优的情况下，SMTM会自动为每个文档选择相关的类别。为了结合对种子词的监督，我们提出了种子引导的偏置GPU（即，广义波利亚瓮）抽样程序来指导SMTM的主题推理。在两个公共数据集上的实验表明，SMTM比最先进的替代方案实现了更好的分类精度，甚至在某些情况下优于监督解决方案。
2017-11-05 cs.CL cs.IR
Concentrated Document Topic Model
National University of Singapore（新加坡国立大学）
我们提出了一个集中的文档主题模型（CDTM）的无监督文本分类，这是能够产生一个集中和稀疏的文档主题分布。特别地，指数熵惩罚施加在文档主题分布上。我们将该模型应用于基准NIPS数据集，观察到比潜在Dirichlet分配（LDA）更连贯的主题和更集中和稀疏的文档主题分布。
2021-02-06 cs.IR cs.LG stat.ML
Inductive Document Network Embedding with Topic-Word Attention
Université de Lyon, Lyon 2（里昂第二大学）；Digital Scientific Research Technology（数字科研技术公司）
文档网络嵌入旨在学习结构化文本语料库的表示，即当文档彼此链接时。最近的算法扩展了网络嵌入的方法，将文本内容与节点在其配方。在大多数情况下，很难解释学习到的表征。此外，很少重要的是给泛化到新的文件，没有观察到的网络。本文提出了一种可解释、可归纳的文档网络嵌入方法。我们引入了一种新的机制，主题词注意力（TWA），生成文档表示词和主题表示之间的相互作用的基础上。我们训练这些词和主题向量，通过我们的通用模型，归纳文档网络嵌入（IDNE），利用文档网络中的连接。定量评估表明，我们的方法在各种网络上实现了最先进的性能，我们定性地表明，我们的模型产生了有意义的和可解释的单词，主题和文档的表示。
2020-01-10 cs.CL cs.IR cs.LG
Improved Query Topic Models via Pseudo-Relevant Pólya Document Models
基于伪相关反馈的查询扩展是克服词汇不匹配问题和提高检索效率的一种常用方法。在本文中，我们开发了一种新的方法，估计一个查询主题模型从一组伪相关的文件，使用一个新的语言建模框架。我们假设文档是通过多变量Polya分布的混合生成的，并且我们表明，通过识别每个文档中的主题术语，我们可以适当地选择可能属于查询主题模型的术语。几个TREC集合的实验结果表明，新的方法相比，目前国家的最先进的扩展方法。
2016-02-04 cs.IR
Generative Topic Embedding: a Continuous Representation of Documents (Extended Version with Proofs)
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
词嵌入通过在一个小的上下文窗口中利用词的局部搭配模式将词映射到一个低维的连续嵌入空间中。另一方面，主题建模通过利用同一文档中的全局词语搭配模式，将文档映射到低维主题空间。这两种模式是互补的。在本文中，我们提出了一个生成式的主题嵌入模型，结合这两种类型的模式。在我们的模型中，主题由嵌入向量表示，并在文档之间共享。每个单词出现的概率受其本地上下文和主题的影响。变分推理方法产生的主题嵌入以及主题混合比例为每个文档。它们共同表示低维连续空间中的文档。在两个文档分类任务中，我们的方法比现有的八种方法性能更好，功能更少。此外，我们用一个例子说明，我们的方法可以生成连贯的主题，即使是基于一个文档。
2016-08-08 cs.AI cs.CL cs.IR
Nonparametric Relational Topic Models through Dependent Gamma Processes
University of Technology Sydney（悉尼科技大学）；Shanghai University（上海大学）
传统的关系主题模型提供了一种从文档网络中发现隐藏主题的方法。许多理论和实际的任务，如降维，文档聚类，链接预测，受益于这些揭示的知识。然而，现有的关系主题模型是基于一个假设，即隐藏主题的数量是已知的，这是不切实际的，在许多现实世界的应用。因此，为了放松这一假设，本文提出了一个非参数关系主题模型。在其生成模型中，我们使用随机过程，而不是使用固定维的概率分布。具体地，伽马过程被分配给每个文档，其表示该文档的主题兴趣。虽然这种方法提供了一种优雅的解决方案，但在对典型文档网络的固有网络结构进行数学建模时，它带来了额外的挑战，即，两个空间上更接近的文档往往具有更相似的主题。此外，我们要求所有文档共享主题。为了解决这些挑战，我们使用一个子采样策略，每个文件分配一个不同的伽玛过程从全局伽玛过程，和子采样概率的文件分配与马尔可夫随机场约束，继承了文件的网络结构。通过设计的后验推理算法，可以同时发现隐藏主题及其数量。在合成和真实网络数据集上的实验结果表明，该算法能够学习隐藏主题，更重要的是学习主题的数量。
2015-03-30 cs.CL cs.IR cs.LG
TCDE: Topic-Centric Dual Expansion of Queries and Documents with Large Language Models for Information Retrieval
Xi’an Jiaotong University（西安交通大学）；University of Massachusetts Boston（麻省大学波士顿分校）
TCDE通过大语言模型实现查询与文档的主题聚焦双扩展，提升信息检索的语义对齐效果。
2025-12-19 cs.IR
Neural Embedding Allocation: Distributed Representations of Topic Models
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Atypon Systems（Atypon系统公司）
诸如skip-gram之类的词嵌入模型学习词的语义关系的向量表示，并且文档嵌入模型学习文档的类似表示。另一方面，主题模型提供了文档主题的潜在表示。为了同时获得这些表示的好处，我们提出了一种统一的算法，称为神经嵌入分配（NEA），它通过学习神经嵌入来模仿主题模型，将主题模型解构为单词，主题，文档，作者等的可解释向量空间嵌入。我们展示了NEA的LDA，作者主题模型和最近提出的混合成员跳克主题模型的有效性和通用性，并实现了更好的性能与嵌入相比，几个国家的最先进的模型。此外，我们证明，使用NEA平滑的主题，提高了一致性分数超过原来的主题模型时，主题的数量是大的。
2019-09-10 cs.CL cs.IR cs.LG
Document Informed Neural Autoregressive Topic Models
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
单词周围的上下文信息有助于确定它们的实际含义，例如在人工神经网络或生物神经网络的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。这导致在泛化、可解释性和适用性方面的性能提高。我们将我们的建模方法应用于来自各个领域的七个数据集，并证明我们的方法始终优于最先进的生成主题模型。使用学习的表示，我们在检索分数为0.02和F1的文本分类中平均获得了9.6%（0.57 Vs 0.52）的精度和7.2%（0.582 Vs 0.543）的精度。
2018-08-11 cs.CL cs.IR cs.LG
Unveiling the semantic structure of text documents using paragraph-aware Topic Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
经典的主题模型是在词袋假设下构建的，为了简单起见，忽略了词的位置。此外，在大多数应用中通常使用对称先验。为了更容易地学习同一语料库中具有不同属性的主题，我们提出了一种新的工作路线，其中利用段落结构。我们的建议是基于以下假设：在许多文本文档语料库中，有正式的约束共享所有的集合，例如节。当这个假设得到满足时，一些段落可能与语料库中所有文档共享的一般概念有关，而另一些段落则包含文档的真实描述。假设每个段落在语义上可以更一般、更具体或更混合，我们寻找方法来衡量这一点，将这种区别转移到主题上，并能够学习我们所谓的具体主题和一般主题。实验表明，这是一个适当的方法来突出结构化文档中的某些段落，同时我们学习有趣的和更多样化的主题。
2018-06-26 cs.CL cs.IR cs.LG
Jointly Modeling Topics and Intents with Global Order Structure
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
文档结构建模对于语篇分析及其相关应用具有重要意义。本研究的目标是通过将文档建模为主题词和修辞词的混合来捕获文档意图结构。在同一篇文章中，主题是相对不变的，而句子的修辞功能在语篇中通常是按照一定的顺序发生变化的。提出了一种基于主题建模的贝叶斯无监督模型GMM-LDA，用于分析文档意图结构和订单信息。我们的模型是灵活的，有能力结合的注释和做监督学习。此外，可以引入熵正则化来对主题和意图之间的显著分歧进行建模。我们在无监督和有监督的环境下进行了实验，结果表明我们的模型优于几个最先进的基线。
2015-12-07 cs.CL cs.IR cs.LG
A Markov Random Field Topic Space Model for Document Retrieval
本文提出了一种新的智能文档检索的统计方法。它试图提供一个更结构化和可扩展的数学方法，在流行的潜在语义分析（LSA）的方法来文档索引的术语泛化。一个马尔可夫随机场（MRF），捕获的条款和文件之间的关系作为随机变量之间的概率依赖假设。从那里，它使用MRF-Gibbs等价推导出联合概率以及文档变量的局部概率。提出了一种参数学习方法，该方法利用秩约简和奇异值分解，将文档-术语关系的维度降低到潜在主题空间的维度。实验结果证实了这种方法的能力，有效地和高效地从大量的数据集检索文档。
2011-11-28 cs.IR
An improved semantic similarity measure for document clustering based on topic maps
一个主要的计算负担，而执行文档聚类，是一对文档之间的相似性度量的计算。相似性度量是一个函数，它根据文档之间的相似程度，为一对文档分配一个介于0和1之间的实数。值为零表示文档完全不相似，而值为1表示文档实际上相同。传统上，基于向量的模型已被用于计算文档相似度。基于向量的模型表示文档中存在的几个特征。这些方法的相似性措施，在一般情况下，不能占的语义文件。用人类语言编写的文档包含上下文，并且用于描述这些上下文的词语通常在语义上相关。受此启发，许多研究者提出了基于语义的相似性度量方法，即通过外部词库如WordNet（一个词汇数据库）进行文本注释。在本文中，我们定义了一个语义相似性度量的基础上表示的主题地图的文件。主题地图正迅速成为知识表示的工业标准，其重点是以后的搜索和提取。文档被转换成基于主题图的编码知识，并且一对文档之间的相似性被表示为共同模式（子树）之间的相关性。在文本挖掘数据集上的实验研究表明，与常用的文本聚类相似性度量方法相比，该方法具有更好的聚类效果。
2013-03-17 cs.IR
Improving Topic Models with Latent Feature Word Representations
Macquarie University（麦考瑞大学）；Santa Fe Institute（圣塔菲研究所）
概率主题模型被广泛用于发现文档集合中的潜在主题，而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中，我们扩展了两个不同的Dirichlet多项式主题模型，通过将在非常大的语料库上训练的单词的潜在特征向量表示，以改善在较小的语料库上学习的单词-主题映射。实验结果表明，通过使用来自外部语料库的信息，我们的新模型产生了显着的改善主题一致性，文档聚类和文档分类任务，特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
Enhanced document retrieval with topic embeddings
针对RAG应用中检索机制准确性瓶颈及多相关主题文档检索性能不佳问题，提出融合文档主题信息的文本向量化新方法，在RAG场景下评估该方法并讨论相关的RAG系统评估挑战。
2024-08-19 cs.IR
Document Informed Neural Autoregressive Topic Models with Distributional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了主题模型中的两个挑战：（1）单词周围的上下文信息有助于确定它们的实际含义，例如，在“人工神经网络“与“生物神经网络”的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。该模型被命名为iDocNADE。(2)由于单词出现的数量很小（即，由于短文本中缺乏上下文）以及少量文档的语料库中数据稀疏，主题模型的应用在此类文本上具有挑战性。因此，我们提出了一种简单有效的方法将外部知识纳入神经自回归主题模型：我们使用嵌入作为分布先验。所提出的变体被命名为DocNADEe和iDocNADEe。我们提出了新的神经自回归主题模型变体，这些变体在来自不同领域的7个长文本和8个短文本数据集的泛化性，可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成主题模型。
2019-01-14 cs.AI cs.CL cs.IR
Topic Similarity Networks: Visual Analytics for Large Document Sets
Institute for Defense Analyses（国防分析研究所）
我们研究的方法，以提高LDA主题模型的可解释性，更好地分析和可视化其输出。我们专注于研究我们所说的主题相似性网络：图中的节点代表文本集合中的潜在主题，链接代表主题之间的相似性。我们描述了高效和有效的方法来构建和标记这样的网络。基于这些网络的主题模型的可视化被证明是探索，表征和总结大量非结构化文本文档的强大手段。它们有助于“梳理”不同文档集之间的非明显联系，并提供有关主题如何形成更大主题的见解。我们通过两个案例研究证明了这些方法的有效性和实用性：1）NSF资助的基础研究跨越14年的时间和2）维基百科的整个英文部分。
2014-09-26 cs.CL cs.HC cs.IR
Dealing with Sparse Document and Topic Representations: Lab Report for CHiC 2012
我们将报告GESIS参加第一届CHiC研讨会（CLEF中的文化遗产）的情况。第一次举行，没有新数据集的经验，Europeana的文档转储与ca。有2300万份文件。这个测试集的预测试中出现的最突出的问题是非常不具体的主题和稀疏的文档表示。只有一半的主题（26/50）包含描述，标题通常很短，只有两个词左右。因此，我们专注于三种不同的术语建议和查询扩展机制，以超越稀疏的主题描述。我们使用了两种方法，建立在维基百科的概念提取和方法，应用共现统计可用的Europeana语料库。在下文中，我们将介绍这些方法和评估的初步结果。
2012-08-20 cs.IR
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
针对短文档数据稀疏导致主题建模效果不佳的问题，提出终身神经主题建模（LNTM）框架，通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘，在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
Cross-referencing using Fine-grained Topic Modeling
Brigham Young University（杨百翰大学）
交叉引用，将文本段落与其他相关段落联系起来，可以是促进文本理解的有价值的学习辅助工具。然而，交叉引用首先需要对整个语料库有全面的主题知识，其次需要在语料库中进行有针对性的搜索，以找到这些有用的联系。由于这一点，交叉引用资源是昂贵的，只存在于最好的研究文本（例如宗教文本）。我们开发了一个基于主题的系统，用于自动生成候选交叉引用，可以很容易地由人类注释验证。我们的系统利用细粒度的主题建模与成千上万的高度细致入微的和具体的主题，以确定主题相关的诗句对。我们证明，我们的系统可以具有成本效益相比，有注释者获得必要的专业知识，以产生交叉引用的资源没有援助。
2019-05-18 cs.CL cs.IR cs.LG
Is there something I'm missing? Topic Modeling in eDiscovery
在法律eDiscovery中，当事人需要搜索其电子存储的信息，以查找与特定案件相关的文件。关于这些搜查范围的谈判往往是基于担心会遗漏一些东西。本文延续了证据开示应以查明案件事实为基础的论点。如果搜索过程不完整（如果它的Recall小于100%），则它在呈现所有相关的可用主题时仍然是完整的。在这项研究中，潜狄利克雷分配被用来确定100个主题从所有已知的相关文件。然后将文档分类为约80%的召回率（即，80%的相关文档被分类器找到，指定为命中集，20%被遗漏，指定为遗漏集）。尽管分类器识别的相关文档不是全部，但识别的文档包含从全套文档中导出的所有主题。无论分类器是在随机选择的文档上训练的朴素贝叶斯分类器，还是用连续主动学习训练的支持向量机（它将评估集中在最可能相关的文档上），这种模式都适用。在任一分类器的遗漏集中没有识别出在命中集中未看到的主题。计算机辅助搜索程序不仅合理（如《联邦民事诉讼规则》所要求的），而且按主题衡量也是完整的。
2020-07-30 cs.IR
Tag-Weighted Topic Model For Large-scale Semi-Structured Documents
到目前为止，在互联网的发展过程中已经出现了大量的半结构化文档（SSD）。这些SSD包含非结构化功能（例如，纯文本）和元数据（例如，标签）。以往的工作主要集中在非结构化文本的建模，最近，已经提出了一些其他的方法来建模的非结构化文本与特定的标签。建立一个通用的SSD模型仍然是一个重要的问题，无论是模型的适应性和效率。我们提出了一种新的方法来建模的SSD的所谓的标签加权主题模型（TWTM）。TWTM是一个利用标签和单词信息的框架，不仅可以学习文档主题和主题词分布，还可以推断文本挖掘任务的标签主题分布。我们提出了一个有效的变分推理方法与EM算法估计模型参数。同时，在MapReduce分布式计算平台下，提出了三种大规模SSD建模方案。实验结果表明，该模型的有效性，效率和鲁棒性，通过比较与国家的最先进的方法在文档建模，标签预测和文本分类。我们还展示了三种分布式解决方案在文档建模的时间和准确性方面的性能。
2015-07-30 cs.CL cs.IR cs.LG
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology（香港科技大学）；Ant Financial Services Group（蚂蚁金融服务集团）；The Education University of Hong Kong（香港教育大学）
我们提出了一种新的分层主题检测方法，主题是通过多种方式聚类文件。具体来说，我们使用一类称为分层潜在树模型（HLTM）的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量，表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量，最低潜级别的变量表示单词同现模式，较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区，分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式，从而给主题更一般的主题，而那些在低层次的捕获短范围的词共现模式，并给主题更具体的主题。与基于LDA的主题模型不同，HLTM不引用文档生成过程，而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系，这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
TopicSifter: Interactive Search Space Reduction Through Targeted Topic Modeling
主题建模通常用于分析和理解大型文档集合。然而，在实践中，用户希望专注于特定方面或“目标”，而不是整个语料库。例如，给定大量文档集合，用户可能只想要与他们的兴趣、任务和领域更紧密地一致的较小子集。特别是，我们的论文集中在大规模的文档检索与高召回，任何错过的相关文件可能是至关重要的。简单的关键字匹配搜索通常既不有效也不高效，因为1）在探索数据集之前难以找到可以覆盖感兴趣的文档的关键字查询的列表，2）一些文档可能不包含确切的感兴趣的关键字，但可能仍然是高度相关的，以及3）一些词具有多种含义，这将导致不相关的文档包括在检索的子集中。在本文中，我们提出了TopicSifter，交互式搜索空间减少的可视化分析系统。我们的系统利用基于非负矩阵分解的有针对性的主题建模，并允许用户给出相关反馈，以细化他们的目标，并指导主题建模最相关的结果。
2019-07-28 cs.HC cs.IR
Hierarchical Topic Presence Models
主题模型分析来自一组文档的文本。文档被建模为主题的混合，主题被定义为单词的概率分布。感兴趣的推断包括最可能的主题和通过检查主题的最高概率词来表征主题。出于对嵌套在网站中的网页（文档）的数据集，我们扩展了泊松因子分析主题模型的层次主题存在模型，用于分析文本嵌套在已知组中的文档。我们将一个未知的二进制主题存在参数为每个主题在网站和/或网页的水平，让网站和/或网页是稀疏的混合物的主题，我们提出了逻辑回归模型的主题存在条件的网站协变量。我们将局部主题引入泊松因子分析框架，每个网站都有一个在其他网站中找不到的局部主题。两个数据增强方法，中国表分布和Pólya-Gamma增强，帮助构建我们的采样器。我们分析文本嵌套在美国地方公共卫生部门网站的网页，以抽象的主题信息和了解国家模式的主题存在。
2021-04-16 cs.IR
Recurrent Coupled Topic Modeling over Sequential Documents
University of Macau（澳门大学）；University of Technology Sydney（悉尼科技大学）
丰富的连续文档，如在线档案，社交媒体和新闻源，以流式方式更新，其中每个文档块都与平稳发展但相关的主题相结合。这些数字文本吸引了广泛的研究动态主题建模，以推断隐藏的不断变化的主题及其时间依赖性。然而，大多数现有的方法专注于单主题线程的演变，忽略了一个事实，即当前主题可能与多个相关的先前主题相耦合。此外，这些方法还引发了棘手的推理问题时，推断潜在的参数，导致高的计算成本和性能下降。在这项工作中，我们假设一个当前的主题演变从所有先前的主题与相应的耦合权重，形成多主题线程的演变。我们的方法对不断发展的主题之间的依赖关系进行建模，并对它们在时间步长上的复杂多耦合进行彻底编码。为了克服难以处理的推理挑战，提出了一种新的解决方案与一组新的数据增强技术，它成功地分解了多个不断发展的主题之间的耦合。从而得到一个完全共轭的模型，以保证推理技术的有效性和效率。一种新的吉布斯采样器与向后-向前滤波算法有效地学习潜在的时间演化参数的封闭形式。此外，潜在的印度自助餐过程（IBP）的复合分布被利用来自动推断整体的主题数量和定制的稀疏主题比例为每个顺序的文档没有偏见。在合成数据集和真实数据集上对所提出的方法进行了评估，并与竞争基线进行了比较，证明了该方法在低单词困惑度，高连贯性主题和更好的文档时间预测方面优于基线。
2021-06-23 cs.IR cs.LG
T-Retrievability: A Topic-Focused Approach to Measure Fair Document Exposure in Information Retrieval
针对现有全局可检索性指标无法准确衡量检索模型曝光偏差的问题，提出主题聚焦的T-Retrievability度量，通过局部主题组计算聚合得到更可靠的公平性评估结果。
2025-11-17 cs.IR
Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
主题模型是从文本语料库中自动发现主题的重要工具。尽管它们的有效性，主题模型遭受的几个限制，包括无法建模文档中的单词排序信息，将外部语言知识的困难，以及缺乏准确和有效的推理方法来近似棘手的后验。最近，预训练的语言模型（PLM）由于其出色的文本表示，为各种各样的任务带来了惊人的性能提升。有趣的是，还没有标准的方法来部署PLM进行主题发现，作为主题模型的更好的替代品。在本文中，我们首先分析了使用PLM表示的主题发现的挑战，然后提出了一个联合潜在空间学习和聚类框架建立在PLM嵌入。在潜在空间中，主题词和文档主题分布的联合建模，使发现的主题可以解释的连贯性和独特的条款，同时作为有意义的摘要的文件。我们的模型有效地利用了强大的表示能力和高超的语言特征所带来的PLM主题发现，是概念上比主题模型简单。在不同领域的两个基准数据集上，我们的模型生成的主题比强主题模型更加连贯和多样化，并基于自动和人工评估提供了更好的主题文档表示。
2022-02-09 cs.CL cs.IR cs.LG
FOMO: Topics versus documents in legal eDiscovery
在美国，诉讼的当事人必须搜索他们以电子方式存储的信息，以找到与具体案件有关的文件，并将其提交给对方当事人。关于这些搜索范围的谈判往往反映出一种担心，即会错过一些东西（害怕错过：FOMO）。例如，召回级别为80%，意味着20%的相关文档将无法生成。本文认为，eDiscovery是识别响应信息而不是识别文档的过程。文件是信息的载体;它们不是过程的直接目标。给定文档可以包含一个或多个主题或仿真信息，并且仿真信息可以出现在多个文档中。优惠券收集器问题、堆定律和其他分析提供了对从文档中查找信息的问题建模的方法。然而，在电子证据开示中，当事人不知道集合中可能有多少事实或其概率。本文描述了一个简单的模型，估计的信心，一个事实将被遗漏的生产集（识别集），而被包含在错过的集。然后分析两个数据集，一个小的集涉及microaggressions和较大的集涉及分类的网页。两者都表明，在相对少量的文档中发现每个可用主题的至少一个示例是可能的，这意味着进一步的努力不会返回额外的新信息。较小的数据集还用于调查eDiscovery中常用的搜索响应文档的非随机顺序（称为连续主动学习）是否会影响主题的分布-它不会。
2021-09-16 cs.IR
The Author-Topic Model for Authors and Documents
UC Irvine（加州大学欧文分校）；Stanford University（斯坦福大学）
我们介绍了作者主题模型，一个生成模型的文件，扩展潜在狄利克雷分配（LDA;布雷，吴，约旦，2003年），包括作者身份信息。每个作者都与主题的多项分布相关联，每个主题都与单词的多项分布相关联。具有多个作者的文档被建模为主题上的分布，该分布是与作者相关联的分布的混合。我们将该模型应用于1，700篇NIPS会议论文和160，000篇CiteSeer摘要的集合。对于这些数据集来说，精确的推理是很难的，我们使用吉布斯抽样来估计主题和作者分布。我们比较的性能与其他两个生成模型的文件，这是特殊情况下的作者主题模型：LDA（主题模型）和一个简单的作者模型，其中每个作者与分布的话，而不是分布的主题。我们展示了作者主题模型恢复的主题，并展示了作者之间的相似性和作者输出熵的计算应用。
2012-07-11 cs.IR cs.LG stat.ML
