A new simple and effective measure for bag-of-word inter-document similarity measurement
为了在词袋向量表示中度量两个文档的相似性，使用不同的术语加权方案来提高文本挖掘中最广泛使用的文档间相似性度量--余弦相似性的性能。在本文中，我们确定的不足之处，在文档间的相似性测量任务的术语加权的基本假设，并提供了一个更适合的替代方案。基于这个新的假设，我们引入了一个新的简单，但有效的相似性度量，不需要显式的术语加权。建议的措施采用了一个更细致入微的概率方法比那些用于长期加权来衡量两个文件的相似性w.r.t每个术语发生在两个文件。我们的经验比较与现有的相似性措施，使用不同的术语加权方案表明，新的措施产生（i）更好的结果，在二进制的BoW表示;和（ii）竞争力和更一致的结果，在基于词频的BoW表示。
2019-02-09 cs.IR
A Markov Random Field Topic Space Model for Document Retrieval
本文提出了一种新的智能文档检索的统计方法。它试图提供一个更结构化和可扩展的数学方法，在流行的潜在语义分析（LSA）的方法来文档索引的术语泛化。一个马尔可夫随机场（MRF），捕获的条款和文件之间的关系作为随机变量之间的概率依赖假设。从那里，它使用MRF-Gibbs等价推导出联合概率以及文档变量的局部概率。提出了一种参数学习方法，该方法利用秩约简和奇异值分解，将文档-术语关系的维度降低到潜在主题空间的维度。实验结果证实了这种方法的能力，有效地和高效地从大量的数据集检索文档。
2011-11-28 cs.IR
Enhanced document retrieval with topic embeddings
针对RAG应用中检索机制准确性瓶颈及多相关主题文档检索性能不佳问题，提出融合文档主题信息的文本向量化新方法，在RAG场景下评估该方法并讨论相关的RAG系统评估挑战。
2024-08-19 cs.IR
Comparison Clustering using Cosine and Fuzzy set based Similarity Measures of Text Documents
考虑到聚类的高要求，本文重点介绍了使用两种不同的相似性度量来理解和实现K-均值聚类。我们尝试使用两种不同的方法对文档进行聚类，而不是使用欧氏距离进行聚类。并在此基础上对模糊相似性度量和余弦相似性度量的聚类精度进行了比较。聚类的开始时间和结束时间参数用于确定最佳相似性度量。
2015-05-01 cs.IR
Dealing with Sparse Document and Topic Representations: Lab Report for CHiC 2012
我们将报告GESIS参加第一届CHiC研讨会（CLEF中的文化遗产）的情况。第一次举行，没有新数据集的经验，Europeana的文档转储与ca。有2300万份文件。这个测试集的预测试中出现的最突出的问题是非常不具体的主题和稀疏的文档表示。只有一半的主题（26/50）包含描述，标题通常很短，只有两个词左右。因此，我们专注于三种不同的术语建议和查询扩展机制，以超越稀疏的主题描述。我们使用了两种方法，建立在维基百科的概念提取和方法，应用共现统计可用的Europeana语料库。在下文中，我们将介绍这些方法和评估的初步结果。
2012-08-20 cs.IR
Supervised Contrastive Learning for Interpretable Long-Form Document Matching
深度学习技术的最新进展已经改变了语义文本匹配领域。然而，大多数最先进的模型被设计用于短文档，如推文，用户评论，评论等，这些模型在应用于长格式文档（如科学论文，法律文档和专利）时具有根本的局限性。在处理如此长的文档时，存在三个主要挑战：（i）在整个文档中同一个词存在不同的上下文，（ii）在两个文档之间存在上下文相似的文本的小部分，但在其余部分中存在不同的文本（这违背了对“相似性”的基本理解），以及（iii）不能捕获文档内容的异质性的单个全局相似性度量的粗糙性质。在本文中，我们描述了CoLDE：对比长文档编码器-一个基于transformer的框架，它解决了这些挑战，并允许对长文档进行可解释的比较。CoLDE使用独特的位置嵌入和多头分块注意层，结合有监督的对比学习框架，以捕获三个不同级别的相似性：（i）一对文档之间的高级别相似性得分，（ii）文档内和跨文档的不同部分之间的相似性得分，以及（iii）同一文档中不同块之间和跨其他文档的相似性得分。这些细粒度的相似性分数有助于更好的可解释性。我们在三个长文档数据集上评估CoLDE，即ACL Anthology出版物，维基百科文章和USPTO专利。除了在文档匹配任务上优于最先进的方法外，CoLDE还对文档长度和文本扰动的变化具有鲁棒性，并提供可解释的结果。
2022-06-02 cs.IR
Automatic Construction of Evaluation Sets and Evaluation of Document Similarity Models in Large Scholarly Retrieval Systems
学术文献检索系统为科学界提供了搜索、探索和下载跨各种科学学科的学术文章的能力。这些系统主要由特定领域的专家使用，包含用户社区日志，包括用户特定下载文章的信息。在本文中，我们提出了一种新的方法，自动评估文档相似性模型在大量的学术出版物。与使用由查询文档和人类注释的相关性判断组成的测试集合的典型评估设置不同，我们使用下载日志来自动生成类似文档对的伪相关集。更具体地说，我们表明，连续下载的文件对，从学术信息检索（IR）系统中提取，可以用作测试集合，用于评估文档相似性模型。我们的方法的另一个新颖的方面在于，我们采用的方法，通过比较连续下载的文档对和随机文档对在日志空间中的分布来评估模型的性能。在两个家族的相似性模型，表示文档的术语向量和主题空间，我们表明，我们的评估方法实现了非常高的相关性与传统的性能指标，如平均平均精度（MAP），同时更有效地计算。
2016-01-07 cs.IR
Is there something I'm missing? Topic Modeling in eDiscovery
在法律eDiscovery中，当事人需要搜索其电子存储的信息，以查找与特定案件相关的文件。关于这些搜查范围的谈判往往是基于担心会遗漏一些东西。本文延续了证据开示应以查明案件事实为基础的论点。如果搜索过程不完整（如果它的Recall小于100%），则它在呈现所有相关的可用主题时仍然是完整的。在这项研究中，潜狄利克雷分配被用来确定100个主题从所有已知的相关文件。然后将文档分类为约80%的召回率（即，80%的相关文档被分类器找到，指定为命中集，20%被遗漏，指定为遗漏集）。尽管分类器识别的相关文档不是全部，但识别的文档包含从全套文档中导出的所有主题。无论分类器是在随机选择的文档上训练的朴素贝叶斯分类器，还是用连续主动学习训练的支持向量机（它将评估集中在最可能相关的文档上），这种模式都适用。在任一分类器的遗漏集中没有识别出在命中集中未看到的主题。计算机辅助搜索程序不仅合理（如《联邦民事诉讼规则》所要求的），而且按主题衡量也是完整的。
2020-07-30 cs.IR
Towards Scalable Topic Detection on Web via Simulating Levy Walks Nature of Topics in Similarity Space
本文发现热门主题网页间相似度具有 Lévy 游走统计特征，提出基于探索-利用策略的主题聚类方法，在保证有效性的同时显著提升处理海量噪声网页的效率。
2024-07-26 cs.IR
Hierarchical Topic Presence Models
主题模型分析来自一组文档的文本。文档被建模为主题的混合，主题被定义为单词的概率分布。感兴趣的推断包括最可能的主题和通过检查主题的最高概率词来表征主题。出于对嵌套在网站中的网页（文档）的数据集，我们扩展了泊松因子分析主题模型的层次主题存在模型，用于分析文本嵌套在已知组中的文档。我们将一个未知的二进制主题存在参数为每个主题在网站和/或网页的水平，让网站和/或网页是稀疏的混合物的主题，我们提出了逻辑回归模型的主题存在条件的网站协变量。我们将局部主题引入泊松因子分析框架，每个网站都有一个在其他网站中找不到的局部主题。两个数据增强方法，中国表分布和Pólya-Gamma增强，帮助构建我们的采样器。我们分析文本嵌套在美国地方公共卫生部门网站的网页，以抽象的主题信息和了解国家模式的主题存在。
2021-04-16 cs.IR
Legal Case Document Similarity: You Need Both Network and Text
估计两个法律案件文档之间的相似性是一个重要且具有挑战性的问题，具有各种下游应用，例如先前案例检索和引用推荐。有两种广泛的方法来完成这项任务--基于引文网络和基于文本。先前的基于引文网络的方法仅考虑对先前案例（也称为先例）的引用（PCNet）。这种方法忽略了成文法（一个司法管辖区的成文法）中固有的重要信号。在这项工作中，我们提出了层次SPCNet增强PCNet与法规的异构网络。我们将领域知识的法律文件的相似性到Hier-SPCNet，从而获得国家的最先进的结果，基于网络的法律文件的相似性。文本相似性和网络相似性都为法律案例的相似性提供了重要的信号，但到目前为止，只有微不足道的尝试已经统一了这两个信号。在这项工作中，我们采用了几种方法结合文本和网络信息来估计法律案件的相似性。我们对来自印度司法部门的法律案件文件进行了广泛的实验，其中文件对之间的黄金标准相似性由来自印度两个著名法律机构的法律专家判断。我们的实验表明，我们提出的基于网络的方法显着提高与领域专家的意见相比，现有的基于网络的法律文件相似性的方法。我们的最佳组合方法（结合了基于网络和基于文本的相似性）提高了与领域专家意见的相关性，比基于文本的最佳方法提高了11.8%，比基于网络的最佳方法提高了20.6%。我们还建立了我们的最佳性能的方法可以用来推荐/检索引用和类似的情况下，一个源（查询）的情况下，这是非常赞赏的法律专家。
2022-09-26 cs.IR
T-Retrievability: A Topic-Focused Approach to Measure Fair Document Exposure in Information Retrieval
University of Glasgow（格拉斯哥大学）
针对现有全局可检索性指标无法准确衡量检索模型曝光偏差的问题，提出主题聚焦的T-Retrievability度量，通过局部主题组计算聚合得到更可靠的公平性评估结果。
2025-11-17 cs.IR
FOMO: Topics versus documents in legal eDiscovery
在美国，诉讼的当事人必须搜索他们以电子方式存储的信息，以找到与具体案件有关的文件，并将其提交给对方当事人。关于这些搜索范围的谈判往往反映出一种担心，即会错过一些东西（害怕错过：FOMO）。例如，召回级别为80%，意味着20%的相关文档将无法生成。本文认为，eDiscovery是识别响应信息而不是识别文档的过程。文件是信息的载体;它们不是过程的直接目标。给定文档可以包含一个或多个主题或仿真信息，并且仿真信息可以出现在多个文档中。优惠券收集器问题、堆定律和其他分析提供了对从文档中查找信息的问题建模的方法。然而，在电子证据开示中，当事人不知道集合中可能有多少事实或其概率。本文描述了一个简单的模型，估计的信心，一个事实将被遗漏的生产集（识别集），而被包含在错过的集。然后分析两个数据集，一个小的集涉及microaggressions和较大的集涉及分类的网页。两者都表明，在相对少量的文档中发现每个可用主题的至少一个示例是可能的，这意味着进一步的努力不会返回额外的新信息。较小的数据集还用于调查eDiscovery中常用的搜索响应文档的非随机顺序（称为连续主动学习）是否会影响主题的分布-它不会。
2021-09-16 cs.IR
Identifying document similarity using a fast estimation of the Levenshtein Distance based on compression and signatures
针对Levenshtein距离二次时间复杂度不适用于大文档相似性识别的问题，提出基于压缩签名的快速估计算法，兼具效率与准确性，还引入显著性分数辅助相关文档识别。
2023-07-21 cs.IR
Estimating the Effective Topics of Articles and journals Abstract Using LDA And K-Means Clustering Algorithm
本文结合LDA、K-Means聚类和WordNet提取期刊与文章摘要中的关键短语，以帮助研究者构建更准确的检索字符串并避免误解。
2025-08-22 cs.IR
CODEC: Complex Document and Entity Collection
CODEC是一个文档和实体排名基准，专注于复杂的研究主题。我们的目标是社会科学研究人员的论文式信息需求，即“英国的开放银行监管如何使挑战者银行受益？". CODEC包括研究人员开发的42个主题和一个新的重点网络语料库，其中包含实体链接的语义注释。该资源包括来自不同自动和交互式手动运行的17，509个文档和实体（每个主题416.9个）的专家判断。手动运行包括387个查询重写，为查询性能预测和自动重写评估提供数据。CODEC包括对最先进系统的分析，包括稠密检索和神经重新排序。结果表明，主题是具有挑战性的，为文档和实体排名的改进预留了空间。查询扩展与实体信息显示显着的收益在文档排序，展示了资源的价值，评估和改进面向实体的搜索。我们还表明，手动查询重构显着提高文档排序和实体排名的性能。总体而言，CODEC提供了具有挑战性的研究课题，以支持以实体为中心的搜索方法的开发和评估。
2022-05-17 cs.IR
FLATM: A Fuzzy Logic Approach Topic Model for Medical Documents
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
医学领域文本分析的挑战之一是分析大规模的医学文档。因此，查找相关文件变得更加困难。主题建模是一种基于主题发现的信息检索方法。文档中的主题有助于在有查询和没有查询的情况下检索相同主题的文档。在本文中，我们提出了一种新的方法，使用模糊聚类的主题建模。为了评估我们的模型，我们用两个医学文档的文本数据集进行了实验。通过文档分类和文档建模进行的评价指标表明，我们的模型产生更好的性能比LDA，表明模糊集理论可以提高在医疗领域的主题模型的性能。
2019-11-25 cs.CL cs.IR
Concentrated Document Topic Model
National University of Singapore（新加坡国立大学）
我们提出了一个集中的文档主题模型（CDTM）的无监督文本分类，这是能够产生一个集中和稀疏的文档主题分布。特别地，指数熵惩罚施加在文档主题分布上。我们将该模型应用于基准NIPS数据集，观察到比潜在Dirichlet分配（LDA）更连贯的主题和更集中和稀疏的文档主题分布。
2021-02-06 cs.IR cs.LG stat.ML
Topic Scaling: A Joint Document Scaling -- Topic Model Approach To Learn Time-Specific Topics
Universität Hamburg（汉堡大学）
本文提出了一种新的方法来研究顺序语料库，通过实施一个两阶段的算法，学习时间为基础的主题相对于规模的文档位置，并介绍了主题缩放的概念，在同一文档规模内排名学习的主题。第一阶段使用Wordfish（一种基于Poisson的文档缩放方法）对文档进行排名，以估计文档位置，在第二阶段，文档位置作为因变量，通过有监督的潜在狄利克雷分配来学习相关主题。这种新颖性带来了两个创新的文本挖掘，因为它解释了文档的位置，其规模是一个潜在的变量，并排名推断的主题的文档规模，以匹配其出现在语料库中，并跟踪其演变。这种归纳方法在美国国情咨文两党演讲中进行了测试，结果表明，每一方都在学习量表的一端占据主导地位，并在双方任期之后进行可互换的过渡。除了在预测样本中的文档的位置从主题得分证明了高精度，该方法揭示了进一步隐藏的主题，区分相似的文档，通过增加学习的主题的数量，以展开潜在的嵌套层次的主题结构。与其他流行的主题模型相比，Topic Scaling可以根据文档相似性学习主题，而无需指定时间频率来学习主题演化，从而捕获比动态主题模型更广泛的主题模式，并产生比普通潜在Dirichlet分配更可解释的输出。
2021-03-31 cs.CL cs.IR cs.LG
HiTR: Hierarchical Topic Model Re-estimation for Measuring Topical Diversity of Documents
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Institute for Logic, Language, and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
高度的主题多样性通常被认为是有趣的文本文档的一个重要特征。最近提出的一项建议，用于衡量主题的多样性，确定了三个分布评估文件的多样性：文件内的话，主题内的话，和文件内的主题的分布。主题模型在这一方法中起着核心作用，因此，它们的质量对衡量主题多样性的有效性至关重要。主题模型的质量受两个因素的影响：主题的一般性和不纯性。一般主题仅包括背景语料库的公共信息，并且被分配给大多数文档。不纯主题包含与主题无关的词。杂质降低了主题模型的可解释性。不纯的主题很可能被错误地分配给文档。我们提出了一个分层的重新估计过程，旨在消除一般性和杂质。我们的方法有三个重新估计组件：（1）文档重新估计，从文档中删除一般单词;（2）主题重新估计，重新估计每个主题的单词分布;（3）主题分配重新估计，重新估计每个文档在主题上的分布。为了测量文本文档的主题多样性，我们的HiTR方法比在PubMed数据集上测量的最先进的方法有所改进。
2018-10-12 cs.CL cs.IR cs.LG
Automatic Description Construction for Math Expression via Topic Relation Graph
数学表达式是科学和教育文件的重要组成部分，但其中一些可能是初级学者或学生理解的挑战。然而，构建数学表达式的文本描述是不平凡的。在本文中，我们探讨了自动构造数学表达式的描述的可行性。但有两个挑战需要解决：1）找到相关的文档，因为数学方程的理解通常需要几个主题，但这些主题通常在不同的文档中解释。2)所收集的相关文档的稀疏性使得难以提取合理的描述。不同的文档主要集中在不同的主题上，这使得模型很难提取显著信息并将其组织起来形成数学表达式的描述。为了解决这些问题，我们提出了一个混合模型（MathDes），其中包含两个重要的模块：数据挖掘和总结。提出了一种主题关系图（TRG）的概念，用于获取包含数学表达式综合信息的相关文档。TRG是根据表达式之间的引用构建的图。在摘要器中，提出了一种基于线性规划（ILP）框架的摘要模型。该模块在从TRG提取的时间轴的帮助下构建最终描述。实验结果表明，我们的方法是有前途的这项任务，并优于基线在各个方面。
2021-04-24 cs.IR
Contextual Document Similarity for Content-based Literature Recommender Systems
为了应对日益增长的信息过载，越来越多的数字图书馆采用基于内容的推荐系统。这些系统传统上推荐相关的文件的帮助下，相似性的措施。然而，当前的文档相似性度量仅仅区分相似和不相似的文档。这种简化对于大量的文件尤其重要，因为这些文件涵盖了一个主题的各个方面，并且经常在数字图书馆中找到。然而，这些相似性度量忽略了相似性涉及的方面。因此，相似性的背景仍然不明确。在这篇博士论文中，我们探讨了上下文文档相似性度量，即，将文档相似性确定为两个文档及其相似性上下文的三元组的方法。在这里，上下文是相似性的进一步说明。例如，在科学领域，研究论文可以在背景、方法或发现方面相似。关于一个或多个给定上下文的相似性的度量将增强推荐系统。也就是说，用户将能够通过制定查询的文件及其上下文的相似性来探索文档集合。因此，我们的研究目标是开发和评估的推荐系统的基础上上下文相似性。底层技术将应用已建立的相似性度量以及神经方法，同时利用从文档及其文本之间的链接中获得的语义特征。
2020-08-01 cs.DL cs.IR
Prior-aware Dual Decomposition: Document-specific Topic Inference for Spectral Topic Models
Cornell University（康奈尔大学）
谱主题建模算法对词共现统计的矩阵/张量进行操作，以学习特定于主题的词分布。这种方法消除了对原始文档的依赖，并在效率和可证明的主题推理方面产生了实质性的收益，但代价是：模型不再能够提供有关单个文档的主题组成的信息。最近提出的线性逆（TLI）映射观察到的词的每个文件回到其主题组成。然而，它的线性特性限制了推理质量，没有考虑主题的重要先验信息。在本文中，我们评估简单的概率逆（SPI）方法和新的先验感知的双重分解（PADD），能够学习文档特定的主题组成并行。实验表明，PADD成功地利用主题相关性作为先验，特别是优于TLI和学习质量的主题组成可比吉布斯采样的各种数据。
2017-11-19 cs.CL cs.IR cs.LG
Improving Term Frequency Normalization for Multi-topical Documents, and Application to Language Modeling Approaches
POSTECH（浦项科技大学）；KISTI（韩国科学技术信息研究院）
由于文档的长度不同，词频规范化是一个严重的问题。通常，文档变长是由于两个不同的原因-冗长和多主题。首先，冗长意味着同一主题被与该主题相关的术语重复提及，因此术语频率比概括良好的术语频率更高。第二，多主题性表明一份文件对多个主题进行了广泛的讨论，而不是单一主题。虽然这些文件的特点，应该有不同的处理，所有以前的方法的词频规范化忽略了这些差异，并使用了一个简化的长度驱动的方法，减少的词频只有一个文件的长度，造成不合理的惩罚。为了解决这个问题，我们提出了一种新的TF归一化方法，这是一种部分公理化的方法。首先，我们制定了两个正式的约束，检索模型应满足的文件具有冗长和多主题的特点，分别。然后，我们修改语言建模方法，以更好地满足这两个约束，并推导出新的平滑方法。实验结果表明，该方法显著提高了关键字查询的准确率，并大大提高了详细查询的平均精度。
2015-02-08 cs.CL cs.IR
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
文档聚类和主题建模是两个密切相关的任务，可以相互受益。主题建模可以将文档投影到一个主题空间中，这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中，以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中，我们提出了一个多粒度聚类主题模型（MGCTM），它集成了文档聚类和主题建模到一个统一的框架，并共同执行这两项任务，以达到整体最佳性能。该模型将两个组件紧密耦合：用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件，其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题，采用变分推理来近似隐变量的后验，并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
TopicSifter: Interactive Search Space Reduction Through Targeted Topic Modeling
主题建模通常用于分析和理解大型文档集合。然而，在实践中，用户希望专注于特定方面或“目标”，而不是整个语料库。例如，给定大量文档集合，用户可能只想要与他们的兴趣、任务和领域更紧密地一致的较小子集。特别是，我们的论文集中在大规模的文档检索与高召回，任何错过的相关文件可能是至关重要的。简单的关键字匹配搜索通常既不有效也不高效，因为1）在探索数据集之前难以找到可以覆盖感兴趣的文档的关键字查询的列表，2）一些文档可能不包含确切的感兴趣的关键字，但可能仍然是高度相关的，以及3）一些词具有多种含义，这将导致不相关的文档包括在检索的子集中。在本文中，我们提出了TopicSifter，交互式搜索空间减少的可视化分析系统。我们的系统利用基于非负矩阵分解的有针对性的主题建模，并允许用户给出相关反馈，以细化他们的目标，并指导主题建模最相关的结果。
2019-07-28 cs.HC cs.IR
Graph-Community Detection for Cross-Document Topic Segment Relationship Identification
Instituto Superior Técnico（高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个图-社区发现的方法来识别跨文档的关系，在主题段的水平。给定一组相关文档，我们通过聚类具有相似内容（主题）的片段来自动找到这些关系。在这种情况下，我们研究了不同的权重机制如何影响发现的单词社区，涉及到不同的主题中发现的文件。最后，我们测试了不同的映射函数来分配主题段到单词社区，确定哪些主题段被认为是等价的。通过执行此任务，可以实现高效的多文档浏览，因为当用户在一个文档中找到相关内容时，我们可以提供对其他文档中类似主题的访问。我们在两个不同的场景中部署我们的方法。一个是教育场景，需要在学习材料之间找到对等关系;另一个是社会背景下的一系列对话，学生讨论常见的话题。结果表明，我们提出的方法更好地发现等价关系的学习材料的文件，并在社会语音领域，其中表现最好的方法是聚类技术，获得了接近的结果。
2016-06-13 cs.CL cs.IR cs.SI
Topic Extraction of Crawled Documents Collection using Correlated Topic Model in MapReduce Framework
University of Computer Studies（计算机研究大学）；Faculty of Computing（计算机学院）
大量的可用研究文档的巨大增长促使研究人员提出主题模型来提取文档集合中的潜在语义主题。然而，如何从文档集合中提取出隐藏的主题已经成为许多主题模型应用的关键任务。此外，传统的主题建模方法遭受的可扩展性问题时，文档集合的大小增加。本文在MapReduce框架下实现了基于变分期望最大化算法的相关主题模型，解决了相关主题模型的可扩展性问题。所提出的方法利用从公共数字图书馆爬取的数据集。此外，抓取的文档的全文进行分析，以提高MapReduce CTM的准确性。最后通过实验验证了该算法的有效性。从评估，所提出的方法具有可比的性能方面的主题一致性与LDA实现MapReduce框架。
2020-01-06 cs.CL cs.IR cs.LG
Recurrent Coupled Topic Modeling over Sequential Documents
University of Macau（澳门大学）；University of Technology Sydney（悉尼科技大学）
丰富的连续文档，如在线档案，社交媒体和新闻源，以流式方式更新，其中每个文档块都与平稳发展但相关的主题相结合。这些数字文本吸引了广泛的研究动态主题建模，以推断隐藏的不断变化的主题及其时间依赖性。然而，大多数现有的方法专注于单主题线程的演变，忽略了一个事实，即当前主题可能与多个相关的先前主题相耦合。此外，这些方法还引发了棘手的推理问题时，推断潜在的参数，导致高的计算成本和性能下降。在这项工作中，我们假设一个当前的主题演变从所有先前的主题与相应的耦合权重，形成多主题线程的演变。我们的方法对不断发展的主题之间的依赖关系进行建模，并对它们在时间步长上的复杂多耦合进行彻底编码。为了克服难以处理的推理挑战，提出了一种新的解决方案与一组新的数据增强技术，它成功地分解了多个不断发展的主题之间的耦合。从而得到一个完全共轭的模型，以保证推理技术的有效性和效率。一种新的吉布斯采样器与向后-向前滤波算法有效地学习潜在的时间演化参数的封闭形式。此外，潜在的印度自助餐过程（IBP）的复合分布被利用来自动推断整体的主题数量和定制的稀疏主题比例为每个顺序的文档没有偏见。在合成数据集和真实数据集上对所提出的方法进行了评估，并与竞争基线进行了比较，证明了该方法在低单词困惑度，高连贯性主题和更好的文档时间预测方面优于基线。
2021-06-23 cs.IR cs.LG
Specialized Document Embeddings for Aspect-based Similarity of Research Papers
DFKI GmbH（德国人工智能研究中心）；Ernst & Young GmbH WPG（安永会计师事务所（德国））；University of Wuppertal（伍珀塔尔大学）；University of Göttingen（哥廷根大学）
文档嵌入和相似性度量支持基于内容的推荐系统，其中文档通常表示为单个通用嵌入。然而，在单个向量表示上计算的相似性仅提供了关于文档相似性的一个视角，忽略了哪些方面使两个文档相似。为了解决这一限制，已经开发了基于方面的相似性措施，使用文档分割或成对多类文档分类。虽然分割损害了文档的连贯性，但成对分类方法对大规模语料库的扩展性很差。在本文中，我们把基于方面的相似性作为一个经典的向量相似性问题，在特定方面的嵌入空间。我们不是将文档表示为单个通用嵌入，而是表示为多个专用嵌入。我们的方法避免了文件分割和规模线性w.r.t.语料库的大小。在实证研究中，我们使用包含157，606篇研究论文的Papers with Code语料库，并将各自研究论文的任务，方法和数据集作为其方面。我们比较和分析三个通用的文档嵌入，六个专门的文档嵌入和成对的分类基线的背景下，研究论文的建议。作为通用文档嵌入，我们考虑FastText，SciBERT和SPECTER。为了计算专门的文档嵌入，我们比较了三种替代方法，灵感来自改造，微调和暹罗网络。在我们的实验中，Siamese SciBERT获得了最高的分数。额外的分析表明，对数据集方面和对每个研究论文的方法方面的通用文档嵌入的隐含偏见。我们的方法基于方面的文档嵌入减轻潜在的风险所产生的隐性偏见，使他们明确。
2022-03-28 cs.CL cs.IR
Aspect-based Document Similarity for Research Papers
German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；University of Kiel（基尔大学）
传统的文档相似性度量提供了相似和不相似文档之间的粗粒度区分。通常，他们不会考虑两个文件在哪些方面相似。这限制了依赖于文档相似性的推荐系统等应用程序的粒度。在本文中，我们扩展相似性方面的信息进行成对的文档分类任务。我们评估我们的基于方面的文档相似性的研究论文。论文引用表明基于方面的相似性，即，出现引用的章节标题充当引用和被引用论文对的标签。我们应用了一系列Transformer模型，如RoBERTa、ELECTRA、XLNet和BERT变体，并将它们与LSTM基线进行比较。我们在ACL Anthology和CORD-19语料库的172，073篇研究论文对的两个新构建的数据集上进行了实验。我们的研究结果表明，SciBERT是性能最好的系统。定性检验证实了我们的定量结果。我们的研究结果激励未来的研究方面为基础的文档相似性和开发的推荐系统的基础上评估的技术。我们公开我们的数据集、代码和训练模型。
2020-10-13 cs.CL cs.IR
Document Clustering based on Topic Maps
National University of Computer & Emerging Sciences（国家计算机与新兴科学大学）
文档聚类对于更好地管理、智能导航、高效过滤以及对像万维网（WWW）这样的大量文档进行简明摘要的重要性现在被研究人员广泛认可。下一个挑战在于基于文档的语义内容在语义上执行聚类。文档聚类的问题有两个主要组成部分：（1）以这样一种形式表示文档，该形式固有地捕获文本的语义。这也可以有助于降低文档的维度，以及（2）基于语义表示来定义相似性度量，使得其向具有较高语义关系的文档对分配较高的数值。文档的特征空间对于文档聚类来说是非常具有挑战性的。一个文档可能包含多个主题，它可能包含一个大的类独立的通用词集，和少数类特定的核心词。考虑到这些特点，传统的凝聚聚类算法，这是基于文档向量模型（DVM）或后缀树模型（STC），是效率较低的高聚类质量的结果。本文介绍了一种新的基于主题图表示的文档聚类方法。该文件正在被转换成一个紧凑的形式。提出了一种基于主题图数据和结构的相似性度量方法。建议的方法是使用凝聚层次聚类和测试标准的信息检索（IR）数据集。对比实验表明，该方法能有效地提高聚类质量.
2011-12-29 cs.AI cs.IR
LDAExplore: Visualizing Topic Models Generated Using Latent Dirichlet Allocation
我们提出了LDAExplore，一个工具来可视化主题分布在一个给定的文档语料库，使用主题建模方法。潜在狄利克雷分配（LDA）是主要用于生成主题的基本方法之一。像LDA这样的方法的一个问题是，应用它们的用户可能不理解生成的主题。此外，用户可能发现难以搜索相关的主题和相关的文档。LDAExplore试图通过可视化从文档语料库生成的主题和单词分布并允许用户与它们交互来缓解这些问题。该系统是专为用户，谁拥有最少的知识LDA或主题建模方法。为了评估我们的设计，我们进行了一项试点研究，使用了322篇信息可视化论文的摘要，其中每个摘要都被视为一个文档。生成的主题然后由用户探索。结果表明，用户能够找到相关的文档，并根据相似的主题将它们分组。
2015-07-23 cs.HC cs.IR
Topic-Grained Text Representation-based Model for Document Retrieval
National University of Defense Technology（国防科技大学）
文档检索使用户能够准确、快速地找到所需的文档。为了满足检索效率的要求，流行的深度神经方法采用基于表示的匹配范式，通过离线预存储文档表示来节省在线匹配时间。然而，上面的范例消耗了大量的本地存储空间，特别是当将文档存储为单词粒度的表示时。为了解决这个问题，我们提出了TGTR，一个主题粒度的文本表示为基础的文档检索模型。TGTR采用基于表示的匹配模式，离线存储文档表示以保证检索效率，而采用新颖的主题粒度表示而不是传统的词粒度表示，大大降低了存储需求。实验结果表明，与词粒度基线相比，TGTR在检索准确率方面始终与TREC CAR和MS MARCO竞争，但它所需的存储空间不到它们所需的1/10。此外，TGTR在检索精度方面压倒性地超过了全球粒度基线。
2022-07-11 cs.CL cs.IR
BATS: A Spectral Biclustering Approach to Single Document Topic Modeling and Segmentation
College of William and Mary（威廉与玛丽学院）；Zoomi Inc.（Zoomi公司）；Purdue University（普渡大学）；Worchester Polytechnic Institute（伍斯特理工学院）
现有的主题建模和文本分割方法通常需要大型数据集进行训练，当只有少量文本可用时，限制了它们的能力。在这项工作中，我们重新审视的“主题识别”和“文本分割”的稀疏文档学习的相互关联的问题，当有一个新的感兴趣的文本。在开发处理单个文档的方法时，我们面临两个主要挑战。首先是稀疏信息：只访问一个文档，我们无法训练传统的主题模型或深度学习算法。第二个是显著噪声：任何单个文档中的相当大一部分单词只会产生噪声，而无助于识别主题或片段。为了解决这些问题，我们设计了一个无监督的，计算效率高的方法，称为BATS：双聚类方法的主题建模和分割。BATS利用三个关键思想来同时识别主题和分段文本：（i）使用词序信息来降低样本复杂性的新机制，（ii）基于统计学的基于图的双聚类技术，用于识别单词和句子的潜在结构，以及（iii）有效的分类器集合，用于去除噪声单词并奖励重要单词以进一步提高性能。四个数据集上的实验表明，我们的方法优于几个国家的最先进的基线时，考虑主题一致性，主题多样性，分割和运行时比较指标。
2021-05-25 cs.IR cs.LG
Topic Models Conditioned on Arbitrary Features with Dirichlet-multinomial Regression
尽管完全生成模型已经成功地用于对文本文档的内容进行建模，但是它们通常难以应用于文本数据和文档元数据的组合。在本文中，我们提出了一个狄利克雷多项式回归（DMR）主题模型，其中包括一个对数线性先验的文件主题分布，这是一个函数的观察功能的文件，如作者，出版地点，参考文献和日期。我们表明，通过选择适当的功能，DMR主题模型可以满足或超过性能的几个先前发布的主题模型设计的特定数据。
2012-06-13 cs.IR stat.ME
Content-based Text Categorization using Wikitology
National University of Computer and Emerging Sciences (NU-FAST)（国立计算机与新兴科学大学（NU-FAST））
一个主要的计算负担，而执行文档聚类，是一对文档之间的相似性度量的计算。相似性度量是一个函数，它根据文档之间的相似程度，为一对文档分配一个介于0和1之间的实数。值为零表示文档完全不相似，而值为1表示文档实际上相同。传统上，基于向量的模型已被用于计算文档相似度。基于向量的模型表示文档中存在的几个特征。这些方法的相似性措施，在一般情况下，不能占的语义文件。用人类语言编写的文档包含上下文，并且用于描述这些上下文的词语通常在语义上相关。受此启发，许多研究人员提出了基于语义的相似性度量，通过使用外部词库（如WordNet）进行文本注释。在本文中，我们定义了一个语义相似性度量的基础上表示的主题地图的文件。主题地图正迅速成为知识表示的工业标准，其重点是以后的搜索和提取。将文档转换为基于主题图的编码知识，并将一对文档之间的相似性表示为共同模式之间的相关性。在文本挖掘数据集上的实验研究表明，与常用的文本聚类相似性度量方法相比，该方法具有更好的聚类效果。
2012-08-17 cs.AI cs.IR
Generative Topic Embedding: a Continuous Representation of Documents (Extended Version with Proofs)
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
词嵌入通过在一个小的上下文窗口中利用词的局部搭配模式将词映射到一个低维的连续嵌入空间中。另一方面，主题建模通过利用同一文档中的全局词语搭配模式，将文档映射到低维主题空间。这两种模式是互补的。在本文中，我们提出了一个生成式的主题嵌入模型，结合这两种类型的模式。在我们的模型中，主题由嵌入向量表示，并在文档之间共享。每个单词出现的概率受其本地上下文和主题的影响。变分推理方法产生的主题嵌入以及主题混合比例为每个文档。它们共同表示低维连续空间中的文档。在两个文档分类任务中，我们的方法比现有的八种方法性能更好，功能更少。此外，我们用一个例子说明，我们的方法可以生成连贯的主题，即使是基于一个文档。
2016-08-08 cs.AI cs.CL cs.IR
The Author-Topic Model for Authors and Documents
UC Irvine（加州大学欧文分校）；Stanford University（斯坦福大学）
我们介绍了作者主题模型，一个生成模型的文件，扩展潜在狄利克雷分配（LDA;布雷，吴，约旦，2003年），包括作者身份信息。每个作者都与主题的多项分布相关联，每个主题都与单词的多项分布相关联。具有多个作者的文档被建模为主题上的分布，该分布是与作者相关联的分布的混合。我们将该模型应用于1，700篇NIPS会议论文和160，000篇CiteSeer摘要的集合。对于这些数据集来说，精确的推理是很难的，我们使用吉布斯抽样来估计主题和作者分布。我们比较的性能与其他两个生成模型的文件，这是特殊情况下的作者主题模型：LDA（主题模型）和一个简单的作者模型，其中每个作者与分布的话，而不是分布的主题。我们展示了作者主题模型恢复的主题，并展示了作者之间的相似性和作者输出熵的计算应用。
2012-07-11 cs.IR cs.LG stat.ML
Inductive Document Network Embedding with Topic-Word Attention
Université de Lyon, Lyon 2（里昂第二大学）；Digital Scientific Research Technology（数字科研技术公司）
文档网络嵌入旨在学习结构化文本语料库的表示，即当文档彼此链接时。最近的算法扩展了网络嵌入的方法，将文本内容与节点在其配方。在大多数情况下，很难解释学习到的表征。此外，很少重要的是给泛化到新的文件，没有观察到的网络。本文提出了一种可解释、可归纳的文档网络嵌入方法。我们引入了一种新的机制，主题词注意力（TWA），生成文档表示词和主题表示之间的相互作用的基础上。我们训练这些词和主题向量，通过我们的通用模型，归纳文档网络嵌入（IDNE），利用文档网络中的连接。定量评估表明，我们的方法在各种网络上实现了最先进的性能，我们定性地表明，我们的模型产生了有意义的和可解释的单词，主题和文档的表示。
2020-01-10 cs.CL cs.IR cs.LG
A Topic Model Approach to Multi-Modal Similarity
计算由许多异构数据模态定义的对象之间的相似性是许多多媒体应用中的重要挑战。我们使用多模态主题模型作为定义对象之间的相似性的基础。我们建议使用非参数Mantel检验比较不同模型实现的相似性。该方法在音乐数据集上进行了评估。
2014-05-27 cs.IR stat.ML
Privacy Preserving MFI Based Similarity Measure For Hierarchical Document Clustering
万维网的日益增长的性质给研究人员在提高互联网上的搜索效率方面提出了巨大的挑战。如今，Web文档聚类已经成为一个重要的研究课题，以提供最相关的文档在巨大的卷返回响应于一个简单的查询。本文首先提出了一种基于最大频繁项集（MFI）的Apriori聚类算法。然后利用相同的最大频繁项集（MFI）的相似性度量的层次文档聚类。通过考虑最大频繁项集，降低了文档集的维数。第二，提供开放的Web文档的隐私保护是为了避免重复文档。这样，我们就可以保护个人的隐私文件的版权。这可以通过等价关系来实现。
2012-07-12 cs.DB cs.IR
Local and Global Topics in Text Modeling of Web Pages Nested in Web Sites
主题模型是用于分析文本文档集合的流行模型。该模型断言，文件是分布在潜在的主题和潜在的主题分布在词。嵌套文档集合是指文档嵌套在更高层次的结构中，如书籍中的故事、期刊中的文章或网站中的网页。在单个文档集合中，主题是全局的，或者在所有文档中共享。对于嵌套在网站中的网页，主题频率可能会因网站而异。在一个网站中，主题频率几乎肯定会在网页之间变化。主题频率的层次先验模型这种层次结构，并指定一个全球主题分布。网站主题分布围绕全局主题分布而变化，并且网页主题分布围绕网站主题分布而变化。在嵌套的网页集合中，某些主题可能是单个网站所独有的。网页嵌套集合中的局部主题是一个网站所独有的主题。对于美国地方卫生部门网站，对文本的简要检查显示了每个部门特有的地方地理和新闻主题，这些主题在其他部门中不存在。忽略嵌套的主题模型可以识别本地主题，但不将主题标记为本地，也不显式地识别本地主题的网站所有者。对于嵌套在网站内的网页，本地主题模型显式地标记本地主题并标识所属网站。这种识别可用于调整关于全局主题的推断。在美国公共卫生网站数据中，主题覆盖率是在从页面中删除本地主题词后在网站级别定义的。分层局部主题模型可用于识别局部主题，调整关于网站是否覆盖特定健康主题的推断，以及研究健康主题的覆盖程度。
2021-03-30 cs.IR stat.ME
Query-focused Multi-document Summarization: Combining a Novel Topic Model with Graph-based Semi-supervised Learning
基于图的半监督学习已被证明是一种有效的方法，以查询为中心的多文档摘要。以往的半监督学习存在的问题是在对句子进行排序时没有考虑句子层次以外的更高层次的信息。对一般文摘的研究表明，增加主题层次可以有效地提高文摘质量。在前人研究的启发下，本文提出了一种基于图的两层（句子层和主题层）半监督学习方法。同时，我们提出了一个新的主题模型，充分利用句子和单词之间的依赖关系。在DUC和TAC数据集上的实验结果证明了该方法的有效性。
2013-12-31 cs.CL cs.IR
Legal document retrieval across languages: topic hierarchies based on synsets
立法文本的跨语言注释使我们能够探索多语言法律数据中涵盖的主要主题，并且在搜索类似文件时是语义相似性的关键促进因素。多语言概率主题模型是近年来出现的一组半监督机器学习模型，可用于对多种语言的文本集合进行主题探索。然而，这些方法需要主题对齐的训练数据来创建独立于语言的空间，这限制了可以使用该技术的场景的数量。在这项工作中，我们提供了一个无监督的文档相似性算法的基础上，层次结构的多语言的概念来描述跨语言的主题。该算法不需要并行或可比的语料库，或任何其他类型的翻译资源。在英语，西班牙语，法语和葡萄牙语版本的JCR-Accounts语料库上进行的实验显示，按相似内容对文档进行分类和排序的结果很有希望。
2019-11-28 cs.DL cs.IR
Nonparametric Relational Topic Models through Dependent Gamma Processes
University of Technology Sydney（悉尼科技大学）；Shanghai University（上海大学）
传统的关系主题模型提供了一种从文档网络中发现隐藏主题的方法。许多理论和实际的任务，如降维，文档聚类，链接预测，受益于这些揭示的知识。然而，现有的关系主题模型是基于一个假设，即隐藏主题的数量是已知的，这是不切实际的，在许多现实世界的应用。因此，为了放松这一假设，本文提出了一个非参数关系主题模型。在其生成模型中，我们使用随机过程，而不是使用固定维的概率分布。具体地，伽马过程被分配给每个文档，其表示该文档的主题兴趣。虽然这种方法提供了一种优雅的解决方案，但在对典型文档网络的固有网络结构进行数学建模时，它带来了额外的挑战，即，两个空间上更接近的文档往往具有更相似的主题。此外，我们要求所有文档共享主题。为了解决这些挑战，我们使用一个子采样策略，每个文件分配一个不同的伽玛过程从全局伽玛过程，和子采样概率的文件分配与马尔可夫随机场约束，继承了文件的网络结构。通过设计的后验推理算法，可以同时发现隐藏主题及其数量。在合成和真实网络数据集上的实验结果表明，该算法能够学习隐藏主题，更重要的是学习主题的数量。
2015-03-30 cs.CL cs.IR cs.LG
Comparative Analysis of Document-Level Embedding Methods for Similarity Scoring on Shakespeare Sonnets and Taylor Swift Lyrics
本研究对比了TF-IDF、Word2Vec和BERT在莎士比亚十四行诗与泰勒·斯威夫特歌词上的文档相似度评分表现，发现TF-IDF依赖词汇重叠，Word2Vec语义泛化更佳，而BERT因缺乏领域微调表现较差。
2024-12-23 cs.CL cs.IR
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新的文档生成过程的基础上，层次潜在树模型（HLTM）从数据中学习。HLTM在底部有一层观察到的单词变量，在顶部有多层潜变量。对于每一个文档，我们首先通过逻辑采样逐层采样潜变量的值，然后根据潜变量的值绘制单词的相对频率，最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比，新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
Method for Determining the Similarity of Text Documents for the Kazakh language, Taking Into Account Synonyms: Extension to TF-IDF
University of Birmingham（伯明翰大学）
文本相似度的确定在信息检索、文本挖掘、自然语言处理（NLP）和计算语言学等领域都受到了广泛的关注。将数据转换为数字向量是一项复杂的任务，其中使用了诸如标记化、停止词过滤、词干提取和项加权等算法。词频-逆文档频率（TF-IDF）是最广泛使用的术语加权方法，以便于搜索相关文档。为了提高权重的条款，大量的TF-IDF扩展。在本文中，TF-IDF方法的另一个扩展，提出了考虑同义词。通过余弦函数、骰子函数和Jaccard函数对哈萨克语文本文档进行相似性度量的实验，验证了该方法的有效性。
2022-11-22 cs.CL cs.IR
Higher-Order Markov Tag-Topic Models for Tagged Documents and Images
Soochow University（苏州大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）；University of Maryland（马里兰大学）；Tianjin University（天津大学）；Hong Kong Baptist University（香港浸会大学）
研究了带标签文档和图像的主题建模问题。标记文档和图像之间的高阶关系是重要且普遍存在的特征，在提取可靠和可解释的主题方面起着积极的作用。在本文中，我们提出了标签主题模型（TTM）来描述这种高阶主题结构依赖马尔可夫随机场（MRF）的框架内。首先，我们使用新的因素图表示的潜在狄利克雷分配（LDA）为基础的主题模型从MRF的角度来看，并提出了一个有效的循环信念传播（BP）算法的近似推理和参数估计。其次，我们提出了TTM的因子超图表示，并重点关注标记文档和图像之间的成对和高阶关系建模。提出了一种有效的循环BP算法来学习TTM，该算法可以提高标注文档和图像之间的主题标注平滑性。广泛的实验结果证实，合并高阶关系是有效的，在提高整体的主题建模性能相比，当前国家的最先进的主题模型，在许多文本和图像挖掘任务的广泛利益，如字和链接预测，文档分类，标签推荐。
2011-09-25 cs.AI cs.CV cs.IR
Unveiling the semantic structure of text documents using paragraph-aware Topic Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
经典的主题模型是在词袋假设下构建的，为了简单起见，忽略了词的位置。此外，在大多数应用中通常使用对称先验。为了更容易地学习同一语料库中具有不同属性的主题，我们提出了一种新的工作路线，其中利用段落结构。我们的建议是基于以下假设：在许多文本文档语料库中，有正式的约束共享所有的集合，例如节。当这个假设得到满足时，一些段落可能与语料库中所有文档共享的一般概念有关，而另一些段落则包含文档的真实描述。假设每个段落在语义上可以更一般、更具体或更混合，我们寻找方法来衡量这一点，将这种区别转移到主题上，并能够学习我们所谓的具体主题和一般主题。实验表明，这是一个适当的方法来突出结构化文档中的某些段落，同时我们学习有趣的和更多样化的主题。
2018-06-26 cs.CL cs.IR cs.LG
Hier-SPCNet: A Legal Statute Hierarchy-based Heterogeneous Network for Computing Legal Case Document Similarity
计算两个法律案例文档之间的相似度是法律信息检索中一个重要且具有挑战性的任务，文献中已经提出了基于文本和基于网络的相似度度量。所有先前的基于网络的相似性方法都只考虑案例文档之间的先例引文网络（PCNet）。然而，这种方法忽略了法律知识的一个重要来源--适用于给定法律管辖区的法律法规的层次结构（例如，国家）。我们建议增加PCNet与法律法规的层次结构，形成一个异构网络Hier-SPCNet，案例文件和法规之间的引用链接，以及引用和层次之间的联系的法规。一组印度最高法院的案件文件的实验表明，我们提出的异构网络，使显着更好的文档相似性估计相比，现有的方法使用PCNet。我们还表明，所提出的基于网络的方法可以补充基于文本的措施，更好地估计法律文件的相似性。
2020-07-07 cs.CY cs.IR cs.SI
Keyword-based Topic Modeling and Keyword Selection
Northwestern University（西北大学）
通过指定一组关键字来收集某些类型的文档（如tweets）。由于感兴趣的主题随时间而变化，因此动态调整关键字是有益的。挑战在于，需要在了解即将出台的文件和基本主题之前具体说明这些问题。未来的主题应该模仿过去感兴趣的主题，但其中应该有一些新颖性。我们开发了一个基于关键字的主题模型，动态选择一个子集的关键字用于收集未来的文档。生成过程首先选择关键字，然后基于指定的关键字选择底层文档。该模型通过使用变分下限和随机梯度优化来训练。推理包括找到关键字的子集，其中给定子集，模型预测未知即将到来的文档的潜在主题词矩阵。我们比较关键字主题模型与基准模型结合主题模型使用病毒式预测的推文。基于关键字的主题模型比这个复杂的基线模型高出67%。
2020-01-22 cs.IR cs.LG stat.ML
Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation
Sichuan University（四川大学）
本文通过混合结构摘要与基于LLM的数据增强方法，提升社交搜索中查询与文档的主题相关性建模性能。
2025-12-10 cs.CL cs.IR
