An Automatic Approach for Document-level Topic Model Evaluation
The University of Melbourne(墨尔本大学);IBM Research(IBM研究院)
主题模型共同学习主题和文档级主题分布。主题模型的外部评价往往只关注主题级别的评价,例如通过评估主题的连贯性。我们证明,主题和文档级模型质量之间可能存在很大的差异,并且基于主题级分析的模型评估可能具有很大的误导性。我们提出了一种基于文档级主题分配分析自动预测主题模型质量的方法,并为其鲁棒性提供了经验证据。
2017-06-16 cs.CL
Neural Topic Modeling by Incorporating Document Relationship Graph
Southeast University(东南大学)
图神经网络(Graph Neural Networks,GNN)通过消息传递来捕捉图节点之间的关系,是自然语言处理领域的一个研究热点。在本文中,我们提出了图主题模型(GTM),一个基于GNN的神经主题模型,将语料库表示为文档关系图。语料库中的文档和单词成为图中的节点,并基于文档-单词共现来连接。通过引入图结构,文档之间的关系通过它们的共享词建立,从而通过使用图卷积聚合来自其相邻节点的信息来丰富文档的主题表示。在三个数据集上进行了大量的实验,实验结果证明了该方法的有效性。
2020-09-29 cs.CL
Human in the loop: How to effectively create coherent topics by manually labeling only a few documents per class
TU Clausthal(克劳斯塔尔工业大学);University of Göttingen(哥廷根大学)
用于在稀疏标签设置下精确建模的Few-Shot方法已经显著改进。然而,Few-Shot建模在自然语言处理中的应用仅限于文档分类领域。随着最近的性能改进,有监督的Few-Shot方法与简单的主题提取方法相结合,对无监督的主题建模方法提出了重大挑战。我们的研究表明,有监督的少样本学习,结合一个简单的主题提取方法,可以优于无监督的主题建模技术,在生成连贯的主题,即使每个类只有几个标记的文档使用。
2022-12-19 cs.CL
From Documents to Segments: A Contextual Reformulation for Topic Assignment
LG AI Research(LG AI研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种基于段落的主题分配方法(SBTA),通过将主题分配到短小且连贯的文本段落而非整个文档,以解决传统主题模型中文档多主题问题导致的主题污染问题,从而提升主题分析的清晰度和可解释性。
2026-05-18 cs.CL
Moving beyond word lists: towards abstractive topic labels for human-like topics of scientific documents
主题模型将文档组表示为单词列表(主题标签)。这项工作问是否可以开发一种替代方法,主题标签,更接近一个自然语言描述的主题比一个单词列表。为此,我们提出了一种方法来生成人类一样的主题标签,使用抽象的多文档摘要(MDS)。我们调查我们的方法与探索性的案例研究。我们在引用句子中建模主题,以了解需要做哪些进一步的研究来充分操作MDS主题标签。我们的案例研究表明,除了更人性化的主题有额外的优势,评价使用聚类和总结措施,而不是主题模型的措施。然而,我们发现,有几个发展需要之前,我们可以设计一个强大的研究,以评估MDS的主题建模充分。即提高聚类的内聚性,提高MDS的真实性和可信度,增加MDS支持的文档数量。我们提出了一些关于如何解决这些问题的想法,并总结了一些关于如何使用主题建模来改进MDS的想法。
2022-10-28 cs.CL
Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence
Bocconi University(博科尼大学);University of Milan-Bicocca(米兰比可卡大学)
主题模型从文档中提取单词组,将其解释为主题有望更好地理解数据。然而,由此产生的词组往往是不连贯的,使他们更难解释。最近,神经主题模型在整体连贯性方面有所改善。同时,上下文嵌入总体上推进了神经模型的发展。在本文中,我们结合上下文表示与神经主题模型。我们发现,我们的方法比传统的词袋主题模型和最近的神经模型产生更有意义和连贯的主题。我们的研究结果表明,未来的改进语言模型将转化为更好的主题模型。
2021-06-17 cs.CL
Topic Sensitive Neural Headline Generation
State Key Laboratory of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
神经模型最近被用于文本摘要,包括标题生成。该模型可以使用一组文档标题对进行训练。然而,该模型没有明确考虑主题的相似性和差异的文件。我们建议将文档分类到不同的主题中,以便同一主题中的文档在内容上相似并且共享相似的摘要模式。利用文档的主题信息,提出主题敏感的神经标题生成模型。我们的模型可以根据文档主题生成更准确的摘要。我们在LCSTS数据集上测试了我们的模型,实验表明我们的方法在每个主题上都优于其他基线,并达到了最先进的性能。
2016-08-20 cs.CL
Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
The Pennsylvania State University(宾夕法尼亚州立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Nanyang Technological University(南洋理工大学);University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学)
针对互联文档兼具图层次与主题层次的问题,提出在双曲空间中融合主题树嵌入和图结构的 Transformer 模型,提升层次主题建模效果。
2025-02-17 cs.CL
Topic-Guided Reinforcement Learning with LLMs for Enhancing Multi-Document Summarization
Department of Computer Science, University of British Columbia(英属哥伦比亚大学计算机科学系);Salesforce AI Research(Salesforce人工智能研究)
本文提出一种主题引导的强化学习方法,通过在GRPO框架中引入主题奖励以衡量生成摘要与源文档的主题对齐度,有效改进了多文档摘要的内容选择,并在Multi-News等数据集上持续优于强基线。
2025-09-11 cs.CL
TAN-NTM: Topic Attention Networks for Neural Topic Modeling
Adobe(奥多比公司);Birla Institute of Technology Science Pilani (BITS Pilani)(比尔拉科学技术学院(皮拉尼));Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎普尔分校)
主题模型已被广泛用于学习文本表示和深入了解文档语料库。为了进行主题发现,大多数现有的神经模型要么将文档词袋(BoW)或令牌序列作为输入,然后进行变分推理和BoW重构来学习主题词分布。然而,在文档编码期间利用主题词分布来学习更好的功能还没有被探索太多。为此,我们开发了一个框架TAN-NTM,它通过LSTM将文档处理为一个令牌序列,LSTM的上下文输出以主题感知的方式参与。我们提出了一种新的注意力机制的因素,在主题词的分布,使模型出席相关的话,传达主题相关的线索。然后利用主题注意模块的输出进行变分推理。我们进行了广泛的消融和实验,在几个基准数据集-20 Newsgroups,Yelp Review Polarity和AGNews的NPMI一致性中,现有SOTA主题模型的得分提高了约9- 15%。此外,我们表明,我们的方法学习更好的潜在文档主题功能相比,现有的主题模型,通过改进两个下游任务:文档分类和主题引导的关键词生成。
2021-07-09 cs.CL
Document Similarity for Texts of Varying Lengths via Hidden Topics
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);T. J. Watson Research Center, IBM(IBM T. J.沃森研究中心)
测量文本之间的相似性是几个应用程序的重要任务。现有的方法来衡量文档相似性是不够的文档对具有非可比长度,如长文档及其摘要。这是因为词汇,上下文和抽象之间的差距丰富的细节和它的简明摘要的抽象信息的长文档。在本文中,我们提出了一个文档匹配的方法来弥补这一差距,通过比较隐藏主题的共同空间中的文本。我们评估了两个匹配任务的匹配算法,发现它始终广泛优于强基线。我们还强调了将领域知识结合到文本匹配中的好处。
2019-03-26 cs.CL
Dynamic and Static Topic Model for Analyzing Time-Series Document Collections
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
为了从文本中提取有意义的主题,应该适当考虑它们的结构。在本文中,我们的目标是分析结构化的时间序列文件,如收集的新闻文章和一系列的科学论文,其中的主题随着时间的推移,取决于过去的多个主题,并在每个时间彼此相关。为此,我们提出了一个动态和静态的主题模型,它同时考虑了动态结构的时间主题演变和静态结构的主题层次在每个时间。我们展示了科学论文集的实验结果,其中所提出的方法优于传统的模型。此外,我们展示了一个提取的主题结构的例子,我们发现这有助于分析研究活动。
2018-05-06 cs.CL
Topic Model Supervised by Understanding Map
Tsinghua University(清华大学)
受物理学中质心概念的启发,提出了一种扩展的语义质心(SCOM),用于发现文档的抽象主题。这个概念是在一个框架模型下,称为理解地图监督主题模型(UM-S-TM)。UM-S-TM的设计目标是让文档内容和语义网络(具体地说,理解地图)在解释文档的含义方面发挥作用。基于不同的理由,设计了三种可能的方法来发现文档的SCOM。在人工文档和理解地图上进行了实验,以检验其结果。此外,还测试了它的文档矢量化能力和顺序信息捕获能力。我们还比较了UM-S-TM与概率主题模型,如潜在狄利克雷分配(LDA)和概率潜在语义分析(pLSA)。
2022-05-27 cs.CL
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix(Stitch Fix公司)
分布式密集词向量已被证明是有效的,在捕捉语言中的标记级语义和句法的语义,而主题模型可以形成可解释的表示在文档。在这项工作中,我们描述了lda2vec,一个模型,学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反,该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架,并允许无监督的文档表示面向科学家使用,同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
Zero-shot topic generation
Primer
我们提出了一种方法来生成主题,使用一个模型训练只为文档标题生成,在训练过程中给出零个主题的例子。我们利用的功能,捕捉文档中的候选跨度的相关性,为该文档生成一个标题。输出是与描述文档最相关的短语的加权集合并在语料库中区分它,而无需访问语料库的其余部分。我们进行了一项双盲试验,其中人类注释者对我们机器生成的主题以及与《卫报》和《赫芬顿邮报》的新闻文章相关的原始人类写作主题的质量进行了评分。结果表明,我们的zero-shot模型生成的新闻文档的主题标签,平均质量等于或高于人类编写的,由人类判断。
2020-04-29 cs.CL
GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization
National Centre for Text Mining(国家文本挖掘中心);The University of Manchester(曼彻斯特大学);Chancefocus AMC
最近,神经主题模型(NTM)已被纳入到预训练的语言模型(PLM),以捕捉全局语义信息的文本摘要。然而,在这些方法中,仍然存在的方式,他们捕获和集成的全局语义信息的限制。在本文中,我们提出了一种新的模型,图对比主题增强语言模型(GRETEL),它结合了图对比主题模型与预训练的语言模型,充分利用全局和局部上下文语义的长文档提取摘要。为了更好地捕获全局语义信息并将其合并到PLM中,图对比主题模型集成了分层Transformer编码器和图对比学习,以融合来自全局文档上下文和黄金摘要的语义信息。为此,GRETEL鼓励模型有效地提取与黄金摘要主题相关的突出句子,而不是覆盖次优主题的冗余句子。在一般领域和生物医学数据集上的实验结果表明,我们提出的方法优于SOTA方法。
2022-08-21 cs.CL
Topic-Aware Encoding for Extractive Summarization
文档摘要提供了一种更快地理解文本文档集合的工具,并有几个实际应用。随着在线文本数据的增长,近年来提出了许多摘要模型。基于序列到序列(Seq2Seq)的神经摘要模型由于其高性能而在摘要领域中应用最广泛。这是因为在编码时充分考虑了文本中的语义信息和结构信息。然而,现有的抽取式摘要模型很少关注和利用中心主题信息来辅助摘要的生成,导致模型不能保证生成的摘要是在主主题下生成的。一个冗长的文档可以跨越多个主题,而一个摘要无法公正地处理所有主题。因此,生成高质量摘要的关键是确定中心主题,并在此基础上构建摘要,特别是对于长文档。我们提出了一个主题感知编码的文档摘要来处理这个问题。该模型有效地结合了句法级和主题级信息,构建了一个全面的句子表示。具体而言,在基于神经元的文本级表示学习中添加神经元主题模型,以充分考虑用于捕获原始文档中的关键内容的中心主题信息。在三个公共数据集上的实验结果表明,我们的模型优于最先进的模型。
2022-03-31 cs.CL
Bilingual Topic Models for Comparable Corpora
Salesforce(赛富时);University of Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University of Lorraine(洛林大学)
概率主题模型,如潜在狄利克雷分配(LDA)先前已扩展到双语设置。这些扩展中的一个基本建模假设是,输入语料库是文档对的形式,其组成文档共享单个主题分布。然而,对于由主题仅在某种程度上相似的文档组成的可比语料库来说,这种假设是强有力的,而这些文档又是最常见或最容易获得的。在本文中,我们放松了这一假设,提出了成对的文件有单独的,但绑定的主题分布。%成对文档的分布之间的绑定机制。我们建议,绑定的强度应取决于每对的语义相似性。为了估计用不同语言编写的文档的相似性,我们使用了通过浅层神经网络学习的跨语言词嵌入。我们通过扩展两个主题模型来评估所提出的绑定机制:假设词袋输入的LDA的双语适应模型和以语义连贯段的边界形式纳入部分文本结构的模型。为了评估新型主题模型的性能,我们对五个双语、可比较的英语文档与法语、德语、意大利语、西班牙语和葡萄牙语文档语料库进行了内在和外在实验。结果表明,我们的方法的效率方面的主题一致性测量的归一化逐点互信息,和泛化性能测量的困惑,并在跨语言的文档检索任务中的每一个语言对的平均倒数排名。
2021-11-30 cs.CL
Multi-Topic Multi-Document Summarizer
Electronics Research Institute(电子研究所);Faculty of Computers and Information, Benha University(班哈大学计算机与信息学院)
现有的多文档文摘系统虽然能够成功地提取摘要语句,但存在覆盖率低、重要语句提取不准确、句子冗余和连贯性差等问题。本研究引入了一个新的概念,质心的方法和报告的新技术提取摘要句子的多文档。在这两种技术中,关键词都被用来衡量句子和文档。第一种摘要技术(Sen-Rich)更喜欢最大丰富度的句子。而第二个(Doc-Rich),更喜欢来自质心文档的句子。为了演示新的摘要系统应用程序提取阿拉伯文文档的摘要,我们进行了两个实验。首先,我们应用Rouge测量来比较在TAC 2011上提出的系统之间的新技术。结果表明,Sen-Rich优于ROUGE-S中的所有系统。第二,将该系统应用于多主题文档的摘要。使用人工评估,结果表明,Doc-Rich是优越的,其中总结句的特点是额外的覆盖范围和更多的衔接。
2014-01-03 cs.CL
Neural Topic Modeling with Cycle-Consistent Adversarial Training
Southeast University(东南大学)
深度生成模型的进展吸引了神经主题建模的重大研究兴趣。最近提出的对抗神经主题模型的主题与对抗训练的生成器网络,并采用狄利克雷之前捕捉潜在的主题的语义模式。它是有效的,在发现连贯的主题,但无法推断给定的文档或利用可用的文档标签的主题分布。为了克服这些限制,我们提出了主题建模与周期一致的对抗训练(ToMCAT)及其监督版本sToMCAT。ToMCAT采用一个生成器网络来解释主题和一个编码器网络来推断文档主题。对抗性训练和周期一致性约束用于鼓励生成器和编码器产生彼此协调的真实样本。sToMCAT通过将文档标签合并到主题建模过程中来扩展ToMCAT,以帮助发现更连贯的主题。在无监督/有监督主题建模和文本分类上对所提出的模型的有效性进行了评估。实验结果表明,我们的模型可以产生连贯和信息丰富的主题,优于一些竞争基线。
2020-09-29 cs.CL
Combining Temporal Information and Topic Modeling for Cross-Document Event Ordering
University of Alicante(阿利坎特大学)
从书面新闻文章的集合中构建统一的时间线需要跨文档事件共指消解和时间关系抽取。在本文中,我们提出了一种方法事件共指消解根据:a)相似的时间信息,和b)相似的语义参数。使用自动时间信息系统(TIPSem)检测时间信息,而语义信息通过LDA主题建模表示。对我们方法的评估表明,它在SemEval2015任务4:时间轴:跨文档事件排序中获得了最高的微平均F分数结果(TrackB为25.36%,SubtrackB为23.15%),与其他系统相比提高了6%。然而,我们的实验也显示了一些缺点的主题建模方法,降低了系统的性能。
2015-06-10 cs.CL
Contrastive Learning for Neural Topic Model
VinAI Research(VinAI研究院);Nanyang Technological University(南洋理工大学)
最近的实证研究表明,对抗性主题模型(ATM)可以成功地捕捉文档的语义模式,通过区分一个文档与另一个不相似的样本。然而,利用这种区分生成架构有两个重要的缺点:(1)该架构不涉及相似的文档,这些文档具有相同的显着词的文档-词分布;(2)它限制了整合外部信息的能力,例如文档的情感,这已被证明有利于神经主题模型的训练。为了解决这些问题,我们从数学分析的角度重新审视了对抗性主题架构,提出了一种新的方法来将区分性目标重新表述为优化问题,并设计了一种新的采样方法来促进外部变量的整合。该方法鼓励模型考虑相似样本之间的关系,并对不同样本之间的相似性进行约束;而基于内部输入和重构输出的抽样方法有助于为模型提供对主题有贡献的突出词。实验结果表明,我们的框架优于其他国家的最先进的神经主题模型在三个常见的基准数据集,属于不同的领域,词汇量大小,和文档长度方面的主题一致性。
2021-10-25 cs.CL
FLATM: A Fuzzy Logic Approach Topic Model for Medical Documents
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);Johns Hopkins University(约翰斯·霍普金斯大学)
医学领域文本分析的挑战之一是分析大规模的医学文档。因此,查找相关文件变得更加困难。主题建模是一种基于主题发现的信息检索方法。文档中的主题有助于在有查询和没有查询的情况下检索相同主题的文档。在本文中,我们提出了一种新的方法,使用模糊聚类的主题建模。为了评估我们的模型,我们用两个医学文档的文本数据集进行了实验。通过文档分类和文档建模进行的评价指标表明,我们的模型产生更好的性能比LDA,表明模糊集理论可以提高在医疗领域的主题模型的性能。
2019-11-25 cs.CL cs.IR
Thematic Annotation: extracting concepts out of documents
与主题注释的标准方法不同,这项工作中使用的技术并不主要依赖于某种-可能是统计-关键字提取。事实上,建议的注释算法使用一个大规模的语义数据库-EDR电子词典-它提供了一个概念层次的基础上,上下义词的关系。这个概念层次结构是用来生成一个合成表示的文件,通过聚合的话存在于局部同质的文件片段到一组概念,最好地保持文件的内容。这种新的提取技术使用了一种未经探索的主题选择方法。代替使用基于语义资源的语义相似性度量,后者被处理以提取与文档内容相关的概念层次结构的部分。然后搜索这个概念层次结构,以提取最相关的概念集来表示文档中讨论的主题。请注意,该算法能够提取文档中不直接存在的通用概念。
2004-12-30 cs.CL
ProxAnn: Use-Oriented Evaluations of Topic Models and Document Clustering
ETH Zürich(苏黎世联邦理工学院);University of Maryland(马里兰大学);Universidad Carlos III de Madrid(马德里卡斯蒂利亚-拉曼恰大学)
ProxAnn提出可扩展的人类评估协议及LLM自动化代理,通过让标注者推断主题类别并应用于其他文档来评估主题模型与文档聚类,实验证明最佳LLM代理在统计上与人类标注者不可区分,可作为自动化评估的合理替代。
2025-07-01 cs.CL
One Configuration to Rule Them All? Towards Hyperparameter Transfer in Topic Models using Multi-Objective Bayesian Optimization
EURECOM(欧洲通信研究与教育中心(EURECOM));University of Milano-Bicocca(米兰比可卡大学);Telepathy Labs(Telepathy实验室)
主题模型是从文档集合中提取潜在主题的统计方法。当执行主题建模时,用户通常期望主题是一致的,彼此之间是不同的,并且构成用于下游任务(例如,文档分类)的良好文档表示。在本文中,我们进行了多目标超参数优化的三个著名的主题模型。所得到的结果揭示了不同目标的冲突性质,并且训练语料库特征对于超参数选择至关重要,这表明可以在数据集之间传输最佳超参数配置。
2022-02-15 cs.CL
$T^5Score$: A Methodology for Automatically Assessing the Quality of LLM Generated Multi-Document Topic Sets
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出 $T^5Score$ 评估方法论,通过将多文档主题集质量分解为可量化方面并辅以易执行的标注任务,解决了 LLM 生成主题评估一致性低的问题,并在多数据集上验证了其有效性。
2025-05-29 cs.CL
Topic Scaling: A Joint Document Scaling -- Topic Model Approach To Learn Time-Specific Topics
Universität Hamburg(汉堡大学)
本文提出了一种新的方法来研究顺序语料库,通过实施一个两阶段的算法,学习时间为基础的主题相对于规模的文档位置,并介绍了主题缩放的概念,在同一文档规模内排名学习的主题。第一阶段使用Wordfish(一种基于Poisson的文档缩放方法)对文档进行排名,以估计文档位置,在第二阶段,文档位置作为因变量,通过有监督的潜在狄利克雷分配来学习相关主题。这种新颖性带来了两个创新的文本挖掘,因为它解释了文档的位置,其规模是一个潜在的变量,并排名推断的主题的文档规模,以匹配其出现在语料库中,并跟踪其演变。这种归纳方法在美国国情咨文两党演讲中进行了测试,结果表明,每一方都在学习量表的一端占据主导地位,并在双方任期之后进行可互换的过渡。除了在预测样本中的文档的位置从主题得分证明了高精度,该方法揭示了进一步隐藏的主题,区分相似的文档,通过增加学习的主题的数量,以展开潜在的嵌套层次的主题结构。与其他流行的主题模型相比,Topic Scaling可以根据文档相似性学习主题,而无需指定时间频率来学习主题演化,从而捕获比动态主题模型更广泛的主题模式,并产生比普通潜在Dirichlet分配更可解释的输出。
2021-03-31 cs.CL cs.IR cs.LG
Hierarchical Multi-Label Classification of Scientific Documents
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
自动主题分类已被广泛研究,以帮助管理和索引的数字收集的科学文献。随着近年来出现的大量主题,有必要将它们按层次排列。因此,自动分类系统需要能够分级地对文档进行分类。此外,每篇论文往往被分配到一个以上的相关主题。例如,一篇论文可以被分配到层次树中的几个主题。在本文中,我们介绍了一个新的数据集,用于科学论文的分层多标签文本分类(HMLTC),称为SciHTC,它包含来自ACM CCS树的186,160篇论文和1,233个类别。我们为HMLTC建立了强大的基线,并提出了一种多任务学习方法,用于主题分类,关键字标记作为辅助任务。我们的最佳模型达到了34.57%的Macro-F1得分,这表明该数据集为分层科学主题分类提供了重要的研究机会。我们在Github上提供数据集和代码。
2022-11-05 cs.CL
HiTR: Hierarchical Topic Model Re-estimation for Measuring Topical Diversity of Documents
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所);Institute for Logic, Language, and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
高度的主题多样性通常被认为是有趣的文本文档的一个重要特征。最近提出的一项建议,用于衡量主题的多样性,确定了三个分布评估文件的多样性:文件内的话,主题内的话,和文件内的主题的分布。主题模型在这一方法中起着核心作用,因此,它们的质量对衡量主题多样性的有效性至关重要。主题模型的质量受两个因素的影响:主题的一般性和不纯性。一般主题仅包括背景语料库的公共信息,并且被分配给大多数文档。不纯主题包含与主题无关的词。杂质降低了主题模型的可解释性。不纯的主题很可能被错误地分配给文档。我们提出了一个分层的重新估计过程,旨在消除一般性和杂质。我们的方法有三个重新估计组件:(1)文档重新估计,从文档中删除一般单词;(2)主题重新估计,重新估计每个主题的单词分布;(3)主题分配重新估计,重新估计每个文档在主题上的分布。为了测量文本文档的主题多样性,我们的HiTR方法比在PubMed数据集上测量的最先进的方法有所改进。
2018-10-12 cs.CL cs.IR cs.LG
Joint Lifelong Topic Model and Manifold Ranking for Document Summarization
Beihang University(北京航空航天大学)
由于流形排序方法对基于已知数据的未知数据的排序有显著的影响,通过使用加权网络,许多研究人员使用流形排序方法来解决文档摘要任务。然而,他们的模型只考虑了原始特征,而忽略了句子的语义特征时,他们构建的加权网络的流形排序方法。针对这一问题,提出了两种基于流形排序方法的改进模型。一种是结合主题模型和流形排序方法(JTMMR)来解决文档摘要问题。该模型不仅利用了原始特征,而且利用语义特征来表示文档,提高了流形排序方法的准确性。另一种是结合终身主题模型和流形排序方法(JLTMMR)。该模型在JTMMR的基础上,增加了知识约束,提高了主题的质量。同时,我们还加入了文档间关系的约束,挖掘出更好的文档语义特征。JTMMR模型通过使用更好的语义特征来改善流形排序方法的效果。实验表明,我们的模型可以取得更好的结果比其他基线模型的多文档摘要任务。同时,我们的模型在单文档摘要任务上也有很好的表现。在结合了一些基本的表面特征后,我们的模型明显优于近年来基于深度学习的一些模型。然后,通过分析加入反馈的效果,为终身机器学习做了一个探索性的工作。实验结果表明,在模型中加入反馈的效果是显著的。
2019-07-07 cs.CL
SECTOR: A Neural Model for Coherent Topic Segmentation and Classification
University of Fribourg(弗里堡大学)
在搜索信息时,人类读者首先浏览文档,找出相关部分,然后专注于几个句子来解决她的意图。然而,文档结构的高度变化使得一目了然地识别给定部分的突出主题变得复杂。为了应对这一挑战,我们提出了部门,一个模型来支持机器阅读系统分割成连贯的部分,并分配主题标签的每一部分的文件。我们的深度神经网络架构在文档过程中学习潜在主题嵌入。这可以用来从纯文本中分类本地主题,并在主题转换时对文档进行分段。此外,我们贡献了WikiSection,这是一个公开可用的数据集,包含来自两个不同领域(疾病和城市)的242k英语和德语标记部分。从我们对20个架构的广泛评估中,我们报告了来自英语城市领域的30个主题的分割和分类的最高分数为71.6%F1,由我们的SECTOR LSTM模型与布隆过滤器嵌入和双向分割进行评分。与具有基线分割的最先进的CNN分类器相比,这是29.5点F1的显著改进。
2019-02-13 cs.CL
Unveiling Themes in Judicial Proceedings: A Cross-Country Study Using Topic Modeling on Legal Documents from India and the UK
Manipal Academy of Higher Education(马尼帕尔高等教育学院)
本研究使用 LDA、NMF 和 Bertopic 主题建模算法对印度和英国的冗长法律文档进行标注,以区分两国案件类型差异,并分析印度案件主导主题随时间的演变。
2024-06-30 cs.CL
A document processing pipeline for the construction of a dataset for topic modeling based on the judgments of the Italian Supreme Court
本文提出集成YOLOv8x、OCR、匿名化与BERTopic的意大利最高法院判决处理流水线,构建公开主题建模数据集,并由LLM生成标签和摘要,实验表现优异。
2025-05-13 cs.CL
Discovering topics in text datasets by visualizing relevant words
Technische Universität Berlin(柏林工业大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Korea University(高丽大学)
在处理大量文档时,必须快速获得文本内容的概述。在本文中,我们将展示如何通过使用聚类算法来识别数据集中的主题,然后选择和可视化相关的单词,将一组文档与其他文本区分开来,以总结属于每个主题的文档的内容。我们展示了我们的方法,发现在纽约时报的文章片段集合的热门话题。
2017-07-18 cs.CL
Anchor Prediction: A Topic Modeling Approach
Université de Lyon(里昂大学);MeetSYS
通过超链接连接的文档网络,如维基百科,无处不在。作者插入了超链接,以丰富文本,方便在网络上浏览。然而,作者倾向于只插入一小部分相关的超链接,主要是因为这是一项耗时的任务。在本文中,我们解决了一个注释,我们称之为锚预测。尽管它在概念上接近于链接预测或实体链接,但它是一个不同的任务,需要开发一个特定的方法来解决它。给定一个源文档和一个目标文档,这个任务包括自动识别源文档中的锚点,即应该携带指向目标文档的超链接的单词或术语。我们提出了一个上下文中的关系主题模型,CRTM,该模型作为在源文档中的锚和目标文档的整个内容的本地上下文的函数文件之间的直接链接。该模型可用于预测源文档中的锚点,给定目标文档,而不依赖于先前看到的提及或标题的字典,也不依赖于任何外部知识图谱。作者可以从CRTM中受益,让它自动建议超链接,给定一个新文档和一组要连接的目标文档。它还可以通过在他们正在阅读的文档之间动态插入超链接来使读者受益。在几个维基百科语料库(英语,意大利语和德语)上进行的实验突出了锚点预测的实用性,并证明了我们的方法的相关性。
2022-06-01 cs.CL
Comprehensive Evaluation of Large Language Models for Topic Modeling
The University of Tokyo(东京大学);The University of Edinburgh(爱丁堡大学)
本文定量评估了大型语言模型在主题建模中的表现,发现其能生成连贯多样的主题且幻觉较少,但存在仅关注文档部分内容的捷径行为,且对主题类别的可控性有限。
2024-06-25 cs.CL
Topic-Guided Abstractive Multi-Document Summarization
Harbin Institute of Technology(哈尔滨工业大学)
多文档文摘的一个关键点是了解文档之间的关系。在本文中,我们提出了一种新的抽象MDS模型,在该模型中,我们表示多个文档作为一个异构的图,考虑到不同粒度的语义节点,然后应用图序列框架生成摘要。此外,我们采用神经主题模型来联合发现潜在的主题,这些主题可以作为跨文档的语义单元来桥接不同的文档,并提供全局信息来指导摘要生成。由于主题提取可以被视为一种特殊类型的摘要,它将文本“概括”为更抽象的格式,即,在主题分发方面,我们采用多任务学习策略,对主题和摘要模块进行联合训练,使其相互促进。在Multi-News数据集上的实验结果表明,我们的模型在Rouge指标和人工评价方面都优于以前最先进的MDS模型,同时学习高质量的主题。
2021-10-21 cs.AI cs.CL
TopiCLEAR: Adaptive embedding clustering for interpretable topic discovery from short texts
Graduate School of Frontier Sciences, The University of Tokyo Chiba, Japan(前沿科学研究生院,东京大学千叶分校);Mathematics and Informatics Center, The University of Tokyo Tokyo, Japan(数学与信息学中心,东京大学东京分校)
TopiCLEAR通过聚类嵌入与自适应降维方法,提升社交媒体文本的主题提取准确性和可解释性。
2026-08-28 cs.CL
Prior-aware Dual Decomposition: Document-specific Topic Inference for Spectral Topic Models
Cornell University(康奈尔大学)
谱主题建模算法对词共现统计的矩阵/张量进行操作,以学习特定于主题的词分布。这种方法消除了对原始文档的依赖,并在效率和可证明的主题推理方面产生了实质性的收益,但代价是:模型不再能够提供有关单个文档的主题组成的信息。最近提出的线性逆(TLI)映射观察到的词的每个文件回到其主题组成。然而,它的线性特性限制了推理质量,没有考虑主题的重要先验信息。在本文中,我们评估简单的概率逆(SPI)方法和新的先验感知的双重分解(PADD),能够学习文档特定的主题组成并行。实验表明,PADD成功地利用主题相关性作为先验,特别是优于TLI和学习质量的主题组成可比吉布斯采样的各种数据。
2017-11-19 cs.CL cs.IR cs.LG
Topics in the Haystack: Extracting and Evaluating Topics beyond Coherence
TU Clausthal(克劳斯塔尔工业大学);University of Göttingen(哥廷根大学)
在自然语言处理(NLP)中,从大型文本语料库中提取和识别潜在主题变得越来越重要。大多数模型,无论是类似于潜在狄利克雷分配(LDA)的概率模型还是神经主题模型,都遵循相同的主题可解释性和主题提取的基本方法。我们提出了一种方法,它结合了句子和文档主题的更深入的理解,并超越了简单地分析数据中的词频。这使得我们的模型能够检测潜在的主题,这些主题可能包括不常见的单词或新词,以及文档中不存在的单词。此外,我们提出了几个新的评估指标的基础上入侵者的话和相似性措施的语义空间。我们提出的相关系数与人类识别入侵者的话,并实现接近人类水平的结果,在词入侵任务。我们证明了我们的方法与一个大型的基准研究的竞争力的表现,并取得优异的结果相比,国家的最先进的主题建模和文档聚类模型。
2023-03-30 cs.CL
The study of short texts in digital politics: Document aggregation for topic modeling
Pennsylvania State University(宾夕法尼亚州立大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文研究短文本聚合对主题建模的影响,通过分析美国州议员的一百万条推文发现,按账户聚合文档可使主题与州的关联性更强,并在维基百科数据上复现了该结果。
2025-03-07 cs.CL cs.LG
Topically Driven Neural Language Model
IBM Research(IBM研究院)
语言模型通常应用于句子级别,而不访问更广泛的文档上下文。我们提出了一种神经语言模型,它以类似主题模型的架构的形式结合了文档上下文,从而在当前句子之外提供了更广泛的文档上下文的简洁表示。在一系列数据集上的实验表明,我们的模型在语言模型的困惑方面优于纯基于语义的模型,并导致主题可能比标准LDA主题模型产生的主题更连贯。我们的模型还能够为主题生成相关句子,提供另一种解释主题的方式。
2017-05-02 cs.CL
A Bayesian Multilingual Document Model for Zero-shot Topic Identification and Discovery
Brno University of Technology(布尔诺理工大学);KL University(KL大学)
提出一种贝叶斯多语言文档模型,通过高斯分布编码文档嵌入不确定性并传播至线性分类器,实现零样本跨语言主题识别,在中资源语言上优于大规模神经网络系统,并改进了评估协议。
2024-03-23 cs.CL
Investigating the Impact of Text Summarization on Topic Modeling
本文提出利用预训练大型语言模型在输入主题模型前生成文档摘要以提升主题建模性能,发现该方法对长文档尤为有效且存在最优摘要长度,相比以往模型取得了更好的主题多样性与可比的连贯性。
2024-09-28 cs.CL
Improving Contextualized Topic Models with Negative Sampling
Indian Association for the Cultivation of Science(印度科学培育协会);Ashoka University(阿育王大学);Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
主题建模已经成为探索大型文档集的主要方法。最近的主题建模方法使用大型上下文语言模型和变分自编码器。在本文中,我们提出了一个负采样机制的上下文化的主题模型,以提高生成的主题的质量。特别是,在模型训练期间,我们扰动生成的文档主题向量,并使用三元组损失来鼓励从正确的文档主题向量重建的文档与输入文档相似,而与从扰动向量重建的文档不同。在三个公开的基准数据集上进行的不同主题计数的实验表明,在大多数情况下,我们的方法导致主题一致性比基线增加。我们的模型也实现了非常高的主题多样性。
2023-03-27 cs.CL cs.LG
Realistic Zero-Shot Cross-Lingual Transfer in Legal Topic Classification
Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd(Cognitiv+有限公司);University of Copenhagen(哥本哈根大学)
我们考虑zero-shot跨语言迁移在法律主题分类使用最近的MultiEURLEX数据集。由于原始数据集包含并行文档,这是不现实的zero-shot跨语言迁移,我们开发了一个新版本的数据集没有并行文档。我们使用它来证明基于简化的方法大大优于多语言预训练模型的跨语言微调,这是MultiEURLEX之前最好的zero-shot传输方法。我们还开发了一个双语教师-学生zero-shot传输方法,利用额外的未标记的文件的目标语言,并表现得更好的模型微调直接标记的目标语言文件。
2022-06-08 cs.CL
Leveraging Collection-Wide Similarities for Unsupervised Document Structure Extraction
Allen Institute for AI(Allen人工智能研究所);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Bar-Ilan University(巴伊兰大学)
本文提出一种无监督方法,利用文档间和文档内相似性提取跨领域文档集合的整体结构,通过捕捉重复主题并抽象化标题变体,为人类和结构感知模型提供帮助。
2024-06-20 cs.CL
Improving Term Frequency Normalization for Multi-topical Documents, and Application to Language Modeling Approaches
POSTECH(浦项科技大学);KISTI(韩国科学技术信息研究院)
由于文档的长度不同,词频规范化是一个严重的问题。通常,文档变长是由于两个不同的原因-冗长和多主题。首先,冗长意味着同一主题被与该主题相关的术语重复提及,因此术语频率比概括良好的术语频率更高。第二,多主题性表明一份文件对多个主题进行了广泛的讨论,而不是单一主题。虽然这些文件的特点,应该有不同的处理,所有以前的方法的词频规范化忽略了这些差异,并使用了一个简化的长度驱动的方法,减少的词频只有一个文件的长度,造成不合理的惩罚。为了解决这个问题,我们提出了一种新的TF归一化方法,这是一种部分公理化的方法。首先,我们制定了两个正式的约束,检索模型应满足的文件具有冗长和多主题的特点,分别。然后,我们修改语言建模方法,以更好地满足这两个约束,并推导出新的平滑方法。实验结果表明,该方法显著提高了关键字查询的准确率,并大大提高了详细查询的平均精度。
2015-02-08 cs.CL cs.IR
Graph Contrastive Topic Model
The University of Manchester(曼彻斯特大学);Wuhan University(武汉大学)
本文针对神经主题模型对比学习中词频采样导致的样本偏差问题,提出图对比主题模型GCTM,通过图采样生成语义无关负样本和相关正样本,提升主题连贯性与文档表示学习效果。
2023-07-05 cs.CL
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
文档聚类和主题建模是两个密切相关的任务,可以相互受益。主题建模可以将文档投影到一个主题空间中,这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中,以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中,我们提出了一个多粒度聚类主题模型(MGCTM),它集成了文档聚类和主题建模到一个统一的框架,并共同执行这两项任务,以达到整体最佳性能。该模型将两个组件紧密耦合:用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件,其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题,采用变分推理来近似隐变量的后验,并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
TopicViz: Semantic Navigation of Document Collections
School of Computer Science(计算机学院);Carnegie Mellon University(卡内基梅隆大学)
当人们探索和管理信息时,他们会根据主题和主题进行思考。然而,支持信息探索的软件只能看到表面级别的文本。在本文中,我们将展示如何主题建模-一种用于识别大型文档集合中潜在主题的技术-可以支持语义探索。我们提出TopicViz,一个交互式的信息探索环境。TopicViz将传统的搜索和引用图功能与一系列新颖的交互式可视化相结合,以力导向布局为中心,将文档链接到主题模型发现的潜在主题。我们描述了几个使用场景中,TopicViz支持大型文档集合的快速意义构建。
2011-11-04 cs.AI cs.CL cs.HC
Graph-Community Detection for Cross-Document Topic Segment Relationship Identification
Instituto Superior Técnico(高等技术学院);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个图-社区发现的方法来识别跨文档的关系,在主题段的水平。给定一组相关文档,我们通过聚类具有相似内容(主题)的片段来自动找到这些关系。在这种情况下,我们研究了不同的权重机制如何影响发现的单词社区,涉及到不同的主题中发现的文件。最后,我们测试了不同的映射函数来分配主题段到单词社区,确定哪些主题段被认为是等价的。通过执行此任务,可以实现高效的多文档浏览,因为当用户在一个文档中找到相关内容时,我们可以提供对其他文档中类似主题的访问。我们在两个不同的场景中部署我们的方法。一个是教育场景,需要在学习材料之间找到对等关系;另一个是社会背景下的一系列对话,学生讨论常见的话题。结果表明,我们提出的方法更好地发现等价关系的学习材料的文件,并在社会语音领域,其中表现最好的方法是聚类技术,获得了接近的结果。
2016-06-13 cs.CL cs.IR cs.SI
Topic Extraction of Crawled Documents Collection using Correlated Topic Model in MapReduce Framework
University of Computer Studies(计算机研究大学);Faculty of Computing(计算机学院)
大量的可用研究文档的巨大增长促使研究人员提出主题模型来提取文档集合中的潜在语义主题。然而,如何从文档集合中提取出隐藏的主题已经成为许多主题模型应用的关键任务。此外,传统的主题建模方法遭受的可扩展性问题时,文档集合的大小增加。本文在MapReduce框架下实现了基于变分期望最大化算法的相关主题模型,解决了相关主题模型的可扩展性问题。所提出的方法利用从公共数字图书馆爬取的数据集。此外,抓取的文档的全文进行分析,以提高MapReduce CTM的准确性。最后通过实验验证了该算法的有效性。从评估,所提出的方法具有可比的性能方面的主题一致性与LDA实现MapReduce框架。
2020-01-06 cs.CL cs.IR cs.LG