Nonparametric Spherical Topic Modeling with Word Embeddings
MIT(麻省理工学院);Harvard University(哈佛大学)
传统的主题模型没有考虑语言中的语义相关性。最近的分布表示的话表现出语义一致性的方向度量,如余弦相似性。然而,现有的主题模型中使用的分类或高斯观测分布都不适合利用这种相关性。在本文中,我们建议使用冯米塞斯-费舍尔分布模型的密度字在一个单位球。这种表示非常适合于方向数据。我们使用分层狄利克雷过程为我们的基本主题模型,并提出了一个有效的推理算法的基础上随机变分推理。该模型使我们能够自然地利用词嵌入的语义结构,同时灵活地发现主题的数量。实验表明,我们的方法优于竞争对手的方法在两个不同的文本语料库的主题一致性,同时提供有效的推理。
2016-04-01 cs.CL cs.IR cs.LG
Hierarchical Latent Semantic Mapping for Automated Topic Generation
School of Information and Communication Engineering(信息与通信工程学院);Beijing University of Posts and Telecommunications(北京邮电大学)
许多信息存在于前所未有的大量文本数据中。管理这些大规模文本数据的分配是许多领域的重要问题。主题模型在这个问题上表现得很好。传统的生成式模型(PLSA,LDA)是话题建模的主流方法,近年来对话题生成的研究主要集中在对这些模型的改进和扩展上。然而,传统生成模型的结果对主题数量K敏感,必须手动指定。从语料库中生成主题的问题类似于网络中的社区发现。许多有效的算法可以自动地从网络中发现社区,而无需手动指定社区的数量。受这些算法的启发,本文提出了一种新的基于层次潜在语义映射(HLSM)的主题自动生成方法。HLSM计算潜在主题空间中每对词之间的关联,然后构建具有这种关联的词的单分网络,并从该网络分层生成主题。我们将HLSM应用于几个文档集合,并与几种最先进的方法进行了实验比较,证明了其良好的性能。
2015-11-26 cs.CL cs.IR cs.LG
$S^3$ -- Semantic Signal Separation
Aarhus University(奥胡斯大学)
针对现有上下文主题模型速度慢、不稳定、需大量预处理的问题,提出基于理论的$S^3$语义信号分离方法,通过独立成分分析分解文档嵌入挖掘主题,无需预处理,速度是BERTopic的4.5倍,已在Turftopic包中开源实现。
2025-05-19 cs.CL cs.LG stat.ML
Recommendation System based on Semantic Scholar Mining and Topic modeling: A behavioral analysis of researchers from six conferences
Nanjing University of Science and Technology(南京理工大学)
推荐系统在互联网社会中有着重要的作用。计算机科学中的推荐系统在互联网门户的各个方面都有非常实际的用途,例如社交网络和图书馆网站。实现推荐系统的方法有很多种,潜在狄利克雷分配(LDA)是主题建模中的一种常用技术。近年来,研究人员提出了许多基于推荐系统和LDA的方法。根据主题的重要性,本文发现了主题的发展趋势,并发现了LDA主题与学术背景文献之间的关系。实际上,我们应用基于Gibbs抽样算法的概率主题建模,从DBLP数据集中的六个计算机科学会议出版物中进行语义挖掘。根据我们的实验结果,我们的语义框架可以有效地帮助组织更好地组织这些会议,并涵盖未来的研究课题。
2018-12-20 cs.CL cs.IR
Mitigating Data Sparsity for Short Text Topic Modeling by Topic-Semantic Contrastive Learning
Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
为了克服短文本主题建模中的数据稀疏性问题,现有的方法通常依赖于数据增强或短文本的数据特性来引入更多的词共现信息。然而,大多数算法没有充分利用数据的增广性或数据的特征,对数据样本之间的关系学习不足,导致语义相似的文本对的主题分布不一致。为了更好地解决数据稀疏性问题,本文提出了一种新的短文本主题建模框架,主题-语义对比主题模型(TSCTM)。为了充分建模样本之间的关系,我们采用了一种新的对比学习方法,有效的积极和消极的抽样策略的基础上的主题语义。这种对比学习方法细化了表示,丰富了学习信号,从而减轻了稀疏性问题。大量的实验结果表明,我们的TSCTM优于国家的最先进的基线,无论数据增强的可用性,产生高质量的主题和主题分布。
2022-11-23 cs.CL
Semantic-Driven Topic Modeling Using Transformer-Based Embeddings and Clustering Algorithms
University of Colorado Colorado Springs (UCCS)(科罗拉多大学科罗拉多斯普林斯分校);Instituto Politécnico Nacional (IPN)(国家理工学院)
本文提出一种语义驱动的端到端主题建模方法,利用Transformer嵌入、降维和聚类算法提取连贯主题,并在主题质量上优于ChatGPT及传统主题建模算法。
2024-09-30 cs.AI cs.CL
Locality Preserving Loss: Neighbors that Live together, Align together
University Of Maryland Baltimore County (UMBC)(马里兰大学巴尔的摩分校(UMBC))
我们提出了一个局部保持损失(LPL),提高了向量空间嵌入之间的对齐,同时分离不相关的表示。给定两个预训练的嵌入流形,LPL优化模型以投影嵌入并保持其局部邻域,同时将一个流形与另一个对齐。这减少了在跨语言单词对齐等任务中对齐两者所需的数据集的总体大小。我们表明,输入向量空间之间基于LPL的对齐作为正则化器,导致比基线更好和一致的准确性,特别是当训练集的大小很小时。我们证明了LPL优化对齐在语义文本相似性(STS),自然语言推理(SNLI),多体裁语言推理(MNLI)和跨语言单词对齐(CLA)方面的有效性,显示出一致的改进,在较低的资源设置中,我们的基线提高了16%。
2021-03-12 cs.CL cs.LG stat.ML
Semantic Concept Spaces: Guided Topic Model Refinement using Word-Embedding Projections
University of Konstanz(康斯坦茨大学);Ontario Tech University(安大略理工大学)
我们提出了一个框架,允许用户将他们的领域知识的语义主题模型细化,同时保持模型不可知。我们的方法使用户能够(1)理解模型的语义空间,(2)识别潜在的冲突和问题的区域,(3)根据他们的理解重新调整概念的语义关系,直接影响主题建模。这些任务由交互式可视化分析工作区支持,该工作区使用词嵌入投影来定义概念区域,然后可以对其进行细化。用户细化的概念是独立于特定的文档集合,并可以转移到相关的语料库。概念空间中的所有用户交互直接影响底层向量空间模型的语义关系,这反过来又改变了主题建模。除了直接操作之外,我们的系统还通过推荐的交互来指导用户的决策过程,这些交互指出了潜在的改进。这种有针对性的改进旨在最大限度地减少有效的人在回路过程所需的反馈。我们确认了通过我们的方法在两个用户研究中实现的改进,通过我们的视觉知识外化和学习过程显示主题模型质量的提高。
2019-08-01 cs.CL cs.HC cs.IR
Semantic Component Analysis: Introducing Multi-Topic Distributions to Clustering-Based Topic Modeling
LMU Munich and Munich Center for Machine Learning (MCML)(慕尼黑大学和慕尼黑机器学习中心);Technical University of Munich(慕尼黑技术大学)
针对现有主题建模无法高效扩展或假设单主题的局限,提出语义成分分析(SCA),在聚类框架中加入分解步骤以发现多主题,在三种语言数据集上优于BERTopic和TopicGPT。
2025-09-26 cs.CL
TopicViz: Semantic Navigation of Document Collections
School of Computer Science(计算机学院);Carnegie Mellon University(卡内基梅隆大学)
当人们探索和管理信息时,他们会根据主题和主题进行思考。然而,支持信息探索的软件只能看到表面级别的文本。在本文中,我们将展示如何主题建模-一种用于识别大型文档集合中潜在主题的技术-可以支持语义探索。我们提出TopicViz,一个交互式的信息探索环境。TopicViz将传统的搜索和引用图功能与一系列新颖的交互式可视化相结合,以力导向布局为中心,将文档链接到主题模型发现的潜在主题。我们描述了几个使用场景中,TopicViz支持大型文档集合的快速意义构建。
2011-11-04 cs.AI cs.CL cs.HC
Label Semantic Expansion via Label Guided Neural Topic Modeling
Division of Artificial Intelligence, Lingnan University(岭南大学人工智能学院);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);School of Science and Technology, Hong Kong Metropolitan University(香港都会大学科技学院)
该研究提出LGNTM模型,通过“主题服务于标签”的标签语义扩展方法,在多任务实验中展现出优异的标签-主题对齐、标签扩展等性能。
2026-09-01 cs.AI cs.CL
Spatial Semantic Scan: Jointly Detecting Subtle Events and their Spatial Footprint
Heinz College(海因茨学院);Carnegie Mellon University(卡内基梅隆大学)
已经提出了许多使用主题建模来检测文本流中出现的事件的方法。然而,这些方法有缺点,使他们不适合快速检测本地新兴的事件在大量的文本流。我们描述了空间紧凑的语义扫描(SCSS),已专门开发,以克服目前的方法在检测新的空间紧凑的文本流中的事件的缺点。SCSS采用交替优化之间使用语义扫描,以估计对比前景主题的文件,并发现空间附近的高出现率的文件包含的前景主题。我们在急诊科主诉数据集(ED数据集)上评估了我们的方法,以验证我们的方法在从自由文本ED主诉数据中检测真实世界疾病爆发方面的有效性。
2016-05-28 cs.CL cs.LG stat.ML
Semi-Automatic Terminology Ontology Learning Based on Topic Modeling
Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德分校)
本体提供了诸如通用词汇表、可重用性、机器可读内容等特征,并且还允许语义搜索、促进代理交互以及语义Web(Web 3.0)应用的知识的排序和结构化。然而,本体工程中的挑战是自动学习,即,仍然缺乏使用机器学习技术从各种主题的文本语料库或数据集形成本体的全自动方法。本文研究了两种主题建模算法,即LSI & SVD和Mr.LDA,用于主题本体的学习。目标是确定文档和术语之间的统计关系,以最小的人为干预构建主题本体和本体图。通过构建主题本体和对用户查询进行语义检索的实验分析,验证了该方法的有效性。
2017-08-05 cs.CL cs.IR
Neural Attention-Aware Hierarchical Topic Model
Monash University(莫纳什大学);Deakin University(迪肯大学)
神经主题模型(NTM)将深度神经网络应用于主题建模。尽管他们的成功,NTMs通常忽略了两个重要方面:(1)只有文档级的单词计数信息被用于训练,而更细粒度的文本级信息被忽略,以及(2)关于文档,句子和单词的外部语义知识没有被利用的训练。为了解决这些问题,我们提出了一个变分自编码器(VAE)NTM模型,该模型使用词袋(BoW)主题嵌入和预训练语义嵌入的组合来联合重建句子和文档字数。预训练的嵌入首先被转换到一个公共的潜在主题空间中,以使它们的语义与BoW嵌入保持一致。我们的模型还具有分层KL分歧,以利用每个文档的嵌入来正则化其句子的嵌入,从而更加关注语义相关的句子。定量和定性实验都表明了我们的模型在以下方面的有效性:1)降低句子和文档级别的重建错误; 2)从真实世界的数据集中发现更连贯的主题。
2021-10-14 cs.CL cs.LG
Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables
Jilin University(吉林大学);Monash University(莫纳什大学)
最近,离散潜变量模型在自然语言处理(NLP)和计算机视觉(CV)中受到了极大的关注,这归因于它们在表示学习中与连续对应物相当的性能,同时在预测中更具可解释性。在本文中,我们开发了一个主题知情的离散潜在变量模型的语义文本相似性,学习一个共享的潜在空间,通过矢量量化的双对表示。与以往局限于局部语义上下文的模型相比,我们的模型可以通过主题建模来挖掘更丰富的语义信息。我们进一步提高了语义相似性的性能,通过注入量化表示到一个基于transformer的语言模型与一个精心设计的语义驱动的注意力机制。我们通过在各种英语语言数据集上的广泛实验证明,我们的模型能够在语义文本相似性任务中超越几个强大的神经基线。
2022-11-07 cs.AI cs.CL
Keyword Assisted Embedded Topic Model
University of California, Los Angeles(加州大学洛杉矶分校)
通过阐明文本语料库中的潜在结构,主题模型是对大量文档进行分类、总结和探索的重要工具。概率主题模型,如潜在狄利克雷分配(LDA),描述了文档中的单词如何通过一组称为主题的潜在分布生成。最近,嵌入式主题模型(ETM)扩展了LDA,利用词嵌入中的语义信息来生成语义更丰富的主题。由于LDA及其扩展是无监督模型,因此它们的定义不能有效地利用用户对该领域的先验知识。为此,我们提出了关键词辅助嵌入式主题模型(KeyETM),它配备ETM的能力,将用户知识的形式信息的主题级先验的词汇。使用定量指标和人类的反应主题入侵任务,我们证明了KeyETM产生更好的主题比其他指导,生成模型在文献中。
2021-11-22 cs.CL cs.IR cs.LG
Domain-Agnostic Neural Topic Modeling with Contextual Token-Level Semantic Graph Representation
TelePIX AI Center(TelePIX人工智能中心);Samsung Electronics(三星电子);School of Computing & Frontier AI Research Centre Macquarie University(麦考瑞大学计算与前沿人工智能研究中心)
该研究提出领域无关框架DARTopic,通过构建词级语义图并联合训练GNN编码器与主题推理模块,在多领域基准测试中优于基线且效率更优。
2026-08-18 cs.CL cs.LG
BERTopic for Topic Modeling of Hindi Short Texts: A Comparative Study
COEP Technological University(COEP理工大学)
本文评估BERTopic结合6种文档嵌入模型在印地语短文本上的主题建模效果,并与8种传统方法比较,发现其主题一致性表现持续最优。
2025-01-07 cs.CL cs.IR cs.LG
Hybrid Topic-Semantic Labeling and Graph Embeddings for Unsupervised Legal Document Clustering
Department of Mathematical Sciences(数学科学系);Salisbury University(萨里大学);Department of Mathematics and Statistics(数学与统计学系);Carleton College(卡尔顿学院)
针对法律文档标注数据有限、领域性强的分类难题,提出结合Top2Vec语义主题嵌入与Node2Vec图嵌入的混合无监督聚类方法,性能优于基线模型,为法律文本分析提供新思路。
2026-10-20 cs.CL cs.LG stat.ML
Familia: An Open-Source Toolkit for Industrial Topic Modeling
Baidu, Inc.(百度公司)
Familia是一个开源工具包,用于在行业中进行实用的主题建模。Familia将行业主题建模的应用抽象为两种范式:语义表示和语义匹配。这两种范式的有效实现首次公开发布。此外,我们还提供了在大规模工业语料库上训练的现成主题模型,包括潜在狄利克雷分配(LDA),句子LDA和主题词嵌入(TWE)。我们进一步描述了典型的应用程序,成功地供电的主题建模,以减轻混乱和困难的软件工程师在主题模型的选择和利用。
2017-07-31 cs.CL cs.IR
HuBERTopic: Enhancing Semantic Representation of HuBERT through Self-supervision Utilizing Topic Model
LY Corporation(LY公司);Carnegie Mellon University(卡内基梅隆大学)
针对HuBERT掩码预测任务难以有效利用全局语义信息的问题,提出HuBERTopic方法,通过主题模型生成话语主题标签并添加辅助分类任务以融入全局语义,在多数下游任务中取得优于基线的表现。
2023-10-06 cs.CL cs.SD
Topic Modelling of Empirical Text Corpora: Validity, Reliability, and Reproducibility in Comparison to Semantic Maps
University of Duisburg-Essen(杜伊斯堡-埃森大学);University of Amsterdam(阿姆斯特丹大学)
使用卓越研究框架(REF 2014)中提交评估的6,638个社会影响案例描述,我们复制了在此背景下制作的主题模型(潜在狄利克雷分配或LDA),并将结果与使用传统单词文档矩阵(主成分分析或PCA)的因子分析结果进行比较。例如,从样本中删除一小部分文档,平均而言,对LDA的影响要比对基于PCA的模型的影响大得多,以至于在PCA的情况下,最大的失真比基于LDA的模型的最小失真的影响小。然而,在语义一致性方面,LDA模型优于基于PCA的模型。主题模型告诉我们的统计属性的文件集的研究,但结果是统计的,不应该被用于语义解释-例如,在拨款选择和微观决策,或学术工作-没有后续使用特定领域的语义地图。
2018-06-04 cs.CL
Beyond Top Words: MonoTM for Topic Modeling with Interpretable Monosemantic Features
Syracuse University(雪城大学)
MonoTM框架通过解耦文档-主题混合估计与语义解释,利用稀疏自编码器特征,在保留全局主题结构的同时,用语义单元替代词语表示主题,提升下游分析实用性。
2026-09-10 cs.CL cs.HC
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick(华威大学);Southeast University(东南大学)
我们提出了一种新的生成模型,以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是,我们假设,全球潜在的主题是共享的文件,一个词是由一个隐藏的语义向量编码其上下文语义含义,其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入,这自然解决了单词多义的问题。实验结果表明,该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外,与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比,该模型还提取了更多的连贯主题。最后,该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成,以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Topeax -- An Improved Clustering Topic Model with Density Peak Detection and Lexical-Semantic Term Importance
Aarhus University(奥胡斯大学)
Topeax通过结合密度峰值检测和词汇-语义术语重要性,改进了聚类主题模型,提升了聚类恢复和描述质量,同时更稳定地应对样本和超参数变化。
2026-01-29 cs.AI cs.CL
TopicMerge: A Divide and Conquer Approach to Topic Modeling
Oregon State University(俄勒冈州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出TopicMerge,通过多阶段流程结合嵌入方法与LLM方法,在Bills、Wiki数据集上实现最优聚类性能,同时将LLM调用量减少92%以上,兼具高效性与可扩展性。
2026-11-13 cs.CL cs.LG
Understanding the Progression of Educational Topics via Semantic Matching
Ministry of Education, United Arab Emirates(阿拉伯联合酋长国教育部);University of Exeter(埃克塞特大学);Heuristic World(启发世界)
本研究针对课程修订中多层比较繁琐的问题,采用BERT主题建模提取课程主题以分析科目关联、追踪主题演进、识别概念缺口,搭建配套仪表板并经专家验证有效,助力课程优化。
2024-02-10 cs.CL cs.CY cs.LG
Coordinated Topic Modeling
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一个新的问题,称为协调主题建模,模仿人类的行为,同时描述文本语料库。它考虑了一组定义良好的主题,如具有引用表示的语义空间的轴。然后,它使用轴来建模语料库,以便于理解表示。这个新的任务有助于通过重用现有知识来更好地表示语料库,并有利于语料库比较任务。我们设计了ECTM,一个基于嵌入的协调主题模型,有效地使用参考表示捕捉目标语料库的特定方面,同时保持每个主题的全局语义。在ECTM中,我们引入了主题级和文档级的监督,并引入了自我训练机制来解决这个问题。最后,在多个领域的广泛实验表明,我们的模型优于其他基线。
2022-10-22 cs.CL cs.IR
Effective Neural Topic Modeling with Embedding Clustering Regularization
Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学)
针对神经主题模型中的主题坍缩问题,本文提出 ECRTM,通过嵌入聚类正则化使主题嵌入对应独立词嵌入簇中心,从而生成多样连贯主题并提升文档分布与下游分类性能。
2023-06-07 cs.CL
Classifying Idiomatic and Literal Expressions Using Topic Models and Intensity of Emotions
Montclair State University(蒙特克莱尔州立大学);Bauman State Technical University(鲍曼国立技术大学)
我们描述了一个自动分类的成语和文字表达的算法。我们的出发点是,在一个给定的文本片段,如一个段落,是一个共同的讨论主题的高级代表的话不太可能是一个习惯表达的一部分。我们的另一个假设是,习语发生的背景下,通常,更有情感,因此,我们纳入了一个简单的分析的强度的情绪表达的背景。我们调查袋的话主题表示的一至三个段落包含一个表达式,应被归类为成语或字面(目标短语)。我们使用无监督聚类方法,潜在狄利克雷分配(LDA)(Blei等人,2003年)。由于习惯表达具有非组合性,我们假设它们通常呈现出与局部主题中使用的词不同的语义。我们把习语看作是语义离群点,而语义转移的识别就是离群点检测。因此,这种主题表示允许我们使用局部语义上下文来区分习语和字面意思。我们的成果令人鼓舞。
2018-02-27 cs.CL
Semantic-Driven Topic Modeling for Analyzing Creativity in Virtual Brainstorming
College of Engineering and Applied Science, University of Colorado Colorado Springs(工程与应用科学学院,科罗拉多州立大学)
本文提出一种语义驱动的课题建模框架,通过整合Transformer嵌入、降维、聚类和课题提取模块,提升虚拟头脑风暴中创造力分析的效率与准确性。
2026-03-19 cs.AI cs.CL
Topic Model Supervised by Understanding Map
Tsinghua University(清华大学)
受物理学中质心概念的启发,提出了一种扩展的语义质心(SCOM),用于发现文档的抽象主题。这个概念是在一个框架模型下,称为理解地图监督主题模型(UM-S-TM)。UM-S-TM的设计目标是让文档内容和语义网络(具体地说,理解地图)在解释文档的含义方面发挥作用。基于不同的理由,设计了三种可能的方法来发现文档的SCOM。在人工文档和理解地图上进行了实验,以检验其结果。此外,还测试了它的文档矢量化能力和顺序信息捕获能力。我们还比较了UM-S-TM与概率主题模型,如潜在狄利克雷分配(LDA)和概率潜在语义分析(pLSA)。
2022-05-27 cs.CL
Towards Generalising Neural Topical Representations
Monash University(莫纳什大学)
本文针对神经主题模型跨语料库泛化不足的问题,提出用文本增强构造相似文档,并以 TopicalOT 距离约束其主题表示一致性,从而以即插即用方式提升泛化性能。
2024-06-13 cs.CL cs.LG
CEMTM: Contextual Embedding-based Multimodal Topic Modeling
本研究提出上下文增强的多模态主题模型CEMTM,利用微调LVLMs的上下文嵌入与分布注意力机制,通过重构目标对齐跨模态语义,无需重复编码处理多图,在六个基准上优于基线,在少样本检索和复杂领域语义捕捉上表现出色。
2025-10-05 cs.CL cs.LG
Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
Columbia University(哥伦比亚大学);Google Research(谷歌研究院);Independent(独立研究者)
本文提出机制性主题模型(MTMs),利用稀疏自编码器学习可解释特征,以揭示深层概念主题,并通过topic judge评估框架验证其有效性。
2026-08-25 cs.CL cs.LG
A Survey of Syntactic-Semantic Parsing Based on Constituent and Dependency Structures
Tianjin University(天津大学)
句法和语义解析是自然语言处理领域的一个主要研究课题,已经有几十年的研究历史。本文旨在对这一主题进行简要的概述。解析社区包括许多任务,这些任务很难被完全覆盖。在这里,我们集中在两个最流行的形式化分析:成分分析和依存句法分析。成分句法分析主要针对句法分析,而依存句法分析可以同时处理句法和语义分析。本文简要回顾了成分句法分析和依存句法分析的代表性模型,以及具有丰富语义的依存图句法分析。此外,本文还对跨领域、跨语言和联合句法分析模型、句法分析器的应用以及句法分析语料库的开发等相关问题进行了综述。
2020-06-19 cs.CL
When Lexical Change Misleads: Rethinking Dynamic Topic Model Evaluation with Traditional and LLM-Based Metrics
RPTU University Kaiserslautern-Landau(莱茵兰-普法尔茨州立大学凯撒斯劳滕-兰道分校)
该研究针对动态主题模型评估中词汇变化误导的问题,对比传统指标与基于LLM的语义相似性指标,发现后者在CoNTM上与人工判断一致性更高,提出应结合两类指标开展感知词汇变化的评估。
2026-08-17 cs.CL
Graph2topic: an opensource topic modeling framework based on sentence embedding and community detection
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出开源框架 G2T,结合预训练语言模型、语义图社区检测和 TFIDF 变体完成主题建模,并在多长度中英文文档上达到最先进性能。
2023-06-06 cs.CL cs.LG
Topic Compositional Neural Language Model
Duke University(杜克大学);Baidu Silicon Valley AI Lab(百度硅谷人工智能实验室);Purdue University(普渡大学)
我们提出了一个主题组合神经语言模型(TCNLM),一种新的方法,旨在同时捕获的全局语义和本地单词排序结构的文件。TCNLM通过神经主题模型学习文档的全局语义一致性,并且每个学习到的潜在主题的概率进一步用于构建专家混合(MoE)语言模型,其中每个专家(对应于一个主题)是用于学习词序列的局部结构的递归神经网络(RNN)。为了有效地训练MoE模型,应用矩阵分解方法,通过将RNN的每个权重矩阵扩展为主题相关权重矩阵的集合。集合中的每个成员被使用的程度与相应主题的文档相关概率有关。在多个语料库上的实验结果表明,该方法的性能优于纯RNN模型和其他主题引导的语言模型。此外,我们的模型产生合理的主题,也有能力生成有意义的句子的条件下给定的主题。
2018-02-26 cs.CL cs.LG
Topic modeling of public repositories at scale using names in source code
source{d}
程序设计语言本身具有限定语言规范的有限数量的保留关键字和基于字符的标记。然而,程序员通过注释、文本文字和命名实体在代码中大量使用自然语言。程序员定义的名称可以在源代码中找到,这是一个丰富的信息源,可以帮助您对项目进行高层次的理解。本文的目标是将主题建模应用于超过1360万个存储库中使用的名称,并感知推断的主题。这样的研究中的一个问题是出现了没有正式标记为fork的重复存储库(模糊的fork)。我们展示了如何使用为主题建模提取的相同标识符来解决它。我们首先讨论源代码中的命名,然后详细说明我们使用词袋模型上的局部敏感哈希来删除精确重复和模糊重复存储库的方法,然后讨论我们在主题建模方面的工作;最后介绍我们的数据分析结果以及对源代码,工具和数据集的开放访问。
2017-05-20 cs.CL cs.PL
CobwebTM: Probabilistic Concept Formation for Lifelong and Hierarchical Topic Modeling
College of Computing Georgia Institute of Technology(计算学院佐治亚理工学院)
CobwebTM通过增量概率概念形成,实现低参数的终身分层主题模型,在无需预定义主题数量的情况下,实现无监督主题发现、动态主题创建和分层组织,展现了预训练表示与增量符号概念形成结合在主题建模中的高效性。
2026-04-17 cs.CL
FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);The Pennsylvania State University(宾夕法尼亚州立大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文提出 FASTopic 主题模型,通过 DSR 重建文档、主题与词嵌入间的语义关系,并利用 ETP 进行最优传输正则化,在多项基准上实现更优效果、效率、稳定性与可迁移性。
2024-10-26 cs.AI cs.CL
Semantic-Augmented Latent Topic Modeling with LLM-in-the-Loop
Hong Kong Polytechnic University(香港理工大学);AI Group, WeBank Co., Ltd(WeBank金融科技集团)
本文探讨了将 LLMs 整合到 LDA 的初始化和后校正阶段以增强主题模型,发现 LLM 引导的初始化无效,但 LLM 后校正使连贯性提升 5.86%,揭示了 LLM-in-the-Loop 的实际益处并挑战了 LLM 始终更优的信念。
2025-07-11 cs.CL
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection
Cardiff University(卡迪夫大学);Université d’Artois(阿图瓦大学);CRIL-CNRS(法国国家科学研究中心计算机与自动化研究所)
词汇语义学的一个长期存在的挑战在于学习反映其语义属性的词的表示。词嵌入在这方面的显著成功表明,通过总结词提及的句子上下文可以获得高质量的表示。在本文中,我们提出了一种学习单词表示的方法,遵循这一基本策略,但在两个重要方面不同于标准的词嵌入。首先,我们利用上下文化的语言模型(CLM),而不是词向量袋编码上下文。其次,我们不是直接学习单词向量,而是使用主题模型来划分单词出现的上下文,然后为每个单词学习不同的主题特定向量。最后,我们使用一个特定于任务的监督信号,使软选择的结果向量。我们发现,这种简单的策略导致高质量的词向量,这是更预测的语义属性比词嵌入和现有的CLM为基础的战略。
2021-06-15 cs.CL
Dynamic embedded topic models and change-point detection for exploring literary-historical hypotheses
Center for Digital Humanities(数字人文中心);Johns Hopkins University(约翰斯·霍普金斯大学)
本文结合动态嵌入式主题模型与变点检测,分析古典及早期基督教拉丁语中词汇语义情态的历时变化,并提出可迁移至更嘈杂语料的无监督研究路径。
2024-01-25 cs.CL
Towards Transparency: Exploring LLM Trainings Datasets through Visual Topic Modeling and Semantic Frame
Institut Jean Nicod(让·尼科研究所);ENS(巴黎高等师范学院);EHESS(社会科学高等学院);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);SciencePo Medialab(巴黎政治学院媒介实验室)
本文提出Bunka软件,结合主题建模、二维制图与框架分析,以提高大语言模型训练数据集的透明度、质量并加速偏好数据微调。
2024-06-03 cs.AI cs.CL
Syntactic Topic Models
Princeton University(普林斯顿大学)
句法主题模型(STM)是一种贝叶斯非参数语言模型,它发现了语义和句法一致的词(主题)的潜在分布。STM模型依赖性解析语料库中的句子被分组到文档。它假设每个词都是从一个潜在的主题中提取出来的,该主题是通过结合文档级特征和本地句法上下文来选择的。每个文档都有一个潜在主题的分布,就像主题模型一样,它提供了语义的一致性。依赖关系解析树中的每个元素在其子元素的主题上也有一个分布,就像在潜在状态语法模型中一样,这提供了语法一致性。这些分布被卷积,使得每个词的主题在其文档和句法上下文下都是可能的。本文基于变分方法推导出一种快速后验推理算法。我们报告定性和定量研究的合成数据和手解析的文件。我们表明,STM是一个更预测的语言模型比目前的模型只基于语法或主题。
2010-02-25 cs.AI cs.CL math.ST
Topic-Guided Abstractive Multi-Document Summarization
Harbin Institute of Technology(哈尔滨工业大学)
多文档文摘的一个关键点是了解文档之间的关系。在本文中,我们提出了一种新的抽象MDS模型,在该模型中,我们表示多个文档作为一个异构的图,考虑到不同粒度的语义节点,然后应用图序列框架生成摘要。此外,我们采用神经主题模型来联合发现潜在的主题,这些主题可以作为跨文档的语义单元来桥接不同的文档,并提供全局信息来指导摘要生成。由于主题提取可以被视为一种特殊类型的摘要,它将文本“概括”为更抽象的格式,即,在主题分发方面,我们采用多任务学习策略,对主题和摘要模块进行联合训练,使其相互促进。在Multi-News数据集上的实验结果表明,我们的模型在Rouge指标和人工评价方面都优于以前最先进的MDS模型,同时学习高质量的主题。
2021-10-21 cs.AI cs.CL
COD3S: Diverse Generation with Discrete Semantic Signatures
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
我们提出了COD3S,一种使用神经序列到序列(seq2seq)模型生成语义多样的句子的新方法。在输入条件下,seq2seq模型通常生成语义和语法上同质的句子集,因此在一对多序列生成任务中表现不佳。我们的两个阶段的方法提高了输出的多样性,通过调节生成基于局部敏感哈希(LSH)的语义句子代码,其汉明距离与人类对语义文本相似性的判断高度相关。虽然它是普遍适用的,我们应用COD3S因果生成,预测一个命题的合理原因或影响的任务。我们通过自动和人工评估证明,使用我们的方法产生的响应表现出更好的多样性,而不会降低任务性能。
2020-10-06 cs.CL
TopicNet: Semantic Graph-Guided Topic Discovery
National Laboratory of Radar Signal Processing, Xidian University(西安电子科技大学雷达信号处理全国重点实验室);McCombs School of Business, The University of Texas at Austin(德克萨斯大学奥斯汀分校麦库姆斯商学院)
现有的深度层次主题模型能够以无监督的方式从文本语料库中提取语义上有意义的主题,并自动将它们组织成主题层次。然而,目前还不清楚如何纳入先验信念,如知识图谱,以指导学习的主题层次结构。为了解决这个问题,我们引入了TopicNet作为一个深度层次的主题模型,可以注入先验结构知识作为一个归纳偏差来影响学习。TopicNet将每个主题表示为高斯分布的嵌入向量,将所有层的主题投影到共享的嵌入空间中,并探索高斯嵌入向量之间的对称和非对称相似性,以合并先前的语义层次。利用自编码变分推理网络,通过随机梯度下降最小化证据下限和正则化项来优化模型参数。在广泛使用的基准测试上的实验表明,TopicNet在发现更深层次的可解释主题和挖掘更好的文档表示方面优于相关的深度主题模型。
2021-10-27 cs.IR cs.LG
Cross-topic distributional semantic representations via unsupervised mappings
University of Maryland, College Park(马里兰大学帕克分校);National Technical University of Athens(雅典国立技术大学)
在传统的分布式语义模型(DSM)中,一个多义词的多个意义被合并到一个单一的向量空间表示。在这项工作中,我们提出了一个DSM,学习一个词的多个分布表示基于不同的主题。首先,为每个主题训练单独的DSM,然后将每个基于主题的DSM对齐到公共向量空间。我们的无监督映射方法的动机的假设,保持他们的相对距离在不同的主题语义子空间的话构成强大的\textit{semantic anchors},定义它们之间的映射。对齐的跨主题表示实现了上下文单词相似性任务的最先进的结果。此外,对NLP下游任务的评估表明,多个基于主题的嵌入优于单原型模型。
2019-04-11 cs.CL cs.LG
SL-CBM: Enhancing Concept Bottleneck Models with Semantic Locality for Better Interpretability
Saarland University(萨尔大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Science Tokyo(东京科学大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Institute of Software, Chinese Academy of Science(中国科学院软件研究所)
SL-CBM通过引入语义局部性增强概念瓶颈模型,提升可解释性和干预效果,同时保持分类准确度。
2026-01-19 cs.AI cs.LG
PL-NMF: Parallel Locality-Optimized Non-negative Matrix Factorization
The Ohio State University(俄亥俄州立大学)
非负矩阵分解(NMF)是无监督降维的核心,在主题建模、推荐系统和生物信息学等领域有着广泛的应用。由于必须执行重复NMF的应用程序的计算密集型性质,过去已经开发了几种并行实现。然而,现有的并行NMF算法没有解决数据局部性优化,这对于高性能是关键的,因为数据移动成本大大超过当前计算机系统上的算术/逻辑运算的成本。在本文中,我们设计了一个并行NMF算法的基础上的HALS(分层交替最小二乘)计划,采用算法变换,以提高数据的局部性。该算法在多核CPU和GPU上的有效实现,表现出显着的性能改善现有的最先进的并行NMF算法。
2019-04-16 cs.DC cs.LG stat.ML
AgriLens: Semantic Retrieval in Agricultural Texts Using Topic Modeling and Language Models
3 Dept. of Computer Science \& Applications, Sharda University, Greater Noida, Uttar Pradesh, India;4 The Chinese University of Hong Kong, Hong Kong SAR, China
AgriLens通过主题建模和语言模型实现农业文本的可解释语义检索,提供零样本主题标注和高效检索能力。
2026-01-13 cs.IR cs.LG