Enriching WordNet concepts with topic signatures
本文探讨了丰富现有本体论内容的可能性。总体目标是克服WordNet中概念之间缺乏主题链接的问题。每个概念将与主题签名相关联,即,一组具有相关权重的相关词。签名可以从WWW或从有意义标记的语料库中自动构造。这两种方法进行了比较和评价的词义消歧任务。结果表明,使用一些过滤技术可以从万维网中构造干净的签名。
2001-09-19 cs.CL
A Process for Topic Modelling Via Word Embeddings
本文提出结合BERT词嵌入、UMAP降维与K-Means聚类的无监督主题建模流程,并通过TF-IDF、主题多样性和一致性验证其有效性。
2023-10-06 cs.CL
Better Early than Late: Fusing Topics with Word Embeddings for Neural Question Paraphrase Identification
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);Utrecht University(乌得勒支大学)
问题释义识别是社区问答(CQA)中的一项关键任务,用于确定传入的问题之前是否被询问过。许多当前的模型使用词嵌入来识别重复的问题,但在功能工程系统中使用主题模型表明,它们也可以帮助完成这项任务。因此,我们提出了两种方式合并主题与词嵌入(早期与晚期融合)在一个新的神经架构的问题释义识别。我们的研究结果表明,我们的系统在多个CQA数据集上的表现优于神经基线,而消融研究强调了主题的重要性,特别是在我们的架构中早期主题嵌入融合。
2020-07-22 cs.CL
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix(Stitch Fix公司)
分布式密集词向量已被证明是有效的,在捕捉语言中的标记级语义和句法的语义,而主题模型可以形成可解释的表示在文档。在这项工作中,我们描述了lda2vec,一个模型,学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反,该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架,并允许无监督的文档表示面向科学家使用,同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection
Cardiff University(卡迪夫大学);Université d’Artois(阿图瓦大学);CRIL-CNRS(法国国家科学研究中心计算机与自动化研究所)
词汇语义学的一个长期存在的挑战在于学习反映其语义属性的词的表示。词嵌入在这方面的显著成功表明,通过总结词提及的句子上下文可以获得高质量的表示。在本文中,我们提出了一种学习单词表示的方法,遵循这一基本策略,但在两个重要方面不同于标准的词嵌入。首先,我们利用上下文化的语言模型(CLM),而不是词向量袋编码上下文。其次,我们不是直接学习单词向量,而是使用主题模型来划分单词出现的上下文,然后为每个单词学习不同的主题特定向量。最后,我们使用一个特定于任务的监督信号,使软选择的结果向量。我们发现,这种简单的策略导致高质量的词向量,这是更预测的语义属性比词嵌入和现有的CLM为基础的战略。
2021-06-15 cs.CL
Moving beyond word lists: towards abstractive topic labels for human-like topics of scientific documents
主题模型将文档组表示为单词列表(主题标签)。这项工作问是否可以开发一种替代方法,主题标签,更接近一个自然语言描述的主题比一个单词列表。为此,我们提出了一种方法来生成人类一样的主题标签,使用抽象的多文档摘要(MDS)。我们调查我们的方法与探索性的案例研究。我们在引用句子中建模主题,以了解需要做哪些进一步的研究来充分操作MDS主题标签。我们的案例研究表明,除了更人性化的主题有额外的优势,评价使用聚类和总结措施,而不是主题模型的措施。然而,我们发现,有几个发展需要之前,我们可以设计一个强大的研究,以评估MDS的主题建模充分。即提高聚类的内聚性,提高MDS的真实性和可信度,增加MDS支持的文档数量。我们提出了一些关于如何解决这些问题的想法,并总结了一些关于如何使用主题建模来改进MDS的想法。
2022-10-28 cs.CL
Low-dimensional Embeddings for Interpretable Anchor-based Topic Inference
Cornell University(康奈尔大学)
锚词算法通过在高维词共现空间中找到近似的凸包来执行可证明有效的主题模型推理。然而,现有的贪心算法往往选择较差的锚词,降低了主题质量和可解释性。而不是找到一个近似的凸包在一个高维空间,我们建议找到一个确切的凸包在一个可视化的2-或3-维空间。这种低维嵌入既改善了主题,又清楚地向用户展示了算法选择某些单词的原因。
2017-11-18 cs.CL
CAST: Corpus-Aware Self-similarity Enhanced Topic modelling
The University of Manchester(曼彻斯特大学);Durham University(杜伦大学)
CAST通过语料感知的候选中心词嵌入和自相似性过滤功能词,提升主题建模的连贯性、多样性及抗噪能力,并在新闻和Twitter数据集上优于强基线。
2025-02-06 cs.CL
Discovering topics in text datasets by visualizing relevant words
Technische Universität Berlin(柏林工业大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Korea University(高丽大学)
在处理大量文档时,必须快速获得文本内容的概述。在本文中,我们将展示如何通过使用聚类算法来识别数据集中的主题,然后选择和可视化相关的单词,将一组文档与其他文本区分开来,以总结属于每个主题的文档的内容。我们展示了我们的方法,发现在纽约时报的文章片段集合的热门话题。
2017-07-18 cs.CL
Identifying Reference Spans: Topic Modeling and Word Embeddings help IR
University of Houston(休斯顿大学)
CL-SciSumm 2016的共享任务引入了一个有趣的问题:给定一个文档D和一段引用D的文本,我们如何识别这段文本引用的D的文本跨度?共享任务提供了研究该问题的第一个带注释的数据集。我们提出了一个分析,我们继续努力,提高我们的系统的性能,这项任务。我们演示了如何主题模型和词嵌入可以用来超越以前最好的表现系统。
2017-08-09 cs.CL
TAN-NTM: Topic Attention Networks for Neural Topic Modeling
Adobe(奥多比公司);Birla Institute of Technology Science Pilani (BITS Pilani)(比尔拉科学技术学院(皮拉尼));Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎普尔分校)
主题模型已被广泛用于学习文本表示和深入了解文档语料库。为了进行主题发现,大多数现有的神经模型要么将文档词袋(BoW)或令牌序列作为输入,然后进行变分推理和BoW重构来学习主题词分布。然而,在文档编码期间利用主题词分布来学习更好的功能还没有被探索太多。为此,我们开发了一个框架TAN-NTM,它通过LSTM将文档处理为一个令牌序列,LSTM的上下文输出以主题感知的方式参与。我们提出了一种新的注意力机制的因素,在主题词的分布,使模型出席相关的话,传达主题相关的线索。然后利用主题注意模块的输出进行变分推理。我们进行了广泛的消融和实验,在几个基准数据集-20 Newsgroups,Yelp Review Polarity和AGNews的NPMI一致性中,现有SOTA主题模型的得分提高了约9- 15%。此外,我们表明,我们的方法学习更好的潜在文档主题功能相比,现有的主题模型,通过改进两个下游任务:文档分类和主题引导的关键词生成。
2021-07-09 cs.CL
Temporal Analysis on Topics Using Word2Vec
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
本文提出一种基于Word2Vec、k-means聚类和余弦相似度的主题趋势检测与可视化方法,通过建模主题随时间的收敛或发散方向,揭示主题的移动趋势,并在20 Newsgroups数据集上验证了其有效性。
2023-09-17 cs.CL
Generating Math Word Problems from Equations with Topic Controlling and Commonsense Enforcement
Peking University(北京大学);Sogou Technology Inc.(搜狗科技有限公司)
近年来,在神经语言模型的帮助下,文本生成任务取得了重大进展。然而,数学问题文本的生成是一个具有挑战性的课题,迄今为止,这方面的研究进展甚微。在本文中,我们提出了一种新的方程到问题的文本生成模型。在该模型中,1)提出了一种灵活的数学方程编码方案,并通过可变自动编码器(VAE)对方程编码器进行了增强; 2)给定一个数学方程,进行主题选择,然后引入动态主题记忆机制来限制生成器的主题分布; 3)避免了传统生成模型中的常识违反,我们用背景知识图(KG)预训练词嵌入,并且我们将解码的词链接到KG中的相关词,旨在将背景知识注入我们的模型中。我们通过自动度量和人工评估来评估我们的模型,实验表明,我们的模型在生成问题文本的准确性和丰富性方面优于基线和以前的模型。
2021-07-25 cs.CL
Topic Graph Generation for Query Navigation: Use of Frequency Classes for Topic Extraction
为了使文档检索系统的交互式指导机制,我们开发了一个用户界面,在检索过程的每个阶段向用户呈现可视化的主题地图。主题词是自动提取的频率分析和主题词之间的关系的强度是衡量他们的共现。影响用户对给定主题词图的印象的主要因素是共同主题词和特定主题词之间的平衡。通过使用频率类别进行主题词提取,我们可以选择平衡的主题词集,并调整公共和特定主题词的平衡。
1997-12-12 cmp-lg cs.CL
Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence
Bocconi University(博科尼大学);University of Milan-Bicocca(米兰比可卡大学)
主题模型从文档中提取单词组,将其解释为主题有望更好地理解数据。然而,由此产生的词组往往是不连贯的,使他们更难解释。最近,神经主题模型在整体连贯性方面有所改善。同时,上下文嵌入总体上推进了神经模型的发展。在本文中,我们结合上下文表示与神经主题模型。我们发现,我们的方法比传统的词袋主题模型和最近的神经模型产生更有意义和连贯的主题。我们的研究结果表明,未来的改进语言模型将转化为更好的主题模型。
2021-06-17 cs.CL
Nested Variational Autoencoder for Topic Modeling on Microtexts with Word Vectors
Ho Chi Minh City University of Technology(胡志明市理工大学)
互联网上的大多数信息都以微文本的形式表示,微文本是简短的文本片段,如新闻标题或推文。这些信息来源非常丰富,挖掘这些数据可以发现有意义的见解。主题建模是从文档集合中提取知识的流行方法之一;然而,传统的主题模型,如潜在狄利克雷分配(LDA),无法在短文档上表现良好,主要是由于缺乏嵌入在数据中的单词共现统计。我们的研究的目的是创建一个主题模型,可以在微文本上实现很好的性能,同时需要一个小的运行时间,可扩展到大型数据集。为了解决微文本信息的缺乏,我们允许我们的方法利用词嵌入来获得词之间关系的额外知识。为了提高速度和可扩展性,我们采用自动编码变分贝叶斯,一种可以在概率模型中执行高效黑盒推理的算法。我们的工作的结果是一个新的主题模型称为嵌套的变分自编码器,这是一个分布,考虑到词向量和参数化的神经网络架构。为了优化,模型被训练为近似原始LDA模型的后验分布。实验表明,该模型在微文本上的性能得到了改善,同时也具有运行时间上的优势。
2019-09-15 cs.CL
Topical Phrase Extraction from Clinical Reports by Incorporating both Local and Global Context
Aston University(阿斯顿大学)
理解单词通常需要同时检查术语的周围环境以及表征整个语料库的全局主题。一些主题模型已经利用了词嵌入来识别局部语境,但是在主题推理过程中,它与全局语境的结合还很弱。本文提出利用潜在语义分析检测出的全局上下文提取与词嵌入信息相一致的主题短语,然后利用Pólya瓮模型进行组合。为了突出这种组合方法的有效性,对该模型进行了评估,分析临床报告,这是一个具有挑战性的场景,其特点是技术术语和有限的词汇统计。实验结果表明,该方法在主题一致性和计算成本方面都优于现有的方法。
2019-11-22 cs.CL
CWTM: Leveraging Contextualized Word Embeddings from BERT for Neural Topic Modeling
University of Warwick(华威大学);King’s College London(伦敦国王学院);The Alan Turing Institute(阿兰·图灵研究所)
针对传统主题模型依赖词袋表示的局限,提出整合BERT上下文化词嵌入的CWTM神经主题模型,可无BOW学习文档及词级主题向量,生成更连贯有意义的主题且适配未登录词。
2024-03-06 cs.AI cs.CL
Topic Aware Neural Response Generation
Nankai University(南开大学);Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
我们考虑将主题信息纳入序列到序列框架中,为聊天机器人生成信息丰富且有趣的响应。为此,我们提出了一个主题感知的序列到序列(TA-Seq 2Seq)模型。该模型利用话题模拟人的先验知识,引导人在会话中形成信息丰富、有趣的回答,并通过联合注意力机制和有偏生成概率来利用话题信息生成会话。联合注意力机制通过消息注意力将输入消息的隐藏向量概括为上下文向量,从预先训练好的LDA模型获得的消息的主题词中,通过主题注意力合成主题向量,并让这些向量在解码时共同影响词的生成。为了增加主题词出现在响应中的可能性,该模型通过添加额外的概率项来改变主题词的生成概率,以使总体分布偏向。对自动评价指标和人工注释的实证研究表明,TA-Seq 2Seq可以生成更多信息和有趣的响应,并显着优于最先进的响应生成模型。
2016-09-19 cs.CL
More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models
Chulalongkorn University(朱拉隆功大学);Harvey Mudd College(哈维穆德学院)
传统上,潜在狄利克雷分配(LDA)摄取的词在一个集合的文件,发现他们的潜在主题使用词文档共现。然而,目前还不清楚如何在没有标记单词边界的语言(如中文和泰语)中实现最佳效果。在这里,我们将探索使用Pearson卡方检验、t统计和词对编码(WPE)来生成标记作为LDA模型的输入。卡方、t和WPE标记器在维基百科文本上进行训练,以查找应该组合在一起的单词,例如复合名词、专有名词和复杂事件动词。我们提出了一个新的度量标准,用于测量在不同的词汇表模型的设置中的聚类质量。基于这个指标和其他已建立的指标,我们表明,与未合并的模型相比,使用合并的令牌训练的主题会导致主题键更清晰,更连贯,更有效地区分主题。
2021-08-24 cs.CL
Enriching very large ontologies using the WWW
本文探讨了利用万维网上的文本,以丰富现有的本体中的概念的可能性。首先,描述了从WWW检索与概念相关的文档的方法。这些文档集合用于1)为WordNet中的每个概念构建主题签名(主题相关单词的列表),以及2)构建词汇化给定单词的概念(单词含义)的分层集群。总体目标是克服WordNet的两个缺点:概念之间缺乏主题链接,以及意义的扩散。主题签名在词义消歧任务上进行了验证,取得了良好的效果,当使用层次聚类时,效果有所改善。
2000-10-17 cs.CL
Embedded Topic Models Enhanced by Wikification
University of Tsukuba(筑波大学)
本文提出将维基百科知识融入神经主题模型以感知命名实体,实验表明该方法能提升模型泛化能力并更好地捕捉主题的时间演变。
2024-10-03 cs.CL
Using meaning instead of words to track topics
ULiege(列日大学);HEC Liege(列日高等商学院)
监控主题随时间演变的能力对企业来说非常有价值。目前,所有现有的主题跟踪方法都是通过匹配词汇使用来使用词汇信息。然而,还没有研究尝试过使用语义信息来跟踪主题。因此,我们探索了一种新的基于语义的方法,使用词嵌入。我们的研究结果表明,基于语义的方法来跟踪主题是等同于词汇的方法,但使不同的错误。这表明这两种方法可以相互补充。
2023-01-02 cs.AI cs.CL
Analysing the Impact of Removing Infrequent Words on Topic Quality in LDA Models
University of Lodz(罗兹大学);Justus Liebig University Giessen(吉森尤斯图斯·李比希大学)
本文通过Monte Carlo实验研究了移除低频词对LDA模型主题质量的影响,发现词汇表修剪能提升主题质量且可消除比例相当大。
2023-11-24 cs.CL
An Analysis of Lemmatization on Topic Models of Morphologically Rich Language
Johns Hopkins University(约翰斯·霍普金斯大学)
主题模型通常由用于人类解释的前$m$单词列表表示。语料库通常经过词形化(或词干提取)的预处理,这样这些表示就不会被具有相似含义的单词的扩散所破坏,但很少有关于这种预处理效果的公共工作。最近的工作研究了词干提取对英语语篇主题模式的影响,但没有发现支持这种做法的证据。我们研究了词形化对俄语维基百科文章主题模型的影响,发现在一个配置中,它显着提高了可解释性,根据一个词的入侵度量。我们的结论是,词形化可能有利于主题模型的形态丰富的语言,但需要进一步的调查。
2019-05-10 cs.CL
SWEAT: Scoring Polarization of Topics across Different Corpora
Bocconi University(博科尼大学);University of Milano-Bicocca(米兰比可卡大学)
理解语料库中的观点差异是计算社会科学的一项基本任务。在本文中,我们提出了切片词嵌入关联测试(SWEAT),这是一种新颖的统计指标,用于计算主题词集在两种分布表示中的相对极化。为此,SWEAT使用了两个额外的词集,被认为具有相反的效价,代表两个不同的极点。我们验证了我们的方法,并说明了一个案例研究,以显示所引入的措施的实用性。
2021-09-15 cs.CL
Inverted Bilingual Topic Models for Lexicon Extraction from Non-parallel Data
IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);IBM Research-Tokyo(IBM东京研究中心)
主题模型已经成功地应用于词典抽取。但是,以前的大多数方法仅限于文档对齐的数据。在本文中,我们试图解决两个挑战,将主题模型应用于非并行数据中的词汇提取:1)难以建模的单词关系和2)噪声种子字典。为了解决这两个挑战,我们提出了两个新的双语主题模型,以更好地捕捉每个单词的语义信息,同时区分在一个嘈杂的种子字典的多个翻译。我们通过颠倒“单词”和“文档”的角色来扩展主题模型的范围。此外,为了解决种子词典中的噪声问题,我们在模型中加入了翻译选择的概率。此外,我们还提出了一个有效的措施,以评估在不同的语言中的词的相似性,并选择最佳的翻译对。使用真实世界数据的实验结果表明,所提出的模型的实用性和有效性。
2017-06-21 cs.CL
Graph Contrastive Topic Model
The University of Manchester(曼彻斯特大学);Wuhan University(武汉大学)
本文针对神经主题模型对比学习中词频采样导致的样本偏差问题,提出图对比主题模型GCTM,通过图采样生成语义无关负样本和相关正样本,提升主题连贯性与文档表示学习效果。
2023-07-05 cs.CL
A Joint Model of Conversational Discourse and Latent Topics on Microblogs
Tencent AI Lab(腾讯人工智能实验室);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
传统的话题模型不能有效地从微博消息中提取话题,因为缺乏结构和上下文的短消息表现出数据稀疏性,导致消息级的词共现模式很差。针对这一问题,本文根据微博消息的转发和回复关系将其组织成会话树,并提出一个无监督的模型,该模型联合学习词分布来表示:1)会话话语的不同角色,2)反映内容信息的各种潜在主题。通过明确区分不同的话语角色,包含主题词的消息的概率,我们的模型是能够发现集群的话语词是指示的主题内容。在一个大规模的微博语料库的自动评估,我们的联合模型产生的主题具有更好的连贯性分数比竞争的主题模型从以前的研究。对模型输出的定性分析表明,我们的模型诱导有意义的话语和主题的表征。我们进一步提出了一个基于我们的联合模型的输出微博摘要的实证研究。实验结果表明,联合建模的话语和主题表征可以有效地指示微博会话中值得摘要的内容。
2018-09-11 cs.CL
Neural Topic Modeling by Incorporating Document Relationship Graph
Southeast University(东南大学)
图神经网络(Graph Neural Networks,GNN)通过消息传递来捕捉图节点之间的关系,是自然语言处理领域的一个研究热点。在本文中,我们提出了图主题模型(GTM),一个基于GNN的神经主题模型,将语料库表示为文档关系图。语料库中的文档和单词成为图中的节点,并基于文档-单词共现来连接。通过引入图结构,文档之间的关系通过它们的共享词建立,从而通过使用图卷积聚合来自其相邻节点的信息来丰富文档的主题表示。在三个数据集上进行了大量的实验,实验结果证明了该方法的有效性。
2020-09-29 cs.CL
Jointly Learning Word Embeddings and Latent Topics
The Chinese University of Hong Kong(香港中文大学);Cardiff University(卡迪夫大学)
诸如Skip-gram之类的词嵌入模型基于在文本语料库中观察到的局部词搭配模式来学习每个词的向量空间表示。另一方面,潜在主题模型采取更全局的观点,查看语料库中的单词分布,为每个单词的出现分配一个主题。这两种范式在如何表示词出现的意义上是互补的。虽然一些先前的工作已经着眼于使用词嵌入来提高潜在主题的质量,并且相反地,在使用潜在主题来提高词嵌入时,这样的“两步”方法不能捕获两个范例之间的相互作用。在本文中,我们提出了STE,一个框架,可以学习词嵌入和潜在的主题在一个统一的方式。STE自然地获得特定主题的词嵌入,从而解决了一词多义的问题。同时,它还学习主题的术语分布,以及文档的主题分布。我们的实验结果表明,STE模型确实可以生成有用的特定主题的词嵌入和连贯的潜在主题,在一个有效的和高效的方式。
2017-06-21 cs.CL cs.IR cs.LG
CompText: Visualizing, Comparing & Understanding Text Corpus
UC Davis(加州大学戴维斯分校)
自然语言处理(NLP)中的一种常见做法是在不通读整个文献的情况下可视化文本语料库,仍然抓住所描述的中心思想和关键点。长期以来,研究者们致力于从文本中提取主题,并根据主题在语料库中的相对重要性将其可视化。然而,最近,研究人员开始提出更复杂的系统,不仅暴露了语料库的主题,还暴露了与主题密切相关的词,为用户提供了一个整体视图。这些详细的可视化催生了基于可视化的文本语料库比较研究。主题经常被比较以理想化语料库之间的差异。然而,为了从不同的语料库中获取更大的语义,研究人员已经开始根据与文本相关的主题的情感来比较文本。通过比较权重最大的词,可以了解语料库的重要主题。有多种现有的文本比较方法,目前比较的主题,而不是情绪,但我们认为,专注于情感携带的话会更好地比较两个语料库。因为只有情感才能解释文本的真实感受,而不仅仅是主题,没有情感的主题只是名词。我们的目标是区分语料库,重点是情感,而不是比较所有的话出现在两个语料库。这背后的基本原理是,这两个语料库没有多少相同的词进行并排比较,所以比较情感词给我们一个想法,语料库是如何吸引读者的情感。我们可以认为,熵或主题的意外性和分歧也应该是重要的,并帮助我们确定关键的支点和语料库中某些主题的重要性以及相对情绪。
2022-07-27 cs.CL
GPTopic: Dynamic and Interactive Topic Representations
University of Cambridge(剑桥大学);LMU Munich(慕尼黑大学);TU Clausthal(Clausthal技术大学);BASF(巴斯夫);Tribhuvan University(特里布文大学);MCML
GPTopic利用大型语言模型创建动态交互式主题表示,通过直观界面提升主题建模的可访问性和全面性。
2025-11-20 cs.CL
Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics
University of Technology Sydney(悉尼科技大学);Eindhoven University of Technology(埃因霍温理工大学);University of Wollongong(伍伦贡大学)
最近的工作将预训练的词嵌入(如BERT嵌入)纳入神经主题模型(NTM),生成高度连贯的主题。然而,有了高质量的上下文文档表示,我们真的需要复杂的神经模型来获得连贯和可解释的主题吗?在本文中,我们进行了深入的实验表明,直接聚类高质量的句子嵌入与适当的词选择方法可以产生更多的连贯性和多样性的主题比NTM,也实现了更高的效率和简单性。
2022-04-21 cs.CL
Topic Sensitive Neural Headline Generation
State Key Laboratory of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
神经模型最近被用于文本摘要,包括标题生成。该模型可以使用一组文档标题对进行训练。然而,该模型没有明确考虑主题的相似性和差异的文件。我们建议将文档分类到不同的主题中,以便同一主题中的文档在内容上相似并且共享相似的摘要模式。利用文档的主题信息,提出主题敏感的神经标题生成模型。我们的模型可以根据文档主题生成更准确的摘要。我们在LCSTS数据集上测试了我们的模型,实验表明我们的方法在每个主题上都优于其他基线,并达到了最先进的性能。
2016-08-20 cs.CL
Interpretable probabilistic embeddings: bridging the gap between topic models and neural networks
National Research University Higher School of Economics(国立研究大学高等经济学院);Lomonosov Moscow State University(莫斯科国立大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们认为概率主题模型和最近的词嵌入技术从学习的角度隐藏的语义表示。受这两种方法惊人相似性的启发,我们将它们合并,并在词共现数据上使用在线EM算法学习概率嵌入。由此产生的嵌入执行与跳过革兰氏阴性采样(SGNS)的单词相似性任务,并在组件的可解释性的好处。接下来,我们学习概率文档嵌入,在文档相似性任务上优于paragraph2vec,并且需要更少的内存和训练时间。最后,我们采用多模态主题模型的加性正则化(ARTM)来获得高稀疏性,并学习其他模态的嵌入,例如时间戳和类别。我们观察到词相似性性能和有意义的模态间相似性的进一步改善。
2017-11-11 cs.CL
Beyond Top Words: MonoTM for Topic Modeling with Interpretable Monosemantic Features
Syracuse University(雪城大学)
MonoTM框架通过解耦文档-主题混合估计与语义解释,利用稀疏自编码器特征,在保留全局主题结构的同时,用语义单元替代词语表示主题,提升下游分析实用性。
2026-09-10 cs.CL cs.HC
Re-Ranking Words to Improve Interpretability of Automatically Generated Topics
University of Sheffield(谢菲尔德大学);King Saud University(沙特国王大学)
主题模型,如LDA,广泛应用于自然语言处理。使其输出可解释是一个重要的研究领域,其应用领域包括增强探索性搜索界面和开发可解释的机器学习模型。传统上,主题由它们的n个最可能的词表示,然而,这些表示通常难以为人类解释。本文探讨了主题词的重新排序,以产生更多的可解释的主题表征。一系列的方法进行了比较,并在两个实验中进行评估。第一个使用crowdworker将不同单词排名所代表的主题与相关文档相关联。第二个实验是一个自动化的方法的基础上,应用于多个领域的文档检索任务。在这两个实验中的结果表明,重新排名的话提高了主题的可解释性,最有效的重新排名计划是那些结合信息的重要性的话都在主题和他们的相对频率在整个语料库。此外,两种评价方法的结果之间的密切相关性表明,这里提出的自动方法可以用来评估重新排序的方法,而不需要人为的判断。
2019-03-29 cs.CL cs.IR
Deep Learning based Topic Analysis on Financial Emerging Event Tweets
School of Computer Science and Engineering(计算机科学与工程学院);Nanyang Business School(南洋商学院);Nanyang Technological University(南洋理工大学)
股票市场的金融分析在很大程度上依赖于定量方法,试图根据历史价格和其他可衡量的指标来预测后续或市场走势。这些定量分析可能遗漏了影响市场的情绪和投机等不可量化的方面。分析大量定性文本数据以了解社交媒体平台上的民意是解决这一差距的一种方法。这项工作通过聚类对28264条金融推文进行了主题分析[1],以发现股票市场中的新兴事件。据发现,在这一期间经常讨论三个主要议题。首先,财务比率每股收益是投资者经常讨论的指标。第二,卖空股票的问题被大量讨论,它经常与摩根士丹利一起被提及。第三,石油和能源部门经常与政策一起讨论。这些推文的语义聚类的方法组成的word 2 vec算法,以获得词嵌入映射到向量的词。然后形成语义词簇。然后,每个推文都使用其组成的单词的词频-逆文档频率(TF-IDF)值进行矢量化,并基于其单词所在的聚类。然后通过训练深度自动编码器将推文向量转换为压缩表示。然后形成K-means聚类。与通常的向量空间模型相比,该方法降低了维度并产生密集向量。主题建模与潜在狄利克雷分配(LDA)和顶部频繁的话被用来分析集群和揭示新兴的事件。
2020-08-03 cs.CL
One Sense per Collocation and Genre/Topic Variations
本文利用两个不同语料库和细粒度的语义区分,重新审视了一个意义对应一个搭配的假设。我们发现,该假设是较弱的细粒度的意义区分(70%与99%的早期报告的双向歧义)。我们还表明,一个意义每搭配跨语料库举行,但搭配从一个语料库到另一个,以下体裁和主题的变化。这解释了在跨语料库执行词义消歧时的低结果。事实上,我们证明,当两个独立的语料库共享一个相关的体裁/主题,词义消歧的结果会更好。未来的词义消歧工作将不得不考虑体裁和主题作为其模型的重要参数。
2000-10-17 cs.CL
Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
Columbia University(哥伦比亚大学);Google Research(谷歌研究院);Independent(独立研究者)
本文提出机制性主题模型(MTMs),利用稀疏自编码器学习可解释特征,以揭示深层概念主题,并通过topic judge评估框架验证其有效性。
2026-08-25 cs.CL cs.LG
Multi-view and Multi-source Transfers in Neural Topic Modeling with Pretrained Topic and Word Embeddings
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏问题。然而,没有先前的工作采用(预先训练的潜在)的主题在迁移学习范例。在本文中,我们提出了一种方法(1)使用从大型源语料库中获得的潜在主题进行知识转移,以及(2)通过神经主题建模中的两种表示(或视图)联合转移知识,以提高主题质量,更好地处理目标语料库中的多义和数据稀疏问题。在此过程中,我们首先从一个或多个源语料库中积累主题和单词表示,以构建主题和单词向量池。然后,我们识别一个或多个相关的源域,并通过相应的池利用相应的主题和单词特征来指导稀疏目标域中的有意义的学习。我们量化的主题和文件表示的质量,通过泛化(困惑),可解释性(主题连贯性)和信息检索(IR)使用短文本,长文本,小型和大型的文件集,从新闻和医疗领域。我们已经证明了国家的最先进的结果主题建模与建议的框架。
2019-09-17 cs.CL cs.IR cs.LG
Distilled Wasserstein Learning for Word Embedding and Topic Modeling
Infinia ML, Inc.(Infinia ML公司);Duke University(杜克大学);Tencent AI Lab(腾讯人工智能实验室)
我们提出了一种新的Wasserstein方法与蒸馏机制,产生联合学习的词嵌入和主题。所提出的方法是基于这样一个事实,即词嵌入之间的欧几里德距离可以被用作Wasserstein主题模型中的底层距离。主题的词分布,它们对文档的词分布的最佳传输,以及词的嵌入都是在一个统一的框架中学习的。在学习主题模型时,我们利用提取的底层距离矩阵来更新主题分布并平滑地计算相应的最佳传输。这种策略为词嵌入的更新提供了鲁棒的指导,提高了算法的收敛性。作为一个应用程序,我们专注于病人入院记录,其中所提出的方法嵌入的疾病和程序的代码,并学习入院的主题,获得具有临床意义的疾病网络建设,死亡率预测作为入院代码的函数,和程序推荐的优越性能。
2018-09-12 cs.CL cs.LG stat.ML
KSU KDD: Word Sense Induction by Clustering in Topic Space
Kansas State University(堪萨斯州立大学)
我们描述了我们的独立于语言的无监督词义归纳系统。该系统仅使用主题特征在其全局上下文主题空间中对不同的词义进行聚类。该系统使用未标记的数据训练潜在狄利克雷分配(LDA)主题模型,然后使用它来推断测试实例的主题分布。通过聚类这些主题分布在他们的主题空间,我们聚类到不同的意义。我们的假设是,主题空间的接近程度反映了不同词义之间的相似性。该系统参与了SemEval-2词义归纳和消歧任务,并在所有其他系统中获得了第二高的V-measure得分。
2013-02-28 cs.AI cs.CL stat.AP
Monitoring geometrical properties of word embeddings for detecting the emergence of new topics
Université de Lyon, Lyon 2(里昂第二大学);UR ERIC(ERIC研究单位);EDF R&D(法国电力公司研发中心)
慢出现话题检测是介于事件检测和语言进化之间的一项任务,事件检测是我们在短时间内聚合不同单词的行为,而语言进化是我们监视它们的长期进化。在这项工作中,我们解决了早期发现缓慢出现的新主题的问题。为此,我们收集了单词层面上微弱信号的证据。我们建议监控嵌入空间中的单词表示的行为,并使用其几何特性之一来表征主题的出现。由于这种任务的评价通常很难,我们提出了一个定量评价的框架。我们在两个公开的新闻和科学文章数据集上显示了优于最先进方法的积极结果。
2021-11-05 cs.CL cs.LG
SimDoc: Topic Sequence Alignment based Document Similarity Framework
University of Bonn(波恩大学);Emory University(埃默里大学);Rygbee Inc.(Rygbee公司)
文档相似性是估计给定文档对具有相似语义内容的程度的问题。一个准确的文档相似性度量可以改善一些企业相关的任务,如文档聚类,文本挖掘和问答。在本文中,我们表明,文档的主题流(通常被词袋技术忽视)在估计其相似性方面至关重要。为此,我们提出了一种新的语义文档相似性框架,称为SimDoc。我们的模型文件的主题序列,主题代表潜在的生成集群的相关词。然后,我们使用序列比对算法来估计它们的语义相似度。我们进一步概念化一种新的机制来计算主题主题相似度,以微调我们的系统。在我们的实验中,我们表明,SimDoc优于许多当代的词袋技术,准确计算文档相似性,并在实际应用中,如文档聚类。
2017-11-11 cs.CL
Unsupervised Learning of Style-sensitive Word Vectors
Tohoku University(东北大学);National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所(AIST));Preferred Networks, Inc.(优选网络公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出了第一个研究,旨在捕捉文体相似的词在无监督的方式。我们建议扩展连续词袋(CBOW)模型(Mikolov等人,2013)来在假设话语中所有单词的风格一致的情况下使用更宽的上下文窗口来学习风格敏感的单词向量。此外,我们还引入了一个新的任务来预测词汇风格相似性,并为这个任务创建了一个基准数据集。我们的实验与此数据集支持我们的假设,并表明,所提出的扩展有助于收购风格敏感的词嵌入。
2018-05-15 cs.CL
Word Network Topic Model: A Simple but General Solution for Short and Imbalanced Texts
Beihang University(北京航空航天大学)
短文本是近几十年来互联网上流行的信息格式,特别是随着在线社交媒体的发展,数以百万计的用户每天都会产生大量的短消息。虽然短文本传递的复杂信号使其成为主题建模的一个有前途的来源,但其极端的稀疏性和不平衡性给传统的主题模型(如LDA及其变体)带来了前所未有的挑战。针对短文本中主题建模问题,提出了一种简单而通用的解决方案,即基于词共现网络的WNTM模型,以同时解决稀疏性和不平衡性问题。与以往的方法不同,WNTM模型为每个单词的主题分布,而不是学习每个文档的主题,这成功地提高了数据空间的语义密度,而不会引入太多的时间或空间复杂度。同时,词-词空间中保存的丰富的上下文信息也保证了它在识别稀有主题时的敏感性和令人信服的质量。此外,采用与LDA相同的Gibbs采样,使WNTM易于扩展到各种应用场景。对短文本和普通文本的广泛验证证明了WNTM与基线方法相比的优越性。最后,我们也展示了它的潜力,准确地发现新出现的话题或意外事件在微博的早期阶段。
2014-12-17 cs.CL cs.IR
Topics in Contextualised Attention Embeddings
University of Essex(埃塞克斯大学);University of Southampton(南安普顿大学)
通过预先训练的语言模型获得的上下文化的词向量编码已经在应用中被利用的各种知识。这些语言模型的补充是概率主题模型,它从文本中学习主题模式。最近的工作已经表明,进行聚类的词级上下文表示从语言模型模仿词集群中发现的潜在主题的词从潜在狄利克雷分配。重要的问题是,当语言模型没有被明确设计为对潜在主题进行建模时,如何通过聚类在该语言模型中自动形成这样的主题词聚类。为了解决这个问题,我们设计了不同的探针实验。使用BERT和DistilBERT,我们发现注意力框架在建模这样的词主题集群中起着关键作用。我们坚信我们的工作为进一步研究概率主题模型和预训练语言模型之间的关系铺平了道路。
2023-01-11 cs.CL cs.IR
A New Anchor Word Selection Method for the Separable Topic Discovery
Huazhong University of Science and Technology(华中科技大学);Cornell University(康奈尔大学)
可分离非负矩阵分解(SNMF)是一种重要的主题建模方法,其中“可分离”假设每个主题至少包含一个锚词,锚词定义为仅在该主题上具有非零概率的词。SNMF通过锚词选择和话题恢复两个步骤,利用词的共现模式来揭示话题。锚词的质量直接影响主题抽取的质量。现有的锚词选择算法是在高维词共现空间中寻找一个近似的凸包。在这项工作中,我们提出了一种新的方法,通过关联的词同现概率与词的相似性,并假设语义上最不同的词是锚词的潜在候选人的锚词的选择。因此,如果词对的相似度很低,那么这两个词很可能是锚词。根据文本语料库的统计信息,我们可以得到所有词对的相似度。我们建立了词相似度图,其中节点对应于词,边缘上的权重代表词对相似度。按照这种方式,我们设计了一个贪婪的方法来找到一个最小的边权重锚集团的锚字选择图中给定的大小。在真实语料库上的大量实验表明,该方法在主题质量方面优于常用的基于凸包的方法.同时,我们的方法是比典型的SNMF为基础的方法快得多。
2019-05-10 cs.CL cs.IR cs.LG
Conversational Structure Aware and Context Sensitive Topic Model for Online Discussions
Case Western Reserve University(凯斯西储大学)
每天在社交媒体平台上产生数百万次在线讨论。主题建模是更好地理解大规模文本数据集的有效方法。传统的主题模型在在线讨论中取得了有限的成功,为了克服它们的局限性,我们使用讨论线程的树结构,并提出了一个“流行度”的度量来量化评论的回复数量,以扩展单词出现的频率,和“传递性”的概念来表征嵌套的讨论线程中节点之间的主题依赖性。我们建立了一个会话结构感知的主题模型(CSATM)的基础上流行度和传递性推断的主题和他们的评论分配。真实论坛数据集上的实验被用来证明提高性能的主题提取与六个不同的测量的一致性和令人印象深刻的准确性主题分配。
2020-02-06 cs.CL
Modeling Dynamic Topics in Chain-Free Fashion by Evolution-Tracking Contrastive Learning and Unassociated Word Exclusion
Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);National University Singapore(新加坡国立大学)
针对现有动态主题模型存在的重复主题和无关联主题问题,提出无链式动态主题模型CFDTM,通过演化追踪对比学习和无关联词排除方法,实现高质量主题演化追踪,优于现有基线。
2024-05-28 cs.AI cs.CL
FINEST: Improving LLM Responses to Sensitive Topics Through Fine-Grained Evaluation
KAIST(韩国科学技术院);Samsung(三星)
FINEST通过细粒度评估分类法,改进LLM对敏感话题的响应,显著减少错误率并提升帮助性与安全性。
2026-03-04 cs.CL
Ordering-sensitive and Semantic-aware Topic Modeling
The University of Hong Kong(香港大学);Zhejiang University(浙江大学)
文本语料库的主题建模是一个重要而富有挑战性的问题。在大多数以前的工作中,“词袋”的假设通常是忽略了单词的顺序。这种假设简化了计算,但它不切实际地丢失了上下文中单词的排序信息和语义。本文提出了一种高斯混合神经主题模型(GMNTM),它将词的排序和句子的语义结合到主题建模中。具体来说,我们将每个主题表示为多维向量的聚类,并将语料库嵌入到由高斯混合模型生成的向量集合中。每个词不仅受其主题的影响,还受其周围词的嵌入向量和上下文的影响。高斯混合分量和文档、句子和单词的主题可以联合学习。大量的实验表明,我们的模型可以学习更好的主题和更准确的词分布为每个主题。定量分析表明,与现有的主题建模方法相比,GMNTM在困惑度、检索准确率和分类准确率方面都有明显的提高。
2015-02-12 cs.CL cs.IR cs.LG