Unsupervised Machine Commenting with Neural Variational Topic Model
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
文章评论可以为读者提供补充性的观点和事实，从而增加文章的吸引力和参与度。因此，自动评论有助于提高社区的活跃度，例如在线论坛和新闻网站。以前的工作表明，训练一个自动评论系统需要大型的平行语料库。虽然部分文章与某些网站上的评论自然配对，但大多数文章和评论在互联网上是不配对的。为了充分利用未配对的数据，我们完全消除了对并行数据的需求，并提出了一种新的无监督方法来训练自动文章评论模型，只依赖于未配对的文章和评论。我们的模型是基于检索的评论框架，它使用新闻检索评论的基础上，他们的主题的相似性。主题表示是从神经变分主题模型中获得的，该模型是以无监督的方式训练的。我们在新闻评论数据集上评估我们的模型。实验表明，我们提出的基于主题的方法显着优于以前的基于词典的模型。该模型还受益于配对语料库，并在半监督场景下实现了最先进的性能。
2018-09-13 cs.CL
A network approach to topic models
Northwestern University（西北大学）；Max Planck Institute for the Physics of Complex Systems（马克斯·普朗克复杂系统物理研究所）；University of Bath（巴斯大学）；ISI Foundation（ISI基金会）；University of Sydney（悉尼大学）
从非结构化文本中提取有用的信息是现代计算和科学的主要挑战之一。主题模型是一种流行的机器学习方法，它推断文档集合的潜在主题结构。尽管他们的成功-特别是其最广泛使用的变体称为潜在狄利克雷分配（LDA）-和社会学，历史学和语言学的众多应用，主题模型是众所周知的遭受严重的概念和实际问题，例如，缺乏理由的贝叶斯先验，与真实文本的统计特性的差异，以及无法正确选择主题的数量。在这里，我们获得了一个新的观点的问题，确定主题结构，将其与复杂网络中找到社区的问题。这是通过将文本语料库表示为文档和单词的二分网络来实现的。通过调整现有的社区检测方法-使用具有非参数先验的随机块模型（SBM）-我们获得了一个更通用和原则性的主题建模框架（例如，它自动检测主题的数量，并对单词和文档进行分层聚类）。人工语料和真实语料的分析表明，我们的SBM方法导致更好的主题模型比LDA的统计模型的选择。更重要的是，我们的工作展示了如何将社区检测和主题建模的方法正式联系起来，从而打开了这两个领域之间交叉施肥的可能性。
2018-07-19 cs.CL physics.data-an physics.soc-ph
Characterizing the Language of Online Communities and its Relation to Community Reception
University of Washington（华盛顿大学）
这项工作调查的风格和主题方面的语言在网上社区：看两个效用作为社区的标识符和相关性与社区接收的内容。风格的特点是使用一个混合的词和词性标记n-gram语言模型，而主题表示使用潜在的狄利克雷分配。对几个Reddit论坛的实验表明，风格是比主题更好的社区身份指标，即使是围绕特定主题组织的社区。此外，社区对贡献的接受程度与该社区的风格相似性之间存在正相关关系，但主题相似性并非如此。
2016-09-15 cs.CL
TopicDiff: A Topic-enriched Diffusion Approach for Multimodal Conversational Emotion Detection
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对现有多模态对话情绪检测研究忽略声学、视觉模态主题信息的问题，提出将扩散模型集成到神经主题模型的TopicDiff方法，有效捕获多模态主题信息，性能超越现有最优基准，且发现声学、视觉主题信息比语言的更具区分度和鲁棒性。
2024-03-11 cs.AI cs.CL cs.LG
Hierarchical Latent Semantic Mapping for Automated Topic Generation
School of Information and Communication Engineering（信息与通信工程学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
许多信息存在于前所未有的大量文本数据中。管理这些大规模文本数据的分配是许多领域的重要问题。主题模型在这个问题上表现得很好。传统的生成式模型（PLSA，LDA）是话题建模的主流方法，近年来对话题生成的研究主要集中在对这些模型的改进和扩展上。然而，传统生成模型的结果对主题数量K敏感，必须手动指定。从语料库中生成主题的问题类似于网络中的社区发现。许多有效的算法可以自动地从网络中发现社区，而无需手动指定社区的数量。受这些算法的启发，本文提出了一种新的基于层次潜在语义映射（HLSM）的主题自动生成方法。HLSM计算潜在主题空间中每对词之间的关联，然后构建具有这种关联的词的单分网络，并从该网络分层生成主题。我们将HLSM应用于几个文档集合，并与几种最先进的方法进行了实验比较，证明了其良好的性能。
2015-11-26 cs.CL cs.IR cs.LG
Nonparametric Bayesian Topic Modelling with the Hierarchical Pitman-Yor Processes
The Australian National University（澳大利亚国立大学）；Data61/NICTA；Monash University（莫纳什大学）；Duke University（杜克大学）
Dirichlet过程及其扩展Pitman-Yor过程是以概率分布为参数的随机过程。这些过程可以堆叠起来形成分层非参数贝叶斯模型。在这篇文章中，我们提出了有效的方法来使用这些过程在这个层次的背景下，并将其应用到文本分析的潜变量模型。特别是，我们提出了一个通用的框架来设计这些贝叶斯模型，这被称为主题模型在计算机科学界。然后，我们提出了一个特定的非参数贝叶斯主题模型从社交媒体的文本建模。我们在这篇文章中关注tweets（Twitter上的帖子），因为它们易于访问。我们发现，我们的非参数模型比现有的参数模型在拟合优度和现实世界中的应用。
2016-09-22 cs.CL cs.LG stat.ML
Analyzing Public Reactions, Perceptions, and Attitudes during the MPox Outbreak: Findings from Topic Modeling of Tweets
Emory University（埃默里大学）
本研究针对2022年MPox疫情期间的60余万条推文开展主题建模，将相关讨论划分为四大主题并明确热度排序，填补了该领域主题建模研究的不足。
2023-12-19 cs.AI cs.CL cs.CY
Longitudinal Analysis of Discussion Topics in an Online Breast Cancer Community using Convolutional Neural Networks
Columbia University（哥伦比亚大学）；King’s College London（伦敦国王学院）
识别在线健康社区（OHC）中的讨论主题对各种应用程序至关重要，但可能很困难，因为OHC内容的主题通常是异构的，并且依赖于域。在本文中，我们提供了一个多类模式，一个注释数据集，和监督分类器的基础上卷积神经网络（CNN）和其他模型的任务分类的讨论主题。我们将CNN分类器应用于最受欢迎的乳腺癌在线社区，并进行纵向分析，以显示整个成员参与过程中的主题分布和主题变化。我们的实验结果表明，CNN优于其他分类器在主题分类的任务，并可以检测到某些轨迹的主题变化。
2016-04-07 cs.CL cs.CY cs.SI
Graph-Community Detection for Cross-Document Topic Segment Relationship Identification
Instituto Superior Técnico（高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个图-社区发现的方法来识别跨文档的关系，在主题段的水平。给定一组相关文档，我们通过聚类具有相似内容（主题）的片段来自动找到这些关系。在这种情况下，我们研究了不同的权重机制如何影响发现的单词社区，涉及到不同的主题中发现的文件。最后，我们测试了不同的映射函数来分配主题段到单词社区，确定哪些主题段被认为是等价的。通过执行此任务，可以实现高效的多文档浏览，因为当用户在一个文档中找到相关内容时，我们可以提供对其他文档中类似主题的访问。我们在两个不同的场景中部署我们的方法。一个是教育场景，需要在学习材料之间找到对等关系;另一个是社会背景下的一系列对话，学生讨论常见的话题。结果表明，我们提出的方法更好地发现等价关系的学习材料的文件，并在社会语音领域，其中表现最好的方法是聚类技术，获得了接近的结果。
2016-06-13 cs.CL cs.IR cs.SI
A Community-Based Approach for Stance Distribution and Argument Organization
University of British Columbia（不列颠哥伦比亚大学）
本文提出一种无监督的图方法，用于社区基于的论证组织，通过分析文章并构建交互图，识别论证社区以帮助理解复杂观点。
2026-04-18 cs.CL
Topic segmentation via community detection in complex networks
Institute of Mathematics and Computer Sciences, University of São Paulo（圣保罗大学数学与计算机科学学院）；São Carlos Institute of Physics, University of São Paulo（圣保罗大学圣卡洛斯物理学院）
许多真实的系统都是根据网络概念建模的，书面文本是信息网络的一个特殊例子。近年来，使用网络方法来分析语言已经发现了一些有趣的发现，包括提出新的模型来解释基本普遍模式的出现。句法网络是书面语篇最普遍的网络模型之一，它具有无标度和小世界特性，但这种表征方式无法捕捉其他文本特征，如主题或主题的组织。在这种情况下，我们提出了一种新的网络表示，其主要目的是以一种简单的方式捕捉单词的语义关系。为了做到这一点，我们将所有在同一语义语境中共现的词联系起来，这是以三种方式定义的。我们表明，建议的表示有利于出现语义相关的词的社区，这个功能可以用来确定相关的主题。所提出的方法来检测主题被应用到部分选定的维基百科文章。我们发现，在一般情况下，我们的方法优于传统的词袋表示，这表明，一个高层次的文本表示可能是有用的，以研究文本的语义特征。
2015-12-04 cs.CL cs.SI
Textual Analysis of Communications in COVID-19 Infected Community on Social Media
New York University（纽约大学）
在COVID-19疫情期间，人们开始在社交媒体上讨论与疫情相关的话题。在reddit子版块\textit{r/COVID19positive}上，人们讨论或分享了许多话题，包括检测结果呈阳性的人的经历、可能被感染的人的故事，以及有关大流行和疾病的问题。在这项研究中，我们试图从语言学的角度来理解Reddit上讨论的性质。我们发现，在三个不同类别的主题的语言特征（如心理，情感和推理）的差异。我们还使用SOTA预训练的语言模型将帖子分类为不同的类别。这种分类模型可以用于社交媒体上的流行病相关研究。
2021-05-03 cs.CL cs.SI
Quantifying Community Characteristics of Maternal Mortality Using Social Media
Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）；Stony Brook University（石溪大学）
虽然美国的大多数死亡率都有所下降，但孕产妇死亡率却有所上升，是经合组织国家中最高的。正在进行广泛的公共卫生研究，以更好地了解发病率相对较高或较低的社区的特点。在这项工作中，我们探讨的作用，社交媒体语言可以发挥洞察这样的社区特征。分析美国各县产生的与怀孕相关的推文，我们揭示了一组不同的潜在主题，包括晨吐，名人怀孕和堕胎权利。我们发现，在Twitter上提及这些主题的比率预测孕产妇死亡率的准确性高于标准的社会经济和风险变量，如收入，种族和获得医疗保健，即使在将分析减少到六个主题后，其可解释性和与已知风险因素的联系也是如此。然后，我们调查了社区语言的心理维度，发现使用不太信任，更强调，更消极的情感语言与更高的死亡率显着相关，而信任和负面影响也解释了孕产妇死亡率的种族差异的显着部分。我们讨论了这些见解的潜力，以告知在社区一级的可操作的健康干预措施。
2020-04-14 cs.CL cs.CY cs.SI
Fake News Detection System using XLNet model with Topic Distributions: CONSTRAINT@AAAI2021 Shared Task
Indraprastha Institute of Information Technology, Delhi（德里英德拉普拉斯塔信息技术学院）
随着获取信息的便利性及其在互联网上的快速传播（速度和数量），从虚假信息中过滤出真实信息变得具有挑战性。研究界现在面临着自动检测假新闻的任务，这些假新闻具有现实世界的社会政治影响。其中一项研究贡献是以英语中COVID 19假新闻检测的约束@AAA12021共享任务的形式。在本文中，我们阐明了我们提出的一种新方法，作为这一共同任务的一部分。我们的团队介绍了一种方法，将潜在狄利克雷分配（LDA）的主题分布与XLNet的上下文表示相结合。我们还将我们的方法与现有的基线进行了比较，结果表明XLNet + Topic Distributions的F1得分为0.967，优于其他方法。
2021-01-12 cs.CL
Event detection in Colombian security Twitter news using fine-grained latent topic analysis
Universidad Nacional de Colombia（哥伦比亚国立大学）
文化和社会动态是重要的概念，必须加以理解，以便掌握社区关心的问题。为此，新闻是一个很好的社区信息来源，特别是近年来，大众媒体巨头使用社交网络与受众沟通和互动。在这项工作中，我们使用的方法来发现潜在的主题，从哥伦比亚的Twitter新闻帐户，以确定该国最突出的事件。我们特别关注与安全、暴力和犯罪有关的推文，因为哥伦比亚社会周围存在暴力环境。我们使用的潜在主题发现方法通过使用FastText构建推文的向量表示，并通过K-means聚类算法发现推文的聚类。通过测量潜在狄利克雷分配（LDA）模型的一系列主题的$C_V$相干性来找到聚类的数量。最后，我们使用均匀流形近似和投影（UMAP）降维可视化的推文向量。一旦确定了与安全、暴力和犯罪相关的聚类，我们将在每个聚类中应用相同的方法来执行细粒度分析，其中将新闻中提到的特定事件分组在一起。我们的方法能够发现特定于事件的新闻集，这是对人们如何参与不同类型新闻的Twitter线程进行广泛分析的基准，重点是安全，暴力和犯罪相关的推文。
2019-11-19 cs.CL cs.SI
Topic Is Not Agenda: A Citation-Community Audit of Text Embeddings
Pluto Labs（Pluto实验室）
本文通过构建358万篇科学论文的增强引用图，发现文本嵌入的余弦相似性与研究议程的相关性在子领域层面合理，但在更高层次的议程层面失效，揭示了科学RAG系统中的关键缺陷。
2026-05-08 cs.CL cs.IR cs.LG
Combining Q&A Pair Quality and Question Relevance Features on Community-based Question Retrieval
Wuhan University of Technology（武汉理工大学）
问答社区已经成为人们从互联网上获取知识和信息的重要途径。然而，现有的翻译模型的基础上不考虑查询特定的语义时，分配权重的查询检索。因此，本文在传统主题翻译模型的基础上改进了术语加权模型，并进一步考虑问答对的质量特征，提出了一种基于社区的问答质量和相关度相结合的问题检索方法（T2LM+）。我们还提出了一种基于卷积神经网络的问句检索方法。实验结果表明，与目前比较先进的方法相比，本文提出的两种方法分别提高了MAP值4.91%和6.31%。
2019-07-03 cs.AI cs.CL cs.IR
