Unsupervised Machine Commenting with Neural Variational Topic Model
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
文章评论可以为读者提供补充性的观点和事实，从而增加文章的吸引力和参与度。因此，自动评论有助于提高社区的活跃度，例如在线论坛和新闻网站。以前的工作表明，训练一个自动评论系统需要大型的平行语料库。虽然部分文章与某些网站上的评论自然配对，但大多数文章和评论在互联网上是不配对的。为了充分利用未配对的数据，我们完全消除了对并行数据的需求，并提出了一种新的无监督方法来训练自动文章评论模型，只依赖于未配对的文章和评论。我们的模型是基于检索的评论框架，它使用新闻检索评论的基础上，他们的主题的相似性。主题表示是从神经变分主题模型中获得的，该模型是以无监督的方式训练的。我们在新闻评论数据集上评估我们的模型。实验表明，我们提出的基于主题的方法显着优于以前的基于词典的模型。该模型还受益于配对语料库，并在半监督场景下实现了最先进的性能。
2018-09-13 cs.CL
GRAB: A Risk Taxonomy--Grounded Benchmark for Unsupervised Topic Discovery in Financial Disclosures
The University of Edinburgh, UK（爱丁堡大学）
本文提出GRAB，一个专门针对财务披露中无监督主题发现的基准测试，通过结合FinBERT词注意力、YAKE关键词信号和基于分类法的短语匹配，生成无需人工标注的句子标签，从而评估无监督主题模型。
2026-05-19 cs.CL
Unsupervised Mutual Learning of Discourse Parsing and Topic Segmentation in Dialogue
针对对话中话语解析与主题分割的监督标注昂贵及无监督方法忽视二者交互的问题，提出统一表示与两个语言学假设，构建无监督互学习框架UMLF，联合建模修辞与主题结构，在多个数据集上超越强基线并有效提升大语言模型的话语结构建模。
2025-02-24 cs.CL
Unsupervised Topic Segmentation of Meetings with BERT Embeddings
Facebook, Inc.（脸书公司）
会议的主题分割是将多人会议记录分成主题块的任务。由于收集和准确注释大型数据集的困难，该问题的监督方法已被证明是棘手的。在本文中，我们展示了如何使用预先训练的神经架构来改进以前的无监督主题分割方法。我们引入了一种基于BERT嵌入的无监督方法，该方法比现有的无监督方法降低了15.5%的出错率，适用于两个流行的会议记录数据集。
2021-06-24 cs.CL cs.LG
Bridging the gap between supervised classification and unsupervised topic modelling for social-media assisted crisis management
McGill University（麦吉尔大学）
在自然灾害期间，Twitter等社交媒体为危机管理人员和受灾群众提供了宝贵的信息。机器学习可以帮助从危机期间共享的大量信息中构建和提取信息;然而，危机不断演变的性质使得有效的领域自适应至关重要。监督分类受到不可改变的类别标签的限制，这些类别标签可能与新事件无关，而无监督主题建模则受到先验知识不足的限制。在本文中，我们弥合了两者之间的差距，并表明，BERT嵌入微调危机相关的推文分类可以有效地用于适应新的危机，发现新的主题，同时保留相关类监督训练，并利用双向自我注意提取主题关键字。我们创建了一个数据集的推文从暴风雪来评估我们的方法的可转移性，以新的危机，并发现它优于传统的主题模型，在自动和人类的评估接地危机管理人员的需求。更广泛地说，我们的方法可以用于文本领域自适应的潜在类是未知的，但与其他领域的已知类重叠。
2021-03-22 cs.CL
Unsupervised Dialogue Topic Segmentation with Topic-aware Utterance Representation
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
针对现有无监督对话主题分割方法主题识别不充分、未标注数据利用不足的问题，提出通过邻接话语匹配与伪分割学习主题感知话语表示的框架，在两个基准上性能优于强基线。
2023-05-04 cs.AI cs.CL
Cross-topic distributional semantic representations via unsupervised mappings
University of Maryland, College Park（马里兰大学帕克分校）；National Technical University of Athens（雅典国立技术大学）
在传统的分布式语义模型（DSM）中，一个多义词的多个意义被合并到一个单一的向量空间表示。在这项工作中，我们提出了一个DSM，学习一个词的多个分布表示基于不同的主题。首先，为每个主题训练单独的DSM，然后将每个基于主题的DSM对齐到公共向量空间。我们的无监督映射方法的动机的假设，保持他们的相对距离在不同的主题语义子空间的话构成强大的\textit{semantic anchors}，定义它们之间的映射。对齐的跨主题表示实现了上下文单词相似性任务的最先进的结果。此外，对NLP下游任务的评估表明，多个基于主题的嵌入优于单原型模型。
2019-04-11 cs.CL cs.LG
Topic subject creation using unsupervised learning for topic modeling
Underwriters Laboratories, LLC（美国保险商实验室有限责任公司）
我们描述了使用非负矩阵分解（NMF）和潜在狄利克雷分配（LDA）算法进行主题挖掘和标签应用于零售客户通信，试图描述客户查询的主题。在本文中，我们比较了这两种算法的主题挖掘性能，并提出了方法来分配主题主题标签的自动化方式。
2019-12-18 cs.CL cs.CY cs.IR
UCTopic: Unsupervised Contrastive Learning for Phrase Representations and Topic Mining
University of California, San Diego（加州大学圣地亚哥分校）
高质量的短语表示对于在文档中查找主题和相关术语至关重要（也称为主题挖掘）。现有的短语表示学习方法要么简单地以上下文无关的方式组合单字表示，要么依赖于广泛的注释来学习上下文感知知识。在本文中，我们提出了UCTopic，一个新的无监督对比学习框架上下文感知短语表示和主题挖掘。UCTopic被大规模地预训练以区分两个短语提及的上下文是否具有相同的语义。预训练的关键是从我们面向短语的假设中构建正对。然而，我们发现传统的批量否定在对具有小主题数的数据集进行微调时会导致性能下降。因此，我们提出了集群辅助的对比学习（CCL），大大减少了噪音的负面影响，从集群中选择负面的，并进一步提高相应的主题短语表示。UCTopic在四个实体聚类任务上的平均NMI比最先进的短语表示模型高38.2%。综合评价表明，UCTopic能够提取出连贯性和多样性的主题短语。
2022-02-27 cs.AI cs.CL
GraphTMT: Unsupervised Graph-based Topic Modeling from Video Transcripts
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国理工学院）；University of Augsburg（奥格斯堡大学）
为了展现每天上传到社交媒体平台的大量多媒体数据，需要有效的主题建模技术。现有的工作倾向于将主题模型应用于书面文本数据集。在本文中，我们提出了一个主题提取器的视频成绩单。通过基于图的聚类利用神经词嵌入，我们的目标是提高可用性和语义一致性。与大多数主题模型不同，这种方法在不知道主题的真实数量的情况下工作，当不能或不应该做出这样的假设时，这一点很重要。在现实生活中的多模态数据集MuSe-CaR上的实验结果表明，我们的方法GraphTMT提取了连贯和有意义的主题，并优于基线方法。此外，我们成功地证明了我们的方法在流行的Citysearch语料库的适用性。
2021-10-28 cs.CL cs.MM
Unsupervised Dialogue Topic Segmentation in Hyperdimensional Space
ActionPower（ActionPower公司）；Seoul National University（首尔大学）
本研究提出基于超维计算的无监督对话主题分割方法HyperSeg，在多数基准上性能超越现有最优模型且速度更快，还能提升下游摘要准确率，验证了超维计算在语言任务中的可行性并开源了模型。
2023-08-21 cs.AI cs.CL
Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Liverpool（利物浦大学）
本文提出了一种新的无监督的摘要方法。虽然基本的变分自编码器为基础的模型假设一个单峰高斯先验的潜在代码的句子，我们交替它与递归高斯混合，其中每个混合成分对应于一个主题句子的潜在代码，并混合由树结构的主题分布。通过解码每个高斯分量，我们生成具有树形结构的主题指导的句子，其中根句子传达通用内容，叶句子描述特定主题。实验结果表明，所生成的主题句适合作为固执己见的文本的摘要，其比最近的无监督摘要模型（Bražinskas等人，2020年）。此外，我们证明了潜在高斯的方差代表了句子的粒度，类似于高斯词嵌入（Vilnis和McCallum，2015）。
2021-06-15 cs.AI cs.CL cs.LG
Unsupervised Terminological Ontology Learning based on Hierarchical Topic Modeling
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
在本文中，我们提出了层次关系为基础的潜在狄利克雷分配（hrLDA），数据驱动的层次主题模型，从大量的异构文档中提取术语本体。与传统的主题模型相比，hrLDA依赖于名词短语而不是一元语法，考虑语法和文档结构，并通过主题关系丰富主题层次结构。通过一系列的实验，我们证明了hrLDA优于现有的主题模型，特别是在建立层次结构。此外，我们说明了鲁棒性的hrLDA在噪声数据集的设置，这是可能发生在许多实际情况下。我们的本体评价结果表明，从hrLDA提取的本体是非常有竞争力的领域专家创建的本体。
2017-08-29 cs.CL cs.IR cs.LG
An Unsupervised Dialogue Topic Segmentation Model Based on Utterance Rewriting
Beijing Information Science & Technology University（北京信息科技大学）
针对多轮对话中共指、省略影响无监督主题分割效果的问题，提出结合话语改写技术的UR-DTS模型，通过改写恢复共指与省略内容，在DialSeg711、Doc2Dial数据集上实现性能提升，达到无监督SOTA水平。
2024-09-12 cs.AI cs.CL
Lbl2Vec: An Embedding-Based Approach for Unsupervised Document Retrieval on Predefined Topics
Technical University of Munich（慕尼黑工业大学）
在本文中，我们考虑使用无监督的方法从未标记的文档数据集中检索具有预定义主题的文档的任务。所提出的无监督方法只需要少量的关键字描述各自的主题，没有标记的文件。现有的方法要么严重依赖于大量的额外编码的世界知识或术语文档频率。此外，我们引入了一种方法，学习联合嵌入的文档和词向量，仅从未标记的文档数据集，以找到语义相似的主题所描述的关键字的文件。所提出的方法几乎不需要文本预处理，但同时有效地检索相关文档的概率很高。当从公开和常用的数据集连续检索不同预定义主题的文档时，我们在一个数据集上实现了0.95的接收器工作特征曲线值下的平均面积，在另一个数据集上实现了0.92。此外，我们的方法可以用于多类文档分类，而不需要预先为数据集分配标签。与无监督分类基线相比，我们将各自数据集的F1分数从76.6增加到82.7，从61.0增加到75.1。为了便于复制我们的方法，我们将开发的Lbl 2 Vec代码作为3-Clause BSD许可证下的即用型工具公开提供。
2022-10-12 cs.AI cs.CL
Learning Interpretable and Discrete Representations with Adversarial Training for Unsupervised Text Classification
National Taiwan University（台湾大学）
从未标记的文本数据中学习连续表示已被越来越多地研究，以利于半监督学习。虽然解释离散表示相对容易，但由于训练的困难，学习未标记文本数据的离散表示尚未得到广泛探索。这项工作提出了TIGAN，它学习将文本编码成两个分离的表示，包括离散代码和连续噪声，其中离散代码表示可解释的主题，而噪声控制主题内的方差。TIGAN学习的离散代码可用于无监督文本分类。与其他无监督基线相比，建议的TIGAN在六个不同的语料库上取得了优异的性能。此外，性能与最近提出的弱监督文本分类方法相当。提取的代表潜在主题的主题词表明，TIGAN学习连贯和高度可解释的主题。
2020-04-28 cs.CL cs.IR cs.LG
Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment
University of Charleston（查尔斯顿大学）；Apple Inc.（苹果公司）；Cerence B. V.（赛轮思公司）
有效的文本数据分布（TDD）对齐和生成是文本分析和NLP中的开放性研究问题。目前，很难简约地和方法学地确认两个或更多个自然语言数据集属于相似的分布，并且难以识别文本数据具有对齐的程度。这项研究的重点是解决上述更广泛的问题的一部分，通过应用多个监督和无监督的机器学习（ML）方法来探索TDD的行为（i）主题对齐，（ii）情感对齐。此外，我们使用多种文本生成方法，包括微调的GPT-2，按主题和情感生成文本。最后，我们开发了一个独特的过程驱动的变化的Kullback-Leibler分歧（KLD）的应用TDD，命名为KL文本分布对比（KL-TDC），以确定对齐的机器生成的文本语料库与自然发生的文本语料库。因此，这项研究确定了一种独特的方法，用于生成和验证TDD的主题和情绪，这可以用来帮助解决稀疏数据问题和其他研究，实践和课堂情况下，需要人工生成的主题或情绪对齐的文本数据。
2021-06-15 cs.CL cs.LG cs.SI
Discovering key topics from short, real-world medical inquiries via natural language processing and unsupervised learning
Bayer AG（拜耳股份公司）；areto consulting gmbh（areto咨询有限公司）
制药公司每年收到数百万份未经请求的医疗咨询。据推测，这些调查代表了一个信息宝库，可能会深入了解有关药品和相关医疗的问题。然而，由于调查的数量大和专业性质，很难进行及时、经常和全面的分析。在这里，我们提出了一种基于自然语言处理和无监督学习的机器学习方法，以自动发现客户真实医疗查询中的关键主题。这种方法既不需要本体，也不需要注释。根据医疗信息专家的判断，发现的主题是有意义的，与医疗相关的，因此表明主动提出的医疗咨询是有价值的客户见解的来源。我们的工作为制药行业的机器学习驱动的医疗查询分析铺平了道路，最终旨在改善患者护理。
2020-12-08 cs.CL cs.IR cs.LG
PromptMTopic: Unsupervised Multimodal Topic Modeling of Memes using Large Language Models
Singapore University of Technology and Design（新加坡科技设计大学）；VinUniversity（Vin大学）
本文提出 PromptMTopic，一种借助 LLM、融合文本与视觉语义交互的无监督多模态梗图主题建模方法，并在三个真实数据集上验证其优于现有基线。
2023-12-11 cs.CL cs.CV cs.MM
