Computer-Assisted Text Analysis for Social Science: Topic Models and Beyond
College of Computing and Informatics University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校计算与信息学院）
主题模型是一系列基于语义的算法，用于总结、探索和索引大量的文本文档。在计算机科学家领导的十年研究之后，主题模型已经扩展到社会科学，因为新一代数据驱动的社会科学家正在寻找工具来探索大量非结构化文本。最近，社会科学家在因果推理和处理多模态问题的工具方面的发展为主题模型文献做出了贡献。在本文中，我提供了一个文献综述的主题建模的演变，包括扩展文档协变量，评估和解释的方法，以及在交互式可视化的进展，以及每个方面的相关性和社会科学研究的应用。
2018-04-03 cs.CL
A Novel Method of Fuzzy Topic Modeling based on Transformer Processing
National Chiao Tung University（国立交通大学）；National Chung Hsing University（国立中兴大学）；SparkAmplify；Institue of Technology Management（技术管理学院）
本文针对LDA主题建模结果不直观、关键词关联可靠性存疑及主题数难以预先确定等问题，提出基于Transformer文档嵌入与软聚类的模糊主题建模方法，并在新闻稿监测应用中取得比LDA更自然的结果。
2023-09-18 cs.CL
Bridging the gap between supervised classification and unsupervised topic modelling for social-media assisted crisis management
McGill University（麦吉尔大学）
在自然灾害期间，Twitter等社交媒体为危机管理人员和受灾群众提供了宝贵的信息。机器学习可以帮助从危机期间共享的大量信息中构建和提取信息;然而，危机不断演变的性质使得有效的领域自适应至关重要。监督分类受到不可改变的类别标签的限制，这些类别标签可能与新事件无关，而无监督主题建模则受到先验知识不足的限制。在本文中，我们弥合了两者之间的差距，并表明，BERT嵌入微调危机相关的推文分类可以有效地用于适应新的危机，发现新的主题，同时保留相关类监督训练，并利用双向自我注意提取主题关键字。我们创建了一个数据集的推文从暴风雪来评估我们的方法的可转移性，以新的危机，并发现它优于传统的主题模型，在自动和人类的评估接地危机管理人员的需求。更广泛地说，我们的方法可以用于文本领域自适应的潜在类是未知的，但与其他领域的已知类重叠。
2021-03-22 cs.CL
Generative AI for automatic topic labelling
School of Library and Information Science, University of Montreal, Canada（蒙特利尔大学图书馆与信息科学学院）
本文利用生成式AI模型对科学领域主题进行自动标注，评估了三种LLM在标注准确性与复杂性把握上的表现，发现三词标签更适用于捕捉研究主题的复杂性。
2024-08-13 cs.AI cs.CL
vONTSS: vMF based semi-supervised neural topic modeling with optimal transport
Amazon（亚马逊）
提出半监督神经主题建模方法vONTSS，结合vMF变分自编码器与最优传输，在半监督和无监督设置下均优于现有方法，并证明了最优传输损失与交叉熵损失的等价性。
2023-09-16 cs.AI cs.CL cs.IT
Topeax -- An Improved Clustering Topic Model with Density Peak Detection and Lexical-Semantic Term Importance
Aarhus University（奥胡斯大学）
Topeax通过结合密度峰值检测和词汇-语义术语重要性，改进了聚类主题模型，提升了聚类恢复和描述质量，同时更稳定地应对样本和超参数变化。
2026-01-29 cs.AI cs.CL
A Comparison of Approaches for Imbalanced Classification Problems in the Context of Retrieving Relevant Documents for an Analysis
Ludwig-Maximilians-University Munich（慕尼黑路德维希-马克西米利安大学）
许多基于文本的社会科学研究的第一步是从大量的不相关文档中检索与分析相关的文档。在社会科学中，解决这一检索任务的传统方法是应用一组关键字，并认为这些文档是相关的，至少包含一个关键字。但是，应用不完整的关键字列表有可能得出有偏见的推论。更复杂和昂贵的方法，如查询扩展技术，基于主题模型的分类规则，以及主动和被动的监督学习可能有潜力更准确地分离相关的不相关的文件，从而减少潜在的偏见的大小。然而，应用这些更昂贵的方法是否会增加检索性能相比，关键字列表在所有，如果是这样的话，有多少，是不清楚的，因为这些方法的比较是缺乏的。这项研究通过比较这些方法在与德国推文数据集（Linder，2017），社会偏见推理语料库（SBIC）（Sap等人，2020）和Reuters-21578语料库（Lewis，1997）。结果表明，查询扩展技术和主题模型为基础的分类规则，在大多数研究设置往往会降低，而不是提高检索性能。然而，主动监督学习如果应用于不太小的标记训练实例集（例如，1,000个文档），则达到比关键字列表高得多的检索性能。
2022-05-03 cs.CL cs.IR stat.AP
Topic Modeling, Clade-assisted Sentiment Analysis, and Vaccine Brand Reputation Analysis of COVID-19 Vaccine-related Facebook Comments in the Philippines
University of Birmingham（伯明翰大学）；De La Salle University（德拉萨大学）
菲律宾的疫苗犹豫和其他与COVID-19相关的担忧和投诉在社交媒体上很明显。识别这些不同的话题和情绪非常重要，以便衡量公众意见，利用这些见解制定政策，并做出必要的调整或行动，以改善管理机构和COVID-19疫苗本身的公众形象和声誉。本文提出了一种半监督机器学习管道来执行主题建模、情感分析和疫苗品牌声誉分析，以深入了解菲律宾人在Facebook上的全国民意。该方法利用多语言版本的双向编码器表示从Transformers或BERT的主题建模，层次聚类，五个不同的分类器的情感分析，余弦相似度的BERT主题嵌入疫苗品牌声誉分析。研究结果表明，任何类型的COVID-19错误信息都是COVID-19舆论的一个紧急属性，而COVID-19错误信息的检测可能是一项无人监督的任务。情感分析结合层次聚类分析发现，在主题模型外推的25个主题中，有21个是负面主题。每当菲律宾卫生部发布有关其他国家COVID-19疫情的信息时，此类负面评论就会激增。此外，同一机构在Facebook帖子上的大量笑声反应-没有任何幽默内容-表明这些帖子的反应者往往会做出反应，不是因为帖子是关于什么的，而是因为谁发布了它们。
2021-10-11 cs.CL cs.CY
A Weakly-Supervised Iterative Graph-Based Approach to Retrieve COVID-19 Misinformation Topics
University of Pennsylvania（宾夕法尼亚大学）
2019冠状病毒病大流行伴随着“信息流行病”-社交媒体上准确和不准确的健康信息。在动态变化的信息环境中检测错误信息是具有挑战性的;由于需要大量的人力来检查帖子的内容和来源，因此识别相关的关键字和帖子是艰巨的。我们的目标是通过引入弱监督迭代基于图的方法来检测与错误信息相关的关键字、主题和主题，以COVID-19为重点，从而降低此过程的资源成本。我们的方法可以成功地检测特定的主题，从一般的错误信息相关的种子词在一些种子文本。我们的方法利用基于BERT的词图搜索（BWGS）算法，该算法建立在基于上下文的神经网络嵌入检索错误信息相关的职位。我们利用潜在狄利克雷分配（LDA）主题建模获得错误信息相关的主题从文本返回的BWGS。此外，我们提出了基于BERT的多方向词图搜索（BMDWGS）算法，利用更大的启动上下文信息的错误信息提取。除了对我们的方法进行定性分析外，我们的定量分析还表明，与低数据资源环境中的常见基线相比，BWGS和BMDWGS在提取错误信息相关内容方面是有效的。提取这些内容有助于发现普遍存在的误解和担忧，并促进精确的公共卫生信息宣传活动，以改善健康行为。
2022-05-19 cs.CL cs.HC cs.SI
Detecting New Word Meanings: A Comparison of Word Embedding Models in Spanish
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Polytechnique Montréal（蒙特利尔综合理工学院）
语义新词是指在保持原有形式的同时获得新的词义的词。鉴于这类新词的性质，识别这些新词含义的任务目前由新词观测站的专家手动执行。为了以半自动的方式检测SN，我们开发了一个系统，该系统实现了以下策略的组合：主题建模，关键字提取和词义消歧。主题建模的作用是检测输入文本中处理的主题。文本中的主题提供了关于所用单词的特定含义的线索，例如：viral在计算机科学（CS）的上下文中有一个含义，而在谈论健康时有另一个含义。为了提取关键字，我们使用了带有POS标签过滤的TextRank。通过这种方法，我们可以获得已经是西班牙语词汇的一部分的相关单词。我们使用一个深度学习模型来确定一个给定的关键字是否有新的含义。与所有已知含义（或主题）不同的嵌入表示单词可能是有效的SN候选。在这项研究中，我们研究了以下词嵌入模型：Word2Vec，Sense2Vec和FastText。使用西班牙语维基百科作为语料库，使用等效参数对模型进行训练。然后，我们使用一个单词列表及其索引（从我们的新词数据库中获得）来显示每个模型产生的不同嵌入。最后，我们将这些结果与每个单词的一致性进行比较，以显示我们如何确定一个单词是否可以作为SN的有效候选。
2020-01-12 cs.CL
Application of Topic Models to Judgments from Public Procurement Domain
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw（华沙大学跨学科数学与计算建模中心）
在这项工作中，自动分析的主题包含在一个大型语料库的判断，从公共采购领域进行。所采用的技术是无监督的潜在狄利克雷分配（LDA）。此外，建议使用LDA结合最近开发的无监督关键字提取方法。这种方法提高了自动获得的主题的可解释性，并允许更好的计算性能。所述分析说明了该方法在发现反复出现的主题和发现提出的合同上诉的时间趋势方面的潜力。这些结果可能在未来应用，以改善信息检索从法律文本的知识库或作为辅助材料进行法律分析的人类专家。
2014-12-16 cs.CL
Analysis of Computational Science Papers from ICCS 2001-2016 using Topic Modeling and Graph Theory
ITMO University（圣彼得堡国立信息技术机械与光学大学）；University of Amsterdam（阿姆斯特丹大学）；Eötvös University（罗兰大学）
本文介绍了主题建模和网络模型的主题使用国际会议上计算科学语料库，其中包含特定领域（计算科学）的论文超过十六年（共5695篇）的结果。我们讨论了计算科学国际会议的主题结构，这些主题如何随着时间的推移，在响应各种问题，技术和方法的时事性，以及如何所有这些主题相互关联。该分析通过从主题建模结果和作者的关键词构建静态和动态网络来说明科学界之间的多学科研究和合作。本研究的结果提供了关于计算科学核心讨论主题的过去和未来趋势的见解。我们使用非负矩阵分解主题建模算法来发现主题，并对结果进行分层标记和分组。
2017-04-18 cs.CL cs.DL cs.IR
Discriminative Topic Mining via Category-Name Guided Text Embedding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
从海量文本语料库中自动挖掘出一组有意义、有特色的主题具有广泛的应用前景。然而，现有的主题模型通常以纯粹无监督的方式工作，这通常会生成不符合用户特定需求的主题，并在下游任务上产生次优性能。我们提出了一个新的任务，歧视性主题挖掘，它利用一组用户提供的类别名称挖掘歧视性主题的文本语料库。这个新的任务不仅可以帮助用户清楚和明确地理解他/她最感兴趣的主题，而且还直接受益于关键字驱动的分类任务。我们开发了CatE，一种新的类别名称引导的文本嵌入方法，用于判别式主题挖掘，它有效地利用最小的用户指导来学习判别式嵌入空间，并以迭代的方式发现类别代表性术语。我们进行了一组全面的实验表明，CatE挖掘高质量的主题集的类别名称只引导，并有利于各种下游应用，包括弱监督分类和词汇蕴涵方向识别。
2020-01-27 cs.CL cs.IR
TopicProphet: Prophesies on Temporal Topic Trends and Stocks
Emory CS Department（埃默里大学计算机科学系）
TopicProphet通过主题建模和时间分析，改进股票预测模型的训练数据质量，提升金融百分比变化预测效果。
2025-12-05 cs.AI cs.CL cs.LG
Hierarchical Multi-Label Classification of Scientific Documents
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
自动主题分类已被广泛研究，以帮助管理和索引的数字收集的科学文献。随着近年来出现的大量主题，有必要将它们按层次排列。因此，自动分类系统需要能够分级地对文档进行分类。此外，每篇论文往往被分配到一个以上的相关主题。例如，一篇论文可以被分配到层次树中的几个主题。在本文中，我们介绍了一个新的数据集，用于科学论文的分层多标签文本分类（HMLTC），称为SciHTC，它包含来自ACM CCS树的186，160篇论文和1，233个类别。我们为HMLTC建立了强大的基线，并提出了一种多任务学习方法，用于主题分类，关键字标记作为辅助任务。我们的最佳模型达到了34.57%的Macro-F1得分，这表明该数据集为分层科学主题分类提供了重要的研究机会。我们在Github上提供数据集和代码。
2022-11-05 cs.CL
LLM as Attention-Informed NTM and Topic Modeling as long-input Generation: Interpretability and long-Context Capability
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Science and Technology Beijing（北京科技大学）；Beijing Value Simplex Technology Co. Ltd（北京价值简单科技有限公司）；Zhongguancun Laboratory（中关村实验室）
本文从白盒和黑盒视角研究基于LLM的话题建模，提出注意力引导框架恢复可解释结构，并通过长输入任务和信号补偿方法提升性能，验证LLM与NTM的联系及长上下文LLM在话题建模中的潜力。
2026-04-14 cs.AI cs.CL
Multilingual Topic Models
Columbia University（哥伦比亚大学）；Harvard-Smithsonian Center for Astrophysics（哈佛-史密森天体物理中心）；Northeastern University（东北大学）
科学出版物已经发展了几个功能，用于在索引，检索和计算文章之间的相似性时减轻词汇不匹配。这些缓解策略的范围从简单地关注高价值的文章部分，如标题和摘要，到分配关键字，通常来自受控词汇表，手动或通过自动注释。各种文档表示方案具有不同的成本效益权衡。在本文中，我们建议将同一篇文章的不同表示建模为彼此的翻译，所有这些都是从多语言主题模型中的公共潜在表示生成的。我们首先对并行文档表示的潜在变量模型进行了方法学概述，这些模型可以用于许多信息科学任务。然后，我们将展示如何解决不同的表示映射到一个共享的主题空间的推理问题，使我们能够评估表示的基础上，他们是如何主题相似的原始文章。此外，我们提出的方法提供了手段，发现不同的概念词汇需要改进。
2017-12-18 cs.CL cs.IR stat.ML
Topic modeling of public repositories at scale using names in source code
source{d}
程序设计语言本身具有限定语言规范的有限数量的保留关键字和基于字符的标记。然而，程序员通过注释、文本文字和命名实体在代码中大量使用自然语言。程序员定义的名称可以在源代码中找到，这是一个丰富的信息源，可以帮助您对项目进行高层次的理解。本文的目标是将主题建模应用于超过1360万个存储库中使用的名称，并感知推断的主题。这样的研究中的一个问题是出现了没有正式标记为fork的重复存储库（模糊的fork）。我们展示了如何使用为主题建模提取的相同标识符来解决它。我们首先讨论源代码中的命名，然后详细说明我们使用词袋模型上的局部敏感哈希来删除精确重复和模糊重复存储库的方法，然后讨论我们在主题建模方面的工作;最后介绍我们的数据分析结果以及对源代码，工具和数据集的开放访问。
2017-05-20 cs.CL cs.PL
Topic Bias in Emotion Classification
University of Stuttgart（斯图加特大学）；University of Bamberg（班贝格大学）
该研究针对情感语料库因采样方式产生主题偏差、损害模型泛化性的问题，从数据与建模角度验证情感和特定主题的关联及对分类器的干扰，并证实梯度反转对抗校正的去偏方法可缓解该问题，呼吁构建更具代表性的语料资源。
2024-02-02 cs.CL
On Cross-Dataset Generalization in Automatic Detection of Online Abuse
National Research Council Canada（加拿大国家研究委员会）
NLP研究在作为监督分类任务的滥用语言检测中取得了很高的性能。虽然在研究环境中，训练和测试数据集通常是从相似的数据样本中获得的，但在实践中，系统通常应用于与训练集在主题和类别分布上不同的数据。此外，在此任务中继承的类定义中的模糊性加剧了源数据集和目标数据集之间的差异。我们探讨了跨数据集泛化中的主题偏差和任务制定偏差。我们发现，维基百科Detox数据集中的良性示例偏向于特定于平台的主题。我们使用无监督主题建模和主题关键字的手动检查来识别这些示例。删除这些主题可以提高跨数据集的泛化能力，而不会降低域内分类性能。对于一个健壮的数据集设计，我们建议应用廉价的无监督方法来检查收集的数据，并在手动注释类标签之前缩小不可概括的内容。
2021-05-19 cs.AI cs.CL
Natural language processing on customer note data
Manchester Metropolitan University（曼彻斯特城市大学）；Auto Trader Group（汽车交易商集团）
针对B2B客户备注数据学术研究少、大体量数据人工分析难度大的问题，将情感分析、主题建模与关键词提取应用于B2B数据集，验证了自动提取准确情感、按相关性归类主题的可行性，同时指出主题划分不清晰会导致其与业务场景脱节。
2023-05-03 cs.CL
Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
基于情感分析的评论文本的情感分析对于以细粒度的方式理解用户反馈具有重要价值。它通常有两个子任务：（i）从每个评论中提取方面，以及（ii）根据情感极性对基于方面的评论进行分类。在本文中，我们提出了一个弱监督的方法，基于方面的情感分析，它只使用几个关键字描述每个方面/情感，而不使用任何标记的例子。现有的方法要么只为其中一个子任务而设计，忽略了耦合两者的好处，要么基于可能包含重叠概念的主题模型。我们建议首先通过实施正则化来鼓励主题独特性，从而在词嵌入空间中学习<sentiment，aspect>联合主题嵌入，然后使用神经模型通过使用基于嵌入的预测预训练分类器并在未标记的数据上进行自我训练来概括词级判别信息。我们的综合性能分析表明，我们的方法生成高质量的联合主题，并在基准数据集上显著优于基线（方面和情感分类的平均F1得分分别增加7.4%和5.1%）。我们的代码和数据可在https://github.com/teapot123/JASen上获得。
2020-10-13 cs.CL cs.IR cs.LG
Graph-based Keyword Planning for Legal Clause Generation from Topics
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Adobe Research（奥多比研究院）
基于最少的用户提供的信息生成特定于域的内容（如法律条款），在自动化法律合同生成方面有很大的好处。在本文中，我们提出了一个可控的基于图的机制，可以生成法律条款只使用的主题或类型的法律条款。我们的管道包括两个阶段，涉及一个基于图的规划器，然后是一个子句生成器。规划器使用可控的基于图的机制基于输入主题将法律条款的内容概述为按照从通用到更具体的条款信息的顺序的关键字序列。生成阶段接受给定的计划并生成子句。管道由基于图形的规划器和文本生成组成。我们说明了我们提出的两阶段的方法在合同中的条款主题广泛的有效性。
2023-01-07 cs.AI cs.CL
Contextual Topic Modeling For Dialog Systems
Amazon（亚马逊）
会话主题的准确预测可以是用于创建连贯和吸引人的对话系统的有价值的信号。在这项工作中，我们专注于上下文感知的主题分类方法，用于识别自由形式的人类聊天机器人对话中的主题。我们扩展了以前的工作，神经主题分类和无监督主题关键字检测，将会话上下文和对话行为功能。在注释数据上，我们表明，将上下文和对话行为导致主题分类准确率相对提高35%，主题经常跨越多个话语的会话交互的无监督关键字检测召回率提高11%。我们发现，主题深度等主题指标与连贯性和参与度等对话评价指标高度相关，这意味着会话主题模型可以预测用户满意度。我们检测对话主题和关键字的工作可以用来引导聊天机器人进行连贯的对话。
2018-10-19 cs.CL
Comparing the hierarchy of keywords in on-line news portals
Eötvös University（厄特沃什大学）；The Open University（开放大学）；Hungarian Academy of Sciences（匈牙利科学院）
用信息性关键词标记在线内容是一种普遍现象，从科学文章库到博客再到在线新闻门户。在大多数情况下，给定项目上的标签是作者独立选择的自由词。因此，在一组新闻条目中关键词之间的关系是未知的。然而，在大多数情况下，这些关键词所描述的主题和概念形成了一个潜在的层次结构，更一般的主题和类别位于顶部，更专业的主题和类别位于底部。在这里，我们应用最近，共现为基础的标签层次结构提取方法，从四个不同的在线新闻门户网站获得的关键字集。由此产生的层次结构不仅在呈现为重要（位于层次结构的顶部）或不太感兴趣（在层次结构中分类较低）的主题上显示出实质性差异，而且在底层网络结构中也显示出实质性差异。这揭示了在所研究的新闻门户网站的似是而非的关键词关联框架之间的差异。
2016-06-20 cs.CL cs.SI physics.soc-ph
Dictionary-Assisted Supervised Contrastive Learning
New York University（纽约大学）
社会科学中的文本分析通常涉及使用专业词典来推理抽象概念，例如对经济的看法或社交媒体上的滥用。这些词典允许研究人员传授领域知识，并记录与感兴趣的概念相关的单词的微妙用法。我们引入了词典辅助监督对比学习（DASCL）目标，允许研究人员在微调预训练的语言模型时利用专门的词典。首先对文本进行关键字简化：一个通用的固定标记替换语料库中出现在词典中与感兴趣的概念相关的任何单词。在微调过程中，有监督的对比目标使同一类的原始文本和关键词简化文本的嵌入更接近，同时使不同类的嵌入进一步分开。同一个类的关键字简化文本在文本上比它们的原始文本更相似，这额外地将同一个类的嵌入更紧密地结合在一起。与单独使用交叉熵和替代对比和数据增强方法相比，组合DASCL和交叉熵提高了少样本学习设置和社会科学应用中的分类性能指标。
2022-10-27 cs.CL cs.LG
Semantic Similarity Measure of Natural Language Text through Machine Learning and a Keyword-Aware Cross-Encoder-Ranking Summarizer -- A Case Study Using UCGIS GIS&T Body of Knowledge
School of Geographical Sciences and Urban Planning, Arizona State University（亚利桑那州立大学地理科学与城市规划学院）
针对GIS&T BoK主题语义关系手动定义不完整的问题，评估多种NLP技术提取文本语义，并提出KACERS摘要器生成科学文献语义摘要，以指导BoK内容组织并展示长文本语义理解潜力。
2023-05-17 cs.AI cs.CL cs.IR
Dynamic Knowledge Routing Network For Target-Guided Open-Domain Conversation
Sun Yat-Sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
目标引导的开放域会话旨在主动和自然地引导对话代理或人在开放式会话期间实现特定目标，主题或关键字。现有的方法主要依赖于单轮数据驱动学习和简单的目标引导策略，而不考虑候选主题/关键词之间的语义或事实知识关系。这导致过渡平滑性差和成功率低。在这项工作中，我们采用了一种结构化的方法，通过引入粗粒度的关键字来控制系统响应的预期内容，通过回合级监督学习和候选关键字之间的知识关系来实现平滑的会话转换，并使用话语级引导策略来驱动会话朝向指定的目标。特别是，我们提出了一种新的动态知识路由网络（DKRN），考虑候选关键字之间的语义知识关系，准确的下一个主题预测下一个话语。在更准确的关键词预测的帮助下，我们的关键词增强响应检索模块可以实现更好的检索性能和更有意义的对话。此外，我们还提出了一种新的双语篇层次目标引导策略，以引导会话顺利地达到其目标，具有较高的成功率。此外，为了拓展目标引导开放域会话的研究边界，使其更好地匹配真实场景，本文引入了一个新的大规模中文目标引导开放域会话数据集（超过90万会话），该数据集从新浪微博上抓取。定量和人工评估表明，我们的方法可以产生有意义和有效的目标引导对话，显着提高了其他国家的最先进的方法超过20%的成功率和超过0.6的平均平滑分数。
2020-03-06 cs.CL
LITA: An Efficient LLM-assisted Iterative Topic Augmentation Framework
Department of Biomedical Informatics & Data Science, Yale University（生物医学信息学与数据科学系，耶鲁大学）；Department of Information Management, National Sun Yat-sen University（信息管理系，National Sun Yat-sen University）
提出LITA框架，结合用户种子词、嵌入聚类与LLM迭代细化，低成本提升主题建模质量，实验优于五种基线模型。
2025-05-22 cs.AI cs.CL cs.IR
LLM-Assisted Topic Reduction for BERTopic on Social Media Data
Ghent University（根特大学）
提出结合BERTopic与大型语言模型的框架，通过迭代合并相似主题来减少社交媒体数据中的重叠主题，在三个数据集上提升了主题多样性和连贯性。
2025-09-18 cs.CL cs.LG
Mapping Scientific Literature with Large Language Models and Topic Modeling
Department of Civil and Environmental Engineering（土木与环境工程系）；University of Pittsburgh（匹兹堡大学）
提出基于大语言模型的两阶段分类框架，通过主题建模分析PNAS工程类文献，生成语义可解释主题并揭示跨主题关联，性能优于传统方法。
2026-06-11 cs.AI cs.CL cs.DL
Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
尽管上下文化语言模型最近在各种NLP任务上取得了成功，但语言模型本身无法捕获长的多句子文档的文本连贯性（例如，a段）。人类在说话之前，经常会做出关于说什么和如何说的结构性决定。用这种高层决策指导表面实现并以连贯的方式构造文本，本质上称为规划过程。模型在哪里可以学习这种高层次的一致性？文章提出了一个新的段落补全任务PARCOM，即预测段落中的隐藏句。然而，任务遭受预测和选择适当的主题内容相对于给定的上下文。为了解决这个问题，我们提出了一个自我监督的文本规划器SSPlanner，它首先预测要说什么（内容预测），然后使用预测的内容指导预训练的语言模型（表面实现）。SSPlanner在自动和人工评估中的段落完成任务上优于基线生成模型。我们还发现，名词和动词类型的关键字的组合是最有效的内容选择。随着提供更多数量的内容关键字，总体生成质量也提高。
2020-10-11 cs.CL
AdaptKeyBERT: An Attention-Based approach towards Few-Shot & Zero-Shot Domain Adaptation of KeyBERT
Manipal Institute of Technology（马尼帕尔理工学院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）
关键词抽取是现代自然语言处理的一个重要课题。它的应用范围从本体生成，事实验证摘要文本，和推荐系统。虽然它有重要的数据密集型应用程序，但当数据集很小时，它往往受到阻碍。关键字提取器的下游训练是一个漫长的过程，需要大量的数据。最近，已经提出了少样本学习（FSL）和零样本学习（Zero-Shot Learning，ZRL）来解决这个问题。因此，我们提出了AdaptKeyBERT，这是一种通过将正则化注意力的概念纳入下游领域自适应的预训练阶段来训练具有LLM基础的关键字提取器的管道。由于我们相信我们的工作对FSL/FML和关键字提取的管道有影响，我们开源了我们的代码，并在https://github.com/AmanPriyanshu/AdaptKeyBERT上提供了同名AdaptKeyBERT的微调库。
2022-11-16 cs.CL cs.LG
Cooperative Memory Paging with Keyword Bookmarks for Long-Horizon LLM Conversations
提出协作式分页方法，用关键词书签替代被驱逐的对话片段，并赋予模型 recall() 工具按需检索，在 LoCoMo 基准上四个模型均取得最佳答案质量，并通过消融实验揭示分页设计的关键因素。
2026-05-24 cs.AI cs.CL
