Unsupervised Open-domain Keyphrase Generation
Hanoi University of Science and Technology（河内理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Cazoodle Inc.（Cazoodle公司）
提出一种由短语性和信息性模块组成的无监督序列到序列模型，用于开放域关键词生成，在八个基准数据集上达到最先进性能，并将监督与无监督方法的差距缩小至约16%。
2023-06-19 cs.CL
Local Word Vectors Guiding Keyphrase Extraction
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
关键词自动提取是文本信息处理的一项基本任务，它涉及从文档中提取概括其内容的代表性短语。这项工作提出了一种新的无监督的关键词提取方法，其主要创新是使用本地词嵌入（特别是GloVe向量），即，嵌入从考虑中的单个文档中训练出来。我们认为，这样的本地表示的单词和关键短语能够准确地捕捉他们的语义的上下文中的文件，他们的一部分，因此可以帮助提高关键短语提取质量。实证结果提供的证据表明，与在非常大的第三语料库或由同一科学领域的多个文档组成的更大语料库上训练的嵌入和其他最先进的无监督关键短语提取方法相比，本地表示确实会导致更好的关键短语提取结果。
2018-04-13 cs.CL
Unsupervised Keyphrase Extraction by Jointly Modeling Local and Global Context
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Tencent Cloud Xiaowei（腾讯云小微）
基于嵌入的方法被广泛用于无监督关键短语提取（UKE）任务。一般而言，这些方法只是简单地计算短语嵌入和文档嵌入之间的相似度，这不足以捕获不同的上下文以获得更有效的UKE模型。在本文中，我们提出了一种新的方法UKE，其中局部和全局上下文联合建模。从全局的角度，我们计算之间的相似度的某个短语和整个文档在向量空间中的过渡嵌入模型做。在局部视图方面，我们首先建立一个基于文档的图结构，其中短语被视为顶点，边是顶点之间的相似性。然后，我们提出了一种新的中心度计算方法来捕获局部显着信息的基础上的图结构。最后，我们进一步结合全局和局部上下文的建模进行排名。我们评估我们的模型在三个公共基准（Inspec，DUC 2001年，SemEval 2010年），并与现有的国家的最先进的模型进行比较。实验结果表明，该模型在不同领域和不同长度的输入文档上都有较好的泛化能力。进一步的消融研究表明，局部和全局信息对于无监督关键短语提取任务至关重要。
2021-09-15 cs.CL
PatternRank: Leveraging Pretrained Language Models and Part of Speech for Unsupervised Keyphrase Extraction
Technical University of Munich（慕尼黑工业大学）
关键词提取是从给定文本中自动选择一小组最相关短语的过程。有监督的关键短语提取方法需要大量标记的训练数据，并且在训练数据的域之外表现不佳。在本文中，我们提出了PatternRank，它利用预训练的语言模型和词性，从单个文档中进行无监督的关键短语提取。我们的实验表明，PatternRank实现了更高的精度，召回率和F1分数比以前的国家的最先进的方法。此外，我们提出了KeyphraseVectorizers包，它允许容易修改的部分语音模式的候选关键词选择，因此适应我们的方法到任何领域。
2022-10-12 cs.AI cs.CL
Unsupervised Deep Keyphrase Generation
University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Virginia（弗吉尼亚大学）；University of Pittsburgh（匹兹堡大学）
关键词生成的目的是总结长文档的一个集合的显着短语。深度神经模型在这项任务中取得了巨大的成功，能够预测文档中甚至没有的关键词。然而，这种抽象性是以大量的注释数据为代价的。在本文中，我们提出了一种新的方法生成关键词，AutoKeyGen，没有任何人类注释的监督。出于观察，在一个文档中缺席的关键短语可以出现在其他地方，在整个或部分，我们首先构建一个短语库汇集在语料库中的所有短语。有了这个短语库，我们然后通过部分匹配过程为每个文档绘制候选缺席关键短语。为了对这两种类型的候选人进行排名，我们将其词汇和语义级别的相似性与输入文档相结合。此外，我们利用这些排名靠前的候选人，训练一个深度生成模型，为更多的缺席关键词。大量的实验表明，AutoKeyGen优于所有无监督的基线，在某些情况下甚至可以击败强监督方法。
2021-04-18 cs.CL cs.LG
PerKey: A Persian News Corpus for Keyphrase Extraction and Generation
Sharif University of Technology（沙里夫理工大学）；ICT Research Institute（信息通信技术研究院）
关键词提供了文本的极其密集的摘要。这些信息可以用于许多自然语言处理任务，例如信息检索和文本摘要。由于以前对波斯语关键词或关键短语提取的研究没有公布他们的数据，该领域缺乏人类提取的关键短语数据集。在本文中，我们介绍PerKey，一个语料库的553k新闻文章从六个波斯语新闻网站和机构相对高质量的作者提取的关键词，然后过滤和清洗，以实现更高质量的关键词。将得到的数据进行人工评估，以确保关键词的质量。我们还使用精确度，召回率和F1分数测量了不同监督和无监督技术的性能，例如TFIDF，MultipartiteRank，KEA等。
2020-09-25 cs.CL
MAPEX: A Multi-Agent Pipeline for Keyphrase Extraction
TMCC, College of Computer Science, Nankai University, Tianjin, China（天津大学计算机学院）
针对现有LLM无监督关键短语提取方法单阶段统一提示的不足，提出首个多智能体协作框架MAPEX，通过双路径策略适应文档长度，在六个基准上平均F1@5超越最先进无监督方法2.44%。
2025-09-24 cs.CL
EntropyRank: Unsupervised Keyphrase Extraction via Side-Information Optimization for Language Model-based Text Compression
Reichman University（赖希曼大学）；Microsoft（微软）
提出无监督方法EntropyRank，利用预训练语言模型和香农信息最大化提取高条件熵短语作为侧信息，实现文本压缩并达到与常用方法相当的基准性能。
2023-08-29 cs.CL cs.IT cs.LG
Semi-Supervised Learning for Neural Keyphrase Generation
Northeastern University（东北大学）
我们研究的问题，生成的关键词，总结了一个给定的文档的关键点。虽然序列到序列（seq2seq）模型在该任务上已经取得了显著的性能（Meng等人，2017），模型训练通常依赖于大量的标记数据，这只适用于资源丰富的领域。在本文中，我们提出了半监督关键词生成方法，利用标记数据和大规模未标记样本进行学习。提出了两个战略。首先，未标记的文档首先用从无监督关键短语提取方法或自学习算法获得的合成关键短语标记，然后与标记的样本组合用于训练。此外，我们研究了一个多任务学习框架，共同学习生成关键词以及文章的标题。实验结果表明，我们的半监督学习为基础的方法优于一个国家的最先进的模型训练的标记数据。
2019-09-06 cs.CL
MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction
Alibaba Group（阿里巴巴集团）；The University of New South Wales（新南威尔士大学）；A*STAR Centre for Frontier AI Research（新加坡科技研究局前沿人工智能研究中心）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
关键词提取（KPE）自动提取文档中的短语，这些短语提供核心内容的简明摘要，这有利于下游的信息检索和NLP任务。以前的最先进的（SOTA）方法选择候选关键词的基础上学习的候选人和文档的表示之间的相似性。由于序列长度之间的差异，导致关键短语候选者和文档的表示之间不匹配，因此它们在长文档上的性能会下降。在这项工作中，我们提出了一种新的无监督的嵌入为基础的KPE方法，掩蔽文档嵌入排名（MDERank），来解决这个问题，利用掩模策略和排序候选人之间的相似性嵌入的源文件和掩蔽的文件。通过提出一种新的自监督对比学习方法，我们进一步开发了一个面向KPE的BERT（KPE BERT）模型，该方法比普通的BERT更适合于MDERank。对6个KPE基准测试的综合评价表明，所提出的MDERank比最先进的无监督KPE方法平均提高了1.80 $F1@15$。MDERank进一步受益于KPEBERT，总体上比SOTA SIFRank平均提高了3.53 $F1@15$。我们的代码可在\url{https://github.com/LinhanZ/mderank}上找到。
2023-02-28 cs.AI cs.CL
Attention-Seeker: Dynamic Self-Attention Scoring for Unsupervised Keyphrase Extraction
Kyushu University（九州大学）；Graduate School of Information Science and Electrical Engineering, Kyushu University（九州大学情报科学与电气工程学院）
本文提出Attention-Seeker，一种利用大语言模型自注意力图动态评分候选短语的无监督关键词提取方法，无需手动调参，在四个公开数据集上多数达到最优性能，尤其擅长长文档。
2024-12-16 cs.CL cs.IR
Large Language Models as Zero-Shot Keyphrase Extractors: A Preliminary Empirical Study
Beijing Key Lab of Traffic Data Analysis and Mining（北京交通数据分析与挖掘重点实验室）；Beijing Jiaotong University（北京交通大学）
本研究探索直接提示ChatGPT构建零样本关键短语提取模型，实验表明其性能相比现有最先进无监督和监督模型仍有较大提升空间。
2024-01-10 cs.CL
Keyphrase Extraction using Sequential Labeling
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
关键字有效地概括了文档的内容，并用于各种文档处理和检索任务。存在用于从文本文档中提取关键词的几种无监督技术和分类器。这些方法中的大多数在短语级别上操作，并且依赖于用于候选短语生成的词性（POS）过滤器。此外，它们不直接处理不同长度的关键词。我们克服了这些建模的缺点，在本文中解决关键词提取作为一个连续的标签任务。我们探索了NLP任务中常用的一组基本特征，以及来自各种无监督方法的预测，以训练我们的标记器。除了一个更自然的建模的关键词提取问题，我们表明，标记模型产生显着的性能优势，现有的国家的最先进的提取方法。
2016-08-03 cs.AI cs.CL cs.IR
Key Algorithms for Keyphrase Generation: Instruction-Based LLMs for Russian Scientific Keyphrases
University of Tyumen（秋明大学）；Novosibirsk State University（新西伯利亚国立大学）
针对俄语科学关键词生成因形态复杂和数据集有限导致现有方案受限的问题，评估基于提示的LLM方法，发现其无需特定微调即可优于常见基线，还分析了少样本示例选择策略与人工评估结果。
2024-10-23 cs.AI cs.CL
Finding Black Cat in a Coal Cellar -- Keyphrase Extraction & Keyphrase-Rubric Relationship Classification from Complex Assignments
内容和开放式问题的多样性是在线研究生课程复杂任务所固有的。这些计划的自然规模在同行和专家反馈（包括流氓评论）中提出了各种挑战。虽然确定相关内容并将其与预定义的规则相关联将简化和改进评分过程，但迄今为止的研究仍处于初期阶段。因此，在本文中，我们的目标是量化的有效性的监督和无监督的方法的任务，关键词提取和通用/特定的关键词-标题关系提取。通过这项研究，我们发现，（i）无监督MultiPartiteRank产生最好的关键词提取结果（ii）有监督的SVM分类器与BERT功能，提供最好的性能为通用和特定的关键词-标题关系分类。最后，我们提出了一个全面的分析，并得出有益的意见，为那些有兴趣在这些任务的未来。源代码在\url{https://github.com/manikandan-ravikiran/cs6460-proj}中发布。
2020-04-24 cs.CL cs.CY cs.LG
WikiRank: Improving Keyphrase Extraction Based on Background Knowledge
University of Texas at Dallas（德克萨斯大学达拉斯分校）
关键词是文档主要思想的有效表示。虽然背景知识可以提供关于文档的有价值的信息，但是它们很少被结合在关键短语提取方法中。在本文中，我们提出了WikiRank，一个无监督的方法提取关键词的基础上，从维基百科的背景知识。首先，我们为文档构建一个语义图。然后将关键词提取问题转化为图上的优化问题。最后，我们得到最佳的关键词集作为输出。我们的方法比其他最先进的模型在F1分数上获得了超过2%的改进。
2018-03-23 cs.CL cs.IR
Prioritization of COVID-19-related literature via unsupervised keyphrase extraction and document representation learning
Jožef Stefan Institute（约瑟夫·斯蒂芬研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯蒂芬国际研究生院）；University of Maribor（马里博尔大学）
COVID-19大流行引发了一波新的科学文献，这些文献不可能在合理的时间范围内手动检查和研究。当前的机器学习方法提供了将此类文献主体投影到向量空间中，其中类似的文档彼此靠近，从而提供了对科学论文和与COVID-19相关的其他知识源的深入探索。然而，要开始搜索，需要对这些文本进行适当的注释，但由于缺乏人力资源，这种情况很少发生。在我们的系统中，使用无监督的关键词提取来注释当前的COVID-19相关文献，从而促进对包含学习的文档嵌入（低维表示）的潜在空间的初始查询。该解决方案是通过一个网络服务器能够交互式搜索，术语排名，并探索潜在的有趣的文献。我们通过药物化学领域的案例研究证明了该方法的实用性。
2021-10-17 cs.CL cs.DL cs.IR
MetaKP: On-Demand Keyphrase Generation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对传统关键短语预测无法满足多样化需求的问题，该研究提出按需关键短语生成范式，构建了跨领域大规模基准MetaKP，设计的自一致性提示方法使GPT-4o性能超越微调BART-base，还可作为通用NLP基础设施。
2024-10-04 cs.CL
A Review of Keyphrase Extraction
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
关键词提取是一项文本信息处理任务，涉及从文档中自动提取表达其内容的所有关键方面的代表性和特征性短语。关键词是对文档的一种简洁的概念性概括，在数字信息管理系统中，关键词对于语义索引、分面搜索、文档聚类和分类等都非常有用。本文介绍了关键词提取，对现有工作进行了结构良好的回顾，对不同的评估方法提供了有趣的见解，突出了开放的问题，并在五个数据集上对流行的无监督技术进行了比较实验研究。
2019-07-30 cs.CL cs.IR
Theme-driven Keyphrase Extraction to Analyze Social Media Discourse
Dartmouth College（达特茅斯学院）；BUET（孟加拉国工程技术大学）
本文提出面向社交媒体的主题驱动关键短语提取框架，构建首个MOUD-Keyphrase数据集，并验证ChatGPT在该任务上优于无监督模型。
2023-05-28 cs.CL
Keyphrase Generation: A Text Summarization Struggle
Institute of Formal and Applied Linguistics, Charles University（查尔斯大学形式与应用语言学研究所）
分配给科学文章的作者关键词对于识别内容和主题方面至关重要。大多数提出的监督和无监督的关键词生成方法都无法生成有价值但不出现在文本中的术语。在本文中，我们探讨的可能性，考虑关键短语串作为一个抽象的摘要的标题和摘要。首先，我们收集、处理和发布一个包含220万条记录的大型科学论文元数据数据集。然后，我们使用流行的文本摘要神经架构进行实验。尽管使用了先进的深度学习模型，大量的数据和许多天的计算，我们对四个测试数据集的系统评估表明，所探索的文本摘要方法无法产生比简单的无监督方法或现有的监督方法更好的关键词。
2019-04-03 cs.CL cs.IR cs.LG
Keyphrase Extraction from Scholarly Articles as Sequence Labeling using Contextualized Embeddings
NUS（新加坡国立大学）；Bloomberg（彭博）；MIDAS-IIIT-Delhi（德里印德拉普拉斯塔信息技术学院MIDAS）
在本文中，我们制定了从学术文章中提取关键词作为一个序列标签任务解决使用BiLSTM-CRF，在输入文本中的单词表示使用深上下文嵌入。我们在三个不同的基准数据集（Inspec，SemEval 2010，SemEval 2017）上使用上下文化和固定的词嵌入模型来评估所提出的架构，并与现有流行的无监督和监督技术进行比较。我们的研究结果量化的好处（a）使用语境化的嵌入（例如BERT）固定的词嵌入（例如手套）;（b）使用BiLSTM-CRF架构与语境化的词嵌入直接微调的语境化的词嵌入模型，（c）使用特定体裁的语境化的嵌入（SciBERT）。通过错误分析，我们还提供了一些关于为什么特定模型比其他模型更好的见解。最后，我们提出了一个案例研究，我们分析了两个最好的模型（BERT和SciBERT）的不同的自我注意层，以更好地理解每个关键词提取任务的预测。
2019-10-19 cs.CL
An efficient domain-independent approach for supervised keyphrase extraction and ranking
本研究提出一种领域无关的有监督关键短语提取排序方法，采用候选短语统计和位置特征与轻量集成模型，不依赖外部知识和预训练模型，在基准测试中准确率优于多数现有模型，兼具无监督方法优势。
2024-03-24 cs.CL cs.IR cs.LG
Pre-Trained Language Models for Keyphrase Prediction: A Review
Kyung Hee University（庆熙大学）；Hajee Mohammad Danesh Science and Technology University（哈吉·穆罕默德·达内什科技大学）
本文系统综述了利用预训练语言模型进行关键短语抽取与生成的研究，提出分类体系并指出未来方向，填补了现有综述的空白。
2024-09-02 cs.AI cs.CL
SlovKE: A Large-Scale Dataset and LLM Evaluation for Slovak Keyphrase Extraction
University of Vienna, Austria（维也纳大学）；Faculty of Mathematics, Physics and Informatics, Comenius University in Bratislava（布拉迪斯拉发comenius大学数学物理与信息学系）；Cisco Systems, Inc.（思科系统公司）；NaiveNeuron
本文构建了包含227432篇科学摘要的斯洛伐克关键词提取数据集，评估了三种无监督基线方法和KeyLLM方法，发现形态学不匹配是统计方法的主要失败模式。
2026-03-16 cs.AI cs.CL
Applying Transformer-based Text Summarization for Keyphrase Generation
University of Tyumen（秋明大学）；Novosibirsk State University（新西伯利亚国立大学）
本文在四个关键短语提取基准数据集上评估基于Transformer的生成式摘要模型，发现其在F1和BERTScore上表现有效但在ROUGE-1上较差，并证明目标关键短语的排序策略会影响生成性能。
2022-10-06 cs.AI cs.CL cs.LG
Enhancing Keyphrase Extraction from Academic Articles with their Reference Information
Nanjing University of Science and Technology（南京理工大学）
随着互联网技术的发展，信息过载现象越来越明显。用户需要花费大量的时间来获取他们需要的信息。然而，高度概括文档信息的关键词有助于用户快速获取和理解文档。对于学术资源，大多数现有的研究通过论文的标题和摘要提取关键词。我们发现参考文献中的标题信息也包含作者指定的关键词。因此，本文利用参考信息，应用两种典型的无监督提取方法（TF*IDF和TextRank）、两种具有代表性的传统监督学习算法（朴素贝叶斯和条件随机场）和一种有监督的深度学习模型（BiLSTM-CRF），分析参考信息在关键词提取中的具体表现。期望从扩展源文本的角度提高关键词识别的质量。实验结果表明，参考信息在一定程度上提高了关键词自动抽取的准确率、召回率和F1。这表明了学术论文关键词抽取参考信息的有用性，为后续的关键词自动抽取研究提供了一种新的思路。
2021-11-30 cs.CL cs.DL cs.IR
Keyword and Keyphrase Extraction Using Centrality Measures on Collocation Networks
University of North Texas（北德克萨斯大学）；Pennsylvania State University（宾夕法尼亚州立大学）
关键词和关键短语提取是自然语言处理中的一个重要问题，其应用范围从摘要到语义搜索再到文档聚类。基于图的关键词和关键短语提取方法避免了通过在词网络上应用PageRank算法的变体来获取大型域内训练语料库的问题。虽然基于图的方法是知识贫乏的，很容易在在线系统中采用，但它们是否能从PageRank以外的中心性度量中受益，在很大程度上仍然是开放的。在本文中，我们在单词和名词短语搭配网络上实验了一系列中心性度量，并在四个基准数据集上分析了它们的性能。不仅有中心性指标的表现与PageRank一样好或更好，而且它们更简单（例如，度、强度和邻域大小）。此外，基于中心的方法给出的结果与两个强无监督基线竞争，并且在某些情况下优于两个强无监督基线。
2014-01-25 cs.CL cs.IR
Applying unsupervised keyphrase methods on concepts extracted from discharge sheets
Isfahan University of Technology（伊斯法罕理工大学）；Medical University of Vienna（维也纳医科大学）；University of Isfahan（伊斯法罕大学）
包含有价值的病人信息的临床笔记是由不同的医疗保健提供者以不同的科学水平和写作风格撰写的。这可能有助于临床医生和研究人员了解在处理大量电子病历时哪些信息是必不可少的。实体识别和映射到标准术语是至关重要的，在处理临床笔记减少歧义。虽然命名实体识别和实体链接是临床自然语言处理中的关键步骤，但它们也可能导致产生重复和低价值的概念。另一方面，临床文本的所有部分在预测患者的状况方面并不具有相同的重要性或内容。因此，有必要确定记录每个内容的部分，并确定关键概念以从临床文本中提取含义。在这项研究中，这些挑战已经解决了临床自然语言处理技术。此外，为了识别关键概念，一组流行的无监督关键短语提取方法已被验证和评估。考虑到大多数临床概念都是以多词表达的形式出现，并且准确识别需要用户指定n-gram范围，因此提出了一种基于TF-IDF的快速保持表达结构的方法。为了评估预处理方法并选择概念，我们使用基于transformer的模型的功能设计了两种类型的下游任务（多重分类和二元分类）。实验结果表明了该方法与SciBERT模型相结合的优越性，同时也为临床病历中常用的关键词提取方法的有效性提供了一种新的思路。
2023-03-15 cs.CL cs.LG
LongKey: Keyphrase Extraction for Long Documents
University of Luxembourg（卢森堡大学）；Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）
针对长文档关键短语提取的空白，提出LongKey框架，利用编码器语言模型和最大池化嵌入器，在LDKP及六个未见数据集上超越现有方法。
2024-11-26 cs.AI cs.CL cs.IR
GLEAKE: Global and Local Embedding Automatic Keyphrase Extraction
Georgia State University（佐治亚州立大学）
在过去的几年里，随着科学、新闻、医学和Web文档的增长，大型文本文档语料库的粒度分类的自动化方法变得越来越重要。自动关键词提取（AKE）的目的是从单个文本文档中自动检测一小部分单个或多个单词，这些单词捕获了文档的主要主题。AKE在各种自然语言处理和信息检索任务中起着重要的作用，如文档摘要和分类、全文索引和文章推荐。由于不同文本内容中缺乏足够的人工标记数据，监督学习方法对于从文本主体内容中自动检测关键短语并不理想。随着文本嵌入技术的最新进展，NLP研究人员专注于开发无监督方法，以从原始数据集中获得有意义的见解。在这项工作中，我们介绍了全球和本地嵌入自动关键词提取器（GLEAKE）的任务AKE。GLEAKE使用单个和多个词嵌入技术来探索候选短语的句法和语义方面，然后将它们组合成一系列基于嵌入的图。此外，GLEAKE在每个基于嵌入的图上应用网络分析技术，以将最重要的短语细化为最终的关键短语集。我们通过对来自不同领域和写作风格的五个标准AKE数据集进行评估，并显示其相对于其他最先进方法的优越性，展示了GLEAKE的高性能。
2020-05-19 cs.CL cs.IR
A new keyphrases extraction method based on suffix tree data structure for arabic documents clustering
Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）
文档聚类是数据采掘的一个分支，它是一种无监督的分类，用于在未标记的数据集合中找到结构。在使用全文表示时，文档中的有用信息可能伴随着大量的噪声词，因此会对聚类过程的结果产生负面影响。因此，为了提高聚类结果的质量，就需要在保留有用信息的基础上去除噪声词。这个问题发生在不同程度的任何语言，如英语，欧洲，印地语，中文和阿拉伯语。为了克服这个问题，本文提出了一种新的基于后缀树数据结构（KpST）的关键词提取方法，并将提取的关键词用于聚类过程中。所提出的关键词提取方法与语言无关，因此可以应用于任何语言。在这项研究中，我们感兴趣的是处理阿拉伯语，这是最复杂的语言之一。为了评估我们的方法，我们进行了实验研究阿拉伯文文档使用最流行的聚类方法的层次算法：凝聚层次算法与七个链接技术和各种距离函数和相似性措施，以执行阿拉伯文文档聚类任务。实验结果表明，该方法提高了聚类结果的质量。我们还建议研究使用测试数据集的词干聚类它与相同的文档聚类技术和相似性/距离措施的效果。
2014-01-22 cs.CL cs.IR
GRAB: A Risk Taxonomy--Grounded Benchmark for Unsupervised Topic Discovery in Financial Disclosures
The University of Edinburgh, UK（爱丁堡大学）
本文提出GRAB，一个专门针对财务披露中无监督主题发现的基准测试，通过结合FinBERT词注意力、YAKE关键词信号和基于分类法的短语匹配，生成无需人工标注的句子标签，从而评估无监督主题模型。
2026-05-19 cs.CL
Unsupervised, Knowledge-Free, and Interpretable Word Sense Disambiguation
Institute of Natural Sciences and Mathematics, Ural Federal University, Russia（乌拉尔联邦大学自然科学与数学系）；Language Technology Group, Department of Informatics, Universität Hamburg, Germany（汉堡大学信息学系语言技术组）；Web and Data Science Group, Department of Informatics, Universität Mannheim, Germany（曼海姆大学信息学系网络与数据科学组）
预测模型的可解释性是一个强大的功能，可以获得用户对预测正确性的信任。在词义消歧（WSD）中，基于知识的系统往往比无知识的系统更容易解释，因为它们依赖于大量的表示词义的手动编码元素，如上位词、用法示例和图像。我们提出了一个WSD系统，弥合这两个迄今为止断开的方法组之间的差距。也就是说，我们的系统，提供访问几个国家的最先进的WSD模型，旨在解释为一个基于知识的系统，而它仍然是完全无监督和知识自由。所提出的工具具有一个Web界面，所有字消歧的文本，使人类可读的意义预测，通过提供可解释的词义库存，意义表示，和消歧的结果。我们提供了一个公共API，实现了无缝集成。
2017-07-21 cs.CL
Unsupervised patient representations from clinical notes with interpretable classification decisions
Antwerp University Hospital（安特卫普大学医院）；CLiPS Research Center, University of Antwerp（安特卫普大学 CLiPS 研究中心）
我们在这项工作中有两个主要贡献：1。我们探索使用堆栈去噪自动编码器和段落向量模型来直接从临床笔记中学习与任务无关的密集患者表示。我们评估这些表示使用它们作为多个监督设置的功能，并比较其性能与稀疏表示。2.为了理解和解释这些表示，我们探索了从自动编码器模型获得的患者表示中的最佳编码特征。此外，当我们使用这些预训练的表示作为输入时，我们计算训练分类器的输入特征的重要性。
2017-11-14 cs.CL
Efficient and Interpretable Compressive Text Summarisation with Unsupervised Dual-Agent Reinforcement Learning
The University of Sydney（悉尼大学）；International Digital Economy Academy（国际数字经济研究院）
提出首个无监督压缩式文本摘要方法，通过extractor与compressor双智能体强化学习优化语义覆盖和流畅性，无需参考摘要，并在Newsroom、CNN/DM和XSum上验证有效。
2023-06-06 cs.CL
Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
编码器-解码器对话模型是用于在复杂领域中构建对话系统的最突出的方法之一。然而，它是有限的，因为它不能输出可解释的行动，在传统的系统，这阻碍了人类理解其生成过程。我们提出了一个无监督的离散句子表示学习方法，可以与任何现有的编码器-解码器对话模型，可解释的响应生成。在变分自编码器（VAE）的基础上，我们提出了两种新的模型DI-VAE和DI-VST，它们改进了VAE，并且可以通过自动编码或上下文预测来发现可解释的语义。我们的方法已经在真实世界的对话数据集上进行了验证，以发现语义表示并增强具有可解释生成的编码器-解码器模型。
2018-04-22 cs.AI cs.CL
UCPhrase: Unsupervised Context-aware Quality Phrase Tagging
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California San Diego（加州大学圣地亚哥分校）
从上下文中识别和理解高质量短语是文本挖掘的一项基本任务。这项任务中最具挑战性的部分可以说是不常见的，新兴的和特定领域的短语。这些短语的不频繁性质显著损害了依赖于输入语料库中足够的短语出现的短语挖掘方法的性能。上下文感知的标记模型，虽然不受频率的限制，但在很大程度上依赖于领域专家的大规模高级黄金标签或手工制作的地名录。在这项工作中，我们提出了UCPhrase，一种新的无监督的上下文感知质量短语标签。具体来说，我们诱导高质量的短语跨度作为银标签，从一致的共同出现的单词序列在每个文件。与基于现有知识库的典型上下文无关远程监督相比，我们的银标签深深扎根于输入域和上下文，从而在保持上下文完整性和捕获新兴的KB短语方面具有独特的优势。训练基于银标签的传统神经标记器通常面临过度拟合短语表面名称的风险。或者，我们观察到，从基于transformer的神经语言模型生成的上下文注意力地图有效地揭示了单词之间的连接，在表面不可知的方式。因此，我们将这种注意力图与银色标签配对，以训练轻量级跨度预测模型，该模型可以应用于新输入以识别（看不见的）质量短语，而不管它们的表面名称或频率。在各种任务和数据集上进行的彻底实验，包括语料库级短语排名，文档级关键短语提取和文档级短语标记，证明了我们的设计优于最先进的预训练，无监督和远程监督方法。
2021-05-28 cs.CL
Unsupervised Learning of Interpretable Dialog Models
IBM Research AI（IBM研究院人工智能部门）
最近，已经提出了几种基于深度学习的模型用于对话的端到端学习。虽然这些模型可以从数据中训练而不需要任何额外的注释，但很难解释它们。另一方面，存在传统的基于状态的对话系统，其中对话的状态是离散的，因此易于解释。然而，这些状态需要手工制作并在数据中注释。为了实现两全其美，我们提出了潜在状态跟踪网络（Latent State Tracking Network，LSTN），使用它我们以无监督的方式学习可解释的模型。该模型定义了一个离散的潜在变量在每一轮的对话，可以采取一组有限的值。由于这些离散变量不存在于训练数据中，我们使用EM算法以无监督的方式训练我们的模型。在实验中，我们表明，与端到端的方法相比，Lebron可以帮助实现对话模型的可解释性，而不会降低性能。
2018-11-02 cs.AI cs.CL
Learning Interpretable and Discrete Representations with Adversarial Training for Unsupervised Text Classification
National Taiwan University（台湾大学）
从未标记的文本数据中学习连续表示已被越来越多地研究，以利于半监督学习。虽然解释离散表示相对容易，但由于训练的困难，学习未标记文本数据的离散表示尚未得到广泛探索。这项工作提出了TIGAN，它学习将文本编码成两个分离的表示，包括离散代码和连续噪声，其中离散代码表示可解释的主题，而噪声控制主题内的方差。TIGAN学习的离散代码可用于无监督文本分类。与其他无监督基线相比，建议的TIGAN在六个不同的语料库上取得了优异的性能。此外，性能与最近提出的弱监督文本分类方法相当。提取的代表潜在主题的主题词表明，TIGAN学习连贯和高度可解释的主题。
2020-04-28 cs.CL cs.IR cs.LG
Decomposing Representation Space into Interpretable Subspaces with Unsupervised Learning
Saarland University（萨尔兰大学）
本文通过无监督学习方法分解神经网络表示空间，发现不同输入方面在独立子空间中组织，揭示模型内部结构与可解释变量之间的联系。
2026-05-14 cs.AI cs.CL cs.LG
Embarrassingly Simple Unsupervised Aspect Extraction
University of Antwerp（安特卫普大学）；University of Groningen（格罗宁根大学）
我们提出了一种简单而有效的方法方面识别情感分析。我们的无监督方法只需要词嵌入和POS标记器，因此可以直接应用于新的领域和语言。我们引入了对比注意力（CAt），一种新的单头注意力机制的基础上的RBF核，这给了一个相当大的提升性能，使模型可解释。以前的工作依赖于句法特征和复杂的神经模型。我们表明，鉴于目前的基准数据集方面提取的简单性，这样复杂的模型是不需要的。复制本文中报告的实验的代码可在https://github.com/clips/cat上获得
2020-04-28 cs.CL
Probability Distribution Collapse: A Critical Bottleneck to Compact Unsupervised Neural Grammar Induction
本文针对无监督神经文法归纳中的概率分布坍缩问题，提出坍缩松弛神经参数化方法，在提升句法分析性能的同时实现更紧凑的文法表示。
2025-09-25 cs.CL
Unsupervised Learning of Disentangled and Interpretable Representations from Sequential Data
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个因式分解的分层变分自编码器，它学习解开和可解释的表示从序列数据没有监督。具体来说，我们利用多尺度性质的信息在序列数据中制定明确的因子分解层次图形模型，将序列相关的先验和序列无关的先验不同的潜在变量集。两个语音语料库的模型进行评估，定性地证明，它的能力，通过操纵不同的潜变量集转换扬声器或语言内容;和定量地，它的能力优于一个i-向量基线扬声器验证和减少字出错率高达35%，在不匹配的训练/测试方案的自动语音识别任务。
2017-09-22 cs.CL cs.LG cs.SD
Creating Targeted, Interpretable Topic Models with LLM-Generated Text Augmentation
Wellesley College（韦尔斯利学院）
本研究利用LLM生成的文本增强改进主题模型的可解释性和实用性，通过政治学案例验证，GPT-4增强能创建高度可解释的类别，支持特定领域研究。
2025-04-24 cs.CL
Unsupervised Adaptation with Interpretable Disentangled Representations for Distant Conversational Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
自动语音识别的当前趋势是利用大量的标记数据来训练监督神经网络模型。不幸的是，获取大范围域的数据以训练鲁棒模型可能是昂贵的。然而，从我们希望模型推广到的领域收集大量未标记的数据相对便宜。在本文中，我们提出了一种新的无监督自适应方法，学习从未标记的域内数据和标记的域外数据合成目标域的标记数据。我们首先在没有监督的情况下学习对语言和滋扰因素进行编码的语音的可解释的潜在表示（例如，扬声器和通道）使用不同的潜在变量。为了在不改变其成绩单的情况下转换标记的域外话语，我们在保持语言变量的同时转换潜在的滋扰变量。为了证明我们的方法，我们专注于一个通道失配设置，其中感兴趣的域是遥远的对话语音，标签只适用于近距离交谈的语音。我们提出的方法进行评估的AMI数据集，优于所有基线和弥合之间的差距，不使用任何并行数据超过77%，不适应和领域模型。
2018-06-13 cs.CL cs.LG cs.NE
Unsupervised and Interpretable Domain Adaptation to Rapidly Filter Tweets for Emergency Services
George Mason University（乔治梅森大学）
在灾害事件发生期间，从社交网络数据中过滤相关信息是具有挑战性的，这是由于其稀疏的可用性和在标记持续危机的数据集方面的实际限制。在本文中，我们假设，通过多任务学习的无监督领域自适应可以是一个有用的框架，利用过去的危机事件的数据，在突发的新危机中训练有效的信息过滤模型。我们提出了一种新的方法来分类相关的推文在一个持续的危机，没有看到任何新的例子，使用公开的TREC事件流的数据集。具体来说，我们构建了一个定制的多任务架构与危机分析的多领域的网络：多任务领域的对抗性注意力网络。该模型由每个任务的专用注意力层组成，以提供模型可解释性;这对实际应用至关重要。当深度网络与稀疏数据集斗争时，我们证明了这可以通过共享多任务学习和领域对抗训练的基础层来改善。危机事件的领域自适应评估是通过选择一个目标事件作为测试集，并对其余事件进行训练来进行的。我们的研究结果表明，多任务模型优于其单任务对应。对于可解释性的定性评估，我们表明，注意力层可以作为一个指南来解释模型的预测和授权应急服务探索模型的问责制，通过展示在分类过程中被认为是重要的推文中的话。最后，我们通过提供COVID-19大流行的用例，展示了我们工作的实际意义。
2020-10-20 cs.CL cs.LG cs.SI
ConExion: Concept Extraction with Large Language Models
FIZ Karlsruhe – Leibniz Institute for Information Infrastructure（弗里茨-卡拉什夫研究所 – 莱比锡信息基础设施研究所）；Karlsruhe Institute of Technology (AIFB)（卡尔斯鲁厄理工学院（AIFB））
本文提出ConExion方法，利用预训练大型语言模型从文档中提取领域相关概念，超越传统关键词提取，在基准数据集上提升F1分数，并支持本体评估与学习。
2025-04-22 cs.CL cs.IR
SemCSE-Multi: Multifaceted and Decodable Embeddings for Aspect-Specific and Interpretable Scientific Domain Mapping
Bielefeld University（比勒菲尔德大学）
SemCSE-Multi通过多维嵌入和解码技术，实现科学领域可解释的细粒度映射与可视化。
2026-01-10 cs.AI cs.CL cs.IR
Extending Multi-Sense Word Embedding to Phrases and Sentences for Unsupervised Semantic Applications
CICS, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
大多数无监督NLP模型用语义空间中的单个点或单个区域表示每个词，而现有的多意义词嵌入不能表示更长的词序列，如短语或句子。我们提出了一种新的嵌入方法的文本序列（短语或句子），其中每个序列是由一组不同的多模式码本嵌入，以捕捉其含义的不同语义方面。码本嵌入可以被视为聚类中心，其总结了在预训练的词嵌入空间中可能共现的词的分布。我们引入了一个端到端的可训练神经模型，该模型在测试期间直接从输入文本序列预测聚类中心集。我们的实验表明，每句码本嵌入显着提高性能，在无监督的句子相似度和提取摘要基准。在短语相似性实验中，我们发现，多方面的嵌入提供了一个可解释的语义表示，但不优于单方面的基线。
2021-12-29 cs.CL cs.LG
RaKUn: Rank-based Keyword extraction via Unsupervised learning and Meta vertex aggregation
Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Usher Institute, Medical School, University of Edinburgh（爱丁堡大学医学院厄舍研究所）
关键词提取用于概括文档的内容，并支持高效的文档检索，因此是现代基于文本的系统不可或缺的一部分。我们探讨如何负载中心性，适用于从给定的文本衍生的图形的图论测量可以用来有效地识别和排名的关键字。引入Meta顶点（现有顶点的聚合）和系统的冗余过滤器，所提出的方法在14个不同的数据集上执行与最先进的关键字提取任务。该方法是无监督的，可解释的，也可以用于文档可视化。
2019-11-11 cs.CL cs.IR cs.LG
