Unsupervised Summarization by Jointly Extracting Sentences and Keywords
Fudan University（复旦大学）；the Administrative Center of Shanghai R&D Public Service Platforms（上海市研发公共服务平台管理中心）
提出无监督图排序模型 RepRank，利用自注意力学习统一向量表示，通过相互强化的联合过程抽取句子与关键词，并引入吸收随机游走降低冗余，在多数据集 ROUGE 上达到最佳或可比性能。
2023-07-24 cs.CL
Keywords lie far from the mean of all words in local vector space
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
关键词提取是一个重要的文档处理过程，其目的是找到一个小的术语集，简洁地描述文档的主题。最流行的最先进的无监督方法属于基于图的方法家族，该方法构建单词图并使用各种中心性度量来对节点（候选关键字）进行评分。在这项工作中，我们遵循不同的路径来检测的关键字从文本文档建模的主要分布的文档的话，使用本地词向量表示。然后，我们根据候选人在文本中的位置以及相应的局部向量与主分布中心之间的距离对候选人进行排名。我们通过一项扩展的实验研究，调查本地表示的属性，与强基线和最先进的无监督关键字提取方法相比，我们的方法具有高性能。
2020-08-21 cs.CL
Unsupervised extraction of local and global keywords from a single text
Alikhanyan National Laboratory（阿里哈尼扬国家实验室）
本研究提出一种无监督、不依赖语料库和语言的单文本关键词提取方法，基于词语空间分布与随机置换响应，可提取局部和全局关键词、挖掘文本主题，在长文本上效果优于现有方法，经人工和非人工指标验证有效，并揭示了关键词与章节划分的关联。
2024-06-14 cs.CL cs.DL
KULCQ: An Unsupervised Keyword-based Utterance Level Clustering Quality Metric
Georgia Institute of Technology（佐治亚理工学院）；University of Southern California（南加利福尼亚大学）；Got It AI
本文提出了一种基于关键词的无监督话语级聚类质量度量KULCQ，通过关键词分析评估聚类质量，能更好地捕捉对话数据中的语义关系，并与几何聚类原则保持一致。
2024-11-15 cs.CL cs.LG
RaKUn: Rank-based Keyword extraction via Unsupervised learning and Meta vertex aggregation
Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Usher Institute, Medical School, University of Edinburgh（爱丁堡大学医学院厄舍研究所）
关键词提取用于概括文档的内容，并支持高效的文档检索，因此是现代基于文本的系统不可或缺的一部分。我们探讨如何负载中心性，适用于从给定的文本衍生的图形的图论测量可以用来有效地识别和排名的关键字。引入Meta顶点（现有顶点的聚合）和系统的冗余过滤器，所提出的方法在14个不同的数据集上执行与最先进的关键字提取任务。该方法是无监督的，可解释的，也可以用于文档可视化。
2019-11-11 cs.CL cs.IR cs.LG
Enhancing Unsupervised Keyword Extraction in Academic Papers through Integrating Highlights with Abstract
Department of Information Management, Nanjing University of Science and Technology（南京理工大学信息管理学院）
本文通过整合摘要与高亮内容提升学术论文的无监督关键词提取，实验表明结合两者能显著提高提取性能，同时探讨了摘要与高亮内容在关键词覆盖和内容上的差异及其对提取结果的影响。
2026-04-21 cs.CL cs.DL cs.IR
A Comparison of Approaches for Imbalanced Classification Problems in the Context of Retrieving Relevant Documents for an Analysis
Ludwig-Maximilians-University Munich（慕尼黑路德维希-马克西米利安大学）
许多基于文本的社会科学研究的第一步是从大量的不相关文档中检索与分析相关的文档。在社会科学中，解决这一检索任务的传统方法是应用一组关键字，并认为这些文档是相关的，至少包含一个关键字。但是，应用不完整的关键字列表有可能得出有偏见的推论。更复杂和昂贵的方法，如查询扩展技术，基于主题模型的分类规则，以及主动和被动的监督学习可能有潜力更准确地分离相关的不相关的文件，从而减少潜在的偏见的大小。然而，应用这些更昂贵的方法是否会增加检索性能相比，关键字列表在所有，如果是这样的话，有多少，是不清楚的，因为这些方法的比较是缺乏的。这项研究通过比较这些方法在与德国推文数据集（Linder，2017），社会偏见推理语料库（SBIC）（Sap等人，2020）和Reuters-21578语料库（Lewis，1997）。结果表明，查询扩展技术和主题模型为基础的分类规则，在大多数研究设置往往会降低，而不是提高检索性能。然而，主动监督学习如果应用于不太小的标记训练实例集（例如，1,000个文档），则达到比关键字列表高得多的检索性能。
2022-05-03 cs.CL cs.IR stat.AP
Expansional Retrofitting for Word Vector Enrichment
LG Electronics（LG电子）
改造技术，注入外部资源到词表示，弥补了分布式表示的弱点，在语义和词之间的关系知识。在词向量泛化的词相似性任务中，通过扩展技术实现的词向量改进优于词向量改进。在本文中，我们提出了无监督的outrofitting：扩展改装（outrofitting）没有外部语义词典。我们还提出了深度外装：外装的深度堆叠以及外装与改造的进一步组合。当实验GloVe，我们表明，我们的方法优于以前的方法在大多数单词相似性任务，而只需要同义词作为外部资源。最后，我们展示了词向量丰富对文本分类任务的影响，作为下游任务。
2019-01-22 cs.CL
Speech Augmentation Based Unsupervised Learning for Keyword Spotting
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文研究了一种基于语音增强的无监督学习关键词识别方法。KWS是一个有用的语音应用程序，但也严重依赖于标记数据。我们设计了一个CNN-Attention架构来执行KWS任务。CNN层专注于局部声学特征，而注意力层对长时间依赖性进行建模。为了提高KWS模型的鲁棒性，我们还提出了一种无监督学习方法。无监督损失是基于原始和增强语音特征之间的相似性，以及音频重建信息。在无监督学习中，研究了两种语音增强方法：速度增强和强度增强。在Google Speech Commands V2数据集上的实验表明，我们的CNN-Attention模型具有竞争力的结果。此外，基于增强的无监督学习可以进一步提高KWS任务的分类精度。在我们的实验中，基于增强的无监督学习，我们的KWS模型实现了更好的性能比其他无监督的方法，如CPC，APC，MPC。
2022-05-28 cs.CL cs.SD eess.AS
Unsupervised Keyword Extraction for Full-sentence VQA
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在大多数现有的可视化问答（VQA）研究中，答案由简短的，通常是单个单词组成，根据在数据集构建期间给注释者的指示。这项研究设想了一个VQA任务的自然情况下，答案更有可能是句子，而不是单个单词。为了弥补这种自然VQA和现有VQA方法之间的差距，提出了一种新的无监督关键字提取方法。该方法基于这样的原理：整句回答可以被分解为两个部分：一个部分包含回答问题的新信息（即，关键字），以及一个包含问题中已经包含的信息。判别解码器的设计，以实现这种分解，并在VQA数据集上包含整句答案的方法进行了实验。实验结果表明，该模型可以准确地提取关键词，而不需要给出明确的注释来描述它们。
2020-10-12 cs.CL cs.CV cs.LG
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
University of Arkansas at Little Rock（阿肯色大学小石城分校）；Infosys Ltd.（印孚瑟斯有限公司）；IIIT-Delhi（德里英迪拉·甘地信息技术学院）；National University of Singapore（新加坡国立大学）
关键词提取是自然语言处理中的一项基本任务，它有助于将文档映射到一组简洁的代表性单词和多词短语。文本文档中的关键词主要使用监督和非监督方法提取。在本文中，我们提出了一种无监督的技术，使用主题加权个性化PageRank算法和神经短语嵌入的组合提取和排名关键字。我们还介绍了一种有效的方法来处理文本文档和训练短语嵌入使用现有的技术。我们共享一个从现有数据集派生的评估数据集，该数据集用于选择底层嵌入模型。排名关键词提取的评估是在两个基准数据集上进行的，包括短摘要（Inspec）和长科学论文（SemEval 2010），并显示出比最先进的系统更好的结果。
2018-07-16 cs.CL
Leveraging Just a Few Keywords for Fine-Grained Aspect Detection Through Weakly Supervised Co-Training
Columbia University（哥伦比亚大学）
用户生成的评论可以被分解成细粒度的片段（例如，句子，子句），每个评估主体实体的不同方面（例如，价格、质量、外观）。自动检测这些方面对于用户和下游意见挖掘应用程序都是有用的。目前用于学习方面分类器的监督方法需要许多细粒度的方面标签，这是劳动密集型的获得。不幸的是，无监督的主题模型往往无法捕捉到感兴趣的方面。在这项工作中，我们考虑了用于训练方面分类器的弱监督方法，这些方法只需要用户提供一小组种子词（即，弱阳性指标）。首先，我们表明，目前的弱监督方法不能有效地利用种子词的预测能力进行方面检测。接下来，我们提出了一种学生-教师方法，该方法有效地利用了词袋分类器（教师）中的种子词;反过来，我们使用教师来训练第二个模型（学生），该模型可能更强大（例如，使用预训练的词嵌入的神经网络）。最后，我们证明了迭代协同训练可以用来处理有噪声的种子词，从而改进教师和学生模型。我们提出的方法在六个不同的产品评论领域和六个多语言餐厅评论数据集中始终优于以前的弱监督方法（平均14.1个绝对F1点）。
2019-09-01 cs.CL cs.LG stat.ML
Measuring Economic Policy Uncertainty Using an Unsupervised Word Embedding-based Method
Yazd University（亚兹德大学）
经济政策不确定性（EPU）是经济研究中的一个重要指标，它可以用来预测经济衰退。在更高的不确定性下，企业所有者削减了投资，这导致了更长的衰退后复苏。EPU指数是通过统计包含与政策制定和经济相关的预定义关键词并传达不确定性的新闻文章来计算的。不幸的是，这种方法对原始关键字集，其丰富性和新闻报道敏感。因此，在不同国家复制其结果具有挑战性。在本文中，我们提出了一种无监督的文本挖掘方法，使用词嵌入表示空间来选择相关的关键字。该方法对应用于词嵌入向量的语义相似度阈值不严格敏感，并且不需要预定义的字典。我们的实验使用了大量的波斯语新闻库表明，EPU系列计算所提出的方法精确地遵循影响伊朗经济的重大事件，并与伊朗的世界不确定性指数（WUI）兼容。
2021-05-10 cs.CL
vONTSS: vMF based semi-supervised neural topic modeling with optimal transport
Amazon（亚马逊）
提出半监督神经主题建模方法vONTSS，结合vMF变分自编码器与最优传输，在半监督和无监督设置下均优于现有方法，并证明了最优传输损失与交叉熵损失的等价性。
2023-09-16 cs.AI cs.CL cs.IT
Extending Neural Keyword Extraction with TF-IDF tagset matching
Jožef Stefan Institute（约热夫·斯特凡研究所）；Jožef Stefan IPS（约热夫·斯特凡研究所（IPS））；Jamova 39, Ljubljana（Jamova 39, 卢布尔雅那）
关键词提取是识别最能描述给定文档的单词（或多词表达）的任务，并在新闻门户网站中用于链接类似主题的文章。在这项工作中，我们开发和评估我们的方法在四个新的数据集，涵盖较少代表性，形态丰富的语言在欧洲新闻媒体行业（克罗地亚语，爱沙尼亚语，拉脱维亚语和俄语）。首先，我们对两种基于监督神经变换器的方法（TNT-KID和BERT+BiLSTM CRF）进行了评估，并将其与基于基线TF-IDF的无监督方法进行了比较。接下来，我们表明，通过结合神经Transformer为基础的方法检索的关键字和扩展的最终一组关键字与无监督的TF-IDF为基础的技术，我们可以大大提高系统的召回，使其适合作为一个推荐系统中的媒体之家的环境。
2022-02-14 cs.CL
On Cross-Dataset Generalization in Automatic Detection of Online Abuse
National Research Council Canada（加拿大国家研究委员会）
NLP研究在作为监督分类任务的滥用语言检测中取得了很高的性能。虽然在研究环境中，训练和测试数据集通常是从相似的数据样本中获得的，但在实践中，系统通常应用于与训练集在主题和类别分布上不同的数据。此外，在此任务中继承的类定义中的模糊性加剧了源数据集和目标数据集之间的差异。我们探讨了跨数据集泛化中的主题偏差和任务制定偏差。我们发现，维基百科Detox数据集中的良性示例偏向于特定于平台的主题。我们使用无监督主题建模和主题关键字的手动检查来识别这些示例。删除这些主题可以提高跨数据集的泛化能力，而不会降低域内分类性能。对于一个健壮的数据集设计，我们建议应用廉价的无监督方法来检查收集的数据，并在手动注释类标签之前缩小不可概括的内容。
2021-05-19 cs.AI cs.CL
Contextual Topic Modeling For Dialog Systems
Amazon（亚马逊）
会话主题的准确预测可以是用于创建连贯和吸引人的对话系统的有价值的信号。在这项工作中，我们专注于上下文感知的主题分类方法，用于识别自由形式的人类聊天机器人对话中的主题。我们扩展了以前的工作，神经主题分类和无监督主题关键字检测，将会话上下文和对话行为功能。在注释数据上，我们表明，将上下文和对话行为导致主题分类准确率相对提高35%，主题经常跨越多个话语的会话交互的无监督关键字检测召回率提高11%。我们发现，主题深度等主题指标与连贯性和参与度等对话评价指标高度相关，这意味着会话主题模型可以预测用户满意度。我们检测对话主题和关键字的工作可以用来引导聊天机器人进行连贯的对话。
2018-10-19 cs.CL
Unsupervised Keyphrase Extraction from Scientific Publications
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
我们提出了一种新的无监督的关键词提取方法，过滤候选关键字使用离群检测。它首先在目标文档上训练词嵌入，以捕获词之间的语义重叠。然后，它使用最小协方差行列式估计器来模拟非关键短语词向量的分布，假设这些向量来自相同的分布，表明它们与学习向量表示的维度所表达的语义无关。候选关键短语仅由被检测为该主导分布的离群值的单词组成。实证结果表明，我们的方法优于国家的最先进的和最近的无监督关键词提取方法。
2020-07-12 cs.CL
Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications
Ericsson AB（爱立信公司）；Uppsala University（乌普萨拉大学）
已经探索了几种方法来自动化系统映射（SM）和系统评价（SR）方法的一部分。挑战通常围绕文本语义理解的差距以及缺乏弥合这一差距所需的领域和背景知识而演变。在本文中，我们研究可能的方法自动化部分SM/SR过程，即提取关键字和关键短语从科学文献中使用无监督的方法，然后使用语义关键短语聚类技术作为基础，构建相应的分类方案。具体而言，我们探讨了集成分数测量在关键短语提取中的作用，我们探讨了基于语义网络的词嵌入在短语语义的嵌入表示中的作用，最后我们还探讨了如何使用聚类来对相关的关键短语进行分组。评估是在与“可解释的人工智能”领域有关的出版物数据集上进行的，我们使用标准的公开数字图书馆和索引术语（关键词）集构建了该数据集。实验结果表明：集成排序得分确实提高了关键词提取的性能。基于ConceptNet语义网络的基于语义网络的词嵌入与上下文化的词嵌入具有相似的性能，但是前者的计算效率更高。最后，在术语级进行语义关键词聚类，可以将相似的术语聚集在一起，从而适合于分类方案。
2021-02-08 cs.CL
TNT-KID: Transformer-based Neural Tagger for Keyword Identification
Jožef Stefan Institute（约瑟夫·斯蒂芬研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯蒂芬国际研究生院）
随着可用文本数据量的增加，开发能够自动分析、分类和汇总这些数据的算法已成为必要。在这项研究中，我们提出了一种新的算法的关键字识别，即，提取代表给定文档关键方面的一个或多个单词短语，称为基于转换器的关键词识别神经标记器（TNT-KID）。通过使Transformer架构适应手头的特定任务并利用领域特定语料库上的语言模型预训练，该模型能够通过在各种不同的数据集上提供有竞争力和鲁棒的性能，同时仅需要最佳性能系统所需的一小部分手动标记数据，来克服关键字提取的有监督和无监督的最先进方法的不足。这项研究还提供了彻底的错误分析，对模型的内部工作有价值的见解，以及测量关键字识别工作流程的特定组件对整体性能的影响的消融研究。
2021-11-30 cs.CL
VisualTextRank: Unsupervised Graph-based Content Extraction for Automating Ad Text to Image Search
Yahoo Research（雅虎研究院）
许多在线库存图像库提供高质量但版权免费的图像用于营销活动。为了帮助广告客户在导航这样的第三方图书馆，我们研究的问题，自动获取相关的广告图像的广告文本（通过一个简短的文本查询图像）。出于我们的观察记录的数据上的广告图像搜索查询（给定的广告文本），我们制定了一个关键字提取问题，从广告文本（或其增强版本）中提取的关键字作为广告图像查询。在这种情况下，我们提出了VisualTextRank：一种无监督的方法，（i）使用语义相似的广告来增强输入广告文本，以及（ii）从增强的广告文本中提取图像查询。VisualTextRank建立在基于图的上下文提取（特别是有偏见的TextRank）的先前工作基础上，通过利用类似广告的文本和图像来更好地提取关键字，并使用广告商类别特定的偏见与BERCE-BERT嵌入。使用从Verizon Media Native（Yahoo Gemini）广告平台的库存图像搜索功能为入职广告客户收集的数据，我们证明了VisualTextRank与竞争性关键字提取基线相比的优越性（包括$11\%$准确性提升超过有偏见的TextRank）。对于股票图像库仅限于英语查询的情况下，我们显示了VisualTextRank对多语言广告（翻译为英语）的有效性，同时利用语义相似的英语广告。使用简化版本的VisualTextRank进行的在线测试导致库存图片搜索的使用量增加了28.7%，Ver…
2021-08-05 cs.CL cs.CV
Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document
Tencent（腾讯）
在无监督提取摘要的场景中，学习高质量的句子表示对于从输入文档中选择突出句子至关重要。以往的研究多集中于采用统计方法或预训练语言模型（PLMs）来提取句子嵌入，而忽略了词语和句子之间的异质交互类型所固有的丰富信息。在本文中，我们首次提出了一种无监督的提取摘要方法与异构图嵌入（HGE）的中文文档。构建了一个异构文本图，通过结合图的结构信息来捕获不同粒度的交互。此外，我们提出的图是通用和灵活的，其中可以很容易地集成额外的节点，如关键字。实验结果表明，我们的方法始终优于强基线在三个摘要数据集。
2022-11-09 cs.CL
Unsupervised Morphological Expansion of Small Datasets for Improving Word Embeddings
Kohli Center On Intelligent Systems (KCIS)（科利智能系统中心）；International Institute of Information Technology Hyderabad (IIIT-H)（海得拉巴国际信息技术学院）
我们提出了一种独立于语言的，无监督的方法来构建词嵌入使用形态扩展的文本。我们的模型处理数据稀疏的问题，并通过依赖于人工生成的句子上的训练词嵌入来产生改进的词嵌入。我们评估我们的方法使用小规模的训练集11个测试集的词相似性任务在七种语言。此外，对于英语，我们使用三个标准测试集的大型训练集评估了我们的方法的影响。我们的方法改进了所有语言的结果。
2017-11-15 cs.CL
KeyGen2Vec: Learning Document Embedding via Multi-label Keyword Generation in Question-Answering
Eindhoven University of Technology（埃因霍温理工大学）；BRIN Indonesia（印度尼西亚国家研究与创新署）
本文提出KeyGen2Vec，通过Seq2Seq多标签关键词生成学习文档嵌入，减少对标签监督的依赖，并在cQA数据集上验证其优于多标签分类器且可与主题标签监督方法竞争。
2023-10-30 cs.CL
Effective Unsupervised Constrained Text Generation based on Perturbed Masking
Guangdong University of Foreign Studies（广东外语外贸大学）；NetEase Games AI Lab（网易游戏AI实验室）；Columbia University（哥伦比亚大学）
本文提出 PMCTG 方法，通过扩展扰动掩码技术搜索最佳编辑位置并引入四个多方面评分函数选择编辑动作，解决了无监督受限文本生成中随机采样导致多余搜索步骤的问题，在两项任务上取得新最优结果。
2024-04-24 cs.CL
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
Lbl2Vec: An Embedding-Based Approach for Unsupervised Document Retrieval on Predefined Topics
Technical University of Munich（慕尼黑工业大学）
在本文中，我们考虑使用无监督的方法从未标记的文档数据集中检索具有预定义主题的文档的任务。所提出的无监督方法只需要少量的关键字描述各自的主题，没有标记的文件。现有的方法要么严重依赖于大量的额外编码的世界知识或术语文档频率。此外，我们引入了一种方法，学习联合嵌入的文档和词向量，仅从未标记的文档数据集，以找到语义相似的主题所描述的关键字的文件。所提出的方法几乎不需要文本预处理，但同时有效地检索相关文档的概率很高。当从公开和常用的数据集连续检索不同预定义主题的文档时，我们在一个数据集上实现了0.95的接收器工作特征曲线值下的平均面积，在另一个数据集上实现了0.92。此外，我们的方法可以用于多类文档分类，而不需要预先为数据集分配标签。与无监督分类基线相比，我们将各自数据集的F1分数从76.6增加到82.7，从61.0增加到75.1。为了便于复制我们的方法，我们将开发的Lbl 2 Vec代码作为3-Clause BSD许可证下的即用型工具公开提供。
2022-10-12 cs.AI cs.CL
Unsupervised Bias Detection in College Student Newspapers
本文提出一种人工干预最少的流水线，通过抓取高校学生报纸存档并利用大语言模型摘要与原文的情感比较进行无监督偏见检测，生成了含14份报纸、23154条条目的数据集，以最少假设实现客观偏见分析。
2023-09-11 cs.AI cs.CL cs.LG
An unsupervised and customizable misspelling generator for mining noisy health-related text sources
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
本文提出一种无监督且可定制的拼写错误生成器，利用稠密向量模型为健康术语生成变体，过滤语义不相似项，提升检索率超67%，优于现有方法。
2018-06-04 cs.CL
Mistral-SPLADE: LLMs for better Learned Sparse Retrieval
Indian Institute of Technology Bombay（印度孟买理工学院）；IBM Research（IBM研究院）
本文提出使用仅解码器大语言模型Mistral作为骨干网络构建学习型稀疏检索器Mistral-SPLADE，以学习语义关键词扩展。实验表明，该模型超越了SPLADE及其变体，在BEIR基准上达到最先进水平。
2024-08-22 cs.CL cs.IR
Building a Multimodal Dataset of Academic Paper for Keyword Extraction
Department of Information Management, Nanjing University of Science and Technology（南京理工大学经济管理学院信息管理系）；Department of Archives and E-government, Soochow University（苏州大学社会学院档案与电子政务系）
针对关键词提取任务缺乏多模态数据的问题，构建包含文本、图像、音频和关键词的学术论文多模态数据集，实验表明融合多模态文本能有效提升关键词提取性能。
2026-07-01 cs.CL cs.DL cs.HC
SEKE: Specialised Experts for Keyword Extraction
Jožef Stefan Institute（乔泽夫·斯蒂芬研究所）
本文提出 SEKE，一种基于混合专家技术的监督式关键词提取方法，通过将 DeBERTa 与 BiLSTM 集成，使专家专注于每个 token，在多个英文数据集上取得最先进性能，并增强了模型的可解释性。
2025-10-10 cs.AI cs.CL
EntropyRank: Unsupervised Keyphrase Extraction via Side-Information Optimization for Language Model-based Text Compression
Reichman University（赖希曼大学）；Microsoft（微软）
提出无监督方法EntropyRank，利用预训练语言模型和香农信息最大化提取高条件熵短语作为侧信息，实现文本压缩并达到与常用方法相当的基准性能。
2023-08-29 cs.CL cs.IT cs.LG
LGDE: Local Graph-based Dictionary Expansion
Department of Surgery & Cancer, Imperial College London, United Kingdom（伦敦帝国学院外科与癌症系）；Weizenbaum Institute Berlin, Germany（柏林Weizenbaum研究所）；Institute for Media and Communication Studies, Free University of Berlin, Germany（柏林自由大学媒体与传播研究所）；Institute for Research on Far Right Extremism, University of Tübingen, Germany（图宾根大学右翼极端主义研究所）
本文提出 LGDE，通过词嵌入几何构建局部相似度图并利用图扩散检测语义社区，以数据驱动方式扩展关键词词典，在英语语料和传播学真实任务中优于直接相似度与共现方法。
2025-08-28 cs.CL cs.SI physics.soc-ph
Unsupervised and Efficient Vocabulary Expansion for Recurrent Neural Network Language Models in ASR
Nanyang Technological University（南洋理工大学）
在自动语音识别（ASR）系统中，循环神经网络语言模型（RNNLM）被用来对词格或N-最佳假设列表进行重新核。由于昂贵的训练，RNNLM的词汇集只容纳最频繁单词的小短列表。如果输入语音包含许多候选列表外（OOS）单词，则这会导致次优性能。一个有效的解决方案是增加入围名单的大小并重新训练整个网络，这是非常低效的。因此，我们提出了一种有效的方法来扩展预训练的RNNLM的候选列表集，而不会产生昂贵的再训练和使用额外的训练数据。我们的方法利用了RNNLM的结构，可以将其解耦为三个部分：输入投影层，中间层和输出投影层。具体来说，我们的方法扩展了投影层中的词嵌入矩阵，并保持中间层不变。在这种方法中，只要OOS单词在两个嵌入空间中正确建模，预训练的RNNLM的功能就可以正确保持。我们建议通过借用适当的候选词的语言知识来建模OOS词。此外，我们建议生成OOS单词列表，通过自动从ASR输出中提取它们来以无监督的方式扩展词汇。
2018-06-27 cs.CL eess.AS
Graph-based Semantical Extractive Text Analysis
University of Delaware（特拉华大学）
在过去的几十年里，从各种来源产生的具有不同主题的可用数据量呈爆炸式增长。这些庞大的数据的可用性需要我们采用有效的计算工具来探索数据。这导致研究界对开发专注于处理此文本数据的计算方法的兴趣日益浓厚。一系列的研究集中在浓缩文本，使我们能够在更短的时间内获得更高层次的理解。要做到这一点的两个重要任务是关键字提取和文本摘要。在关键词提取中，我们感兴趣的是从文本中找到关键的重要词。这使我们熟悉一个文本的一般主题。在文本摘要中，我们感兴趣的是生成一个包含文档重要信息的短文本。TextRank算法是一种无监督学习方法，它是PageRank（Google搜索引擎的基本算法，用于搜索页面并对页面进行排序）的扩展，在大规模文本挖掘中显示出其有效性，尤其是在文本摘要和关键字提取方面。该算法可以自动提取文本的重要部分（关键字或句子）并将其声明为结果。然而，该算法忽略了不同部分之间的语义相似性。在这项工作中，我们改进了TextRank算法的结果，将部分文本之间的语义相似性。除了关键字提取和文本摘要，我们开发了一个主题聚类算法，基于我们的框架，可以单独使用或作为生成摘要的一部分，以克服覆盖问题。
2022-12-19 cs.CL cs.LG
CGMH: Constrained Sentence Generation by Metropolis-Hastings Sampling
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）；ByteDance AI Lab（字节跳动人工智能实验室）；AdeptMind Research（AdeptMind研究中心）
在自然语言生成的实际应用中，除了流利度和自然度的要求外，目标句子往往还受到约束。现有的语言生成技术通常基于递归神经网络（RNN）。然而，在保持生成质量的同时对RNN施加约束是不平凡的，因为RNN从第一个单词到最后一个单词顺序地（或使用束搜索）生成句子。在本文中，我们提出了CGMH，一种新的方法，使用Metropolis-Hastings抽样约束句子生成。CGMH允许复杂的约束，例如目标句子中出现多个关键字，这在传统的基于RNN的方法中无法处理。此外，CGMH工作在推理阶段，并且不需要平行语料库进行训练。我们评估我们的方法在各种任务，包括关键字到句子生成，无监督句子释义，和无监督句子纠错。CGMH实现了高性能相比，以前的监督方法的句子生成。我们的代码发布于https://github.com/NingMiao/CGMH
2018-11-14 cs.AI cs.CL cs.LG
Towards Consistency Filtering-Free Unsupervised Learning for Dense Retrieval
Waseda University（早稻田大学）；Yahoo Japan Corporation（雅虎日本公司）
本文针对稠密检索领域迁移中一致性过滤计算开销高且难以识别目标领域检索意图的问题，提出用直接伪标签、伪相关反馈或无监督关键词生成替代一致性过滤器，实验表明基于 TextRank 的伪相关反馈平均效果最优，并证明免过滤无监督学习可在保持性能的同时持续提升训练与推理效率。
2023-08-05 cs.CL cs.IR cs.LG
Query Expansion for Patent Searching using Word Embedding and Professional Crowdsourcing
United States Patent and Trademark Office（美国专利商标局）
专利审查过程包括检索以前的工作，以验证专利申请描述了一项新的发明。专利审查员主要使用基于关键词的搜索来发现现有技术。关键词搜索的关键部分是查询扩展，这是包括诸如同义词和其他相关词的替代术语的过程，因为相同的概念在文献中通常被不同地描述。专利术语通常是特定领域的。通过管理特定于技术的语料库并基于这些语料库训练词嵌入模型，我们能够自动识别给定单词或短语的最相关扩展。我们比较了几种自动查询扩展技术对专家指定的扩展的性能。此外，我们探索了一种新的机制来提取相关的条款，而不仅仅是基于一个输入项，而是通过计算它们的质心，并确定最近的邻居，这个质心结合几个条款。熟练的专利审查员通常是识别相关术语的最佳和最可靠的来源。通过设计一个用户界面，允许审查员与词嵌入建议进行交互，我们能够使用这些交互来为相关术语的众包模式提供动力。从用户那里学习可以让我们克服一些挑战，比如识别出那些前沿的、尚未在语料库中发表的单词。本文研究了词嵌入和众包模型在11个不同技术领域的有效性。
2019-11-14 cs.CL cs.IR cs.LG
PerKey: A Persian News Corpus for Keyphrase Extraction and Generation
Sharif University of Technology（沙里夫理工大学）；ICT Research Institute（信息通信技术研究院）
关键词提供了文本的极其密集的摘要。这些信息可以用于许多自然语言处理任务，例如信息检索和文本摘要。由于以前对波斯语关键词或关键短语提取的研究没有公布他们的数据，该领域缺乏人类提取的关键短语数据集。在本文中，我们介绍PerKey，一个语料库的553k新闻文章从六个波斯语新闻网站和机构相对高质量的作者提取的关键词，然后过滤和清洗，以实现更高质量的关键词。将得到的数据进行人工评估，以确保关键词的质量。我们还使用精确度，召回率和F1分数测量了不同监督和无监督技术的性能，例如TFIDF，MultipartiteRank，KEA等。
2020-09-25 cs.CL
Topic-Centric Unsupervised Multi-Document Summarization of Scientific and News Articles
Wright State University（莱特州立大学）
自然语言处理的最新进展已经实现了广泛任务的自动化，包括机器翻译、命名实体识别和情感分析。然而，文档或文档组的自动摘要仍然难以实现，许多努力仅限于提取关键字、关键短语或关键句子。由于问题的固有困难和训练数据的有限可用性，尚未实现准确的抽象概括。在本文中，我们提出了一个以主题为中心的无监督多文档摘要框架，用于为Microsoft Academic Graph（MAG）中的20个研究领域（FoS）的科学文章和DUC-2004任务2的新闻文章生成提取和抽象摘要。该算法通过开发显著语言单元选择和文本生成技术来生成抽象摘要。我们的方法在自动提取评估指标上进行评估时与最先进的方法相匹配，并且在五个人类评估指标（蕴涵，连贯性，简洁性，可读性和语法）上的抽象摘要中表现得更好。我们在两位共同作者的语言学家之间获得了0.68的Kappa评分，他们评估了我们的结果。我们计划公开分享MAG-20，这是一个人类验证的主题聚类研究文章及其摘要的黄金标准数据集，以促进抽象摘要的研究。
2020-11-03 cs.CL cs.IR cs.LG
Conceptual Text Summarizer: A new model in continuous vector space
Malek Ashtar University of Technology（马利克·阿什塔尔理工大学）
传统的摘要方法在今天是不经济的，也是不可能的。摘要提取是一个自动从文本中提取最重要的句子并生成简短摘要的过程。在这项工作中，我们提出了一种无监督的方法来总结波斯语文本。该方法是一种新颖的混合方法，使用深度学习和传统的统计方法对文本的概念进行聚类。首先，我们产生一个词嵌入的基础上Hamshahri 2语料库和词频字典。然后提取文档的关键词，对其进行概念聚类，最后对句子进行排序，生成摘要。我们使用ROUGE评价指标在Pasokh单文档语料库上对所提出的方法进行了评价。在不使用任何手工制作的功能，我们提出的方法实现了最先进的结果。我们将我们的无监督方法与最好的监督波斯语方法进行了比较，我们实现了ROUGE-2召回分数的7.5%的整体改善。
2018-09-01 cs.CL cs.IR
Zero-Shot Morphological Discovery in Low-Resource Bantu Languages via Cross-Lingual Transfer and Unsupervised Clustering
Harvard University（哈佛大学）
本文提出结合跨语言迁移学习与无监督聚类的方法，用于发现低资源班图语言的形态特征，在Giriama语言中发现2,455个词的名词类分配及两个新形态模式，通过外部验证和语料扩展验证了方法的有效性。
2026-04-24 cs.CL cs.LG
An Efficient, Probabilistically Sound Algorithm for Segmentation and Word Discovery
本文提出了一种基于模型的，无监督的算法恢复自然语言文本中的字边界，他们已被删除。该算法源自生成文本的源的概率模型。该模型的基本结构被抽象地指定，以便可以以模块化的方式替换语音，词序和词频的详细组件模型。该模型产生一个独立的语言，先验概率分布的所有可能的序列的所有可能的单词在一个给定的字母表，基于假设的输入是通过连接单词从一个固定的，但未知的词典。该模型是不寻常的，因为它把一个完整的语料库的生成，无论长度，作为一个单一的事件在概率空间。因此，该算法不会估计单词的概率分布;相反，它试图计算可能构成观察文本基础的各种单词序列的先验概率。实验表明，该算法比其他算法更有效，至少当话语边界给出和文本包括大量的短话语的音素成绩单的父母对幼儿的自发讲话。保留字：贝叶斯语法归纳，概率模型，最小描述长度（MDL），无监督学习，认知建模，语言习得，切分
1999-05-12 cs.CL cs.LG
Using Zero-shot Prompting in the Automatic Creation and Expansion of Topic Taxonomies for Tagging Retail Banking Transactions
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）；BTG Pactual（BTG Pactual（巴西BTG银行））
本研究提出一种基于指令微调大语言模型的无监督方法，通过主题建模和零样本提示自动构建和扩展零售银行交易主题分类法，实验显示分类法一致性超90%，父节点预测F1超70%。
2024-02-11 cs.AI cs.CL
Instruction Data Generation and Unsupervised Adaptation for Speech Language Models
NVIDIA（英伟达）
针对多模态大语言模型的语音-文本双模态训练样本稀缺问题，提出三种结合大语言模型与文本转语音的合成数据生成方法，验证了无标注语音数据扩大多语言训练的潜力，提升了模型跨模态整合理解能力。
2024-06-18 cs.AI cs.CL cs.LG
