Unsupervised Relation Extraction from Language Models using Constrained Cloze Completion
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们表明，国家的最先进的自我监督的语言模型可以很容易地用于从语料库中提取的关系，而不需要训练微调提取头。我们介绍了RE-Flex，一个简单的框架，执行约束完形填空完成预训练的语言模型进行无监督的关系抽取。RE-Flex使用上下文匹配来确保语言模型预测与来自与目标关系相关的输入语料库的支持证据相匹配。我们在多个关系抽取基准上进行了广泛的实验研究，并证明RE-Flex优于基于预训练语言模型的竞争无监督关系抽取方法，与次优方法相比，RE-Flex的性能最高可达27.8个$F_1$点。我们的研究结果表明，对语言模型的约束推理查询可以实现准确的无监督关系抽取。
2020-10-14 cs.CL
Unsupervised Open Relation Extraction
Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣埃蒂安大学）；CNRS（法国国家科学研究中心）；Laboratoire Hubert Curien（于贝尔·居里实验室）；L3S Research Center（L3S研究中心）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
我们探索的方法来提取命名实体之间的关系，从自由文本中的无监督设置。除了标准的特征提取，我们开发了一种新的方法来重新加权词嵌入。我们缓解的问题，使用一个单独的功能减少功能稀疏。我们的方法比最先进的关系聚类在NYT-FB数据集上的F1得分为0.416，有5.8%的显着提高。
2018-01-22 cs.CL
U3E: Unsupervised and Erasure-based Evidence Extraction for Machine Reading Comprehension
Beijing Institute of Technology（北京理工大学）
机器阅读理解（MRC）中的更多任务除了需要答案预测外，还需要提取支持答案的证据句子。然而，证据句的标注通常是费时费力的。针对这一问题，考虑到现有的证据提取方法大多是半监督的，提出了一种无监督的证据提取方法（U3E）。U3E将文档中的重复级特征擦除后的变化作为输入，模拟人类记忆力下降导致的问题解决能力下降。为了在充分理解原文语义的基础上进行选择，我们还提出了快速选择最佳记忆模型的指标。为了比较U3E和典型的证据提取方法，并研究其在证据提取中的有效性，我们在不同的数据集上进行了实验。实验结果表明，U3E算法简单有效，不仅能更准确地提取证据，而且能显著提高模型性能。
2022-10-22 cs.CL
Unsupervised extraction, labelling and clustering of segments from clinical notes
Masaryk University（马萨里克大学）；Masaryk Memorial Cancer Institute（马萨里克纪念癌症研究所）；NUI Galway（爱尔兰国立大学戈尔韦分校）
针对捷克语临床笔记缺乏无监督信息提取工具的问题，提出一种无监督提取、标注并聚类临床特征片段的方法，并在捷克乳腺癌患者数据上验证了其实际应用价值。
2022-11-21 cs.CL
A Library Perspective on Nearly-Unsupervised Information Extraction Workflows in Digital Libraries
TU Braunschweig（布伦瑞克工业大学）
信息抽取可以为数字图书馆提供新颖有效的访问路径。然而，设计可靠的提取工作流程在实践中可能成本高昂。一方面，合适的提取方法依赖于特定领域的训练数据。另一方面，无监督和开放的提取方法通常产生非规范化的提取结果。本文探讨了数字图书馆如何处理这种抽取，以及它们的质量在实践中是否足够。我们专注于无监督的提取工作流程，通过分析他们在维基百科（Wikipedia），药学和政治学领域的案例研究。我们报告机会和限制。最后，我们讨论了无监督提取工作流的最佳实践。
2022-05-02 cs.CL cs.DL
Revisiting Event Argument Extraction: Can EAE Models Learn Better When Being Aware of Event Co-occurrences?
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出非自回归表格生成框架TabEAE，通过并行抽取多个事件引入事件共现信息，在ACE05等4个数据集上刷新EAE性能。
2023-06-01 cs.AI cs.CL
Combining Deep Neural Reranking and Unsupervised Extraction for Multi-Query Focused Summarization
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用科学大学）
CrisisFACTS Track旨在应对事件跟踪领域的多流实况调查等挑战;参与者的系统从若干灾害相关事件中提取重要事实，同时纳入时间顺序。我们提出了一个组合的检索，重新排序，以及著名的线性规划（ILP）和最大边际相关性（MMR）框架。在前两个模块中，我们探索了各种方法，包括基于实体的基线，预训练和微调的问答系统和ColBERT。然后，我们使用后一个模块作为一个提取的总结组件，考虑多样性和新颖性标准。自动评分运行显示了整个评估设置的强大结果，但也揭示了缺点和挑战。
2023-02-02 cs.CL
Improving Unsupervised Relation Extraction by Augmenting Diverse Sentence Pairs
Iowa State University（爱荷华州立大学）
本文提出 AugURE，通过句内和跨句句对增强提升无监督关系抽取中对比学习的正样本多样性，并用间隔损失替代 NCE 损失，在 NYT-FB 和 TACRED 上取得最优性能。
2023-12-01 cs.CL
Revisiting DocRED -- Addressing the False Negative Problem in Relation Extraction
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
针对文档级关系抽取基准DocRED存在的普遍假阴性标注问题，研究团队补充标注4053篇文档构建了Re-DocRED数据集，使当前最优模型的F1值提升约13个点，并指明了后续改进方向。
2023-06-16 cs.CL cs.IR
Siamese Representation Learning for Unsupervised Relation Extraction
Jiangnan University（江南大学）
针对无监督关系抽取中对比学习易产生伪负样本、破坏层次结构的问题，提出仅用正样本对的孪生表示学习框架，在两个基准数据集上取得了更优的抽取效果。
2023-10-01 cs.AI cs.CL
x.ent: R Package for Entities and Relations Extraction based on Unsupervised Learning and Document Structure
INRA（法国国家农业研究院）；Université Paris-Est（巴黎东大学）；Vietnam National University of Agriculture（越南农业国立大学）
精确的关系抽取仍然是全文数据库处理的一个挑战。我们提出了一种基于共现分析的方法，在每个文档中，我们使用文档组织，以提高关系抽取的准确性。这种方法在一个名为\emph{x.ent}的R包中实现。提取的另一个方面依赖于将提取的关系用于专家终端用户的查询系统。使用了两个数据集。其中一个引起了流行病学专家对植物健康的兴趣。对于这个数据集的使用是专门通过农业信息新闻的植物病害探索。一个开放数据平台利用了从\emph{x.ent}导出的数据，并且是公开可用的。
2015-04-23 cs.AI cs.CL
The Benefits of Word Embeddings Features for Active Learning in Clinical Information Extraction
Queensland University of Technology（昆士兰科技大学）；The Australian e-Health Research Centre, CSIRO（澳大利亚电子健康研究中心，联邦科学与工业研究组织）
本研究探讨了使用无监督的词嵌入和序列特征的样本表示的主动学习框架，建立临床概念从临床自由文本。其目的是进一步减少手动注释工作，同时实现更高的效率相比，一组基线功能。无监督特征是从跳跃语法词嵌入和序列表示方法中获得的。无监督的功能和基线手工制作的功能在主动学习框架的比较性能进行了研究，使用范围广泛的选择标准，包括最小的信心，信息多样性，信息密度和多样性，领域知识的信息。使用两个临床数据集进行评价：i2 b2/VA 2010 NLP挑战和ShARe/CLEF 2013 eHealth评价实验室。我们的研究结果表明，在有效性方面有了显着的改进，并且在两个数据集上节省了注释工作。使用无监督特征和基线特征进行样本表示，分别可以进一步节省高达9%和10%的标记和概念注释率。
2016-11-15 cs.CL
CLEVE: Contrastive Pre-training for Event Extraction
Tsinghua University（清华大学）；Tencent Inc（腾讯公司）；BNRist（北京国家信息科学与技术研究中心）
事件提取（EE）大大受益于预训练的语言模型（PLM）的微调。然而，现有的预训练方法没有涉及建模的事件特征，导致开发的EE模型不能充分利用大规模的无监督数据。为此，我们提出了CLEVE，这是EE的对比预训练框架，可以更好地从大型无监督数据及其使用自动解析器获得的语义结构（例如AMR）中学习事件知识。CLEVE包含一个文本编码器来学习事件语义，一个图形编码器来学习事件结构。具体而言，文本编码器通过自监督对比学习来学习事件语义表示，以表示比那些不相关的词更接近的相同事件的词;图编码器通过对解析的事件相关语义结构进行图对比预训练来学习事件结构表示。然后，这两个互补的表示一起工作，以改善传统的监督EE和无监督的“自由”EE，这需要联合提取事件和发现事件图式没有任何注释的数据。在ACE 2005和MAVEN数据集上的实验表明，CLEVE算法在无监督环境下的性能有了显著的提高。源代码和预先训练的检查点可以从https://github.com/THU-KEG/CLEVE获得。
2021-05-30 cs.CL
Unsupervised Methods for Determining Object and Relation Synonyms on the Web
Temple University（天普大学）；University of Washington（华盛顿大学）
识别同义关系和对象的任务，或同义词解析，是高质量的信息抽取的关键。本文研究了无监督信息抽取中的同义词解析问题，其中既没有手工标记的训练样本，也没有领域知识。本文提出了一个可扩展的，完全实现的系统，运行在O（KNlogN）的时间在提取的数量，N，和每个单词的同义词的最大数量，K。该系统名为Resolver，引入了一个概率关系模型，用于根据包含它们的断言的相似性来预测两个字符串是否相互引用。在一组从Web上提取的200万个断言中，Resolver以78%的精度和68%的召回率解析对象，并以90%的精度和35%的召回率解析关系。研究了旋转变压器概率模型的几种变化形式，实验表明，在适当的条件下，这些变化形式可以使F1提高5%。对基本的Resolver系统的扩展允许它在TREC语料库的数据集上以97%的准确率和95%的召回率处理多义名称。
2014-01-15 cs.CL
HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction
Tsinghua University（清华大学）；Amazon（亚马逊）；University of Illinois at Chicago（伊利诺伊大学香槟分校）
提出层次范例对比学习框架HiURE，利用跨层次注意力获取层次信号并优化句子关系表示，解决无监督关系抽取中的漂移和相似句对误分问题，在公开数据集上优于现有模型。
2025-06-18 cs.AI cs.CL
Enhancing Unsupervised Keyword Extraction in Academic Papers through Integrating Highlights with Abstract
Department of Information Management, Nanjing University of Science and Technology（南京理工大学信息管理学院）
本文通过整合摘要与高亮内容提升学术论文的无监督关键词提取，实验表明结合两者能显著提高提取性能，同时探讨了摘要与高亮内容在关键词覆盖和内容上的差异及其对提取结果的影响。
2026-04-21 cs.CL cs.DL cs.IR
RaKUn: Rank-based Keyword extraction via Unsupervised learning and Meta vertex aggregation
Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Usher Institute, Medical School, University of Edinburgh（爱丁堡大学医学院厄舍研究所）
关键词提取用于概括文档的内容，并支持高效的文档检索，因此是现代基于文本的系统不可或缺的一部分。我们探讨如何负载中心性，适用于从给定的文本衍生的图形的图论测量可以用来有效地识别和排名的关键字。引入Meta顶点（现有顶点的聚合）和系统的冗余过滤器，所提出的方法在14个不同的数据集上执行与最先进的关键字提取任务。该方法是无监督的，可解释的，也可以用于文档可视化。
2019-11-11 cs.CL cs.IR cs.LG
Nearly-Unsupervised Hashcode Representations for Relation Extraction
IBM Research（IBM研究院）
最近，核局部敏感散列码已成功地作为自然语言文本的表示，特别是显示出高度相关的生物医学关系抽取任务。在本文中，我们建议以几乎无监督的方式优化散列码表示，在这种方式中，我们只使用数据点，而不是它们的类标签进行学习。然后，优化的散列码表示被馈送到遵循先前工作的监督分类器。这种几乎无监督的方法允许对每个散列函数进行细粒度优化，这特别适合于构建从训练集到测试集的散列代码表示。我们经验评估所提出的方法，生物医学关系抽取任务，获得显着的准确性提高w.r.t.最先进的监督和半监督方法。
2019-09-09 cs.AI cs.CL cs.IT
WebSets: Extracting Sets of Entities from the Web Using Unsupervised Information Extraction
Carnegie Mellon University（卡内基梅隆大学）
我们描述了一个开放域的信息抽取方法提取的概念实例对从HTML语料库。大多数早期的方法来解决这个问题依赖于组合集群的分布相似的条款和概念实例对获得赫斯特模式。相比之下，我们的方法依赖于一种新的方法，在HTML表中发现的术语聚类，然后使用赫斯特模式将概念名称分配给这些集群。该方法可以有效地应用于大型语料库，并在几个数据集上的实验结果表明，我们的方法可以准确地提取大量的概念实例对。
2013-07-01 cs.CL cs.IR cs.LG
PIE-QG: Paraphrased Information Extraction for Unsupervised Question Generation from Small Corpora
Deakin University（迪肯大学）
有监督的问答系统（QA系统）依赖于特定领域的人类标记数据进行训练。无监督QA系统生成自己的问答训练对，通常使用辅助知识源来实现这一结果。我们的方法（称为PIE-QG）使用开放信息抽取（OpenIE）生成合成的训练问题，从转述的段落，并使用问答对作为训练数据的语言模型的国家的最先进的QA系统的基础上BERT。从每段文章中抽取<主语、谓语、宾语>形式的三元组，用主语（或宾语）和谓语构成疑问句，宾语（或主语）被认为是答案。在五个提取的QA数据集上进行的实验表明，我们的技术与现有的最先进的QA系统具有同等的性能，其优点是在数量级更少的文档上进行训练，并且不依赖任何外部参考数据源。
2023-01-03 cs.AI cs.CL
Unsupervised Term Extraction for Highly Technical Domains
IBM Research（IBM研究院）
术语抽取是知识发现平台中的一项信息抽取任务。开发能够在非常多样化和潜在的高技术领域中推广的术语提取器是具有挑战性的，因为需要深入专业知识的领域的注释是稀缺且昂贵的。在本文中，我们描述了一个商业知识发现平台，目标是高度技术领域，如制药，医疗和材料科学的术语提取子系统。为了能够跨领域进行泛化，我们引入了一个完全无监督的注释器（UA）。它通过将来自子词标记化的新颖形态信号与术语到主题和术语内相似性度量相结合来提取术语，这些相似性度量使用通用域预训练的重复编码器来计算。注释器用于实现弱监督设置，其中transformer模型在通过在大型未标记语料库上运行UA生成的训练数据上进行微调（或预训练）。我们的实验表明，我们的设置可以提高预测性能，同时减少CPU和GPU上的推理延迟。我们的注释器为所有注释不可用的情况提供了一个非常有竞争力的基线。
2022-10-24 cs.AI cs.CL cs.LG
Clustering-based Unsupervised Generative Relation Extraction
Virginia Tech（弗吉尼亚理工大学）；Adobe Research（Adobe研究）
本文主要研究无监督关系抽取问题。现有的基于概率生成模型的关系提取方法通过提取句子特征并使用这些特征作为训练生成模型的输入来工作。然后，该模型用于聚类相似关系。然而，这些方法在训练过程中没有考虑具有相同实体对的句子之间的相关性，这可能会对模型性能产生负面影响。为了解决这个问题，我们提出了一个基于无监督生成关系抽取（CURE）框架，利用"编码器-解码器"架构来执行自监督学习，因此编码器可以提取关系信息。给定具有相同实体对的多个句子作为输入，通过预测其中一个句子的依赖图上的实体对之间的最短路径来部署自监督学习。之后，我们使用经过良好训练的编码器提取关系信息。然后，共享相同关系的实体对基于其对应的关系信息进行聚类。每个聚类基于与每个聚类中的实体对相对应的最短路径中的词用几个词来标记。这些聚类标签还描述了这些关系聚类的含义。我们比较了我们提出的框架（CURE）和基线方法与地面真理知识库提取的三胞胎。实验结果表明，我们的模型在纽约时报（NYT）和联合国平行语料库（UNPC）标准数据集上的性能优于最先进的模型。
2020-09-26 cs.CL cs.LG stat.ML
MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction
Alibaba Group（阿里巴巴集团）；The University of New South Wales（新南威尔士大学）；A*STAR Centre for Frontier AI Research（新加坡科技研究局前沿人工智能研究中心）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
关键词提取（KPE）自动提取文档中的短语，这些短语提供核心内容的简明摘要，这有利于下游的信息检索和NLP任务。以前的最先进的（SOTA）方法选择候选关键词的基础上学习的候选人和文档的表示之间的相似性。由于序列长度之间的差异，导致关键短语候选者和文档的表示之间不匹配，因此它们在长文档上的性能会下降。在这项工作中，我们提出了一种新的无监督的嵌入为基础的KPE方法，掩蔽文档嵌入排名（MDERank），来解决这个问题，利用掩模策略和排序候选人之间的相似性嵌入的源文件和掩蔽的文件。通过提出一种新的自监督对比学习方法，我们进一步开发了一个面向KPE的BERT（KPE BERT）模型，该方法比普通的BERT更适合于MDERank。对6个KPE基准测试的综合评价表明，所提出的MDERank比最先进的无监督KPE方法平均提高了1.80 $F1@15$。MDERank进一步受益于KPEBERT，总体上比SOTA SIFRank平均提高了3.53 $F1@15$。我们的代码可在\url{https://github.com/LinhanZ/mderank}上找到。
2023-02-28 cs.AI cs.CL
Revisiting Simple Domain Adaptation Methods in Unsupervised Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology（信息通信研究机构）；Osaka University（大阪大学）
领域自适应在监督神经机器翻译（SNMT）中得到了充分研究。然而，对于无监督神经机器翻译（UNMT），它还没有得到很好的研究，尽管UNMT最近在几个特定领域的语言对中取得了显着的成果。除了SNMT的训练数据和测试数据之间的不一致域之外，UNMT的两个单语训练数据之间有时也存在不一致域。在这项工作中，我们经验性地展示了无监督神经机器翻译的不同场景。基于这些场景，我们重新审视现有的领域自适应方法，包括批量加权和微调方法在UNMT的效果。最后，我们提出了改进的方法，以提高特定领域的UNMT系统的性能。
2020-05-05 cs.CL
PromptORE -- A Novel Approach Towards Fully Unsupervised Relation Extraction
Alteca（阿尔特卡）；Univ Lyon（里昂大学）；INSA Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）
提出首个无需超参数调整的无监督关系抽取模型PromptORE，通过提示微调范式嵌入句子并聚类发现候选关系，在多个数据集上性能显著优于现有方法。
2023-03-24 cs.AI cs.CL cs.IR
Towards Unsupervised Learning of Temporal Relations between Events
Sharif University of Technology（谢里夫理工大学）
事件对之间的时间关系的自动提取是诸如问答、信息抽取和摘要等自然语言处理应用的重要任务。由于大多数现有的方法都是有监督的，并且需要大量的语料库，而对于许多语言来说，这是不存在的，因此我们集中精力尽可能减少对注释数据的需求。本文提出了两种不同的算法实现这一目标。第一个算法是一个弱监督的机器学习方法，用于分类事件之间的时间关系。在第一阶段，该算法从标注的语料库中学习一个通用的分类器。然后，在“每一个篇章都有一种时间关系”的假设的启发下，从一组主题相关的文档中提取有用的信息。我们表明，通过结合这样一个集群的全局信息与一般分类器的局部决策，可以建立一个自举跨文档分类器来提取事件之间的时间关系。我们的实验表明，没有任何额外的注释数据，所提出的算法的准确性高于几个以前成功的系统。第二种提出的时态关系抽取方法是基于期望最大化（EM）算法。在EM中，我们使用了不同的技术，如贪婪的最佳优先搜索和整数线性规划的时间不一致性消除。我们认为，我们的EM算法的实验结果，作为第一步，完全无监督的时间关系抽取方法，是令人鼓舞的。
2014-01-23 cs.CL cs.LG
Revisiting the Practical Effectiveness of Constituency Parse Extraction from Pre-trained Language Models
Hanyang University（汉阳大学）
从预训练的语言模型中提取选区分析（CPE-PLM）是一种新的范例，其试图仅依赖于预训练的语言模型的内部知识来诱导选区分析树。虽然这种方法具有上下文学习相似的优点，但它不需要针对特定任务进行微调，但其实际效果仍然不清楚，只是它可以作为研究语言模型内部工作的探针。在这项工作中，我们在数学上重新制定CPE-PLM，并提出了两个先进的集成方法为它量身定制，证明了新的解析范式可以通过引入一组异构PLM结合使用我们的技术与常见的无监督解析器竞争。此外，我们探讨了一些场景中，CPE-PLM生成的树实际上是有用的。具体来说，我们表明，CPE-PLM是更有效的比典型的监督解析器在Few-Shot设置。
2022-09-15 cs.CL
Unsupervised Sentence Representations as Word Information Series: Revisiting TF--IDF
Universidad Nacional Autónoma de México (UNAM)（墨西哥国立自治大学）；Centro de ciencias genómicas (CCG–UNAM)（基因组科学中心（墨西哥国立自治大学））；Instituto de ingeniería (IIngen–UNAM)（工程研究所（墨西哥国立自治大学））；Laboratoire Informatique d’Avignon (LIA–UAPV)（阿维尼翁计算机科学实验室（阿维尼翁大学））；Centro de investigación en computación (CIC–IPN)（计算机研究中心（国立理工学院））
语义层次的句子表示是自然语言处理和人工智能的一个具有挑战性的任务。尽管在词嵌入（即词向量表示）方面取得了进展，但由于词之间语义交互的复杂性，捕获句子含义仍然是一个悬而未决的问题。在本文中，我们提出了一种嵌入方法，这是针对学习无监督的句子表示从未标记的文本。我们提出了一种无监督的方法，模型的一个句子作为一个加权系列的词嵌入。词嵌入的权重是通过使用由词频-逆文档频率（TF--IDF）变换提供的Shannon词熵来拟合的。模型的超参数可以根据数据的属性（例如句子长度和文本性别）进行选择。超参数选择涉及词嵌入方法和维度，以及加权模式。我们的方法提供了优于现有方法的优势：可识别模块，短期培训，（看不见的）句子表示的在线推理，以及独立于领域，外部知识和语言资源。结果表明，我们的模型在著名的语义文本相似性（STS）基准测试中的表现优于现有技术。此外，我们的模型达到了最先进的性能相比，监督和基于知识的STS系统。
2017-10-20 cs.CL
Revisiting Adversarial Autoencoder for Unsupervised Word Translation with Cycle Consistency and Improved Training
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）
对抗训练在学习双语词典方面取得了令人印象深刻的成功，没有任何并行数据，通过将单语嵌入映射到共享空间。然而，最近的研究表明，非对抗性方法在更具挑战性的语言对中表现出更好的性能。在这项工作中，我们重新审视了用于无监督单词翻译的对抗自动编码器，并提出了两个新的扩展，以产生更稳定的训练和改进的结果。我们的方法包括正则化条款，以加强循环一致性和输入重建，并把目标编码器作为对手对相应的编码器。对欧洲、非欧洲和低资源语言的广泛实验表明，我们的方法比最近提出的对抗性和非对抗性方法更鲁棒，性能更好。
2019-04-04 cs.CL cs.LG stat.ML
Unsupervised Keyphrase Extraction from Scientific Publications
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
我们提出了一种新的无监督的关键词提取方法，过滤候选关键字使用离群检测。它首先在目标文档上训练词嵌入，以捕获词之间的语义重叠。然后，它使用最小协方差行列式估计器来模拟非关键短语词向量的分布，假设这些向量来自相同的分布，表明它们与学习向量表示的维度所表达的语义无关。候选关键短语仅由被检测为该主导分布的离群值的单词组成。实证结果表明，我们的方法优于国家的最先进的和最近的无监督关键词提取方法。
2020-07-12 cs.CL
Revisiting Relation Extraction in the era of Large Language Models
Northeastern University（东北大学）
本研究利用GPT-3和Flan-T5等大型语言模型，通过序列到序列生成方式处理关系抽取任务，在人工评估下发现GPT-3少样本提示接近最先进性能，而Flan-T5经链式思维微调后达到最先进结果，并发布了新基线模型。
2024-07-16 cs.CL
Unsupervised Candidate Answer Extraction through Differentiable Masker-Reconstructor Model
Texas A&M University（德克萨斯农工大学）；George Mason University（乔治梅森大学）
针对现有候选答案抽取依赖标注数据且泛化性差的问题，提出无监督的可微掩码器-重构器模型，利用上下文结构和自一致性提取显著信息，性能优于无监督方法且媲美有监督方法。
2023-10-19 cs.CL
Unsupervised Keyphrase Extraction via Interpretable Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
关键词提取的目的是自动提取一个列表的“重要”的短语表示的关键概念，在一个文件。用于无监督关键短语提取的先前方法通过嵌入聚类或图中心性诉诸于短语重要性的启发式概念，需要广泛的领域专业知识。我们的工作提出了一个简单的替代方法，它定义为文档短语的关键词是突出的预测文档的主题。为此，我们提出了检查-一种方法，使用自我解释模型，通过测量输入短语对文档主题分类的下游任务的预测影响来识别文档中有影响力的关键短语。我们证明了这种新方法不仅满足了对ad-hoc关键词提取的需求，而且在两个领域的四个数据集中实现了无监督关键词提取的最新结果：科学出版物和新闻文章。
2023-02-17 cs.CL
Biased TextRank: Unsupervised Graph-Based Content Extraction
University of Michigan（密歇根大学）
我们引入了Biased TextRank，这是一种基于图形的内容提取方法，其灵感来自流行的TextRank算法，该算法根据文本对语言处理任务的重要性以及与输入“焦点”的相关性对文本跨度进行排名。“Biased TextRank通过修改TextRank执行中的随机重新启动来实现文本的集中内容提取。基于图节点与任务焦点的相关性来分配随机重启概率。我们提出了两个应用程序的偏见TextRank：集中的摘要和解释提取，并表明我们的算法导致两个不同的数据集上的显着ROUGE-N得分利润率提高性能。与其前身非常相似，Biased TextRank是无监督的，易于实现，并且比当前最先进的自然语言处理方法更快，更轻。
2020-11-02 cs.CL
Revisiting Lexicon Evaluation in Unsupervised Word Discovery
Google Africa PhD Fellowship（谷歌非洲博士 fellowship）；South African National Research Foundation（南非国家研究基金会）
针对无监督词汇发现中常用评估指标（归一化编辑距离）偏向大簇质量且忽略真实类别分布的问题，提出两种新指标：修正的簇内一致性指标和逆分布指标，通过实验证明其与真实分布更相关且更鲁棒。
2026-09-22 cs.CL eess.AS
Embarrassingly Simple Unsupervised Aspect Extraction
University of Antwerp（安特卫普大学）；University of Groningen（格罗宁根大学）
我们提出了一种简单而有效的方法方面识别情感分析。我们的无监督方法只需要词嵌入和POS标记器，因此可以直接应用于新的领域和语言。我们引入了对比注意力（CAt），一种新的单头注意力机制的基础上的RBF核，这给了一个相当大的提升性能，使模型可解释。以前的工作依赖于句法特征和复杂的神经模型。我们表明，鉴于目前的基准数据集方面提取的简单性，这样复杂的模型是不需要的。复制本文中报告的实验的代码可在https://github.com/clips/cat上获得
2020-04-28 cs.CL
Unsupervised Sense-Aware Hypernymy Extraction
University of Mannheim（曼海姆大学）；University of Hamburg（汉堡大学）
提出一种无监督词义感知方法，通过同义词集传播、嵌入构建与匹配来提取消歧上位词关系，并在英语和俄语数据集上验证其优于 Hearst 模式与 Wiktionary。
2018-09-17 cs.CL
ClusTop: An unsupervised and integrated text clustering and topic extraction framework
Hebei University of Technology（河北工业大学）；Tianjin Huizhi Xingyuan Information Technology Co.,Ltd.（天津汇智兴元信息技术有限公司）
文本聚类和主题抽取是文本挖掘的两个重要任务。通常，这两个任务是分开执行的。为了便于聚类的主题提取，我们可以首先将文本投影到主题空间中，然后执行聚类算法来获得聚类。为了通过聚类来促进主题提取，我们可以首先使用聚类算法获得聚类，然后提取特定于聚类的主题。然而，这种幼稚的策略忽略了文本聚类和主题提取是密切相关的，并且遵循鸡和蛋的关系。单独执行它们无法使它们相互受益，以实现最佳的整体性能。本文提出了一种无监督文本聚类和主题提取框架（WITTTop），该框架将文本聚类和主题提取集成到一个统一的框架中，能够同时实现高质量的聚类结果和主题提取。我们的框架包括四个部分：增强的语言模型训练，降维，聚类和主题提取，其中增强的语言模型可以被看作是聚类和主题提取之间的桥梁。一方面，它为文本嵌入提供了强聚类结构，有利于有效的文本聚类;另一方面，由于其自关注结构，它高度关注主题相关词以进行主题提取。此外，增强的语言模型的训练是无监督的。在两个数据集上的实验证明了该框架的有效性，并为该框架中不同的模型组合提供了基准。
2023-01-03 cs.CL
Unsupervised Keyword Extraction from Polish Legal Texts
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw（华沙大学跨学科数学与计算建模中心）；Faculty of Electronics and Information Technology, Warsaw University of Technology（华沙理工大学电子与信息技术学院）
在这项工作中，我们提出了一个应用程序，最近提出的无监督的关键字提取算法RAKE波兰法律文本的语料库，从公共采购领域。RAKE本质上是一种独立于语言和领域的方法。它唯一的语言特定输入是包含一组非内容词的非索引字列表。该方法的性能在很大程度上取决于这样一个非索引字表的选择，这应该是域采用。因此，我们补充RAKE算法的自动方法来选择非内容词，这是基于术语分布的统计特性。
2014-11-03 cs.CL
Simple Unsupervised Keyphrase Extraction using Sentence Embeddings
Swisscom AG（瑞士电信公司）；EPFL（洛桑联邦理工学院）
关键词提取是自动选择一个最能描述给定自由文本文档的短语的小集合的任务。有监督的关键短语提取需要大量的标记的训练数据，并且在训练数据的域之外的推广非常差。同时，无监督系统的准确性较差，并且通常不能很好地泛化，因为它们需要输入文档属于也作为输入给出的更大的语料库。为了解决这些缺点，在本文中，我们使用EmbedRank来解决从单个文档中提取关键词的问题：EmbedRank是一种新型的无监督方法，它利用了句子嵌入。EmbedRank在标准数据集上比基于图的最新系统获得了更高的F-scores，并且适合实时处理大量Web数据。使用EmbedRank，我们还通过为新短语引入基于嵌入的最大边际相关性（MMR）来显式增加所选关键短语的覆盖率和多样性。一项包含超过200个投票的用户研究表明，尽管减少短语的语义重叠不会导致F分数的增加，但我们的高多样性选择是人类的首选。
2018-09-05 cs.CL
Unsupervised Word and Dependency Path Embeddings for Aspect Term Extraction
Peking University（北京大学）；Microsoft Research（微软研究院）；University of Edinburgh（爱丁堡大学）
在本文中，我们开发了一种新的方法，方面的术语提取的基础上无监督学习的分布式表示的话和依赖路径。其基本思想是在嵌入空间中连接两个单词（w1和w2），并在它们之间建立依赖路径（r）。具体来说，我们的方法优化目标w1 + r = w2在低维空间，其中的多跳依赖路径被视为一个序列的语法关系和模型的递归神经网络。然后，针对基于条件随机场（CRF）的体词抽取，设计了考虑线性上下文和依赖上下文信息的嵌入特征。在SemEval数据集上的实验结果表明：（1）仅使用嵌入特征，我们就可以获得最佳的结果;（2）我们的嵌入方法结合了词间的句法信息，在体词提取方面比其他有代表性的方法有更好的性能。
2016-05-25 cs.CL
Unsupervised Aspect Term Extraction with B-LSTM & CRF using Automatically Labelled Datasets
Swisscom AG（瑞士电信公司）
体词提取是基于语义体的情感分析竞赛的一项任务，它是对文本中的体词进行识别。用于监督ATE的少量可用数据集和用于方面术语标签的昂贵的人工注释引起了对无监督ATE的需求。在本文中，我们介绍了一种架构，实现一流的性能监督ATE。此外，它可以有效地用于无监督ATE的特征提取和分类。我们的第二个贡献是自动构建ATE数据集的方法。我们训练我们的自动标记的数据集上的分类器，并评估它的人类注释SemEval ABSA测试集。与一个强大的基于规则的基线相比，我们获得了显着更高的F分数，并达到80%以上的精度值。我们的无监督方法击败了SemEval的监督ABSA基线，同时保留了高精度分数。
2017-09-15 cs.CL
Cone: Unsupervised Contrastive Opinion Extraction
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）
提出无监督对比观点抽取模型Cone，结合对比学习与迭代聚类细化，无需标签即可抽取对比观点并量化方面流行度，在酒店和疫苗推特数据集上优于基线。
2023-05-08 cs.CL
Embarrassingly Simple Unsupervised Aspect Based Sentiment Tuple Extraction
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
针对低资源领域缺乏标注数据导致监督方法效果减弱的问题，提出一种简单新颖的无监督方法，用于提取句子中方面词对应的意见词及情感极性，并在四个基准数据集上验证了有效性，为意见词挖掘建立了无监督基准。
2024-04-21 cs.CL
Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction
Heidelberg University（海德堡大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Waterloo（滑铁卢大学）
自动句子摘要生成句子的较短版本，同时保留其最重要的信息。一个好的摘要的特点是语言流畅，与源句的信息重叠度高。我们在一个无监督的目标函数，包括语言建模和语义相似性度量这两个方面的模型。我们通过离散优化来寻找高分摘要。我们提出的方法实现了一个新的国家的最先进的无监督句子摘要根据ROUGE分数。此外，我们证明，通常报告的ROUGE F1度量是敏感的摘要长度。由于这是不情愿地利用在最近的工作中，我们强调，未来的评估应明确分组摘要系统的输出长度括号。
2020-05-04 cs.CL
For the sake of simplicity: Unsupervised extraction of lexical simplifications from Wikipedia
我们报告了在提取词汇简化方面正在进行的工作（例如，“collaborate”->“work together”），重点是利用简单英语维基百科的编辑历史来完成这项任务。我们考虑两种主要方法：（1）通过考虑不同操作混合的编辑模型导出简化概率，以及（2）使用元数据来关注更可能是简化操作的编辑。我们发现我们的方法优于一个合理的基线，并产生许多高质量的词汇简化不包括在一个独立创建的手动准备的列表。
2010-08-11 cs.CL
Improving unsupervised neural aspect extraction for online discussions using out-of-domain classification
Samsung-PDMI Joint AI Center, Steklov Mathematical Institute（三星-圣彼得堡数学研究所联合人工智能中心，斯捷克洛夫数学研究所）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Kazan Federal University（喀山联邦大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
基于自我注意力的深度学习架构最近在无监督方面提取和主题建模任务中取得了并超越了最先进的成果。虽然基于神经注意力的方面提取（ABAE）等模型已成功应用于用户生成的文本，但当应用于新闻文章和新闻组文档等传统数据源时，它们的一致性较低。在这项工作中，我们介绍了一个简单的方法，句子过滤的基础上，以提高专题方面学到的新闻组为基础的内容，而不修改ABAE的基本机制。我们训练一个概率分类器来区分域外文本（外部数据集）和域内文本（目标数据集）。然后，在数据准备过程中，我们过滤出在域中概率较低的句子，并在剩余句子上训练神经模型。句子过滤对主题连贯性的积极影响是在未过滤文本上训练的方面提取模型的比较中证明的。
2020-06-17 cs.CL
A Preliminary Empirical Study on Prompt-based Unsupervised Keyphrase Extraction
Beijing Jiaotong University（北京交通大学）
本研究通过实证调查不同提示在无监督关键词抽取中的效果，发现复杂提示不一定优于简单提示，但面对长文档时复杂提示更有效。
2024-05-26 cs.CL
Unsupervised Keyphrase Extraction by Jointly Modeling Local and Global Context
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Tencent Cloud Xiaowei（腾讯云小微）
基于嵌入的方法被广泛用于无监督关键短语提取（UKE）任务。一般而言，这些方法只是简单地计算短语嵌入和文档嵌入之间的相似度，这不足以捕获不同的上下文以获得更有效的UKE模型。在本文中，我们提出了一种新的方法UKE，其中局部和全局上下文联合建模。从全局的角度，我们计算之间的相似度的某个短语和整个文档在向量空间中的过渡嵌入模型做。在局部视图方面，我们首先建立一个基于文档的图结构，其中短语被视为顶点，边是顶点之间的相似性。然后，我们提出了一种新的中心度计算方法来捕获局部显着信息的基础上的图结构。最后，我们进一步结合全局和局部上下文的建模进行排名。我们评估我们的模型在三个公共基准（Inspec，DUC 2001年，SemEval 2010年），并与现有的国家的最先进的模型进行比较。实验结果表明，该模型在不同领域和不同长度的输入文档上都有较好的泛化能力。进一步的消融研究表明，局部和全局信息对于无监督关键短语提取任务至关重要。
2021-09-15 cs.CL
Simple Unsupervised Similarity-Based Aspect Extraction
Federal University of Rio Grande do Sul（南里奥格兰德联邦大学）
在情感分析的上下文中，对执行集中于被评估的实体的特定方面的更细粒度分析的兴趣日益增长。这是基于情感的情感分析（ABSA）的目标，ABSA主要包括两个任务：方面提取和极性检测。第一个任务负责发现评论文本中提到的方面，第二个任务为该方面分配情感取向（积极，消极或中性）。目前，ABSA的最新技术包括深度学习方法的应用，如递归、卷积和注意力神经网络。这些技术的局限性在于，它们需要大量的训练数据并且在计算上昂贵。在本文中，我们提出了一个简单的方法，称为SUAEx方面提取。SUAEx是无监督的，仅依赖于词嵌入的相似性。在三个不同领域的数据集上的实验结果表明，SUAEx在很短的时间内就可以获得优于最先进的基于注意力的方法的结果。
2020-08-25 cs.CL
Unsupervised Keyphrase Extraction with Multipartite Graphs
LS2N, Université de Nantes（LS2N，南特大学）
我们提出了一个无监督的关键词提取模型，编码主题信息的多部图结构。我们的模型表示关键词候选人和主题在一个单一的图，并利用它们相互加强的关系，以提高候选人的排名。我们进一步引入了一种新的机制，将关键词选择偏好的模型。在三个广泛使用的数据集上进行的实验表明，与最先进的基于图的模型相比，该模型有了显着的改进。
2018-04-16 cs.CL cs.IR
Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications
Ericsson AB（爱立信公司）；Uppsala University（乌普萨拉大学）
已经探索了几种方法来自动化系统映射（SM）和系统评价（SR）方法的一部分。挑战通常围绕文本语义理解的差距以及缺乏弥合这一差距所需的领域和背景知识而演变。在本文中，我们研究可能的方法自动化部分SM/SR过程，即提取关键字和关键短语从科学文献中使用无监督的方法，然后使用语义关键短语聚类技术作为基础，构建相应的分类方案。具体而言，我们探讨了集成分数测量在关键短语提取中的作用，我们探讨了基于语义网络的词嵌入在短语语义的嵌入表示中的作用，最后我们还探讨了如何使用聚类来对相关的关键短语进行分组。评估是在与“可解释的人工智能”领域有关的出版物数据集上进行的，我们使用标准的公开数字图书馆和索引术语（关键词）集构建了该数据集。实验结果表明：集成排序得分确实提高了关键词提取的性能。基于ConceptNet语义网络的基于语义网络的词嵌入与上下文化的词嵌入具有相似的性能，但是前者的计算效率更高。最后，在术语级进行语义关键词聚类，可以将相似的术语聚集在一起，从而适合于分类方案。
2021-02-08 cs.CL
Eliminating Sentiment Bias for Aspect-Level Sentiment Classification with Unsupervised Opinion Extraction
Jilin University（吉林大学）；University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of Maryland（马里兰大学）
语义层情感分类（ALSC）旨在识别句子中特定方面的情感极性。ALSC是基于方面的情感分析中的实用设置，因为不需要意见术语标记，但是它不能解释为什么针对方面导出情感极性。为了解决这个问题，最近的作品微调预训练的Transformer编码器ALSC提取方面为中心的依赖树，可以定位的意见字。然而，诱导的意见词只提供了一个直观的线索，远远低于人类水平的可解释性。此外，预训练的编码器倾向于内化一个方面的内在情感，导致情感偏见，从而影响模型性能。在本文中，我们提出了一个基于跨度的反偏见方面的表示学习框架。该方法首先通过对抗性学习消除方面嵌入中的情感偏见。然后，它通过基于跨度的依赖建模将提取的意见候选者与方面对齐，以突出可解释的意见术语。我们的方法在五个基准上实现了新的最先进的性能，具有无监督意见提取的能力。
2021-09-07 cs.CL
Unsupervised Neural Aspect Search with Related Terms Extraction
ITMO University（圣彼得堡国立信息技术机械与光学大学）
在自然语言处理中，体识别和术语抽取一直是一个具有挑战性的任务。虽然监督方法获得了很高的分数，但由于缺乏标记数据集，很难在现实世界中使用它们。无监督方法在几个任务上优于这些方法，但提取方面和相应的术语仍然是一个挑战，特别是在多方面设置中。在这项工作中，我们提出了一种新的无监督神经网络与卷积多注意力机制，允许同时提取对（方面，术语），并证明了对现实世界的数据集的有效性。我们应用了一种特殊的损失，旨在提高多方面提取的质量。实验研究表明，什么与此损失，我们增加的精度不仅在这个联合设置，而且在方面的预测只。
2020-05-06 cs.CL cs.LG
