Enhance Topics Analysis based on Keywords Properties
Accenture(埃森哲)
主题建模是一种用于探索和检索文档集的最流行的文本分析技术。由于没有一个黄金标准的主题列表来比较每个语料库,主题模型算法的评估仍然是一个非常具有挑战性的任务。在这项工作中,我们提出了一个特异性得分的基础上,能够选择最翔实的主题的关键字属性。这种方法可以帮助用户专注于信息量最大的主题。在实验中,我们表明,我们能够压缩的国家的最先进的主题建模结果的不同因素的信息损失是远远低于解决方案的基础上,最近的一致性得分在文献中提出的。
2022-03-09 cs.CL cs.IR
Text Classification Using Label Names Only: A Language Model Self-Training Approach
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院)
当前的文本分类方法通常需要大量的人工标记的文档作为训练数据,这在实际应用中可能是昂贵的并且难以获得。人类可以在没有看到任何标记示例的情况下执行分类,而只是基于描述要分类的类别的一小部分单词。在本文中,我们探讨的潜力,只使用标签名称的每个类训练分类模型的未标记的数据,而不使用任何标记的文件。我们使用预训练的神经语言模型作为类别理解的一般语言知识源和文档分类的表示学习模型。我们的方法(1)将语义相关的词与标签名称相关联,(2)找到类别指示词并训练模型来预测其隐含的类别,以及(3)通过自我训练来推广模型。我们表明,我们的模型在四个基准数据集上实现了约90%的准确率,包括主题和情感分类,而不使用任何标记文档,而是从每个类最多3个单词(大多数情况下为1个)作为标签名称监督的未标记数据中学习。
2020-10-14 cs.CL cs.LG
Short-Text Classification Using Unsupervised Keyword Expansion
Queen’s University(女王大学);Institute for InfoComms Research(信息通信研究所);A*STAR(新加坡科技研究局)
短文本分类与所有数据科学一样,难以使用有限的数据实现高性能。作为一种解决方案,可以用新的和相关的特征词扩展短句以形成人工放大的数据集,并向测试数据添加新的特征。本文采用了一种新的文本扩展方法,直接为每个输入句子生成新词,因此不需要额外的数据集或先前的训练。在这种无监督的方法中,新的关键字在预先训练的语言模型的隐藏状态中形成,然后用于创建扩展的伪文档。通过检查预测的单词与输入句子的主题匹配程度来评估单词生成过程。实验结果表明,该方法可以为每个目标主题产生3-10个相关新词,而每个非目标主题只产生1个相关词。然后将生成的单词添加到简短的新闻标题中,以创建扩展的伪标题。实验结果表明,当限制训练样本的数量时,使用伪标题训练的模型可以提高分类精度。
2019-09-16 cs.CL
Keyword Assisted Topic Models
Harvard University(哈佛大学);Institute for Quantitative Social Science(定量社会科学研究所)
近年来,基于概率主题模型的全自动内容分析因其可扩展性而受到社会科学家的欢迎。模型的无监督性质使其适合在没有先验知识的情况下探索语料库中的主题。然而,研究人员发现,这些模型往往无法衡量实质性利益的具体概念,无意中创建多个主题具有相似的内容,并将不同的主题组合成一个单一的主题。在本文中,我们经验证明,提供少量的关键字可以大大提高测量性能的主题模型。建议的关键字辅助主题模型(keyATM)的一个重要优点是,关键字的规范要求研究人员在拟合模型的数据之前标记主题。这与普遍存在的事后专题解释和调整做法形成鲜明对比,这种做法损害了实证研究结果的客观性。在我们的应用程序中,我们发现keyATM提供了更多的可解释的结果,有更好的文档分类性能,是不太敏感的主题比标准的主题模型的数量。最后,我们表明,keyATM也可以纳入协变量和模型的时间趋势。有一个开放源码软件包可用于实施拟议的方法。
2023-02-03 cs.CL stat.AP stat.ME
Generating an Overview Report over Many Documents
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Microsoft Corporation(微软公司)
如何在数千个相关文档中高效地生成准确、结构良好的概览报告(ORPT)是一项挑战。一个结构良好的ORPT由多个级别的部分组成(例如,节和分节)。现有的多文档摘要(MDS)算法都没有针对这个任务。为了克服这一障碍,我们提出了NDORGS(众多文档的概述报告生成方案),它集成了文本过滤,关键字评分,单文档摘要(SDS),主题建模,MDS和标题生成,以生成一个连贯的,结构良好的ORPT。然后,我们设计了一个多标准的评价方法,使用文本挖掘和多属性决策技术的结合人的判断,运行时间,信息覆盖率和主题的多样性。我们评估的ORPT产生的NDORGS两个大型语料库的文件,其中一个是分类和其他未分类。我们表明,使用Saaty的成对比较9点量表和TOPSIS下,SDS的长度为20%的原始文件上生成的ORPT是最好的整体上的两个数据集。
2019-08-17 cs.CL
Multi-Hop Question Generation via Dual-Perspective Keyword Guidance
School of Computer Science and Technology, Soochow University, China(苏州大学计算机科学与技术学院);Institute for Infocomm Research, A*STAR, Singapore(新加坡*STAR信息通信研究所)
本文提出双视角关键词引导框架DPKG,通过区分问题关键词与文档关键词并分别建模,有效提升多跳问题生成中关键信息定位的准确性。
2025-06-03 cs.CL
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
University of Arkansas at Little Rock(阿肯色大学小石城分校);Infosys Ltd.(印孚瑟斯有限公司);IIIT-Delhi(德里英迪拉·甘地信息技术学院);National University of Singapore(新加坡国立大学)
关键词提取是自然语言处理中的一项基本任务,它有助于将文档映射到一组简洁的代表性单词和多词短语。文本文档中的关键词主要使用监督和非监督方法提取。在本文中,我们提出了一种无监督的技术,使用主题加权个性化PageRank算法和神经短语嵌入的组合提取和排名关键字。我们还介绍了一种有效的方法来处理文本文档和训练短语嵌入使用现有的技术。我们共享一个从现有数据集派生的评估数据集,该数据集用于选择底层嵌入模型。排名关键词提取的评估是在两个基准数据集上进行的,包括短摘要(Inspec)和长科学论文(SemEval 2010),并显示出比最先进的系统更好的结果。
2018-07-16 cs.CL
Corpus-level and Concept-based Explanations for Interpretable Document Classification
Virginia Tech(弗吉尼亚理工大学)
使用注意力权重来识别对模型决策重要的信息是解释基于注意力的神经网络的一种流行方法。在实践中,这通常通过基于注意力权重为每个文档生成热图来实现。但这种解释方法是脆弱的,并且容易发现矛盾的例子。在本文中,我们提出了一个语料库级的解释方法,其目的是捕捉关键字和模型预测之间的因果关系,通过学习关键字的重要性,预测标签在训练语料库的基础上的注意力权重。基于这一思想,我们进一步提出了一种基于概念的解释方法,可以自动学习更高级别的概念及其重要性,以建模预测任务。我们的基于概念的解释方法建立在一个新的抽象聚合网络,它可以在端到端的训练过程中自动聚类重要的关键字。我们将这些方法应用于文档分类任务,并表明它们在提取语义上有意义的关键字和概念方面是强大的。我们基于基于注意力的朴素贝叶斯分类器的一致性分析结果也证明了这些关键词和概念对模型预测的重要性。
2021-05-31 cs.CL cs.IR cs.LG
Scalable Evaluation and Improvement of Document Set Expansion via Neural Positive-Unlabeled Learning
Bar Ilan University(巴伊兰大学);RIKEN(理化学研究所);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Tokyo(东京大学)
我们考虑的情况下,用户已经收集了一个小的一组文档的内聚主题,他们希望从一个大的集合中检索更多的文档。信息检索(IR)解决方案将文档集视为查询,并在集合中查找相似的文档。我们建议通过将问题视为正未标记(PU)学习的实例来扩展IR方法-即,仅从正数据和未标记数据学习二进制分类器,其中正数据对应于查询文档,并且未标记数据是由IR引擎返回的结果。利用PU学习大型神经网络的文本是一个很大程度上未开发的领域。我们讨论了将PU学习应用于设置的各种挑战,包括未知的类先验,极不平衡的数据和模型的大规模准确评估,我们提出了解决方案并进行了经验验证。我们证明了该方法的有效性,使用一系列的实验检索PubMed摘要坚持细粒度的主题。我们展示了基础IR解决方案和其他基线的改进。
2021-01-14 cs.CL cs.LG
Keyword Extraction in Scientific Documents
ETH Zurich(苏黎世联邦理工学院);SUPSI(瑞士南部应用科学与艺术大学);HE-Arc(阿尔高等工程学院);Dalle Molle Institute for Artificial Intelligence USI-SUPSI(USI-SUPSI达尔·莫勒人工智能研究所)
科学出版物的产量呈指数级增长。因此,跟踪趋势和变化越来越具有挑战性。理解科学文献是知识图谱构建、文本挖掘和学科分类等下游任务的重要步骤。在这个研讨会中,我们提供了一个更好的理解关键字和关键短语提取从摘要的科学出版物。
2022-07-07 cs.CL
Boosting Entity Linking Performance by Leveraging Unlabeled Documents
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
现代实体链接系统依赖于专门为任务注释的大量文档集合(例如,AIDA CONLL)。相比之下,我们提出了一种只利用自然发生的信息的方法:未标记的文档和维基百科。我们的方法包括两个阶段。首先,我们为未标记文档中的每个提及构建候选实体的高召回列表。其次,我们使用候选列表作为弱监督来约束我们的文档级实体链接模型。该模型将实体视为潜在变量,并且在对未标记文本的集合进行估计时,学习选择依赖于每次提及的本地上下文以及与文档中其他实体的一致性的实体。由此产生的方法可以在标准测试集上与完全监督的最先进系统相媲美。它还接近他们的表现在非常具有挑战性的设置:当测试集上的数据采样用于估计监督系统进行测试。通过与仅使用维基百科训练我们的模型进行比较,我们证明了对未标记文档进行建模是有益的。
2019-06-04 cs.AI cs.CL cs.LG
Keywords lie far from the mean of all words in local vector space
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
关键词提取是一个重要的文档处理过程,其目的是找到一个小的术语集,简洁地描述文档的主题。最流行的最先进的无监督方法属于基于图的方法家族,该方法构建单词图并使用各种中心性度量来对节点(候选关键字)进行评分。在这项工作中,我们遵循不同的路径来检测的关键字从文本文档建模的主要分布的文档的话,使用本地词向量表示。然后,我们根据候选人在文本中的位置以及相应的局部向量与主分布中心之间的距离对候选人进行排名。我们通过一项扩展的实验研究,调查本地表示的属性,与强基线和最先进的无监督关键字提取方法相比,我们的方法具有高性能。
2020-08-21 cs.CL
Toward Network-based Keyword Extraction from Multitopic Web Documents
University of Rijeka(里耶卡大学)
本文分析了在关键词自动抽取任务中,从复杂网络中计算出的选择性测度。从不同的网络资源(门户网站,论坛)收集的文本,表示为有向和加权的词的共现复杂网络。词是节点,如果它们在句子中直接共现,则在两个节点之间建立链接。我们测试不同的中心性措施排名节点-关键字候选人。使用选择性措施取得了可喜的成果。然后,我们提出了一种方法,使提取词对的值的输入/输出的选择性和权重措施结合过滤。
2014-07-14 cs.CL cs.IR
RaKUn: Rank-based Keyword extraction via Unsupervised learning and Meta vertex aggregation
Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);Jožef Stefan Institute(约瑟夫·斯特凡研究所);Usher Institute, Medical School, University of Edinburgh(爱丁堡大学医学院厄舍研究所)
关键词提取用于概括文档的内容,并支持高效的文档检索,因此是现代基于文本的系统不可或缺的一部分。我们探讨如何负载中心性,适用于从给定的文本衍生的图形的图论测量可以用来有效地识别和排名的关键字。引入Meta顶点(现有顶点的聚合)和系统的冗余过滤器,所提出的方法在14个不同的数据集上执行与最先进的关键字提取任务。该方法是无监督的,可解释的,也可以用于文档可视化。
2019-11-11 cs.CL cs.IR cs.LG
Keyword Extraction for Improved Document Retrieval in Conversational Search
University of Amsterdam(阿姆斯特丹大学)
最近的研究表明,基于用户和计算机之间的交互来澄清和改进查询的混合主动会话搜索提供了巨大的优势。尽管如此,合并用户从对话中提供的附加信息提出了一些挑战。事实上,进一步的交互可能会使系统感到困惑,因为用户可能会使用与信息需求无关的词语,但在多轮对话的背景下,这些词语对于正确的句子构建至关重要。为此,在本文中,我们收集了两个会话关键字提取数据集,并提出了一个端到端的文档检索管道,将它们结合起来。此外,我们研究了两个神经关键词提取模型,即BERT和序列到序列,在提取精度和人类注释方面的性能。最后,我们研究了关键词提取对端到端神经IR性能的影响,并表明我们的方法击败了最先进的IR模型。我们公开这两个数据集,以促进这一领域的研究。
2021-09-22 cs.CL cs.IR
A Unified Positive-Unlabeled Learning Framework for Document-Level Relation Extraction with Different Levels of Labeling
East China Normal University(华东师范大学);Tsinghua University(清华大学)
文档级关系抽取(RE)旨在识别跨多个句子的实体之间的关系。大多数以前的方法都集中在完全监督下的文档级RE。然而,在现实世界的情况下,这是昂贵的,很难完全标记在一个文档中的所有关系,因为在文档级RE的实体对的数量与实体的数量呈二次方增长。为了解决常见的不完全标记问题,我们提出了一个统一的正未标记学习框架-移位和平方排名损失正未标记(SSR-PU)学习。我们第一次在文档级RE上使用了正向无标签(PU)学习。考虑到数据集的标记数据可能导致未标记数据的先验移位,我们引入了一种基于训练数据先验移位的PU学习。此外,使用非类得分作为自适应阈值,我们提出了平方排序损失,并证明了其贝叶斯一致性与多标签的排名指标。大量的实验表明,我们的方法实现了约14个F1点相对于以前的基线不完全标记的改进。此外,它在完全监督和极端无标签设置下的性能也优于以前的最先进结果。
2022-10-23 cs.AI cs.CL
Synthesizing Conversations from Unlabeled Documents using Automatic Response Segmentation
Amazon(亚马逊)
本文提出一种基于自动响应分割的对话合成方法,从无标注文档生成高质量训练数据,并在OR-QuAC基准上提升了ConvQA检索系统性能。
2024-06-06 cs.CL cs.LG
KeyGen2Vec: Learning Document Embedding via Multi-label Keyword Generation in Question-Answering
Eindhoven University of Technology(埃因霍温理工大学);BRIN Indonesia(印度尼西亚国家研究与创新署)
本文提出KeyGen2Vec,通过Seq2Seq多标签关键词生成学习文档嵌入,减少对标签监督的依赖,并在cQA数据集上验证其优于多标签分类器且可与主题标签监督方法竞争。
2023-10-30 cs.CL
Cross-lingual keyword assignment
本文提出了一种独立于语言的方法来控制词汇的关键字分配使用EUROVOC词库。由于EUROVOC的多语言特性,以一种语言编写的文档的关键字可以以所有11种欧盟官方语言显示。此外,将不同语文的文件映射到同一多语文术语词库还可进行跨语文文件比较。受控词汇词库描述符的分配是通过应用统计方法来实现的,该统计方法使用手动索引的文档的集合来为每个词库描述符识别与该描述符统计关联的大量词元。然后,在分配过程中使用这些关联的词来确定最有可能成为给定文档的好关键词的那些EUROVOC术语的排名列表。本文还介绍了这项任务的挑战,并讨论了实现的结果的全功能原型。
2006-09-12 cs.CL cs.IR
Knowledge-based Document Classification with Shannon Entropy
Microsoft(微软)
文档分类是检测文本文档中特定的感兴趣内容。与数据驱动的机器学习分类器相比,基于知识的分类器可以基于领域特定的知识来构建,该领域特定的知识通常采取主题相关关键字的集合的形式。虽然典型的基于知识的分类器基于关键字丰度来计算预测分数,但是由于在测量关键字匹配时缺乏指导原则,因此其通常遭受噪声检测。在本文中,我们提出了一种新的知识为基础的模型配备了香农熵,它衡量的丰富性的信息,有利于统一和多样化的关键字匹配。这种方法不需要调用任何正样本,为文档分类提供了一种简单易行的解决方案。我们发现,香农熵显着提高召回率在固定水平的误报率。此外,我们表明,该模型是更强大的数据分布的变化,而与传统的机器学习相比,在推理,特别是当积极的训练样本是非常有限的。
2022-06-06 cs.CL cs.IR
Single Document Extractive Summarization using Domination in Hypergraph
SCTR’s Pune Institute of Computer Technology(SCTR浦那计算机技术学院);Bodoland University(博多兰大学)
本研究提出利用超图支配集进行单文档抽取式摘要,通过构建句子-关键词超图并应用贪心算法寻找支配集,以生成覆盖重要信息的摘要,并与最先进的基于图的方法进行比较。
2026-09-16 cs.CL cs.LG
Generating Information-Seeking Conversations from Unlabeled Documents
Korea University(高丽大学);NAVER AI Lab(NAVER人工智能实验室);KAIST AI(韩国科学技术院人工智能学院);NAVER CLOVA
在本文中,我们介绍了一种新的框架,SIMSEEK,(模拟信息寻求对话从无标签的文件),并比较它的两个变种。在我们的基准SIMSEEK-SYM中,提问者根据回答者的预定答案生成后续问题。而SIMSEEK-ASYM则是先生成问题,然后在会话语境下找到相应的答案。我们的实验表明,他们可以合成有效的CQA和会话搜索任务的训练资源。因此,SIMSEEK-ASYM的对话不仅在我们的实验中有了更多的改进,而且在人类评估中也得到了好评。我们最终发布了一个大规模的合成对话资源WIKI-SIMSEEK,其中包含基于维基百科文档构建的200万个CQA对。有了这个数据集,我们的CQA模型在最近的CQA基准测试QuAC上达到了最先进的性能。
2022-10-24 cs.CL
Enhancing BERT-Based Visual Question Answering through Keyword-Driven Sentence Selection
Politecnico di Torino(都灵理工大学)
本文提出一种基于关键词驱动句子选择的纯文本方法,通过掩码语言建模微调BERT模型,以增强文档视觉问答中父子关系检测的性能。
2023-10-13 cs.AI cs.CL cs.LG
A Positive-Unlabeled Metric Learning Framework for Document-Level Relation Extraction with Incomplete Labeling
East China Normal University(华东师范大学);Tsinghua University(清华大学)
本文针对文档级关系抽取的不完全标注问题,提出P3M正例-未标注度量学习框架,通过正例增强与正例-none类混合提升性能,并在多场景取得SOTA。
2024-01-25 cs.AI cs.CL
Thesis: Document Summarization with applications to Keyword extraction and Image Retrieval
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文研究文档摘要技术,提出基于 rank aggregation 与相关性反馈的图像推荐方法,并设计 submodular functions 平衡意见摘要中的压缩与情感检测需求,在图像检索与摘要生成任务上均优于基线。
2024-05-20 cs.AI cs.CL cs.IR
View Distillation with Unlabeled Data for Extracting Adverse Drug Effects from User-Generated Data
Emory University(埃默里大学)
我们提出了一种基于多层Transformers的算法,用于识别社交媒体数据中的药物不良反应(ADR)。我们的模型依赖于问题的属性和上下文词嵌入的特点,从文档中提取两个视图。然后,在每个视图上训练分类器来标记一组未标记的文档,以用作另一个视图中的新分类器的初始化器。最后,使用初始训练样本进一步训练每个视图中的初始化分类器。我们在最大的公开ADR数据集中评估了我们的模型。实验证明,我们的模型显着优于基于transformer的模型在特定领域的数据预训练。
2021-05-24 cs.CL cs.LG
Clinical Document Classification Using Labeled and Unlabeled Data Across Hospitals
Australian e-Health Research Centre, CSIRO(澳大利亚联邦科学与工业研究组织电子健康研究中心);Royal Brisbane and Women’s Hospital(皇家布里斯班妇女医院)
在急诊科审查放射学报告是一项必要但艰巨的任务。对放射学报告中有异常病例的患者进行及时随访可能会极大地影响患者的结局,特别是如果他们出院时的初始诊断不同。已经设计了机器学习方法来加快这一过程并检测需要即时跟进的案例。然而,这些方法需要大量的标记数据来训练可靠的预测模型。准备如此大的数据集,需要由卫生专业人员手动注释,成本高,耗时长。本文研究了一种半监督学习框架,用于三家医院的放射学报告分类。主要目标是利用临床未标记数据,以便在有限的标记数据可用的情况下增强学习过程。为了进一步提高分类性能,我们还将迁移学习技术集成到半监督学习管道中。我们的实验结果表明,(1)卷积神经网络(CNN),虽然独立于任何特定问题的特征工程,但与传统的监督学习方法相比,实现了显着更高的有效性,(2)在训练基于CNN的分类器时利用未标记数据将对标记数据的依赖性降低了50%以上,以达到完全监督CNN的相同性能,以及(3)转移从外部源医院中的可用标记数据获得的知识显著地改善了半监督CNN模型相对于目标医院中的完全监督对应物的性能。
2018-12-04 cs.CL cs.LG
Khmer Semantic Search Engine (KSE): Digital Information Access and Document Retrieval
Institute of Technology of Cambodia (ITC)(柬埔寨理工学院)
提出首个高棉语语义搜索引擎 KSE,结合关键词词典、本体和排序三种语义匹配框架及数据准备工具,提升高棉语文档与在线资源检索准确率。
2024-06-16 cs.CL cs.IR
A semi-automatic method for document classification in the shipping industry
IIT Kharagpur(印度理工学院卡拉格普尔分校);Birla Institute of Technology and Science, Pilani(贝拉理工科学与 pilani 学院);GradValley DataScience(GradValley 数据科学公司);Emulya Fintech PTE LTD(Emulya 金融科技私人有限公司);Singapore Government Judiciary(新加坡政府司法机构)
本研究提出一种基于关键词频率的半自动文档分类方法,利用OCR技术处理航运业文件,在250份合同违约文档上训练,达到92%的准确率。
2023-03-29 cs.CL cs.LG
ASPECTNEWS: Aspect-Oriented Summarization of News Documents
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Walmart NexTech(沃尔玛NexTech)
通用摘要试图覆盖整个文档,基于查询的摘要试图回答特定于文档的问题。但实际用户的需求通常介于这两个极端之间,并与方面相对应,即在类似类型的文档中讨论的高级主题。在本文中,我们收集了一个现实的面向方面的摘要数据集,AASPNEWS,它涵盖了新闻子域中文章的不同子主题。我们在两个领域的文章,地震和欺诈调查,其中每篇文章都有两个不同的摘要,侧重于每个领域的不同方面的注释数据。一个编制单一通用摘要的系统不可能简明扼要地满足这两个方面。我们在评估中的重点是如何以及现有的技术可以推广到这些领域,而看不到域内的训练数据,所以我们转向技术,以构建合成训练数据,已用于查询为中心的总结工作。我们比较了几种不同的训练方案,这些方案在关键字的使用强度以及如何提取Oracle摘要方面有所不同。我们的评估表明,我们的最终方法产生(a)集中的摘要,优于那些从通用的摘要系统或从关键字匹配;(b)系统敏感的关键字的选择。
2022-03-15 cs.CL
Semi-automatic System for Title Construction
University of Delhi(德里大学)
在本文中,我们提出了一个半自动系统的标题建设从科技摘要。该系统从文本中提取并推荐有影响力的单词,作者可以创造性地使用这些单词来为手稿构建合适的标题。这项工作是基于这样的假设,即关键字是很好的候选人的标题建设。我们从文档中提取重要的话,通过诱导一个监督的关键词提取模型。该模型在从文档的文本图表示中提取的新特征上进行训练。我们的经验表明,这些基于图形的功能是能够区分关键字从非关键字。我们进一步建立经验,所提出的方法可以适用于任何文本,无论训练域和语料库。我们评估所提出的系统,通过计算提取的关键字和标题词的文档列表之间的重叠,我们观察到82%的宏观平均精度。
2019-05-01 cs.CL cs.IR
Utilizing Social Media Attributes for Enhanced Keyword Detection: An IDF-LDA Model Applied to Sina Weibo
University of New South Wales(新南威尔士大学)
针对社交媒体短文本关键词检测难题,提出结合IDF与LDA的模型,利用点赞、评论和转发等属性加权文档,有效提升关键词检测的精确率和召回率。
2023-05-30 cs.CL cs.IR cs.SI
Concept-based indexing in text information retrieval
Mouloud Mammeri University of Tizi-Ouzou(穆卢德·马姆里蒂齐乌祖大学)
传统的信息检索系统依赖于关键字来索引文档和查询。在这样的系统中,基于与查询共享的关键字的数量来检索文档。当使用不同的关键字来描述文档和查询时,这种以词汇为中心的检索会导致不准确和不完整的结果。以语义为中心的检索方法试图通过依赖于概念而不是关键字来索引和检索来克服这个问题。目标是检索与给定用户查询语义相关的文档。本文针对这一问题提出了一个解决方案,在索引级。更确切地说,我们提出了一种新的方法,语义索引的基础上确定的概念,从语言资源。特别是,我们的方法依赖于WordNet和WordNetDomains词汇数据库的概念识别的联合使用。此外,我们提出了一个基于语义的概念加权方案,依赖于一个新的概念中心的定义。在TIME测试集合上评估生成的系统。实验结果表明,我们的命题比传统的IR方法的有效性。
2013-03-07 cs.CL cs.IR
Probabilistic Latent Semantic Analysis (PLSA) untuk Klasifikasi Dokumen Teks Berbahasa Indonesia
Universitas Indonesia(印度尼西亚大学)
管理文档中包含的一项任务是如何找到内部的大量信息。主题建模是一种以关键字的形式生成文档表示的技术。关键词将用于索引编制过程和用户所需的文件检索。在本研究中,我们将具体讨论概率潜在语义分析(PLSA)。它将涵盖PLSA机制,其中涉及期望最大化(EM)作为训练算法,如何进行测试,并获得准确性结果。
2015-12-02 cs.CL cs.IR
From Association to Causation: Improving Retrieval Precision of Retrieval-Augmented Generation via Causal Relations and an Attention Mechanism
Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
该研究针对RAG检索阶段仅捕捉关联关系的问题,通过建模检索过程的因果结构,提出一种无需训练的注意力式重评分规则,在企业知识库和关键词堆砌语料库上显著提升了检索精度。
2026-11-02 cs.AI cs.CL
Solar cell patent classification method based on keyword extraction and deep neural network
随着ESG对企业的影响越来越大,与可再生能源相关的研究受到了极大的关注。太阳能电池就是其中之一,因此,可以说太阳能电池专利分析的研究价值非常高。专利文献具有很高的研究价值。能够准确地分析和分类专利文件可以揭示几个重要的技术关系。它还可以描述该技术的业务趋势。而在投资方面,也会激发并提出新的工业解决方案来做出重要决策。因此,我们必须仔细分析专利文件,利用专利的价值。针对太阳能电池专利分类问题,提出了关键词提取方法和基于深度神经网络的太阳能电池专利分类方法。首先,对太阳能电池专利进行预处理分析。然后使用KeyBERT算法从专利摘要中提取关键词和关键短语,构建词汇词典。基于深度神经网络构建了太阳能电池专利分类模型。最后,我们使用基于深度神经网络的太阳能电池专利分类模型对电力专利进行分类,训练准确率大于95%。验证准确率约为87.5%。可见,深度神经网络方法不仅可以实现对复杂、困难的太阳能电池专利的分类,而且分类效果良好。
2021-12-09 cs.CL cs.IR
FRAKE: Fusional Real-time Automatic Keyword Extraction
Computerized Intelligence Systems Laboratory, Department of Computer Engineering, University of Tabriz(计算机工程系计算机智能系统实验室,大不里士大学);Department of Computer Engineering, University of Tabriz(计算机工程系,大不里士大学)
关键词提取是尽最大努力识别表达文本主要概念的单词或短语的过程。电子基础设施每天都在创造大量的文本。由于文件数量庞大,人力资源几乎不可能对其进行研究和管理。尽管如此,在许多方面显然需要高效率和有效地查阅这些文件。博客,新闻文章或技术说明被认为是相对较长的文本,因为读者的目的是根据关键字或主题来学习主题。我们的方法包括两个模型的组合:图中心特征和纹理特征。该方法利用度、介数、特征向量、贴近度中心度等图中心度和大小写、词位、词频归一化、词异句、词性标注等文本中心度的最佳组合,从候选关键词中提取最佳关键词。也有人尝试将关键词与候选短语区分开来,并将它们考虑在单独的关键词上。为了评估所提出的方法,使用了七个数据集:Semeval 2010、SemEval 2017、Inspec、fao 30、Thesis 100、pak 2018和Wikinews,结果报告为精度、召回率和F-测量。与文献中的方法相比,我们提出的方法在所有审查数据集的评估指标方面表现得更好。F-score指标增加了约16.9%,而英语数据集的Inspec和放弃语言的WikiNews的增幅更大。
2021-10-01 cs.AI cs.CL
A Hassle-Free Machine Learning Method for Cohort Selection of Clinical Trials
传统的文本分类技术在临床领域严重依赖于人工提取的文本线索。本文提出了一种普遍监督的机器学习方法,同样轻松,不使用临床知识。所采用的方法实现简单,运行速度快,但有效。本文提出了一种新的命名实体识别(NER)的集成系统能够学习的关键字特征的文件。基于关键词的NER特征可以更突出重要的临床相关阶段,而不是仅仅考虑整个句子/段落进行分析。此外,为了捕获文档中的语义信息,利用源于文档级FastText分类结果的FastText特征。
2018-08-10 cs.CL cs.IR
Unsupervised Summarization by Jointly Extracting Sentences and Keywords
Fudan University(复旦大学);the Administrative Center of Shanghai R&D Public Service Platforms(上海市研发公共服务平台管理中心)
提出无监督图排序模型 RepRank,利用自注意力学习统一向量表示,通过相互强化的联合过程抽取句子与关键词,并引入吸收随机游走降低冗余,在多数据集 ROUGE 上达到最佳或可比性能。
2023-07-24 cs.CL
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore(迈索尔大学)
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法,直到实现期望的级别分区,使得每个分区包含单个类的标记文档。一旦获得所需的聚类,各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验,以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
An Improved Method for Class-specific Keyword Extraction: A Case Study in the German Business Registry
Technical University of Munich(慕尼黑工业大学);Fusionbase GmbH(Fusionbase有限公司)
提出基于KeyBERT的改进类特定关键词提取方法,在德国商业登记簿数据集上显著提升按经济部门分类的效果,树立新标准。
2024-07-19 cs.CL
Efficient and Effective Single-Document Summarizations and A Word-Embedding Measurement of Quality
University of Massachusetts(马萨诸塞大学)
我们的任务是生成一个有效的摘要为特定的实时要求的给定文件。我们使用softplus函数来增强关键字排名,以支持重要的句子,在此基础上,我们提出了一些摘要算法,使用各种关键字提取和主题聚类方法。我们表明,我们的算法满足实时要求,并产生最好的ROUGE召回分数DUC-02在所有以前已知的算法。我们表明,我们的算法满足实时要求,并产生最好的ROUGE召回分数DUC-02在所有以前已知的算法。为了在没有人工生成基准的情况下评估摘要的质量,我们定义了一个基于Word Mover距离的词嵌入的度量,称为WESM。我们表明,我们的算法的ROUGE和WESM分数的排序是高度可比的,这表明WESM可以作为一个可行的替代方法来衡量总结的质量。
2017-10-01 cs.CL cs.IR
Detecting influenza outbreaks by analyzing Twitter messages
Southeastern Louisiana University(东南路易斯安那大学)
我们分析了8个月内超过5亿条Twitter消息,发现跟踪少量与流感相关的关键字可以让我们高精度地预测未来的流感发病率,与国家卫生统计数据的相关性达到95%。然后,我们分析了这种方法的鲁棒性虚假的关键字匹配,我们提出了一个文档分类组件来过滤这些误导性的消息。我们发现,这种文件分类器可以减少超过一半的模拟虚警实验中的出错率,但需要更多的研究,以开发在极高的噪声的情况下是强大的方法。
2010-07-27 cs.CL cs.IR
Lbl2Vec: An Embedding-Based Approach for Unsupervised Document Retrieval on Predefined Topics
Technical University of Munich(慕尼黑工业大学)
在本文中,我们考虑使用无监督的方法从未标记的文档数据集中检索具有预定义主题的文档的任务。所提出的无监督方法只需要少量的关键字描述各自的主题,没有标记的文件。现有的方法要么严重依赖于大量的额外编码的世界知识或术语文档频率。此外,我们引入了一种方法,学习联合嵌入的文档和词向量,仅从未标记的文档数据集,以找到语义相似的主题所描述的关键字的文件。所提出的方法几乎不需要文本预处理,但同时有效地检索相关文档的概率很高。当从公开和常用的数据集连续检索不同预定义主题的文档时,我们在一个数据集上实现了0.95的接收器工作特征曲线值下的平均面积,在另一个数据集上实现了0.92。此外,我们的方法可以用于多类文档分类,而不需要预先为数据集分配标签。与无监督分类基线相比,我们将各自数据集的F1分数从76.6增加到82.7,从61.0增加到75.1。为了便于复制我们的方法,我们将开发的Lbl 2 Vec代码作为3-Clause BSD许可证下的即用型工具公开提供。
2022-10-12 cs.AI cs.CL
Phraseformer: Multimodal Key-phrase Extraction using Transformer and Graph Embedding
University of Tabriz(大不里士大学);Ayvansaray University(艾万萨雷大学)
背景:关键词抽取是自然语言处理领域的一个热门研究课题。关键字是描述文档中最相关信息的术语。如何高效、准确地从文档中提取核心关键词是研究者面临的主要问题。然而,以前的关键词提取方法都利用了文本和图形特征,缺乏能够正确学习和以最佳方式组合这些特征的模型。方法:在本文中,我们开发了一个多模态的关键短语提取方法,即Phraseformer,使用Transformer和图形嵌入技术。在Phraseformer中,每个关键词候选都由一个向量表示,该向量是文本和结构学习表示的串联。Phraseformer利用了最近的研究,如BERT和ExEm的优点,以保持这两种表示。此外,Phraseformer将关键短语提取任务视为使用分类任务解决的序列标记问题。结果:我们通过F1-score分析了Phraseformer在Inspec,SemEval 2010和SemEval 2017三个数据集上的性能。此外,我们还研究了不同分类器在Inspec数据集上对Phraseformer方法的性能。实验结果证明了Phraseformer方法在三个数据集上的有效性。此外,随机森林分类器在所有分类器中获得最高的F1分数。结论:BERT和ExEm的结合更有意义,更能表征词语的语义。因此,Phraseformer显著优于单模态方法。
2021-06-09 cs.AI cs.CL cs.LG
ROUGE-K: Do Your Summaries Have Keywords?
University of Mannheim(曼海姆大学);Mannheim University of Applied Sciences(曼海姆应用技术大学)
针对现有极限摘要评估指标未关注摘要关键词的问题,提出ROUGE-K关键词导向评估指标,发现强基线模型常遗漏关键信息,并提出四种融入词汇重要性的方法提升摘要关键词含量与整体质量。
2024-03-08 cs.CL
JurisTCU: A Brazilian Portuguese Information Retrieval Dataset with Query Relevance Judgments
Câmara dos Deputados(议会委员会);Tribunal de Contas da União (TCU)(联邦审计法院)
本文介绍了一个包含16045份巴西联邦会计法院判例文书和150个带有相关性标注查询的巴西葡萄牙语信息检索数据集,通过混合方法产生相关性判断,展示了文档扩展方法在提升BM25性能上的显著效果,以及OpenAI模型在短关键词查询中的优越表现。
2025-08-01 cs.CL cs.IR
EviMap: Evidence-Grounded Hierarchical Topic Maps for Exploring Unlabeled Corpora
L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心);Technische Universität Darmstadt(达姆施塔特工业大学)
EviMap通过提取文档内证据短语并组织成分层主题图谱,结合LLM和嵌入聚类,为未标注语料库提供可审计的主题概览,确保每个标签可追溯到原始文本。
2026-09-09 cs.CL cs.HC cs.IR
Keyword and Keyphrase Extraction Using Centrality Measures on Collocation Networks
University of North Texas(北德克萨斯大学);Pennsylvania State University(宾夕法尼亚州立大学)
关键词和关键短语提取是自然语言处理中的一个重要问题,其应用范围从摘要到语义搜索再到文档聚类。基于图的关键词和关键短语提取方法避免了通过在词网络上应用PageRank算法的变体来获取大型域内训练语料库的问题。虽然基于图的方法是知识贫乏的,很容易在在线系统中采用,但它们是否能从PageRank以外的中心性度量中受益,在很大程度上仍然是开放的。在本文中,我们在单词和名词短语搭配网络上实验了一系列中心性度量,并在四个基准数据集上分析了它们的性能。不仅有中心性指标的表现与PageRank一样好或更好,而且它们更简单(例如,度、强度和邻域大小)。此外,基于中心的方法给出的结果与两个强无监督基线竞争,并且在某些情况下优于两个强无监督基线。
2014-01-25 cs.CL cs.IR
Seeded Hierarchical Clustering for Expert-Crafted Taxonomies
Columbia University(哥伦比亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
来自多个学科的从业人员(例如,政治科学)使用专家制作的分类法来理解大型的、未标记的语料库。在这项工作中,我们研究了种子层次聚类(SHC):自动拟合未标记的数据,这样的分类只使用一小部分标记的例子的任务。我们提出了HierSeed,这是一种新的弱监督算法,只使用一小部分标记的种子示例。它在数据和计算上都很高效。HierSeed通过权衡文档密度和主题层次结构来将文档分配给主题。它在三个真实世界数据集上的SHC任务中优于无监督和监督基线。
2022-05-23 cs.CL