SEAL: Scientific Keyphrase Extraction and Classification
Indian Institute of Technology, Gandhinagar（甘地纳加尔印度理工学院）
自动科学关键词提取是一个具有挑战性的问题，促进一些下游的学术任务，如搜索，推荐和排名。在本文中，我们介绍了SEAL，自动关键词提取和分类的学术工具。关键短语提取模块包括两级神经架构，其由用条件随机场增强的双向长短期记忆细胞组成。分类模块包括随机森林分类器。我们进行了广泛的实验，以展示系统的鲁棒性。我们评估了多个最先进的基线，并显示出显着的改善。目前的系统托管在http://lingo.iitgn.ac.in:5000/。
2020-06-05 cs.CL cs.IR
Open Domain Web Keyphrase Extraction Beyond Language Modeling
Microsoft AI and Research（微软人工智能与研究院）
本文研究了现实世界中文档来自不同领域并且具有不同内容质量的关键词提取。我们策划并发布了OpenKP，这是一个大规模的开放领域关键词提取数据集，包含近十万个Web文档和专家关键词注释。为了处理域和内容质量的变化，我们开发了BLING-KPE，这是一种神经关键短语提取模型，它使用文档的视觉呈现和搜索查询的弱监督，超越了语言理解。OpenKP上的实验结果证实了BLING-KPE的有效性及其神经结构，视觉特征和搜索日志弱监督的贡献。对DUC-2001的Zero-shot评价表明，与特定领域相比，从开放领域数据学习的泛化能力得到了提高。
2019-11-06 cs.CL cs.IR
Unsupervised Keyphrase Extraction by Jointly Modeling Local and Global Context
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Tencent Cloud Xiaowei（腾讯云小微）
基于嵌入的方法被广泛用于无监督关键短语提取（UKE）任务。一般而言，这些方法只是简单地计算短语嵌入和文档嵌入之间的相似度，这不足以捕获不同的上下文以获得更有效的UKE模型。在本文中，我们提出了一种新的方法UKE，其中局部和全局上下文联合建模。从全局的角度，我们计算之间的相似度的某个短语和整个文档在向量空间中的过渡嵌入模型做。在局部视图方面，我们首先建立一个基于文档的图结构，其中短语被视为顶点，边是顶点之间的相似性。然后，我们提出了一种新的中心度计算方法来捕获局部显着信息的基础上的图结构。最后，我们进一步结合全局和局部上下文的建模进行排名。我们评估我们的模型在三个公共基准（Inspec，DUC 2001年，SemEval 2010年），并与现有的国家的最先进的模型进行比较。实验结果表明，该模型在不同领域和不同长度的输入文档上都有较好的泛化能力。进一步的消融研究表明，局部和全局信息对于无监督关键短语提取任务至关重要。
2021-09-15 cs.CL
Unsupervised Deep Keyphrase Generation
University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Virginia（弗吉尼亚大学）；University of Pittsburgh（匹兹堡大学）
关键词生成的目的是总结长文档的一个集合的显着短语。深度神经模型在这项任务中取得了巨大的成功，能够预测文档中甚至没有的关键词。然而，这种抽象性是以大量的注释数据为代价的。在本文中，我们提出了一种新的方法生成关键词，AutoKeyGen，没有任何人类注释的监督。出于观察，在一个文档中缺席的关键短语可以出现在其他地方，在整个或部分，我们首先构建一个短语库汇集在语料库中的所有短语。有了这个短语库，我们然后通过部分匹配过程为每个文档绘制候选缺席关键短语。为了对这两种类型的候选人进行排名，我们将其词汇和语义级别的相似性与输入文档相结合。此外，我们利用这些排名靠前的候选人，训练一个深度生成模型，为更多的缺席关键词。大量的实验表明，AutoKeyGen优于所有无监督的基线，在某些情况下甚至可以击败强监督方法。
2021-04-18 cs.CL cs.LG
DivGraphPointer: A Graph Pointer Network for Extracting Diverse Keyphrases
Peking University（北京大学）；Mila-Quebec Institute for Learning Algorithms（魁北克学习算法研究所（Mila））；HEC Montréal（蒙特利尔高等商学院）；Université de Montréal（蒙特利尔大学）
从文档中提取关键词对于诸如信息检索和文档摘要等各种应用都是有用的。本文提出了一种端到端的方法，称为DivGraphPointer从文档中提取一组多样化的关键词。DivGraphPointer结合了传统的基于图的排名方法和最近的基于神经网络的方法的优点。具体地，给定文档，基于词接近度从文档构造词图，并且利用图卷积网络对其进行编码，其通过对文档中的词之间的长距离依赖性进行建模并且将相同词的多次出现聚集到一个节点中来有效地捕获文档级词显著性。此外，我们提出了一个多样化的点网络，以产生一组不同的关键词的词图在解码过程中。五个基准数据集上的实验结果表明，我们提出的方法显着优于现有的国家的最先进的方法。
2019-05-19 cs.CL cs.IR
Importance Estimation from Multiple Perspectives for Keyphrase Extraction
Beijing Jiaotong University（北京交通大学）
本文提出KIEMP方法，通过分块、排序和匹配三个模块从句法准确性、信息显著性和概念一致性多视角估计关键词重要性，并在六个基准数据集上超越现有最先进方法。
2023-12-21 cs.CL cs.IR
Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI（伦斯勒理工学院）
关键词提取是在文本文档中找到几个有趣的短语的任务，这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是，一个词在文档中可能有不同的表达形式，也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中，我们利用词嵌入作为背景知识来增强基于图的排序模型，以向词间图添加语义信息。我们的方法进行了评估，建立基准数据集和实证结果表明，词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
A Joint Learning Approach based on Self-Distillation for Keyphrase Extraction from Scientific Documents
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
关键词提取是提取最能描述文档的一小部分短语的任务。用于该任务的大多数现有基准数据集通常具有有限数量的注释文档，这使得训练日益复杂的神经网络具有挑战性。相比之下，数字图书馆在线存储了数百万篇科学文章，涵盖了广泛的主题。虽然这些文章中有很大一部分包含作者提供的关键词，但大多数其他文章缺乏这种注释。因此，为了有效地利用这些大量的未标记的文章，我们提出了一个简单而有效的联合学习方法的思想的基础上的自蒸馏。实验结果表明，我们的方法始终提高了关键词提取的基线模型的性能。此外，我们的最佳模型优于以前的任务方法，在两个公共基准测试中获得了最新的结果：Inspec和SemEval-2017。
2020-10-22 cs.CL cs.LG
Keyphrase Extraction from Disaster-related Tweets
Kansas State University（堪萨斯州立大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
虽然关键词提取近年来受到了相当大的关注，但从Twitter等社交媒体平台提取关键词的研究相对较少，从这些来源提取与灾害相关的关键词的研究更少。在灾难期间，关键词对于过滤相关推文非常有用，可以增强态势感知。此前，针对关键字发现和关键词提取的堆叠递归神经网络的两个不同层的联合训练已被证明在从一般Twitter数据中提取关键词方面是有效的。我们提高了模型的性能，一般的Twitter数据和灾害相关的Twitter数据，将上下文词嵌入，POS标签，语音和音韵特征。此外，我们讨论了经常使用的F1-措施的缺点，用于评估预测的关键词的质量相对于地面实况注释。我们建议使用基于嵌入的指标来更好地捕获预测关键词的正确性，而不是F1度量。此外，我们还提出了一种新的扩展的嵌入为基础的度量。该扩展允许更好地控制地面实况和预测关键词数量差异的惩罚
2019-10-17 cs.CL cs.IR cs.LG
Visual Summarization of Scholarly Videos using Word Embeddings and Keyphrase Extraction
L3S Research Center, Leibniz Universität Hannover（莱布尼茨汉诺威大学L3S研究中心）；Leibniz Information Centre for Science and Technology (TIB)（莱布尼茨科学技术信息中心（TIB））
视听内容的有效学习取决于许多因素。除了学习资源内容的质量之外，发现最相关和最合适的视频以最有效地支持学习过程也是至关重要的。视频摘要技术通过提供对内容的快速概述来促进这一目标。它对于较长的录音特别有用，例如会议演示或讲座。在本文中，我们提出了一种方法，生成一个基于语义词嵌入和关键短语提取视频内容的视觉摘要。为此，我们利用语音识别和视频OCR（光学字符识别）自动生成的视频注释。
2019-11-25 cs.CL cs.DL cs.MM
Enhancing Keyphrase Extraction from Microblogs using Human Reading Time
Nanjing University of Science and Technology（南京理工大学）
人工关键词标注的前提是读取标注对象的相应内容。直觉告诉我们，当我们阅读时，更重要的单词会占据更长的阅读时间。因此，通过利用人类的阅读时间，我们可以在相应的内容中找到突出的单词。然而，以往的关键词提取研究忽略了人类的阅读特征。在本文中，我们的目标是利用人类的阅读时间从微博帖子中提取关键词。本研究的主要任务有两个。一个是确定如何测量人类阅读一个单词所花费的时间。我们使用从开源眼动追踪语料库（OSEC）中提取的眼动注视持续时间。此外，我们提出了策略，使眼睛注视时间更有效的关键词提取。另一个任务是确定如何将人类阅读时间整合到关键短语提取模型中。我们提出了两个新的神经网络模型。第一种是将人类阅读时间作为注意力机制的基础事实的模型。在第二个模型中，我们使用人类阅读时间作为外部特征。定量和定性实验表明，我们提出的模型产生更好的性能比基线模型在两个微博数据集。
2020-10-25 cs.CL cs.HC cs.IR
MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction
Alibaba Group（阿里巴巴集团）；The University of New South Wales（新南威尔士大学）；A*STAR Centre for Frontier AI Research（新加坡科技研究局前沿人工智能研究中心）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
关键词提取（KPE）自动提取文档中的短语，这些短语提供核心内容的简明摘要，这有利于下游的信息检索和NLP任务。以前的最先进的（SOTA）方法选择候选关键词的基础上学习的候选人和文档的表示之间的相似性。由于序列长度之间的差异，导致关键短语候选者和文档的表示之间不匹配，因此它们在长文档上的性能会下降。在这项工作中，我们提出了一种新的无监督的嵌入为基础的KPE方法，掩蔽文档嵌入排名（MDERank），来解决这个问题，利用掩模策略和排序候选人之间的相似性嵌入的源文件和掩蔽的文件。通过提出一种新的自监督对比学习方法，我们进一步开发了一个面向KPE的BERT（KPE BERT）模型，该方法比普通的BERT更适合于MDERank。对6个KPE基准测试的综合评价表明，所提出的MDERank比最先进的无监督KPE方法平均提高了1.80 $F1@15$。MDERank进一步受益于KPEBERT，总体上比SOTA SIFRank平均提高了3.53 $F1@15$。我们的代码可在\url{https://github.com/LinhanZ/mderank}上找到。
2023-02-28 cs.AI cs.CL
Prioritization of COVID-19-related literature via unsupervised keyphrase extraction and document representation learning
Jožef Stefan Institute（约瑟夫·斯蒂芬研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯蒂芬国际研究生院）；University of Maribor（马里博尔大学）
COVID-19大流行引发了一波新的科学文献，这些文献不可能在合理的时间范围内手动检查和研究。当前的机器学习方法提供了将此类文献主体投影到向量空间中，其中类似的文档彼此靠近，从而提供了对科学论文和与COVID-19相关的其他知识源的深入探索。然而，要开始搜索，需要对这些文本进行适当的注释，但由于缺乏人力资源，这种情况很少发生。在我们的系统中，使用无监督的关键词提取来注释当前的COVID-19相关文献，从而促进对包含学习的文档嵌入（低维表示）的潜在空间的初始查询。该解决方案是通过一个网络服务器能够交互式搜索，术语排名，并探索潜在的有趣的文献。我们通过药物化学领域的案例研究证明了该方法的实用性。
2021-10-17 cs.CL cs.DL cs.IR
Ranking suspected answers to natural language questions using predictive annotation
在本文中，我们描述了一个系统，排名可疑的答案自然语言的问题。我们使用一种新技术（预测注释）来处理语料库和查询，该技术在文本中添加短语，并带有标签，预测它们是某些类型问题的目标。给定一个自然语言问题，IR系统返回一组匹配的段落，然后根据本文描述的各种标准对这些段落进行分析和排名。我们提供了一个评估的技术的基础上，从TREC Q&A评估，我们的系统参与的结果。
2000-05-30 cs.CL
RATE: Reviewer Profiling and Annotation-free Training for Expertise Ranking in Peer Review Systems
East China Normal University（华东师范大学）
RATE通过构建基于关键词的评审员资料和弱偏好监督，实现同行评审系统中专家排名的高精度匹配与训练。
2026-01-27 cs.CL
Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering
TU Wien（维也纳工业大学）
存在许多现有的检索和问答数据集。然而，他们中的大多数要么专注于排名列表评估或单一候选人的问答。这种划分使得正确评估与对文档进行排名以及为给定查询提供片段或答案有关的方法具有挑战性。在这项工作中，我们提出了FiRA：一个新的细粒度相关性注释数据集。我们扩展了TREC 2019的深度学习轨道的分级检索注释，为所有相关文档提供了段落和单词级别的分级相关性注释。我们使用新创建的数据来研究长文档中相关性的分布，以及注释者对文本特定位置的注意力。作为一个例子，我们评估最近推出的TKL文档排序模型。我们发现，虽然TKL展览国家的最先进的检索结果长文件，它错过了许多相关段落。
2020-08-12 cs.CL cs.IR
HARE: a Flexible Highlighting Annotator for Ranking and Exploration
The Ohio State University（俄亥俄州立大学）；National Institutes of Health（美国国立卫生研究院）
潜在数据源的探索和分析是自然语言处理技术应用于新信息领域的一个重大挑战。我们描述了HARE，一个系统，用于突出显示文档集合中的相关信息，以支持排名和分流，它提供了用于模型开发和调整的后处理和定性分析的工具。我们将HARE应用于临床数据中移动信息的叙述性描述的用例，并证明其在比较候选嵌入特征中的实用性。我们提供了一个基于Web的接口，用于注释可视化和文档排序，并提供了一个模块化后端，以支持与现有注释工具的互操作性。我们的系统可在https://github.com/OSU-slatelab/HARE上在线获得。
2019-08-29 cs.AI cs.CL cs.IR
Statistically Reliable LLM-Based Ranking Evaluation via Prediction-Powered Inference
Amazon（亚马逊）
提出PRECISE框架，将预测驱动推断扩展到排序评估指标，通过结合少量人工标注和大量LLM判断实现无偏估计，并在ESCI基准和实际系统中验证了有效性。
2026-06-03 cs.AI cs.CL cs.IR
PRECISE: Reducing the Bias of LLM Evaluations Using Prediction-Powered Ranking Estimation
Primary contributor and corresponding author（主要贡献者及通讯作者）
提出PRECISE框架，通过结合少量人工标注与LLM判断，利用预测驱动推断（PPI）方法，在低资源下可靠估计搜索、排序和RAG系统的指标，并校正LLM偏差。
2026-01-26 cs.AI cs.CL cs.IR
SELFOOD: Self-Supervised Out-Of-Distribution Detection via Learning to Rank
University of California San Diego（加州大学圣地亚哥分校）；Halıcıoğlu Data Science Institute, University of California San Diego（加州大学圣地亚哥分校哈利哲奥卢数据科学研究所）
本文提出SELFOOD，一种仅需分布内样本的自监督OOD检测方法，通过将OOD检测转化为文档间标签内排序问题并使用成对排序损失训练分类器，有效解决了标注瓶颈并提升了检测性能。
2023-05-24 cs.CL
When Does Consistency Pay Off? Relational Constraints for LLM-based Document-Level Relation Extraction under Incomplete Annotations
Université de Sherbrooke（舍布鲁克大学）
研究针对文档级关系抽取中，大语言模型预测易违反关系约束的问题，提出CONSISTRE统一框架。通过推理时的约束感知等及训练时的知识蒸馏强化学习两条路径解决，实验表明该框架有效提升性能，缩小开源与专有模型差距，增强可靠性。
2026-10-14 cs.CL
Distillation and Refinement of Reasoning in Small Language Models for Document Re-ranking
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
提出结合知识蒸馏与强化学习训练3B参数小型语言模型的方法，通过生成相关性解释进行推理，在BRIGHT基准上取得第三名且优于20倍规模模型，为信息检索提供可扩展可解释方案。
2025-06-29 cs.CL cs.IR
DQNC2S: DQN-based Cross-stream Crisis event Summarizer
Politecnico di Torino（都灵理工大学）
针对多流灾难数据摘要的冗余和扩展性问题，提出基于深度Q网络和弱标注的在线危机时间线生成方法，通过奖励函数中的冗余过滤器处理跨流重叠，在CrisisFACTS 2022基准上超越最佳模型。
2024-02-02 cs.AI cs.CL cs.IR
DocOCR-Eval: A Correction-Based Framework for OCR Tool Selection Without Ground Truth
针对文档解析中OCR工具选择难题，尤其是标签稀缺情况，提出无标注评估框架DocOCR-Eval。它采用三阶段校正和排序策略，通过跨多个MLLM聚合改善与基于标注排名的对齐，能在现实有限标签设置中实现可靠OCR工具选择并提供实用指导。
2026-07-21 cs.AI cs.CL cs.LG
Cross-Lingual Training with Dense Retrieval for Document Retrieval
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学戴维·R·切里顿计算机科学学院）；Department of Computer Science and Engineering, Penn State University（宾夕法尼亚州立大学计算机科学与工程系）
稠密检索在英语文章排序中取得了巨大的成功。然而，由于培训资源的限制，它在非英语语言的文献检索的有效性仍然没有探索。在这项工作中，我们将探讨不同的传输技术，文档排序从英语注释到多种非英语语言。我们的测试集合上的六种语言（中文，阿拉伯语，法语，印地语，孟加拉语，西班牙语）从不同的语言家庭的实验表明，zero-shot基于模型的转移使用mBERT提高搜索质量在非英语单语言检索。此外，我们发现，弱监督的目标语言传输产生竞争力的性能对基于生成的目标语言传输，需要外部翻译和查询生成器。
2021-09-03 cs.CL cs.IR
Active Learning for Event Extraction with Memory-based Loss Prediction Model
Southeast University（东南大学）
事件提取（EE）在许多工业应用场景中扮演着重要的角色，高质量的EE方法需要大量的人工标注数据来训练监督学习模型。然而，获取标注数据的成本非常高，尤其是对于领域事件的标注，需要相应领域的专家参与。因此，我们引入了主动学习（AL）技术，以减少事件标注的成本。但是现有的人工智能方法存在两个主要问题，使得它们不能很好地用于事件抽取。首先，现有的基于池的选择策略在计算成本和样本有效性方面存在局限性。其次，现有的样本重要性评价缺乏对局部样本信息的利用。在本文中，我们提出了一种新的深度AL方法EE。我们提出了一个基于批量的选择策略和基于记忆的损失预测模型（MBLP），以有效地选择未标记的样本。在选择过程中，我们使用内部-外部样本损失排序方法来评估样本的重要性，利用本地信息。最后，我们提出了一种延迟训练策略来训练MBLP模型。在三个域数据集上进行了大量的实验，我们的方法优于其他最先进的方法。
2023-03-18 cs.AI cs.CL
DIRAS: Efficient LLM Annotation of Document Relevance in Retrieval Augmented Generation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Swiss Finance Institute (SFI)（瑞士金融研究所）；University of Electronic Science and Technology of China（电子科技大学）
针对RAG中领域特定查询的相关性标注挑战，提出DIRAS方案，通过微调开源LLM实现无需人工标注的细致相关性标注与评分，使8B模型达到GPT-4级性能，助力实际RAG开发。
2025-01-23 cs.AI cs.CL cs.IR
