Detect, Retrieve, Comprehend: A Flexible Framework for Zero-Shot Document-Level Question Answering
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of California, Merced（加州大学默塞德分校）
针对现有文档问答数据集上下文不符合真实场景的问题，提出包含PDF文本提取、证据检索、问答三阶段的DRC框架，在QASPER数据集上Answer-F1较基线提升7.19，为实用科学文献问答提供灵活方案。
2023-12-11 cs.AI cs.CL cs.LG
PaperAsk: A Benchmark for Reliability Evaluation of LLMs in Paper Search and Reading
Deakin University（德肯大学）；Fudan University（复旦大学）
针对LLM在学术搜索与阅读中的可靠性问题，提出PaperAsk基准，评估四项任务，发现高失败率，并开发轻量级分类器以识别不可靠输出。
2025-10-25 cs.AI cs.CL cs.IR
RWGBench: Evaluating Scholarly Positioning in Related Work Generation
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）
针对现有相关工作生成评估依赖文本相似度、忽略学术定位的问题，提出RWGBench基准，从引用决策角度评估引用选择、上下文适当性、组织和话语，揭示标准评估掩盖的系统性局限。
2026-07-30 cs.AI cs.DL
MORTY: Structured Summarization for Targeted Information Extraction from Scholarly Articles
L3S Research Center, Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心）；Leibniz Information Centre for Science and Technology（莱布尼茨科学技术信息中心）
由于学术论文的篇幅很长，文本、图表和引文中隐藏着大量的隐含信息，因此从学术论文中提取信息抽取是一项具有挑战性的任务。学术信息抽取在数字图书馆和知识管理系统的探索、存档和策展服务中有各种应用。我们提出MORTY，一个信息抽取技术，创建结构化摘要的文本从学术文章。我们的方法将文章的全文压缩为一个分段的文本片段，称为结构化摘要。我们还提出了一个相当大的学术数据集，结合了从学术知识图谱和相应的公开可用的科学文章中检索到的结构化摘要，我们公开发表这些文章作为研究社区的资源。我们的研究结果表明，结构化摘要是一个合适的方法，有针对性的信息抽取，补充其他常用的方法，如问答和命名实体识别。
2022-12-11 cs.CL cs.IR
Situated Epistemic Infrastructures: A Diagnostic Framework for Post-Coherence Knowledge
本文提出情境化认知基础设施（SEI）框架，用于诊断后一致性条件下混合人机系统中知识的权威性形成，强调协调与适应性认知管理，为AI治理和信息系统伦理设计提供替代方案。
2025-10-17 cs.AI cs.DL cs.HC
HexEval: An Evidence-Driven Hexagonal Framework for Multidimensional Scholar Assessment
本研究提出HexEval框架，将学者评估构建为证据驱动的推理问题，通过内在与外部两个互补证据层评估，实现可解释可审计的AI辅助学者评估，同时指出公开学术数据的局限性。
2026-08-13 cs.AI cs.DL
Question Answering on Scholarly Knowledge Graphs
L3S Research Center（L3S研究中心）；Leibniz University of Hannover（汉诺威莱布尼茨大学）；TIB Leibniz Information Centre for Science and Technology（TIB莱布尼茨科学技术信息中心）
对包括文本和其他人工制品的学术知识提出问题是任何研究生存周期的重要组成部分。由于以下主要原因，查询学术知识和检索合适的答案目前几乎是不可能的：出版物中的机器不可操作，模糊和非结构化内容。我们提出JarvisQA，一个基于BERT的系统来回答问题的学术知识图谱的表格视图。这样的表格可以在学术文献中以各种形状找到（例如，调查、比较或结果）。我们的系统可以检索直接回答各种不同的问题上提出的表格数据的文章。此外，我们提出了一个初步的数据集的相关表和相应的一组自然语言的问题。这个数据集被用作我们系统的基准，可以被其他人重用。此外，JarvisQA在两个数据集上与其他基线进行了评估，与相关方法相比，性能提高了两到三倍。
2020-06-02 cs.CL cs.DL cs.IR
SemEval-2021 Task 11: NLPContributionGraph -- Structuring Scholarly NLP Contributions for a Research Knowledge Graph
TIB Leibniz Information Centre for Science and Technology（TIB莱布尼茨科学与技术信息中心）；University of Minnesota（明尼苏达大学）
目前，学术出版物的自然语言表达与其结构化语义内容建模之间存在差距，以实现智能内容搜索。随着研究的数量每年呈指数级增长，在语义结构化内容上运行的搜索功能是引人注目的。SemEval-2021共享任务NLP贡献图（也称为“NCG任务”）要求参与者开发自动化系统，结构化英语NLP学术文章的贡献。作为SemEval系列中的第一个，该任务在三个信息粒度级别上发布了NLP学术文章的结构化数据，即在句子级别，短语级别和短语组织为三元组，以构建知识图谱（KG）。论文级的注释，只有几句关于文章贡献的话。短语级注释是来自投稿句的科学术语和谓语短语。最后，三重性构成了KG的研究综述。对于共享任务，参与系统将自动分类贡献句子，从句子中提取科学术语和关系，并将它们组织为KG三元组。总体而言，这项任务吸引了7个团队和27名参与者的强烈参与。最好的端到端任务系统分类贡献句在57.27%F1，短语在46.41%F1，和三元组在22.28%F1。虽然生成三元组的绝对性能仍然很低，但在本文的结论中，强调了生成此类数据的难度以及建模的结果。
2021-10-15 cs.AI cs.CL cs.DL
GEAR-Up: Generative AI and External Knowledge-based Retrieval Upgrading Scholarly Article Searches for Systematic Reviews
针对系统评价文献检索耗时耗力的问题，提出GEAR-Up系统，结合生成式AI与外部知识检索技术，通过查询扩展丰富上下文后检索学术文章，经定性验证具备可行性。
2023-12-15 cs.DL cs.IR
A Decade of Scholarly Research on Open Knowledge Graphs
本文对2013至2023年间4445篇开放知识图谱学术文献进行了文献计量分析，揭示了该领域发文量持续增长的趋势，并确定了知识图谱构建与丰富、评估与重用及融入NLP系统三大研究主题及核心任务。
2024-03-26 cs.DB cs.DL cs.IR
Astro-NER -- Astronomy Named Entity Recognition: Is GPT a Good Domain Expert Annotator?
TIB - Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心）
本研究针对天文学 NER 标注数据稀缺问题，提出用微调大语言模型辅助非专家标注科学实体，并公开包含 5,000 条天文学文章标题的标注数据集。
2024-05-04 cs.AI cs.CL cs.IT
Open Research Knowledge Graph: Next Generation Infrastructure for Semantic Scholarly Knowledge
尽管近几十年来学术知识的数字化获取得到了改善，但学术交流仍然完全基于文档。在这种形式下，学术知识很难自动处理。在本文中，我们提出了第一个步骤，对知识图谱为基础的基础设施，获得学术知识的机器可操作的形式，从而使学术知识的策展，出版和处理的新的可能性。主要贡献是提出，评估和讨论多模式的学术知识获取，结合众包和自动化技术。我们提出的基础设施的第一个用户评估的结果与最近的一次国际会议的与会者。结果表明，用户感兴趣的新颖性的建议的基础设施和创新的学术知识处理的可能性，它可以使。
2019-08-01 cs.DL cs.IR
Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts?
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文研究大语言模型在知识冲突时如何合并生成上下文与检索上下文，发现GPT-4/3.5和Llama2存在偏向生成上下文的显著偏差，并揭示了上下文相似性和检索分段破坏完整性两个关键成因。
2024-06-11 cs.AI cs.CL
Large Language Models for Scientific Information Extraction: An Empirical Study for Virology
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学技术信息中心）
研究利用 LLM 将病毒学等科学文献中的贡献生成结构化语义摘要，并以指令式信息抽取替代传统流水线，证明小1000倍参数的微调 FLAN-T5 可与 GPT-davinci 竞争。
2024-01-18 cs.AI cs.CL cs.DL
LLM Embedding-based Attribution (LEA): Quantifying Source Contributions to Generative Model's Response for Vulnerability Analysis
Rochester Institute of Technology（罗切斯特技术学院）；Gonzaga University（戈兹加大学）
针对大语言模型用于漏洞分析时来源贡献不透明的问题，提出基于嵌入的归因方法LEA，可量化内部知识与检索内容的贡献，在大模型上场景区分准确率超95%，为审计RAG工作流提供度量。
2025-09-03 cs.AI cs.CR
Clustered Retrieved Augmented Generation (CRAG)
AI Center of Excellence（卓越人工智能中心）；Sinch AB（辛奇公司）
针对RAG因检索上下文过长导致成本高和延迟大的问题，提出CRAG方法，通过聚类有效减少提示token数量（最高超90%）且不降低响应质量。
2024-05-24 cs.AI cs.CL
Quoka Atlas of Scholarly Knowledge Production: An Interactive Sensemaking Tool for Exploring the Outputs of Research Institutions
世界各地的研究机构所进行的大量研究是极其多样化的，粗粒度的影响量化措施往往掩盖了这些机构对特定研究领域和主题的个别贡献。我们表明，通过应用一个信息检索模型索引的研究文章，这是面向机构和时间，我们可以开发的工具来排名机构的关键字查询。我们提出了一个互动的地图集，Quoka，旨在使用户能够探索这些排名的地理环境和时间。通过一组用例，我们证明了地图集可以用来执行意义构建任务，以学习和收集有关机构和学术知识生产之间关系的信息。
2021-09-16 cs.DL cs.IR
Representing Scholarly Claims in Internet Digital Libraries: A Knowledge Modelling Approach
本文关注的是在分布式研究社区中跟踪和解释学术文献。我们认为，目前的文档描述方法，以及目前的技术基础设施，特别是在万维网上，这些任务提供了很差的支持。我们描述了一个数字图书馆服务器的设计，它将使作者提交一个摘要的贡献，他们声称他们的文件，使其与文献的关系。我们描述了一个以知识为基础的Web环境，以支持这样一个社区构建的语义超文本的出现，它可以提供的服务，以协助解释一个想法或文件的上下文中的文献。讨论认为，详细的方法如何解决与知识结构化环境的可用性问题。
1999-08-19 cs.AI cs.DL cs.HC
SemRepo: A Knowledge Graph for Research Software and Its Scholarly Ecosystem
ScaDS.AI, TU Dresden（德累斯顿工业大学）；FIZ Karlsruhe（卡尔斯鲁厄信息服务中心）；metaphacts GmbH（metaphacts有限公司）
SemRepo通过整合科研软件与学术资源，提供跨平台查询能力，支持复现分析和风险识别，推动科研软件可持续发展。
2026-05-13 cs.DB cs.DL cs.IR
Multimodal intelligibility of scholarly hypertext: the documentalist's contribution. A required collaboration for serial documentisation in the scientific editorial process
Cnam（法国国立工艺学院）；Dicen-IdF（数字信息与传播研究实验室）；Institut historique allemand（德国历史研究所）
这篇文章表明，编辑和在线编辑职业之间的界限正在失去力量。在这种情况下，更新超文本的记录方式才有意义，特别是面对Web的发展。我们特别想到的是更棘手的学者超文本文档处理过程--特别是在科学或文化背景下。本文的目的是要证明，在众多的分支网络，超文本的质量提高只能通过作者，编辑和广播公司之间的适当对话。这将使读者感到满意，因为他们可以获得适当的信息。它也将表明，在这个autorial-editorial过程中的每一个参与者将是一个赢家。事实上，一个定性的正规化工作将与一个强大的广播范围相结合。最后，我们将指出，这项调解工作必须由信息交流的参与者领导，使文本能够被人类和机器理解。这个冥想行为在这里被指定为系列文献化。
2021-11-09 cs.CL cs.IR cs.IT
KG20C & KG20C-QA: Scholarly Knowledge Graph Benchmarks for Link Prediction and Question Answering
University of Information Technology, Vietnam（越南信息技术大学）；Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市分校）；National Institute of Informatics（日本国立情报学研究所）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
本文提出KG20C和KG20C-QA两个学术知识图谱基准测试，用于提升基于学术数据的问答和推理能力。
2025-12-30 cs.IR
The Digitalization of Bioassays in the Open Research Knowledge Graph
TIB Leibniz Information Centre for Science and Technology（TIB莱布尼茨科学技术信息中心）；IRCCS Mondino Foundation（IRCCS蒙迪诺基金会）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Lifeglimmer GmbH（生命微光有限公司）
工作背景：近年来，在知识图谱的科学实体的细粒度级别上，学术知识的语义化的势头越来越大。开放式研究知识图谱（ORKG）https://www.orkg.org/代表了朝着这个方向迈出的重要一步，其中有数千份学术贡献，这些贡献是结构化的、细粒度的、机器可读的数据。然而，需要改变将贡献记录为非结构化、非机器可读文本的传统社区做法。为此，迫切需要为科学家设计的人工智能工具，以便轻松准确地对他们的学术贡献进行语义化。我们提出了一个这样的工具，ORKG测定。实施情况：ORKG-assays是一个用Python编写的ORKG中的免费AI微服务，旨在帮助科学家获得语义化的生物测定作为一组三元组。它使用了一种基于AI的聚类算法，该算法在900多个生物测定中进行了黄金标准评估，其中103个谓词的5，514个唯一属性值对显示出具有竞争力的性能。结果和讨论：因此，可以在ORKG平台上通过化学品和化合物的关键属性值的表格或基于图表的可视化来调查语义化的测定集合，为生物化学家和制药研究人员提供智能知识访问，以促进药物开发。
2022-03-28 cs.AI cs.DL cs.IR
Computer Science Named Entity Recognition in the Open Research Knowledge Graph
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学技术信息中心）
计算机科学（CS）学术文章上的领域特定命名实体识别（NER）是一项信息抽取任务，可以说对于可以困扰任务的各种注释目标来说更具挑战性，并且在一般领域中的NER研究较少。鉴于在净入学率方面已经取得了重大进展，我们相信，在未来几年，学术领域特定的净入学率将受到越来越多的关注。目前，这项工作的重点-CS NER的进展部分受到其新近出现和缺乏科学实体/术语的标准化注释目标的阻碍。这项工作提出了一个标准化的任务，通过定义一组七个贡献为中心的学术实体CS NER即，研究问题，解决方案，资源，语言，工具，方法和数据集。接下来，其主要贡献是：结合现有的CS NER资源，这些资源将其注释集中在我们考虑的以贡献为中心的学术实体的集合或子集上;此外，注意到需要大数据来训练神经NER模型，这项工作还从文章标题和摘要中提供了数千个以贡献为中心的实体注释，从而为CS NER释放了累积的大型新颖资源;最后，从一般域NER任务中训练出一个受最新神经结构启发的序列标记CS NER模型。在整个工作中，几个实际的考虑，这可能是有用的信息技术设计师的数字图书馆。
2022-11-14 cs.CL cs.DL cs.IR
Sentence, Phrase, and Triple Annotations to Build a Knowledge Graph of Natural Language Processing Contributions -- A Trial Dataset
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心）
目的：这项工作的目的是规范化NLPCONTRIBUTIONS计划（从今以后，NLPCONTRIBUTIONGRAPH）的结构，直接从文章句子，在自然语言处理（NLP）学术文章的贡献信息通过两个阶段的注释方法：1）试点阶段-定义计划（在以前的工作中描述）;和2）裁定阶段-规范化的图形模型（本文的重点）。设计/方法/办法：我们第二次重新注释了50篇先前注释过的NLP学术文章中的贡献相关信息，这些文章的数据管道包括：以贡献为中心的句子，短语和三重陈述。为此，特别注意在裁定注释阶段减少注释噪音，同时制定我们提出的新NLP贡献结构和图形方案的指导方针。调查结果：NLP CONTRIBUTIONGRAPH在50篇文章中的应用最终产生了900个以贡献为中心的句子，4，702个以贡献信息为中心的短语和2，980个表面结构三元组的数据集。第一阶段和第二阶段之间的注释内一致性，在F1方面，句子为67.92%，短语为41.82%，三重陈述为22.31%，这表明随着信息粒度的增加，注释决策方差更大。实际影响：我们展示了NLPContributiongraph数据集成到开放式研究知识图谱（ORKG），下一代基于KG的数字图书馆与智能计算，使结构化的学术知识，作为一个可行的援助，以协助研究人员在他们的日常任务。
2021-05-07 cs.CL cs.DL cs.IR
Can we repurpose multiple-choice question-answering models to rerank retrieved documents?
本文提出概念验证模型 R*，利用多项选择问答模型与交叉编码器的数学相似性实现轻量级文档重排序，以提升信息检索和检索增强生成系统的准确性。
2025-03-06 cs.IR
SQuAI: Scientific Question-Answering with Multi-Agent Retrieval-Augmented Generation
TU Dresden（德累斯顿理工大学）
SQuAI是一个多智能体检索增强生成框架，通过分解问题、混合检索和自适应过滤，在230万篇论文上提升科学问答的忠实性和相关性，并发布千级基准。
2025-10-17 cs.CL cs.IR
