Retrieval-Augmented Question Answering over Scientific Literature for the Electron-Ion Collider
Ramaiah University of Applied Sciences, India(印度拉马伊亚应用科学大学)
本文提出一种基于检索增强生成的问答系统,利用arXiv文献和LLaMA模型回答核物理领域专业问题,提供隐私保护且成本低廉的解决方案。
2026-04-02 cs.AI hep-ex physics.ins-det
SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers
Google Research(谷歌研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
针对现有科学论文问答数据集规模小、仅覆盖文本的问题,本文推出首个多模态大规模数据集SPIQA,含27万问题,结合图文内容,评估12个基础模型并提出带检索的CoT策略提升性能。
2025-01-10 cs.AI cs.CL cs.CV
DeepResearch$^{\text{Eco}}$: A Recursive Agentic Workflow for Complex Scientific Question Answering in Ecology
TIB Leibniz Information Centre for Science(图灵-莱比锡科学与技术信息中心);Leibniz University Hannover, Germany(莱比锡汉诺威大学)
本文提出基于智能体LLM的DeepResearch$^{\ ext{Eco}}$系统,通过递归且深度和广度可控的探索实现自动化科学文献综合;在49个生态学问题上,其来源整合量及每千字整合量分别提升21倍和14.9倍,达到了专家级分析深度。
2025-07-14 cs.AI cs.CL cs.MA
PeerQA: A Scientific Question Answering Dataset from Peer Reviews
Technical University of Darmstadt(达姆施塔特工业大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出基于同行评审问题与作者答复构建的科学文档级问答数据集 PeerQA,覆盖证据检索、不可回答问题分类和答案生成三项任务,并建立基线、验证去语境化对检索的提升及长上下文建模挑战。
2025-02-19 cs.AI cs.CL cs.IR
SceMQA: A Scientific College Entrance Level Multimodal Question Answering Benchmark
University of Notre Dame(圣母大学);New York University(纽约大学);Hong Kong University of Science and Technology(香港科技大学)
SceMQA是一个大学入学水平的科学多模态问答基准,覆盖数学、物理、化学和生物,通过多项选择和自由回答题型评估AI模型,实验显示最强模型准确率仅50%-60%,表明需进一步发展。
2024-02-06 cs.AI cs.CL
CORE-GPT: Combining Open Access research and large language models for credible, trustworthy question answering
The Knowledge Media Institute, The Open University(开放大学知识媒体研究所)
本文提出CORE-GPT问答平台,将GPT语言模型与CORE中3200余万篇开放获取论文结合,通过提供带引用和链接的循证答案来减少幻觉、提升可信度,实验覆盖20个科学领域的100个问题,验证了其在多数领域生成可靠答案的能力。
2023-07-06 cs.AI cs.CL
Verif.ai: Towards an Open-Source Scientific Generative Question-Answering System with Referenced and Verifiable Answers
Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研究与发展研究所);Bayer A.G.(拜耳公司)
本文提出开源科学生成式问答系统 Verif.ai,通过混合检索、Mistral 7B 引用生成和独立验证引擎交叉核查幻觉,以增强科研问答的可信度。
2024-02-09 cs.AI cs.CL cs.IR
Clinfo.ai: An Open-Source Retrieval-Augmented Large Language Model System for Answering Medical Questions using Scientific Literature
Stanford University(斯坦福大学);Mayo Clinic(梅奥诊所);Stanford Healthcare(斯坦福医疗中心)
针对医学文献快速增长且缺乏高质量评估数据集的问题,提出了开源检索增强LLM系统Clinfo.ai,并构建了PubMedRS-200数据集与基准任务来评估其及其他OpenQA系统在回答临床问题上的表现。
2023-10-24 cs.AI cs.CL cs.IR
Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams
Nanjing University of Science and Technology(南京理工大学);Baidu Inc(百度公司);AIML, Adelaide University(阿德莱德大学AIML);SUTD(新加坡科技设计大学);Southeast University(东南大学);East China Normal University(华东师范大学);University of Oxford(牛津大学)
本文构建了多模态基准测试Diagram-MMU,评估MLLMs的科学图表解析与理解能力,发现图表转代码任务更具挑战,Claude-4.6 Opus在智能体场景下表现最优。
2026-08-13 cs.AI cs.CV
EGT-KG: Evidence-Grounded Typed KG Retrieval for Practical Scientific QA with Small Language Models
Stanford University(斯坦福大学);University of Calgary(卡尔加里大学)
针对本地SLMs科学问答的约束,提出EGT-KG检索框架,经六维评估框架在生物聚合物结合土壤复合材料基准上验证,其多数场景优于普通RAG,llama3:8b变体提升显著。
2026-09-02 cs.AI
ScholarStack: Layered Research Asset Orchestration and Cross-Task Reuse for Scientific Agents
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出ScholarStack分层研究资产框架,将论文编译为可复用资产,通过跨任务复用提升科学智能体在需跨论文证据任务上的质量并降低查询成本。
2026-10-14 cs.AI
AgentHop: A Diagnostic Benchmark for Agentic Multi-Hop Question Answering over Scientific Citation Graphs
Korea University(高丽大学);Sookmyung Women’s University(淑明女子大学)
AgentHop是一个含1,011道题的诊断基准,通过四轴分解准确率,在受控沙箱中揭示19个模型的检索、综合、工具调用与资源管理失败模式,并发布完整基准与测试工具。
2026-11-03 cs.AI cs.CL
PaperQA: Retrieval-Augmented Generative Agent for Scientific Research
Future House(未来之家);Francis Crick Institute(弗朗西斯·克里克研究所);Align to Innovate(创新对齐组织);University of Oxford(牛津大学);University of Rochester(罗切斯特大学)
针对大语言模型的幻觉与不可解释性问题,提出面向科研的检索增强生成式智能体PaperQA,其性能优于现有同类模型,同时发布更复杂的文献问答基准LitQA,且该智能体在该基准上表现与人类专家相当。
2023-12-14 cs.AI cs.CL cs.LG
Patience is all you need! An agentic system for performing scientific literature review
Recursion Pharmaceutical(Recursion制药公司)
针对LLM在专家领域问答中失效的问题,本文构建基于LLM的科学文献搜索与信息提取系统,通过生物学基准问题评估证明稀疏检索无需密集检索即可接近SOTA,并提升了文献综述的相关文档覆盖率。
2025-03-28 cs.AI cs.IR
IRPAPERS: A Visual Document Benchmark for Scientific Retrieval and Question Answering
Weaviate
IRPAPERS基准通过比较图像和文本检索系统,揭示了多模态混合搜索在科学文档检索和问答中的优势。
2026-02-05 cs.AI cs.CL cs.IR
Fine-Tuning BERT for Domain-Specific Question Answering: Toward Educational NLP Resources at University Scale
Dept. of Electronic & Computer Engineering, University of Limerick(电子与计算机工程系,利默里克大学)
本研究通过微调BERT模型,针对大学课程材料开发了首个领域特定问答系统,展示了基础模型在教育领域的应用潜力。
2025-12-04 cs.AI cs.CL
When Iterative RAG Beats Ideal Evidence: A Diagnostic Study in Scientific Multi-hop Question Answering
Faculty of Engineering, McMaster University, Canada(麦斯特大学工程学院,加拿大);BASF Canada Inc., Canada(巴斯夫加拿大公司,加拿大)
通过化学多跳问答数据集,诊断发现迭代检索-推理循环在科学领域显著优于静态RAG上限,揭示了阶段式检索的优势与失败模式。
2026-08-03 cs.AI cs.CL cs.IR
Self-supervised Knowledge Triplet Learning for Zero-shot Question Answering
Arizona State University(亚利桑那州立大学)
所有问答(QA)系统的目标都是能够概括看不见的问题。目前的监督方法依赖于昂贵的数据注释。此外,这样的注释可能会引入意想不到的注释者偏见,这使得系统更多地关注偏见而不是实际任务。在这项工作中,我们提出了知识三元组学习(KTL),一个自我监督的任务在知识图谱。我们提出了一种方法来为常识和科学知识创建合成图。我们提出了如何使用KTL来执行zero-shot QA的方法,我们的实验表明,在大型预训练的Transformer模型上有相当大的改进。
2020-09-17 cs.AI cs.CL cs.LG
Re-ranking and Late Interaction Drive Retrieval Quality: A Controlled Comparison of RAG Strategies for Scientific Question Answering
San Jose State University(圣何塞州立大学)
本研究受控比较六种RAG检索策略,发现重排序与后期交互显著提升科学问答检索质量,并发布含19,484个合成问题的开放测试平台。
2026-10-01 cs.AI cs.IR cs.LG
Retrieval-Augmented Generation for Scientific Code Understanding
ETH Zürich(苏黎世联邦理工学院);Paul Scherrer Institute(保罗·谢尔研究所);Massachusetts Institute of Technology(麻省理工学院)
本研究构建基于小型开源模型的本地RAG系统,通过离线摄取与在线回答分离,在科学代码理解基准上9B模型取得最高分,证明前端加载代码理解可实现隐私保护的本地编码智能体。
2026-09-14 cs.AI cs.SE
From Papers to Mechanisms: An Evidence-Grounded Knowledge Substrate for Scientific Language Models
East China University of Science and Technology(华东理工大学);Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
针对科学语言模型文献访问碎片化问题,提出证据支撑的机制知识基底MS$^3$,组织文献为证据单元与机制路径,实验证明其提升科学正确性与答案完整性。
2026-10-06 cs.AI
SciGraphQA: A Large-Scale Synthetic Multi-Turn Question-Answering Dataset for Scientific Graphs
本文构建了 SciGraphQA,一个基于 29 万篇 arXiv 论文、由 Palm-2 生成的大规模科学图表多轮问答数据集,并验证其能有效提升 LLaVA 等 MLLM 的图表问答性能。
2023-08-07 cs.AI cs.CL cs.CV
A Multi-Agent Human-LLM Collaborative Framework for Closed-Loop Scientific Literature Summarization
Purdue University(普渡大学)
本文提出一种多智能体人-大语言模型协作框架,通过整合LLM、结构化AI和人类科学家,实现科学文献的提取、分析与迭代优化,展示了AI辅助文献综述在发现科学模式中的应用。
2026-09-01 cs.AI
From Terminology to Diagrams: Visual-Instruction Generation for Scientific Diagram Understanding
Language Technology Research Laboratory(语言技术研究实验室)
该研究提出基于科学课程术语的视觉指令生成框架,构建SciGram数据集,微调模型后在图表问答基准上取得性能提升,还增强LLaVA OneVision达到新SOTA,将发布数据集与模型。
2026-09-02 cs.AI cs.CL cs.CV
CO-Search: COVID-19 Information Retrieval with Semantic Search, Question Answering, and Abstractive Summarization
Salesforce Research(赛富时研究院)
2019冠状病毒病全球大流行促使国际社会努力了解、跟踪和减轻这种疾病,产生了跨科学学科的2019冠状病毒病和SARS-CoV-2相关出版物的重要语料库。截至2020年5月,已通过COVID-19开放研究数据集挑战收集了128,000篇与冠状病毒相关的出版物。在这里,我们介绍了CO-Search,这是一个检索器-排名器语义搜索引擎,旨在处理对COVID-19文献的复杂查询,可能有助于负担过重的卫生工作者在危机时期找到科学答案。检索器是建立从Siamese-BERT编码器,是线性组成的TF-IDF矢量化,和倒数秩融合的BM 25矢量化。该排名器是由一个多跳问答模块,连同多段摘要摘要调整检索分数。为了解决特定领域和相对有限的数据集,我们生成了文档段落和引用的二分图,创建了130万个(引用标题,段落)元组用于训练编码器。我们根据TREC-COVID信息检索挑战的数据评估了我们的系统。CO-Search在第一轮和第二轮的数据集上获得了最佳性能,包括几个关键指标:归一化折扣累积增益、精度、平均精度和二进制偏好。
2020-06-17 cs.AI cs.CL cs.IR
A unified multimodal understanding and generation model for cross-disciplinary scientific research
Fudan University(复旦大学);Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院);Shanghai Innovation Institute(上海创新研究院);FuXi Intelligent Computing Technology Co., Ltd.(伏羲智能计算科技有限公司)
FuXi-Uni是一种统一多模态模型,能跨学科领域理解和生成科学数据,通过自然语言和科学数值预测提升跨学科研究效率。
2026-01-04 cs.AI
PSK at WMT 2026 MIST: Task-Specialized QLoRA Adapters for Multilingual Summarization and Question Answering
该研究针对WMT 2026多语言指令共享任务,基于Tiny Aya Global模型构建三个QLoRA适配器,分别适配摘要、段落问答、独立问答任务,对比验证了不同适配器的性能并提交含不同开放问答适配器的系统。
2026-08-24 cs.AI cs.CL cs.LG
ScienceWorld: Is your Agent Smarter than a 5th Grader?
University of Arizona(亚利桑那大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
我们目前的ScienceWorld,一个基准测试代理的科学推理能力在一个新的交互式文本环境中的一个标准的小学科学课程的水平。尽管在问答和科学文本处理中看到了基于transformer的进步,但我们发现,当前的模型无法在新的背景下推理或解释所学的科学概念。例如,模型可以很容易地回答已知材料的导电性是什么,但当被问及如何在接地环境中进行实验以找到未知材料的导电性时,模型就很难回答了。这就引出了一个问题,即当前的模型是否只是通过查看大量类似的示例来检索答案,或者它们是否已经学会了以可重用的方式对概念进行推理。我们假设,代理需要接地在交互式环境中实现这样的推理能力。我们的实验提供了支持这一假设的经验证据--表明一个150万参数的交互式训练10万步的智能体,优于一个110亿参数的静态训练模型,用于科学问答和数百万专家演示的推理。
2022-11-14 cs.AI cs.CL
Knowledge AI: Fine-tuning NLP Models for Facilitating Scientific Knowledge Extraction and Understanding
Georgia Institute of Technology(佐治亚理工学院)
该研究提出 Knowledge AI 框架,通过科学领域数据微调 LLM,以提升摘要、生成、问答和命名实体识别能力,支持非专业人员进行科学知识查询与发现。
2024-08-04 cs.AI cs.CL
ScIRGen: Synthesize Realistic and Large-Scale RAG Dataset for Scientific Research
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Institute of Tibetan Plateau Research, Chinese Academy of Sciences(中国科学院青藏高原研究所);Lanzhou University(兰州大学);College of Resources and Environment, University of Chinese Academy of Sciences(中国科学院大学资源与环境学院)
针对现有科学检索问答数据集难匹配真实科研信息需求的问题,提出ScIRGen生成框架,通过面向数据集的信息抽取、认知分类法问题生成及LLM困惑度偏移过滤方法,构建大规模RAG数据集并基准测试,推动科研信息工具发展。
2025-06-09 cs.AI cs.CL cs.IR
Scholarly Question Answering using Large Language Models in the NFDI4DataScience Gateway
TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学技术信息中心);Leuphana Universität Lüneburg(吕讷堡勒芬纳大学);Universität Hamburg(汉堡大学)
本文提出在 NFDI4DataScience Gateway 上构建基于 RAG 和 LLM 的学术问答系统,以联邦搜索连接科学数据库并支持对话式检索交互,实验验证了其有效性。
2024-06-11 cs.AI cs.CL
ACL-Fig: A Dataset for Scientific Figure Classification
The Pennsylvania State University(宾夕法尼亚州立大学);Old Dominion University(奥多明尼昂大学)
大多数现有的大型学术搜索引擎都是建立在检索基于文本的信息。然而,没有大规模的科学图表检索服务。这些服务的一个挑战是理解科学人物的语义,例如他们的类型和目的。一个关键的障碍是需要包含注释的科学数字和表格的数据集,然后可以用于分类,问答和自动字幕。在这里,我们开发了一个从科学文献中提取数字和表格的管道,以及一个基于深度学习的框架,该框架使用视觉特征对科学数字进行分类。使用这个管道,我们构建了第一个大规模自动注释语料库ACL-Fig,由从ACL Anthology中的约56 K研究论文中提取的112,052个科学数字组成。ACL-Fig-Pilot数据集包含1,671个手动标记的科学数字,属于19个类别。该数据集可在CC BY-NC许可下在https://huggingface.co/datasets/citeseerx/ACL-fig上访问。
2023-01-28 cs.AI cs.CV cs.DL
Look, Read and Enrich. Learning from Scientific Figures and their Captions
Expert System Cogito Labs(Expert System Cogito实验室)
与自然图像相比,理解科学数字对机器来说特别困难。然而,在科学文献中有一个有价值的信息来源,直到现在还没有被开发:一个数字和它的标题之间的对应关系。在本文中,我们研究了什么可以通过看大量的数字和阅读他们的标题,并介绍了一个数字标题对应学习任务,利用我们的观察。训练视觉和语言网络,而不是对不受约束的数字和标题的监督,成功地解决了这个任务。我们还表明,从知识图谱转移词汇和语义知识显着丰富的功能。最后,我们展示了这些功能在涉及科学文本和数字的其他任务中的积极影响,如多模态分类和机器理解问答,优于监督基线和ad-hoc方法。
2019-09-19 cs.AI cs.CL cs.CV
BioRAGent: A Retrieval-Augmented Generation System for Showcasing Generative Query Expansion and Domain-Specific Search for Scientific Q&A
University of Regensburg(雷根斯堡大学)
BioRAGent是一个基于网络的检索增强生成系统,利用大型语言模型进行查询扩展和片段提取,支持生物医学问答,通过引用链接保证透明度,并展示了少样本学习在专业搜索中的有效应用。
2024-12-16 cs.AI cs.CL
RealCQA-V2: A Diagnostic Benchmark for Structured Visual Entailment over Scientific Charts
University at Buffalo, Buffalo, NY, USA(布法罗大学)
RealCQA-V2通过将图表问答转化为视觉前提证明任务,提供结构化视觉蕴含验证,揭示多模态推理中的局部-全局推理差距。
2026-03-24 cs.AI
A Practical Entity Linking System for Tables in Scientific Literature
GE Research(GE研究中心);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文提出一个通用实体链接系统,用于将科学文献表格中的实体链接到 Wikidata,并针对 COVID-19 文献进行适配,利用表格结构特征提升性能,且通过离线实例增强实用性。
2023-06-12 cs.AI cs.CL cs.IR
Boosting Scientific Concepts Understanding: Can Analogy from Teacher Models Empower Student Models?
School of Data Science, Fudan University(复旦大学数据科学学院);The Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学)
本文提出研究教师语言模型生成的类比如何辅助学生语言模型理解科学概念,实验证明自由形式的类比能有效提升模型理解能力,且学生模型自行生成的类比可提高其在科学问答中的表现并实现自我学习。
2024-09-25 cs.AI cs.CL
ToolQA: A Dataset for LLM Question Answering with External Tools
Georgia Institute of Technology(佐治亚理工学院)
ToolQA数据集通过13个专门工具和自动化构建流程,最小化与预训练数据重叠,以忠实评估大语言模型使用外部工具进行问答的能力,并诊断现有模型的优劣。
2023-06-23 cs.AI cs.CL
InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis
Kahlert School of Computing(卡勒特计算学院)
本文提出InfiniteScienceGym,通过程序生成科学仓库和可验证问答任务,评估证据推理、回避和工具分析能力,发现现有模型在回答不可答问题上存在显著缺陷。
2026-08-12 cs.AI cs.CL
M3SciQA: A Multi-Modal Multi-Document Scientific QA Benchmark for Evaluating Foundation Models
Yale University(耶鲁大学);Allen Institute for AI(艾伦人工智能研究所)
针对现有基准忽视多模态与多文档研究流程的问题,提出M3SciQA基准,含1,452个专家标注问题覆盖70个NLP论文簇,评估18个基础模型,发现其在多模态检索与跨文档推理上仍远逊于人类专家。
2024-11-06 cs.AI cs.CL
FQuAD2.0: French Question Answering and knowing that you know nothing
Illuin Technology(伊鲁因科技)
问答,包括阅读理解,是NLP研究领域之一,在过去的几年里,由于语言建模的同步进步,已经取得了重大的科学突破。然而,这些突破大多集中在英语上。2020年,作为第一个弥合法语差距的强有力举措,Illuin Technology推出了FQuAD 1. 1,这是一个法语母语阅读理解数据集,由从维基百科文章中提取的60,000多个问题和答案样本组成。尽管如此,在此数据集上训练的问答模型有一个主要缺点:它们无法预测给定问题何时在感兴趣的段落中没有答案,因此在各种工业用例中做出不可靠的预测。在目前的工作中,我们介绍了FQuAD 2.0,它扩展了FQuAD与17,000+无法回答的问题,注释相反,为了类似于可回答的。这个新的数据集总共包含近80,000个问题,使得训练法国问答模型能够区分无法回答的问题和可回答的问题。我们用这个数据集对几个模型进行了基准测试:我们最好的模型,一个微调过的CamemBERT-large,在这个分类任务上的F1得分为82.3%,在阅读理解任务上的F1得分为83%。
2021-09-27 cs.AI cs.CL cs.LG
SciDataSailor: Deep Scientific Data Exploring
该研究针对科学数据仓库交互难题,提出SciDataSailor框架,以带特定机制的MCTS实现轨迹合成,构建了微调模型与含千余任务的评估基准,推动LLM智能体的科学数据探索能力。
2026-07-31 cs.AI cs.CL
SciTrek: Evaluating and Improving Long-Context Numerical Reasoning over Scientific Articles
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
SciTrek基准测试通过长上下文科学文章问题探索LLM的数值推理能力,发现即使最佳模型在长上下文下也面临显著挑战,尤其在处理引用和复合逻辑问题时表现不佳。
2026-07-24 cs.AI
LakeQuest: A Three-Domain Benchmark for Grounded Question Answering across Data Lakes
University of Waterloo(滑铁卢大学)
介绍LakeQuest基准测试,用于评估跨数据湖的有基础问答。它跨越三个领域,含9846个QA对及证据指针,能暴露系统故障模式。通过基线评估发现高质量检索不能保证正确推理,凸显未来智能QA系统需强大发现和跨文件组合机制。
2026-08-13 cs.AI cs.CL
A Pathway to General-Purpose Scientific AI: Multimodal Comprehension of Scientific Images
TIB Leibniz Information Centre for Science and Technology(莱布尼茨科学与技术信息中心(TIB));Eindhoven University of Technology(埃因霍温理工大学);Freie Universität Berlin(柏林自由大学);International Center for Chemical and Biological Sciences, University of Karachi(卡拉奇大学国际化学与生物科学中心);National University of Sciences and Technology(国家科技大学);University of Warwick(华威大学);PSG College of Technology(PSG理工学院);Aalto University(阿尔托大学)
该研究提出以科学图像多模态理解构建通用科学AI的路径,依托ALD/E-ImageMiner基准与2026年ICDAR竞赛,明确相关任务能力检验维度及长期研究方向,推动可机器执行的科学视觉知识与可验证多模态科学AI发展。
2026-08-17 cs.AI cs.CV cs.DL
Recent Advances in Automated Question Answering In Biomedical Domain
IIT Delhi(印度理工学院德里分校);TCS Research(TCS研究院)
自动化问答(QA)系统的目标是以时间有效的方式为用户查询提供答案。答案通常可以在数据库(或知识库)或通常称为语料库的文档集合中找到。在过去的几十年里,知识的获取激增,因此生物医学领域的新科学文章呈指数增长。因此,即使是领域专家,也很难跟踪领域中的所有信息。随着商业搜索引擎的改进,用户可以键入他们的查询并获得与回答他们的查询最相关的一小组文档,以及在某些情况下来自文档的相关片段。然而,手动查找所需的信息或答案可能仍然是乏味和耗时的。这就需要开发高效的QA系统,其目的是为生物医学领域中用户提供的自然语言问题找到准确和精确的答案。在本文中,我们介绍了用于开发一般领域QA系统的基本方法,其次是生物医学QA系统的不同方面,包括基准数据集和几个建议的方法,使用结构化数据库和收集的文本进行了深入的调查。我们还探讨了当前系统的局限性,并探索进一步发展的潜在途径。
2021-11-10 cs.AI cs.CL cs.IR
Knowledge Graph Question Answering Leaderboard: A Community Resource to Prevent a Replication Crisis
Anhalt University of Applied Sciences(安哈尔特应用技术大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University Hamburg(汉堡大学)
需要对数据驱动的系统进行评估,以建立对科学方法及其适用性的信任。特别是,这对于知识图谱(KG)问答(QA)是正确的,其中复杂的数据结构可以通过自然语言接口访问。十多年来,评估这些系统的能力一直是社区的驱动力,同时建立了不同的KGQA基准数据集。然而,比较不同的方法是麻烦的。缺乏现有的和策划的排行榜导致研究领域缺乏全球视野,并可能对结果产生不信任。特别是,KGQA社区中最新和最常用的数据集LC-QuAD和QALD无法提供中央和最新的信任点。在本文中,我们调查和分析了广泛的评价结果,从过去十年的100个出版物和98个系统的显着覆盖面。我们为任何KGQA基准数据集提供了一个新的中央和开放的排行榜,作为社区的焦点-https://kgqa.github.io/leaderboard。我们的分析突出了KGQA系统的评估过程中存在的问题。因此,我们将指出今后评估中可能的改进。
2022-01-20 cs.AI cs.CL cs.IR
Improving Attributed Long-form Question Answering with Intent Awareness
Allen Institute for AI(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
本文提出通过增强模型意图意识来提升长报告生成质量,通过结构化标签方案提取隐含意图,改进零样本生成能力并生成高质量合成数据,实验显示在科学报告生成任务中模型性能平均提升2.9和12.3个百分点。
2026-08-10 cs.AI cs.CL
SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature
Allen Institute for AI(艾伦人工智能研究所);Yale University(耶鲁大学);University of Washington(华盛顿大学);Hebrew University(希伯来大学);MIT(麻省理工学院);Northwestern University(西北大学)
本文构建含13.7万实例、覆盖54项任务的专家编写科学文献指令数据集 SciRIFF,并通过混合微调使 LLM 在 SciRIFF-Eval 上较基线平均提升70.6%。
2025-09-29 cs.AI cs.CL
SciRerankBench: Benchmarking Rerankers Towards Scientific Retrieval-Augmented Generation with LLMs
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of California, Los Angeles(加州大学洛杉矶分校);Peking University(北京大学)
针对科学领域RAG-LLMs中排序器评估空白,提出SciRerankBench基准,涵盖五学科、三类Q-C-A对,系统评估13种排序器在五个LLM家族上的性能,揭示其噪声鲁棒性、相关性消歧与事实一致性表现。
2026-10-14 cs.AI cs.CL
EarthSE: A Benchmark for Evaluating Earth Scientific Exploration Capability of LLMs
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Hong Kong Polytechnic University(香港理工大学);The Chinese University of Hong Kong(香港中文大学)
本文提出了一个全面专业的地球科学基准EarthSE,包含Earth-Iron、Earth-Silver问答数据集和Earth-Gold开放式多轮对话数据集,评估11个领先LLMs在基础到高级科学探索中的能力,揭示了其局限性。
2025-05-30 cs.AI cs.CL
Large Language Models for Scientific Synthesis, Inference and Explanation
Monash University(莫纳什大学);Griffith University(格里菲斯大学);Monash Institute of Pharmaceutical Sciences(莫纳什药物科学研究所);Victorian Heart Institute(维多利亚心脏研究院)
本文提出利用大型语言模型进行科学综合、推理与解释,通过综合文献知识增强机器学习系统,在分子性质预测基准上超越现有最先进水平,并具备预测解释能力。
2023-10-12 cs.AI cs.CE
HiSciBench: A Hierarchical Multi-disciplinary Benchmark for Scientific Intelligence from Reading to Discovery
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of the Chinese Academy of Sciences(中国科学院大学)
HiSciBench是一个分层多学科基准,用于评估从阅读到发现的科学智能,涵盖五个层次,揭示了模型在不同科学推理阶段的能力差异。
2025-12-28 cs.AI cs.CV
Rethinking Domain Specialization for Open-Ended Scientific Reasoning in Astronomy Language Models
Oak Ridge National Laboratory(橡树岭国家实验室);The Ohio State University(俄亥俄州立大学);QUP/IPNS, High Energy Accelerator Research Organization (KEK)(高能加速器研究机构(KEK)QUP/IPNS);Max-Planck-Institut für Astronomie(马克斯·普朗克天文研究所)
本研究通过天文学问答基准比较通用与领域专门化模型,发现通用模型正确性更高,主张领域专业化应视任务和部署而定,并强调领域特定评估的重要性。
2026-09-17 astro-ph.IM cs.AI cs.CY