Benchmarking Answer Verification Methods for Question Answering-Based Summarization Evaluation Metrics
University of Pennsylvania（宾夕法尼亚大学）
基于问答的摘要评估指标必须自动确定QA模型的预测是否正确，这一任务称为答案验证。在这项工作中，我们基准测试的词汇答案验证方法已被用于当前基于QA的指标，以及两个更复杂的文本比较方法，BERTScore和LERC。我们发现，LERC优于其他方法在某些设置，而在其他统计上无法区分词汇重叠。然而，我们的实验表明，改进的验证性能并不一定转化为基于QA的整体度量质量：在某些情况下，使用更差的验证方法-或者根本不使用-与使用最佳验证方法具有相当的性能，我们将其归因于数据集的属性。
2022-04-21 cs.CL
CoPA: Benchmarking Personalized Question Answering with Data-Informed Cognitive Factors
East China Normal University（东华师范大学）；Zhongguancun Academy（中关村学院）
本文提出CoPA基准，通过挖掘社区-个体偏好分歧，提炼六个个性化因素，用于细粒度评估模型输出与用户认知偏好的匹配程度，提升个性化问答评估的全面性与区分度。
2026-04-16 cs.CL
Knowledge Graph Question Answering Datasets and Their Generalizability: Are They Enough for Future Research?
University Hamburg（汉堡大学）
现有的基于知识图谱的问答方法普遍性不强。这通常是由于标准的i.i.d.对底层数据集的假设。最近，定义了KGQA的三个泛化级别，即i.i.d.，构图，zero-shot。我们分析了25个著名的KGQA数据集5个不同的知识图谱（KG）。我们表明，根据这个定义，许多现有的和在线可用的KGQA数据集要么不适合训练一个可推广的KGQA系统，或者数据集是基于中断和过时的KG。生成新的数据集是一个昂贵的过程，因此，它不是小型研究团体和公司的替代方案。在这项工作中，我们提出了一种缓解方法，用于重新分割可用的KGQA数据集，以使其适用于评估泛化，而无需任何成本和手动工作。我们在三个KGQA数据集上测试我们的假设，即，LC-QuAD、LC-QuAD 2.0和QALD-9）。在重新分裂的KGQA数据集上的实验证明了该方法的有效性。访问18个可用数据集的代码和统一方式可在https://github.com/semantic-systems/KGQA-datasets和https://github.com/semantic-systems/KGQA-datasets-generalization上在线查看。
2022-05-13 cs.AI cs.CL
Grid Search Hyperparameter Benchmarking of BERT, ALBERT, and LongFormer on DuoRC
University of California Merced（加州大学默塞德分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
该项目的目的是在名为DuoRC的问答数据集上评估名为BERT、ALBERT和LongFormer的三种语言模型。语言模型任务有两个输入，一个问题和一个上下文。上下文是一个段落或整个文档，而输出是基于上下文的答案。目标是使用DuoRC执行网格搜索超参数微调。模型的预训练权重取自Huggingface库。不同的超参数集用于使用两个版本的DuoRC（SelfRC和ParaphraseRC）对模型进行微调。结果显示，ALBERT（使用SQuAD 1数据集进行预训练）在SelfRC数据集上进行微调后，F1得分为76.4，准确度得分为68.52。Longformer模型（使用SQuAD和SelfRC数据集进行预训练）在ParaphraseRC数据集上进行微调后，F1得分为52.58，准确度得分为46.60。当前结果优于DuoRC先前模型的结果。
2021-03-29 cs.CL cs.LG
Benchmarking Knowledge-Enhanced Commonsense Question Answering via Knowledge-to-Text Transformation
Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
人类的一项基本能力是在语言理解和问答中运用常识知识。近年来，许多知识增强的常识问答（CQA）方法被提出。然而，它仍然是不清楚的：（1）我们可以在多大程度上利用外部知识的CQA？(2)在当前的CQA模型中，有多少知识潜力被利用了？(3)未来CQA最有前途的方向是什么？为了回答这些问题，我们通过使用简单有效的知识到文本转换框架在多个标准CQA数据集上进行广泛的实验来对知识增强的CQA进行基准测试。实验表明：（1）我们的知识到文本框架是有效的，并在CommonsenseQA数据集上实现了最先进的性能，为CQA提供了一个简单而强大的知识增强基线;（2）知识的潜力在CQA中仍然远远没有得到充分利用-从现有模型到我们的模型有很大的性能差距。（3）上下文相关的知识选择、异构知识的开发和常识丰富的语言模型是CQA的发展方向。
2021-01-05 cs.CL
Benchmarking Large Language Models on Answering and Explaining Challenging Medical Questions
Rice University（里士满大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出两个新数据集用于评估大型语言模型在回答和解释具有挑战性的医疗问题上的能力，并通过实验展示了这些数据集的难度及模型表现。
2026-02-18 cs.CL
Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents
University of Science and Technology of China（中国科学技术大学）
本文提出指令性文档对话式问答基准 InsCoQA 及 LLM 辅助评估器 InsEval，用于评测大型语言模型在多文档中检索、解释和总结分步指导的能力。
2024-10-01 cs.CL
NCTB-QA: A Large-Scale Bangla Educational Question Answering Dataset and Benchmarking Performance
Department of Computer Science and Engineering University of Dhaka（计算机科学与工程系达卡大学）
NCTB-QA是一个大规模孟加拉语教育问答数据集，通过微调BERT等模型显著提升了问答性能，验证了领域特定微调在低资源环境中的重要性。
2026-03-05 cs.CL
MULTITAT: Benchmarking Multilingual Table-and-Text Question Answering
Harbin Institute of Technology（哈尔滨工业大学）
针对现有TATQA数据集仅限英语的局限，提出首个多语言TATQA数据集MULTITAT，涵盖10种语言，并开发基线模型Ours，实验显示非英语性能平均下降19.4%，Ours平均领先其他基线3.3。
2025-02-24 cs.CL
HypoBench: Towards Systematic and Principled Benchmarking for Hypothesis Generation
University of Chicago（芝加哥大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
HypoBench通过系统性评估不同假设生成方法的性能，揭示了现有方法在复杂任务中的不足，为提升AI在科学发现中的应用提供了新资源。
2026-02-10 cs.AI cs.CL cs.CY
ResearchQA: Benchmarking Citation-Grounded Question-Answering on Scientific Papers
Khoj Inc.（Khoj公司）
该研究引入ResearchQA基准测试，含多领域多类型问答对，用于科学论文基于引用的问答评估。通过特定方法评估八个模型，发现基于引用指标区分度更高，开放权重模型接近最佳封闭模型准确率且延迟更低，还发布了相关资源。
2026-07-14 cs.CL
Keep Security! Benchmarking Security Policy Preservation in Large Language Model Contexts Against Indirect Attacks in Question Answering
Chung-Ang University（Chung-Ang 大学）
针对LLM在敏感领域易受间接攻击泄露信息的问题，提出基准数据集CoPriva评估模型对上下文不披露策略的遵守情况，发现10个模型在间接攻击下普遍存在策略违规漏洞，亟需更稳健的上下文安全保证方法。
2025-09-15 cs.CL
MedExpQA: Multilingual Benchmarking of Large Language Models for Medical Question Answering
University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）；HiTZ Center（HiTZ中心）
本文提出首个基于医学考试的多语言基准MedExpQA，包含医生撰写的参考解释，通过结合RAG方法评估LLMs在医学问答中的表现，发现其性能仍有改进空间。
2024-07-29 cs.CL
MORQA: Benchmarking Evaluation Metrics for Medical Open-Ended Question Answering
Microsoft Health AI（微软健康人工智能）
本文提出多语言医学问答基准MORQA，通过包含专家撰写的多参考答案和人工评分，系统评估了传统指标与GPT-4等LLM评估器，发现LLM方法与专家判断的相关性显著更优。
2025-09-15 cs.CL
NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens
Westlake University（西湖大学）；University of Waterloo（多伦多大学）；Hangzhou Normal University（杭州师范大学）；Shanghai AI Lab（上海人工智能实验室）；SJTU（上海交通大学）；NYU Shanghai（纽约大学上海分校）
针对现有长上下文基准的不足，提出基于英文小说的NovelQA基准，通过手动标注和多样问题类型评估LLMs，发现其在多跳推理、细节处理和超长输入上存在明显短板。
2025-04-23 cs.CL
MizanQA: Benchmarking Large Language Models on Moroccan Legal Question Answering
Mohammed 6 Polytechnic University（穆莱·马哈茂德六世理工学院）
本文提出MizanQA基准，包含超1700道摩洛哥法律多选题，用于评估大语言模型在低资源阿拉伯语法律问答上的表现，实验显示现有模型存在显著性能差距，需发展文化适配的领域专用模型。
2025-08-22 cs.AI cs.CL cs.IR
CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of Large Language Models in Mental Health Question Answering
Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Department of Electrical and Computer Engineering, University of Southern California（南加州大学电气与计算机工程系）；Suzanne Dworak-Peck School of Social Work, University of Southern California（南加州大学苏兹安·德沃拉克-佩克社会工作学院）；Department of Psychiatry and the Behavioral Sciences, University of Southern California（南加州大学精神病学与行为科学系）；Annenberg School for Communication, University of Southern California（南加州大学安纳伯格通信学院）
CounselBench通过100名心理健康专家评估GPT-4、LLaMA 3等模型在真实求助场景中的表现，揭示其在临床敏感性和安全风险方面的不足，并通过对抗性数据集深入分析模型失败模式。
2026-05-14 cs.CL
KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；The University of Osaka（大阪大学）
本文提出首个面向医学、金融和法律领域的多轮长文本问答基准KnowMT-Bench，通过动态评测揭示多轮上下文导致的事实性下降与信息效率降低，并验证RAG可有效缓解该退化。
2026-10-27 cs.CL
DashboardQA: Benchmarking Multimodal Agents for Question Answering on Interactive Dashboards
York University（约克大学）；RBC；Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所）；Nanyang Technological University（南洋理工大学）；Salesforce Research（Salesforce研究）
针对现有数据可视化问答基准忽视仪表盘交互性的问题，本文提出DashboardQA基准，评估视觉语言GUI智能体对现实仪表盘的理解与交互能力，揭示其在元素定位等方面的局限，为多模态智能体推理提供测试依据。
2025-08-24 cs.CL
InsQABench: Benchmarking Chinese Insurance Domain Question Answering with Large Language Models
Huazhong University of Science and Technology（华中科技大学）；Fudan University（复旦大学）
针对中文保险领域问答，提出InsQABench基准数据集及SQL-ReAct和RAG-ReAct方法，微调显著提升LLM性能，为保险领域应用奠定基础。
2025-01-19 cs.AI cs.CL
MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries
Hong Kong University of Science and Technology（香港科技大学）
针对现有RAG系统处理多跳查询能力不足且缺乏专用基准的问题，研究者构建了包含知识库、多跳查询及对应答案与证据的MultiHop-RAG数据集，实验验证了现有方法的不足并为相关研究提供资源。
2024-01-27 cs.CL
EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering and Reasoning
Emory University（埃默里大学）；University of Illinois Chicago（伊利诺伊大学香槟分校）；Microsoft（微软公司）
提出EpiQAL基准，通过三个子集（事实回忆、多步推理、不完整信息下结论重建）评估LLM在流行病学推理中的表现，发现当前模型在多步推理上表现有限。
2026-09-01 cs.AI cs.CL
CLIR-Bench: Benchmarking Multimodal Question Answering over Irregular Clinical Time Series
Shandong University（山东大学）；University of Auckland（奥克兰大学）
研究针对临床时间序列稀疏、不规则等问题，引入CLIR-Bench基准，通过四阶段流程构建，含6600个问答实例。实验发现现有通用模型处理稀疏临床证据困难，强调需更强不规则时间序列推理方法。
2026-07-14 cs.AI cs.CL
PerMedCQA: Benchmarking Large Language Models on Medical Consumer Question Answering in Persian Language
School of Computer Science Institute for Research in Fundamental Sciences（计算机科学学院基础科学研究研究所）；School of Electrical and Computer Engineering University of Tehran（电气与计算机工程学院塔里班大学）；Department of Computer Science Faculty of Mathematical Sciences Alzahra University（计算机科学系数学科学学院阿扎赫拉大学）
本文提出PerMedCQA，首个波斯语医学消费者问答基准，含68,138个问答对，并利用MedJudge框架评估多种LLM，揭示多语言医学问答挑战，推动更准确的医学辅助系统开发。
2025-05-23 cs.AI cs.CL
POLYCHARTQA: Benchmarking Large Vision-Language Models with Multilingual Chart Question Answering
Renmin University of China（中国人民大学）
PolyChartQA是首个大规模多语言图表问答基准，通过多语言图表生成和评估，揭示英语与其他语言在图表理解上的性能差距，并提供训练集提升多语言模型表现。
2026-01-08 cs.AI cs.CL cs.CV
MHQA: A Diverse, Knowledge Intensive Mental Health Question Answering Challenge for Language Models
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本研究针对心理健康问答缺乏标准基准的问题，构建了覆盖四大领域、多类题型的MHQA数据集，含专家验证金标数据与伪标注数据，并测试了不同大语言模型的性能。
2025-02-21 cs.CL
FHIR-AgentBench: Benchmarking LLM Agents for Realistic Interoperable EHR Question Answering
Korea Advanced Institute of Science & Technology（韩国科学技术院）；Verily Life Sciences（Verily 生物科技）；Massachusetts Institute of Technology（麻省理工学院）
针对现有基准无法适配HL7 FHIR标准下临床数据评估需求的问题，本文提出FHIR-AgentBench基准，系统性评估LLM智能体的临床问答能力并开源相关数据集与工具。
2025-11-13 cs.AI cs.CL
Unmasking Deceptive Visuals: Benchmarking Multimodal Large Language Models on Misleading Chart Question Answering
The Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出Misleading ChartQA基准，包含3,026个涵盖21种误导类型和10种图表类型的示例，系统评估24个多模态大语言模型检测误导性图表的能力，并提出区域感知推理流程以提升模型准确性。
2025-09-20 cs.AI cs.CL
Chart Question Answering from Real-World Analytical Narratives
City St George’s, University of London（伦敦大学城市圣乔治学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文构建了一个来自真实可视化笔记本的图表问答数据集，其多视图图表与分析叙事相结合，并通过多模态大语言模型基准测试揭示了现有模型在该真实场景下性能不足的问题。
2025-07-02 cs.CL
How Good LLMs Are at Answering Bangla Medical Visual Questions? Dataset and Benchmarking
Penta Global Limited；Center for Computational & Data Sciences, Independent University（独立大学计算与数据科学中心）
本文提出BanglaMedVQA数据集，用于评估当前基础模型在孟加拉语医学视觉问答任务中的表现，发现其性能显著低于英语基准，揭示了低资源语言在医学推理中的挑战。
2026-05-18 cs.CL cs.CV
MultiChartQA: Benchmarking Vision-Language Models on Multi-Chart Problems
Xi’an Jiaotong University（西安交通大学）；University of Notre Dame（圣母大学）
本文提出MultiChartQA基准，从直接问答、并行问答、比较推理和顺序推理四个维度评估多模态大语言模型的多图表理解能力，实验表明现有模型与人类水平存在显著差距。
2025-02-09 cs.CL cs.CV
MedPriv-Bench: Benchmarking the Privacy-Utility Trade-off of Large Language Models in Medical Open-Ended Question Answering
MedPriv-Bench首次提出医疗开放问答中评估隐私保护与临床效用的基准，通过多代理人机协同流程生成敏感医疗情境，利用预训练RoBERTa-NLI模型量化数据泄露，揭示大语言模型在隐私与效用间的普遍权衡。
2026-08-26 cs.CL cs.MA
Multi-TW: Benchmarking Multimodal Models on Traditional Chinese Question Answering in Taiwan
National Taiwan University of Science and Technology（台湾科技大学）；University of London（伦敦大学）；National Taiwan University（台湾大学）
Multi-TW是首个繁体中文三模态基准，含900道官方测试题，评估模型性能与延迟，发现闭源模型整体更优，端到端流程延迟更低，凸显繁体中文微调与高效架构需求。
2025-08-02 cs.AI cs.CL
Can LLMs Evaluate Complex Attribution in QA? Automatic Benchmarking using Knowledge Graphs
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and its Interdisciplinary Applications (Southeast University), Ministry of Education（教育部新一代人工智能技术及其交叉应用关键实验室（东南大学））；The University of Manchester（曼彻斯特大学）；The University of Edinburgh（爱丁堡大学）；Law and Innovation Lab, School of Law, Southeast University（东南大学法学院创新与法律实验室）；State Key Lab. for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；The Chinese University of Hong Kong（香港中文大学）；Monash University（莫纳什大学）
针对归因问答评估中缺乏细粒度类别、依赖人工标注及难以比较细微差异的问题，提出基于知识图谱自动生成的大规模基准CAQA，通过25个自动评估器及微调LLM的实验验证其有效性并得出重要发现。
2025-06-30 cs.CL
RepLiQA: A Question-Answering Dataset for Benchmarking LLMs on Unseen Reference Content
Autodesk（奥多比公司）；ServiceNow（ServiceNow公司）；ServiceNow Research（ServiceNow研究院）；Mila – Québec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）
RepLiQA是一个新问答数据集，包含未公开的参考文档，用于评估大语言模型在未见内容上的检索与问答能力，并基准测试多种先进模型。
2024-11-05 cs.AI cs.CL
Document-level Causal Relation Extraction with Knowledge-guided Binary Question Answering
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对事件-事件因果关系抽取中缺乏文档级建模和因果幻觉的问题，提出融合事件结构的知识引导二元问答方法，在多数据集上验证了其有效性、泛化性与低不一致性，在MECI上达SOTA。
2024-10-07 cs.CL
Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering
Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出 MMDocRAG 基准，通过 4,055 个多页跨模态问答对和 60 个 VLM/LLM 及 14 个检索系统的大规模实验，揭示多模态证据检索与整合挑战，并发现专有 LVMs 优于开源模型、图像描述可提升微调 LLMs 性能。
2025-11-07 cs.CL cs.CV cs.IR
MEBench: Benchmarking Large Language Models for Cross-Document Multi-Entity Question Answering
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）；China Mobile Information Technology Company Limited（中国移动信息技术有限公司）
MEBench 是一个新基准，含 4,780 个跨文档多实体问题，系统评估大语言模型在检索、整合与推理碎片化信息上的能力，实验显示最先进模型准确率仅 59%，并引入 EA-F1 指标强调提取完整性与事实精确性。
2025-09-24 cs.CL cs.DB
FRAMES-VQA: Benchmarking Fine-Tuning Robustness across Multi-Modal Shifts in Visual Question Answering
Georgia Institute of Technology（佐治亚理工学院）
提出FRAMES-VQA基准，整合十个VQA数据集，分类ID与近/远OOD，评估鲁棒微调方法，量化多模态偏移，指导开发更鲁棒的微调策略。
2025-06-20 cs.AI cs.CL cs.CV
Enhancing Large Language Models with Pseudo- and Multisource- Knowledge Graphs for Open-ended Question Answering
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对大型语言模型在未知事实幻觉及跨知识图谱泛化上的不足，提出结合伪图生成与原子知识验证的PG&AKV框架，显著提升了开放式问答性能与跨KG泛化能力。
2025-03-03 cs.AI cs.CL
ArgBench: Benchmarking LLMs on Computational Argumentation Tasks
Leibniz University Hannover（汉诺威莱布尼茨大学）；Adobe Research（Adobe研究）
本文提出ArgBench，首个用于评估LLM在计算论证任务中性能的基准，涵盖33个数据集，评估五种LLM家族在46种任务中的泛化能力，分析少样本示例、推理步骤、模型大小和训练技能对性能的影响。
2026-04-19 cs.AI cs.CL
CALM: Unleashing the Cross-Lingual Self-Aligning Ability of Language Model Question Answering
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；HKUST（香港科技大学）
本文提出CALM方法，通过跨语言自对齐和直接偏好优化，利用多语言回答的一致性选择目标并训练模型，在MEDQA和X-CSQA上有效提升跨语言知识问答的准确率与一致性。
2025-02-10 cs.CL
Visual-RAG: Benchmarking Text-to-Image Retrieval Augmented Generation for Visual Knowledge Intensive Queries
Visual-RAG基准通过要求文本到图像检索并整合视觉证据来评估多模态大语言模型在视觉知识密集型问答中的表现，发现现有模型仍难以高效利用视觉知识。
2025-08-15 cs.CL cs.CV
FDARxBench: Benchmarking Regulatory and Clinical Reasoning on FDA Generic Drug Assessment
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；U.S. Food and Drug Administration（美国食品药品监督管理局）
本文提出FDARxBench基准测试，用于评估基于文档的问答任务，通过FDA药物标签文档生成高质量问答示例，揭示语言模型在事实基础、长上下文检索和安全拒绝行为方面的差距。
2026-09-03 cs.AI cs.CL
Benchmarking Real-Time Question Answering via Executable Code Workflows
Li Auto Inc（利亚 Auto 公司）；Minzu University of China（民族大学）
本文提出RT-QA框架，通过可执行代码工作流实现动态评估，发现现有模型在实时适应性上存在显著不足，主要问题包括懒惰检索和时间混淆。
2026-05-10 cs.AI cs.CL cs.IR
CBench: Towards Better Evaluation of Question Answering Over Knowledge Graphs
Carleton University（卡尔顿大学）
最近，只能由专家查询的知识图谱的数量有所增加。然而，使用结构化查询来描述问题对于非专家用户来说并不简单，非专家用户需要具有关于所查询的知识图谱的词汇表和结构以及用于描述用户的信息需求的结构化查询语言的语法的足够知识。为了克服上述挑战而引入的最流行的方法是使用自然语言来查询这些知识图谱。虽然几个问答基准可以用来评估问答系统在一些流行的知识图谱，选择一个基准来准确地评估一个问答系统的质量是一个具有挑战性的任务。在本文中，我们介绍了CBench，一个可扩展的，更翔实的基准套件分析基准和评估问答系统。CBench可用于分析现有基准测试中问题和查询的若干细粒度语言、句法和结构属性。我们表明，现有的基准变化显着，这些属性认为选择一个小的子集，他们不可靠的评估QA系统。在进一步的研究提高基准的质量和全面性之前，CBench可以用于使用一组流行的基准来促进这种评估，这些基准可以与其他用户提供的基准一起增强。CBench不仅基于流行的单一数字指标评估问答系统，还对已回答和未回答问题的语言、句法和结构属性进行了详细分析，以更好地帮助问答系统的开发人员更好地了解他们的系统在哪些方面表现出色，在哪些方面表现不佳。
2021-04-05 cs.CL
Benchmarking LLMs for Environmental Review and Permitting
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Iowa State University（爱荷华州立大学）
本研究针对大语言模型在NEPA环境监管领域的应用空白，推出首个EIS文档问答基准NEPAQuAD与评估流水线MAPLE，测试发现LLM长上下文推理能力不足，RAG方法优于直接PDF上下文。
2025-06-12 cs.CL
Towards Better Generalization in Open-Domain Question Answering by Mitigating Context Memorization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）
本文针对开放域问答模型在知识更新和跨领域迁移中的泛化难题，提出语料库不变调优（CIT）策略，通过控制训练时检索上下文的似然来缓解知识过度记忆，在多个基准上验证了其在不损失原有性能的前提下显著提升泛化能力。
2024-04-02 cs.AI cs.CL
Beyond Seen Data: Improving KBQA Generalization Through Schema-Guided Logical Form Generation
The University of Melbourne（墨尔本大学）
针对KBQA面对未见知识库元素泛化能力差的问题，提出SG-KBQA模型，通过注入模式上下文增强实体检索和逻辑形式生成，在多个基准上超越现有模型。
2025-09-10 cs.AI cs.CL
Less is More: Data-Efficient Complex Question Answering over Knowledge Bases
Southeast University（东南大学）；Southeast University-Monash University Joint Research Institute（东南大学-蒙纳士大学联合研究院）；Monash University（蒙纳士大学）
问答是从知识库中获取信息的有效方法。在本文中，我们提出了神经符号复杂问答（NS-CQA）模型，一个数据高效的强化学习框架复杂的问答，只使用少量的训练样本。我们的框架由一个神经生成器和一个符号执行器组成，分别将自然语言问题转换为一系列原始动作，并在知识库上执行它们以计算答案。我们仔细地制定了一套原始的符号动作，使我们不仅可以简化我们的神经网络设计，但也加速模型收敛。为了减少搜索空间，我们在编码器-解码器架构中采用复制和掩蔽机制，以大幅减少解码器输出词汇表并提高模型的泛化能力。我们为我们的模型配备了一个内存缓冲区，用于存储高回报的有前途的程序。此外，我们提出了一个自适应的奖励函数。通过将生成的试验与存储在存储器缓冲器中的试验进行比较，我们得出了奖金引导的奖励奖金，即，亲近感和新奇感为了缓解稀疏奖励问题，我们将自适应奖励和奖励奖金相结合，将稀疏奖励重塑为密集反馈。此外，我们鼓励模型生成新的试验，以避免模仿虚假的试验，同时使模型记住过去的高回报试验，以提高数据效率。我们的NS-CQA模型在两个数据集上进行了评估：CQA，一个最近的大规模复杂问答数据集，和WebBossSP，一个多跳问答数据集。在这两个数据集上，我们的模型都优于最先进的模型。值得注意的是，在CQA上，NS-CQA在复杂度较高的问题上表现良好，而只使用了大约1%的训练样本。
2020-10-29 cs.AI cs.CL
Answering Science Exam Questions Using Query Rewriting with Background Knowledge
IBM Research（IBM研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tulane University（杜兰大学）
开放域问答（QA）是人工智能和自然语言处理中的一个重要问题，它是人工智能方法和技术推广进展的领头羊。开放领域问答系统的许多进展是通过信息检索方法和语料库建设的进步实现的。在本文中，我们专注于最近推出的ARC挑战数据集，其中包含2，590个为小学科学考试编写的多项选择题。这些问题被选为当前QA系统最具挑战性的问题，并且当前最先进的性能仅略优于随机机会。我们提出了一个系统，重写一个给定的问题到查询，用于检索支持文本从一个大的语料库的科学相关的文本。我们的重写器能够结合来自ConceptNet的背景知识，并且-与在SciTail上训练的通用文本蕴涵系统一起识别检索结果中的支持-在端到端QA任务上优于几个强大的基线，尽管只接受了识别原始源问题中的基本术语的训练。我们使用一个可推广的决策方法，检索到的证据和答案候选人，以选择最佳答案。通过结合查询重写，背景知识和文本蕴涵，我们的系统能够超越ARC数据集上的几个强基线。
2019-04-06 cs.AI cs.CL
Benchmarking Contextual and Paralinguistic Reasoning in Speech-LLMs: A Case Study with In-the-Wild Data
Institute of Infocomm Research (I 2 R)（信息通信研究所）
针对语音大语言模型在副语言推理上的不足，提出CP-Bench基准，通过两个QA数据集评估模型整合言语与非言语线索的能力，揭示现有评估空白，为构建情感智能语音模型提供方向。
2025-09-24 cs.AI cs.CL
WildScore: Benchmarking MLLMs in-the-Wild Symbolic Music Reasoning
University of California, San Diego（加州大学圣地亚哥分校）
WildScore是首个用于评估多模态大语言模型在现实世界中符号音乐推理能力的基准测试，通过真实音乐作品和用户生成问题，系统性评估模型在音乐学分析中的表现。
2026-01-23 cs.CL cs.SD eess.AS
PetQA: Benchmarking Veterinary Knowledge and Clinical Reasoning
Soongsil University（崇实大学）；Kangwon National University（江原大学）；KDI School of Public Policy and Management（KDI公共政策与管理学院）
本研究推出PetQA这一韩语兽医知识与临床推理基准测试，含万余对问答及多模态数据，评估18种模型在三种设置下的表现，提供多语言版本，助力开发可靠兽医AI系统。
2026-09-07 cs.AI cs.CL cs.CV
