AREG: Adversarial Resource Extraction Game for Evaluating Persuasion and Resistance in Large Language Models
Department of Computer Science and Engineering(计算机科学与工程系);Islamic University of Technology(伊斯兰技术大学)
AREG通过对抗性资源提取游戏评估大型语言模型的说服与抗性能力,发现两者弱相关且存在系统性防御优势。
2026-02-18 cs.CL
Evaluating Multi-Dimensional Generalization of Large Language Models in Temporal Extraction Tasks
University of North Texas(北德克萨斯大学);Carnegie Mellon University(卡内基梅隆大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学)
本研究系统评估了多种大型语言模型在时间与事件表达抽取任务中跨四个维度的泛化能力,发现基础任务性能通常预示更好泛化但在显著分布变化下减弱,归纳提示表现最一致,而规模、架构及演绎和溯因提示策略的收益不均,表明泛化无法从单一维度可靠预测。
2026-10-05 cs.CL
Answering Complex Questions Using Open Information Extraction
Allen Institute for AI(艾伦人工智能研究所)
虽然事实问答(QA)已经取得了实质性的进展,但回答复杂的问题仍然具有挑战性,通常需要大量的知识和推理技术。开放式信息抽取(Open IE)提供了一种为QA生成半结构化知识的方法,但迄今为止,这些知识仅用于回答基于检索的方法的简单问题。我们克服了这一限制,提出了一种方法,推理与开放IE知识,允许更复杂的问题进行处理。使用最近提出的支持图优化框架QA,我们开发了一个新的推理模型,开放IE,特别是一个可以有效地与多个短事实,噪音,元组的关系结构。我们的模型在不同难度的复杂问题上的表现明显优于最先进的结构化求解器,同时也消除了对手动策划知识的依赖。
2017-04-19 cs.AI cs.CL
Structure vs. Chain-of-Thought: Evaluating LLM Criteria Extraction for Depression Severity
Independent Researcher(独立研究者)
本研究比较了LLM直接评分与基于临床标准提取评分在抑郁严重程度评估中的表现,发现标准提取在多数情况下无显著优势,且可能漏检严重病例,但可提高可审计性。
2026-10-14 cs.AI cs.CL
MedicalBench: Evaluating Large Language Models Toward Improved Medical Concept Extraction
Optum AI
本文提出MedicalBench,一个用于评估大型语言模型在医疗概念提取中的表现的基准,重点在于隐含概念的提取和证据 grounding,通过多阶段流程构建数据集并定义两种互补的评估任务,揭示了隐含概念提取的挑战。
2026-10-22 cs.CL
Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy
University of Maryland, College Park(马里兰大学帕克分校)
研究大语言模型在不同等效表述问题下的答案变化,发现其输出依赖措辞,准确率指标掩盖不稳定性,实例级行为不稳定,提出自释义策略可恢复潜在知识提升性能,强调评估一致性对展现模型可靠性的重要性。
2026-07-28 cs.AI cs.CL cs.LG
From Answers to Questions: EQGBench for Evaluating LLMs' Educational Question Generation
School of Artificial Intelligence, Beijing Normal University(人工智能学院,北京师范大学)
本文提出 EQGBench 基准,通过包含 900 个样本、覆盖三门中学学科及五维评估框架,系统评估了 46 个主流大模型在中文教育问题生成上的表现,揭示了其在生成具有教育价值问题方面的不足。
2025-08-05 cs.AI cs.CL
Evaluating LLM Abilities to Understand Tabular Electronic Health Records: A Comprehensive Study of Patient Data Extraction and Retrieval
Université Paul Sabatier(保罗·萨巴蒂埃大学);IRIT(信息论与电信研究所);Centre Hospitalier Universitaire de Toulouse(图卢兹大学医院中心);INSERM(法国国家健康与医学研究院);Université de Toulouse(图卢兹大学);Faculté de Médecine(医学院)
本研究首次探究大语言模型理解表格型电子健康记录的能力,通过MIMICSQL数据集实验验证了特征选择、序列化方法及上下文学习对任务表现的提升作用,并提出相关设计准则以支持健康搜索。
2025-01-16 cs.CL cs.IR
PIE-QG: Paraphrased Information Extraction for Unsupervised Question Generation from Small Corpora
Deakin University(迪肯大学)
有监督的问答系统(QA系统)依赖于特定领域的人类标记数据进行训练。无监督QA系统生成自己的问答训练对,通常使用辅助知识源来实现这一结果。我们的方法(称为PIE-QG)使用开放信息抽取(OpenIE)生成合成的训练问题,从转述的段落,并使用问答对作为训练数据的语言模型的国家的最先进的QA系统的基础上BERT。从每段文章中抽取<主语、谓语、宾语>形式的三元组,用主语(或宾语)和谓语构成疑问句,宾语(或主语)被认为是答案。在五个提取的QA数据集上进行的实验表明,我们的技术与现有的最先进的QA系统具有同等的性能,其优点是在数量级更少的文档上进行训练,并且不依赖任何外部参考数据源。
2023-01-03 cs.AI cs.CL
Dissociating Answerability from Extraction in LLM Question Answering over Radiology Reports
Labcorp(拉布科公司)
该研究针对放射学报告问答中错误答案与过度弃权(不执行)合并评估的问题,提出分离两者的评估方法,应用于13个大语言模型后发现F1相似的模型错误答案率差异大,调整决策规则可降低错误答案率且不影响F1,建议分开报告两个指标。
2026-10-14 cs.AI cs.CL cs.LG
Evaluating improvements on using Large Language Models (LLMs) for property extraction in the Open Research Knowledge Graph (ORKG)
本文评估高级提示工程对 LLM 在 ORKG 科学文献属性提取中的改进,并引入基于 API 的现有属性匹配,显著提升结果对齐与属性一致性。
2025-02-15 cs.AI cs.CL cs.IR
Solving Price Per Unit Problem Around the World: Formulating Fact Extraction as Question Answering
Amazon.com Inc.(亚马逊公司)
每单位价格(PPU)是消费者在电子商务网站上比较产品时的重要信息。计算PPU需要找到产品的总数量,而PPU并不总是由卖方提供。为了预测总量,需要正确推断产品属性中给出的所有相关量,例如标题,描述和图像。我们制定这个问题作为一个问答(QA)任务,而不是命名实体识别(NER)任务的事实提取。在我们的QA方法中,我们首先预测测量单位(UoM)类型(例如,体积、重量或计数),其制定期望的问题(例如,“总量是多少?“),然后用这个问题找到所有相关的答案。我们的模型架构由两个子任务的两个子网络组成:一个分类器来预测UoM类型(或问题),一个提取器来提取相关的数量。我们对这两个子任务都使用了深度字符级的CNN架构,这使得(1)可以轻松扩展到具有类似字母表的新商店,(2)由于其跨度图像架构而实现多跨度应答,以及(3)通过保持模型推理延迟较低而易于部署。在全球所有商店中,我们的QA方法在精度上优于基于规则的方法34.4%,也优于基于BERT的事实提取方法,其中美国商店的精度提升最大,为10.6%。
2022-04-12 cs.AI cs.CL cs.IR
Targeted Extraction of Temporal Facts from Textual Resources for Improved Temporal Question Answering over Knowledge Bases
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校);IBM Research AI(IBM人工智能研究院)
知识库问答(KBQA)系统的目标是通过对从知识库(KB)检索的相关事实进行推理来回答复杂的自然语言问题。这些系统所面临的主要挑战之一是,由于不完整的知识库和实体/关系链接错误等因素,它们无法检索所有相关事实。在本文中,我们解决这个特殊的挑战,系统处理一个特定类别的问题,称为时间问题,答案推导涉及推理的事实断言点/时间间隔的各种事件。我们提出了一种新的方法,有针对性的时间事实提取技术是用来协助KBQA时,它无法检索时间事实从KB。我们使用$λ$ -问题的表达式来逻辑地表示得出答案所需的组成事实和推理步骤。这使我们能够发现那些未能从知识库中检索到的事实,并生成文本查询,以便以开放域问答的方式从文本资源中提取它们。我们评估了我们的方法在基准时间问答数据集考虑维基数据和维基百科分别作为知识库和文本资源。实验结果表明,该方法在回答正确率上相对提高了$\sim$ 30%,证明了该方法的有效性.
2022-03-21 cs.AI cs.CL
A Survey on Model Extraction Attacks and Defenses for Large Language Models
University of Notre Dame(圣约翰大学);Florida State University(佛罗里达州立大学);Northwestern University(西北大学);Duke University(杜克大学);University of Southern California(南加州大学)
本综述系统梳理了针对大型语言模型的模型提取攻击与防御方法,提出分类体系与评估指标,并指出集成攻击与自适应防御等未来研究方向。
2025-06-26 cs.AI cs.CR cs.LG
Comparison of Unsupervised Metrics for Evaluating Judicial Decision Extraction
Moscow Center for Advanced Studies(莫斯科高级研究学院)
本研究评估16种无监督指标在司法判决语义块抽取任务中的表现,发现词频一致性等指标与专家评分匹配度最高,LLM方法适配性有限,无监督指标可用于规模化筛选但无法替代高风险场景下的人工判断。
2025-10-02 cs.AI cs.CL cs.IR
ResearchQA: Evaluating Scholarly Question Answering at Scale Across 75 Fields with Survey-Mined Questions and Rubrics
University of Pennsylvania(宾夕法尼亚大学)
ResearchQA通过整合75个领域的调研文章,生成21K问题和160K评分项,用于大规模评估LLM系统,发现多数系统在覆盖评分项方面表现不足。
2025-12-19 cs.AI cs.CL
Evaluating Structured Information Extraction with Open Models in a High Risk Public Sector Application
Berlin University of Applied Sciences(柏林应用科学大学);Einstein Center Digital Future(爱因斯坦数字未来中心)
本研究针对欧盟AI法案高风险公共部门应用场景,构建基准评估开源OCR、LLM、VLM在学生申请处理任务的性能,发现零样本下多数模型表现差,输入结构保留是关键因素。
2026-08-20 cs.AI cs.CR cs.IR
Intelligent information extraction based on artificial neural network
M.H. Saboo Siddik College of Engineering(M.H. Saboo Siddik 工程学院)
问答系统(QAS)用于信息检索和自然语言处理(NLP),以减少人工劳动。目前有许多基于用户文档的QAS,但它们都仅限于提供客观的答案和处理简单的问题。现有的QAS无法回答复杂的问题,因为它们需要解释当前和旧数据以及用户提出的问题。上述局限性可以通过使用深度案例和神经网络来克服。因此,我们提出了一种改进的QAS,其中我们创建了一个深度人工神经网络,从文本文档的联想记忆。修改后的QAS处理提供给它的文本文档的内容,并找到文档中甚至复杂问题的答案。
2016-04-11 cs.AI cs.CL
Evaluating Large Language Models for Public Health Classification and Extraction Tasks
UK Health Security Agency(英国卫生安全局)
该研究结合13个标注数据集,以零样本上下文学习评估11个开放权重LLM及GPT-4系列在公共卫生文本分类与抽取任务中的表现,发现Llama-3.3-70B-Instruct整体最优且具备应用潜力。
2025-02-19 cs.CL cs.LG
Evaluating LLM-Based Goal Extraction in Requirements Engineering: Prompting Strategies and Their Limitations
Department of Control and Computer Engineering(控制与计算机工程系)
本文探讨了通过三个阶段自动提取功能目标以实现目标导向的需求工程,提出基于工程提示的LLM链,实验表明反馈循环机制在零样本学习中表现更优,但提示策略仍是性能限制因素。
2026-08-05 cs.AI cs.CL cs.SE
QA4IE: A Question Answering based Framework for Information Extraction
Shanghai Jiao Tong University(上海交通大学);Yitu Tech(依图科技);ShanghaiTech University(上海科技大学)
信息抽取是指从非结构化文本中自动抽取结构化关系元组。常见的IE解决方案,包括关系抽取(RE)和开放IE系统,很难处理跨句子元组,并且受到有限的关系类型以及非正式关系规范(例如,基于自由文本的关系元组)。为了克服这些缺点,我们提出了一个新的IE框架QA4IE,它利用灵活的问答(QA)方法,以产生高质量的跨句子的关系三元组。基于该框架,我们开发了一个大型的IE基准与高质量的人的评价。该基准测试包含293K文档,2M黄金关系三元组和636种关系类型。我们比较了我们的系统与一些IE基线在我们的基准测试,结果表明,我们的系统取得了很大的改善。
2019-01-28 cs.AI cs.CL cs.IR
Cross-Examiner: Evaluating Consistency of Large Language Model-Generated Explanations
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文提出Cross-Examiner方法,结合符号信息提取与语言模型生成后续问题,以评估大语言模型解释的一致性,生成的问题质量更高且更多样化。
2025-03-11 cs.AI cs.CL
Evaluating Architectural Choices for Deep Learning Approaches for Question Answering over Knowledge Bases
Bielefeld University(比勒费尔德大学)
基于知识库回答自然语言问题的任务近年来受到了广泛的关注。各种深度学习架构已被提出用于此任务。然而,建筑设计的选择通常不会在相同的条件下进行系统的比较或评估。在本文中,我们有助于更好地了解建筑设计选择的影响,通过评估四个不同的建筑在相同的条件下。我们解决的任务是回答简单的问题,包括在预测的主题和谓词的三元组给出一个问题。为了提供一个公平的比较不同的架构,我们评估他们在相同的策略下推断的主题,并比较不同的架构推断的谓词。用于推断主题的架构基于标准LSTM模型,该模型被训练成识别问题中的主题的跨度,并且基于将主题跨度链接到知识库中的实体的链接组件。谓词推理的架构基于i)一个标准的softmax分类器,范围覆盖所有谓词作为输出,iii)一个模型,预测给定实体表示和问题的属性的低维编码,iii)一个模型,学习对给定问题的一对主语和谓语进行评分,以及iv)一个基于众所周知的FastText模型的模型。通过对几种结构的比较表明,FastText结构比其它结构具有更好的性能。
2018-12-13 cs.AI cs.CL
Improved Evidence Extraction and Metrics for Document Inconsistency Detection with LLMs
American Express(美国运通)
本文提出新的证据提取度量标准和红acted-重试框架,提升LLMs在文档不一致性检测中的证据提取性能,并释放新的半合成数据集进行评估。
2026-04-08 cs.AI cs.CL
Zero-shot Task Transfer for Invoice Extraction via Class-aware QA Ensemble
UST Ltd(UST有限公司)
我们提出VESPA,一个故意简单而新颖的zero-shot系统布局,区域和域不可知的文档提取。尽管有大量的文档语料库,但缺乏标记和验证的数据集使得有区别地为企业训练文档提取模型成为一个挑战。我们表明,这个问题可以通过简单地将信息抽取(IE)任务转移到一个自然语言检索(QA)任务,而无需工程任务特定的架构来解决。我们证明了我们的系统的有效性,通过评估一个封闭的语料库的真实世界的零售和税务发票与多个复杂的布局,域和地理。实证评估表明,我们的系统优于4个著名的商业发票解决方案,这些解决方案使用专门为发票提取而设计的体系结构的歧视性训练模型。我们提取了6个字段,没有预先的人工注释或使用Avg训练。F1 87.50
2021-08-13 cs.AI cs.CL cs.IR
Why does in-context learning fail sometimes? Evaluating in-context learning on open and closed questions
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
本文构建高难度科学问题基准,评估任务新颖性、难度及上下文相关性对开放式和封闭式问题中情境学习表现的影响,发现更相关上下文未必更有益。
2024-07-02 cs.AI cs.CL cs.IR
Indirect Supervision for Relation Extraction using Question-Answer Pairs
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学);Shanghai Jiao Tong University(上海交通大学)
兴趣类型的自动关系抽取(RE)对于高效地解释海量文本语料库具有重要意义。传统的RE模型严重依赖于人工标注的语料库进行训练,这在生成标记数据时代价高昂,并且在处理更多关系类型时成为障碍。因此,更多的RE提取系统已经转向建立在通过链接到知识库(远程监督)而自动获取的训练数据上。然而,由于知识库的不完整性和上下文无关的标签,通过远程监督(DS)收集的训练数据可能是非常嘈杂的。近年来,随着越来越多的注意力被带到解决问答(QA)任务,用户反馈或这些任务的数据集变得更容易访问。在本文中,我们提出了一个新的框架,要求,利用问答对作为一个间接的监督源的关系抽取,并研究如何使用这种监督,以减少噪音引起的DS。我们的模型联合嵌入关系提及,类型,QA实体提及对和文本特征在两个低维空间(RE和QA),其中具有相同关系类型或语义相似的问答对的对象具有相似的表示。共享特征连接这两个空间,从两个来源携带更清晰的语义知识。请求,然后使用这些学习的嵌入来估计测试关系提及的类型。我们制定了一个全球性的目标函数,并采用了一种新的边缘为基础的QA损失,以减少噪音DS利用语义证据的QA数据集。我们的实验结果实现了平均11%的改善F1分数在两个公共RE数据集结合TREC QA数据集。
2017-11-23 cs.AI cs.CL
Can Language Models Analyze Data? Evaluating Large Language Models for Question Answering over Datasets
School of Production Engineering and Management, Technical University of Crete(生产工程与管理学院,希腊克里特技术大学);Institute of Computer Science, Foundation for Research and Technology - Hellas(计算机科学研究所,希腊基础研究与技术研究院)
本文评估了大型语言模型在数据集上回答问题的能力,通过两种场景测试其性能,并探讨不同提示策略的影响。
2026-05-11 cs.AI cs.CL
PerkwE_COQA: Enhanced Persian Conversational Question Answering by combining contextual keyword extraction with Large Language Models
Isfahan University of Technology(伊斯法罕理工大学)
针对大语言模型在波斯语会话式问答中难捕捉语境细节的问题,提出结合上下文关键词提取与大语言模型的PerkwE_COQA方法,性能较现有方法和纯大语言模型基线最高提升8%。
2024-04-15 cs.AI cs.CL
Beyond Questions: Evaluating the Stated Knowledge of LLMs
ScaDS.AI Dresden/Leipzig & TU Dresden, Germany(ScaDS.AI 德尔布兰德/莱比锡及德累斯顿技术大学,德国)
提出开放知识评估新范式,通过开放式提示(如“告诉我关于M.L. King的一切”)评估模型自然表达的知识,并构建BeQu基准测试10,000个实体。
2026-10-30 cs.AI cs.CL
Evaluating ChatGPT as a Question Answering System: A Comprehensive Analysis and Comparison with Existing Models
University of Isfahan(伊斯法罕大学)
该研究将ChatGPT作为问答系统,在多语言QA数据集上对比其与任务专用模型的性能,发现其问答效果弱于专用模型,上下文和提示工程可提升表现,且存在幻觉问题。
2023-12-11 cs.AI cs.CL
Revisiting NLI: Towards Cost-Effective and Human-Aligned Metrics for Evaluating LLMs in Question Answering
University of Illinois at Chicago(伊利诺伊大学香槟分校)
针对LLM问答评估中词汇指标缺失语义细微差别、“LLM作为评判者”成本高的问题,提出用词汇匹配标志增强现成NLI评分的轻量方案,其在长文本问答上准确率达89.9%(与GPT-4o相当)且参数少,还引入DIVER-QA基准测试人类对齐性,为指标研究提供开放资源。
2025-11-10 cs.AI cs.CL
Fine-tuning and aligning question answering models for complex information extraction tasks
Fraunhofer Institute for Industrial Engineering IAO(弗劳恩霍夫工业工程研究所IAO);University of Stuttgart(斯图加特大学)
本文提出整合并微调德语抽取式 QA 模型,以少量标注数据提升复杂业务文档信息抽取性能,并结合多种指标构建贴近人工评估的组合度量。
2023-09-26 cs.AI cs.CL
Improving Answer Extraction in Context-based Question Answering Systems Using LLMs
University of Science and Technology of China(中国科学技术大学)
针对现有问答系统在复杂或模糊查询下答案提取不准确的问题,提出基于微调预训练大语言模型的方法,在SQuAD1.1数据集上取得ROUGE-L 86.84%、BLEU 28.24%、BERTScore 95.38%的高性能。
2026-07-21 cs.AI cs.CL
AraSTEM: A Native Arabic Multiple Choice Question Benchmark for Evaluating LLMs Knowledge In STEM Subjects
American University of Beirut(贝鲁特美国大学)
本文提出AraSTEM阿拉伯语STEM多项选择基准,用于评估大语言模型在非英语科学知识上的表现,实验表明现有公开模型普遍表现不佳,凸显本地化语言模型的必要性。
2024-12-31 cs.AI cs.CL
Evaluating Consistencies in LLM responses through a Semantic Clustering of Question Answering
Dongguk University(东国大学)
本文提出一种基于语义聚类的LLM响应一致性评估方法,并在TruthfulQA数据集上比较RAG与Zero-shot-CoT对37类问答任务一致性的影响。
2024-10-20 cs.AI cs.CL
L3Cube-IndicQuest: A Benchmark Question Answering Dataset for Evaluating Knowledge of LLMs in Indic Context
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度马德拉斯理工学院);L3Cube Labs(L3Cube实验室)
针对现有缺乏评估大语言模型印度语言区域知识的专用基准的问题,研究提出了覆盖英语及19种印度语言、含200组问答对的L3Cube-IndicQuest金标准事实问答基准数据集,可用于两类评估并已公开。
2024-10-30 cs.CL cs.LG
IGT @ FinMMEval 2026 Task 2: Question-Type Prompting with Targeted Extraction for Multilingual Financial QA
Georgia Institute of Technology(佐治亚理工学院)
提出IGT系统,针对多语言金融问答,按题型区分结构化数值抽取与综合新闻选择,开发集ROUGE-1达0.395,测试集排名第三。
2026-09-09 cs.AI cs.CL
Evaluating the Challenges of LLMs in Real-world Medical Follow-up: A Comparative Study and An Optimized Framework
Zhejiang University(浙江大学);Zhejiang University School of Medicine Sir Run Run Shaw Hospital(浙江大学医学院附属邵逸夫医院)
本文提出了一种模块化框架,通过任务分解、语义聚类和流程管理提升医疗随访中LLM的对话稳定性和准确性,同时减少对话轮次和token消耗。
2025-12-22 cs.AI cs.CL
A Course Shared Task on Evaluating LLM Output for Clinical Questions
IBM Research Europe(IBM欧洲研究院);Technical University of Darmstadt(达姆施塔特工业大学)
本文介绍了一项在FoLT课程中组织的共享任务,旨在评估大语言模型对健康相关临床问题生成有害回答的输出,并报告任务设计及学生反馈,为NLP教学和课程作业设计提供参考。
2024-07-31 cs.CL
Evaluating Biases in Context-Dependent Health Questions
Johns Hopkins University(约翰斯·霍普金斯大学);Northeastern Illinois University(东北伊利诺伊大学)
本研究针对医疗领域大语言模型在上下文不足的健康问题中可能存在偏差的问题,构建了依赖年龄、性别、地理位置的性与生殖健康问题数据集,通过对比有无人口统计上下文的模型输出,发现模型存在偏向年轻成年女性用户的属性偏差。
2024-03-07 cs.CL
Oracle-Checker Scheme for Evaluating a Generative Large Language Model
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文提出oracle-checker方案,通过性质测试型和程序检查型两类checker评估生成式大语言模型的答案,并在实体抽取与释义判定任务中验证其应用。
2024-05-06 cs.CL
Question-Answer Extraction from Scientific Articles Using Knowledge Graphs and Large Language Models
Elsevier(埃塞伊弗)
本文研究从科学文章中自动提取问答对,提出基于大语言模型的文章内方法和基于知识图谱的文献对比方法,并通过领域专家评估证明知识图谱方法能更有效捕捉文章主要思想。
2025-07-18 cs.CL cs.IR cs.LG
Compound-QA: A Benchmark for Evaluating LLMs on Compound Questions
Shanghai University of Finance and Economics(上海财经大学);University of Edinburgh(爱丁堡大学);Southern University of Science and Technology(南方科技大学);Fudan University(复旦大学)
Compound-QA基准通过评估LLM在复合问题上的表现,揭示其在理解和推理方面的不足,并提出改进策略。
2026-09-22 cs.CL
Syn-QA2: Evaluating False Assumptions in Long-tail Questions with Synthetic QA Datasets
Boston University(波士顿大学)
本文提出Syn-QA2合成问答数据集,用于评估长尾问题中的错误假设,发现检测任务比生成式问答更难,且长尾问题更具挑战性。
2024-03-18 cs.CL
Dr.Academy: A Benchmark for Evaluating Questioning Capability in Education for Large Language Models
Fudan University(复旦大学);University of Michigan(密歇根大学);Beijing Institute of Technology(北京理工大学)
该基准通过Anderson和Krathwohl分类法评估LLMs的教育提问能力,发现GPT-4在通用、人文和科学课程中表现优异,Claude2擅长跨学科教学,且自动评分与人类评价一致。
2024-08-20 cs.AI cs.CL cs.CY
Evaluating Personality Traits in Large Language Models: Insights from Psychological Questionnaires
School of Physics, Mathematics and Computing(物理、数学与计算学院);University of Western Australia(西澳大学);School of Computing(计算机学院);School of Psychological Sciences(心理科学学院)
本文利用大五人格等心理问卷评估大语言模型的人格特质,发现不同模型乃至同一家族内模型均表现出独特的主导特质和人格画像。
2025-02-07 cs.AI cs.CL cs.MA
Automated CVE Analysis: Harnessing Machine Learning In Designing Question-Answering Models For Cybersecurity Information Extraction
Colorado State University(科罗拉多州立大学)
本文针对网络安全非结构化文本信息抽取的挑战,构建了特定领域的问答数据集并训练了机器学习模型,为自动化构建网络安全知识图谱提供了关键支撑。
2024-12-21 cs.CL cs.CR cs.LG
Diagnosing the Fact-Grounding Gap in Multi-Hop Question Answering
Northwestern University(西北大学)
本研究诊断多跳问答中的事实锚定差距,发现失败分为检索失败和提取失败,后者占近半缺陷且无法通过检索改进解决,需不同解决方案。
2026-09-16 cs.AI cs.CL cs.IR
From Conceptual EneMonIE to an Executable Backend: A Modular Architecture for Energy Information Extractionand Grounded Question Answering
该研究将概念性EneMonIE重新设计为模块化可执行后端,分离五类关注点,实现多源数据处理与三条问答路径,经验证为多语言能源语料库评估提供可复现架构基础。
2026-10-14 cs.AI cs.CL cs.IR
Evaluating Search Engines and Large Language Models for Answering Health Questions
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)(智能技术研究中心(CiTIUS));Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本研究比较了搜索引擎、大型语言模型及RAG变体在回答150个健康问题上的表现,发现LLMs准确率更高,RAG方法能显著提升较小LLMs的准确率。
2025-03-06 cs.AI cs.IR
EVA-Score: Evaluating Abstractive Long-form Summarization on Informativeness through Extraction and Validation
Shanghai Jiao Tong University(上海交通大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Shanghai AI Lab(上海人工智能实验室)
本文提出EVA-Score,通过提取和验证评估抽象长形式摘要的信息性,发现其与人类评价的关联性最高,揭示了LLM在长形式摘要任务中的不足。
2026-01-29 cs.CL
A Tri-Agent Framework for Evaluating and Aligning Question Clarification Capabilities of Large Language Models
Amazon(亚马逊公司)
本文提出三智能体框架,用于评估大语言模型的问题澄清能力,通过三个不同LLM智能体及多维度指标开展评估,为提升对话式LLM应用的澄清能力提供了结构化方法。
2026-09-03 cs.CL
Interpretable Multi-Step Reasoning with Knowledge Extraction on Complex Healthcare Question Answering
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊)
医疗保健问答辅助服务是为客户提供医疗保健信息的服务,广泛存在于Web和移动互联网中。这些问题通常需要有熟练的医疗保健背景知识以及对知识的推理能力的帮助。最近提出了一个涉及复杂医疗推理的挑战,HeadQA数据集,它包含了公共医疗专业化考试授权的多项选择题。与大多数其他QA任务不同,HeadQA任务专注于语言理解,需要更深入的推理,不仅涉及知识提取,还涉及医疗知识的复杂推理。这些问题对于当前的QA系统来说是最具挑战性的,并且最先进的方法的当前性能略好于随机猜测。为了解决这个具有挑战性的任务,我们提出了一个多步推理与知识提取框架(MurKe)。该框架首先从大型语料库中提取医疗保健知识作为支持文档。为了找到推理链并选择正确的答案,MurKe在选择支持文档,使用支持文档重新制定查询表示以及使用蕴涵模型为每个选择获得蕴涵得分之间进行迭代。重新表述模块利用选定的文件寻找缺失的证据,从而保持可解释性。此外,我们正在努力充分利用现成的预训练模型。由于可训练权重较小,预训练模型可以轻松适应训练样本有限的医疗保健任务。从实验结果和消融研究来看,我们的系统能够在HeadQA数据集上超越几个强基线。
2020-08-06 cs.AI cs.IR