Automatic Answerability Evaluation for Question Generation
Tokyo Institute of Technology(东京工业大学)
本文提出PMAN指标,通过评估生成问题能否由参考答案回答来弥补BLEU等传统指标在QG任务中的不足,实验证明其可靠且与人类评估一致,并基于GPT实现达到最先进性能。
2024-02-26 cs.CL
Detecting (Un)answerability in Large Language Models with Linear Directions
Blavatnik School of Computer Science and AI, Tel Aviv University(巴尔-艾赫大学计算机科学与人工智能学院)
本文提出通过在大语言模型激活空间中识别线性方向来检测不可回答问题,实验表明该方法在抽取式问答基准上优于现有方法,并能通过因果干预控制模型弃权行为。
2025-09-26 cs.CL
Assessing the Answerability of Queries in Retrieval-Augmented Code Generation
Nota Inc.(Nota公司)
本文提出RaCG中查询可回答性评估任务,并构建RaCGEval基准,实验显示基线模型性能仅46.7%,同时探讨了可显著提升性能的方法。
2024-11-25 cs.CL
Language Use Matters: Analysis of the Linguistic Structure of Question Texts Can Characterize Answerability in Quora
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
Quora是近年来最受欢迎的社区Q&A网站之一。然而,这个Q&A网站上的许多问题帖子往往得不到回答。在本文中,我们量化了各种语言活动,区分一个回答的问题从一个未回答的。我们的中心发现是,用户使用语言的方式,而写的问题文本可以是一个非常有效的手段来表征可回答性。这种表征有助于我们早期预测在特定时间段t内未回答的问题最终是否会得到回答,并实现76.26%(t = 1个月)和68.33%(t = 3个月)的准确率。值得注意的是,代表用户的语言使用模式的功能是最具歧视性的,仅占74.18%的准确率。我们还比较了我们的方法与一些类似的作品(Dror等人,Yang等人)在准确度方面实现了~39%的最大改进。
2017-03-11 cs.CL cs.SI
Investigating Answerability of LLMs for Long-Form Question Answering
Salesforce Research(赛富时研究院)
本文提出基于抽象摘要的问题生成方法,通过长篇问答任务揭示ChatGPT与开源LLMs间的性能差距,发现开源模型在摘要生成问题上能力显著下降,尤其面对长上下文时。
2023-09-15 cs.CL
Answerability in Retrieval-Augmented Open-Domain Question Answering
University of Tartu(塔尔图大学);University of Edinburgh(爱丁堡大学);University of Copenhagen(哥本哈根大学)
针对ODQA检索中高语义重叠的不相关文本识别难题,本文利用SQuAD 2.0不可回答配对训练模型,将准确率从随机配对策略的1%提升至约100%。
2024-03-03 cs.CL
Benchmarks for Pirá 2.0, a Reading Comprehension Dataset about the Ocean, the Brazilian Coast, and Climate Change
Universidade de São Paulo(圣保罗大学);Instituto de Estudos Avançados(高等研究院);Escola Politécnica(理工学院);Instituto de Matemática e Estatística(数学与统计研究所);Escola de Artes, Ciências e Humanidades(艺术、科学与人文学院)
本文为Pirá海洋与气候变化阅读理解数据集定义了六个基准任务,并发布了修复和扩展后的Pirá 2.0版本,为机器学习模型在科学问答上的评估提供了参考。
2023-09-19 cs.AI cs.CL
PReGAN: Answer Oriented Passage Ranking with Weakly Supervised GAN
Thomson Reuters Labs(汤森路透实验室);University of Montreal(蒙特利尔大学);Huawei Poisson Lab.(华为泊松实验室);Tshinghua Univeristy(清华大学)
除了主题相关性之外,开放域类事实问答的段落排名还需要段落包含答案(可回答性)。虽然最近的一些研究已经将一些阅读能力纳入到排名器中以说明可回答性,但排名器仍然受到该领域通常可用的训练数据的噪声性质的阻碍,其将包含答案实体的任何段落视为阳性样本。然而,文章中的答案实体不一定与给定的问题相关。为了解决这个问题,我们提出了一种称为\ttt{PReGAN}的方法,用于基于生成对抗神经网络的通道重新排序,该方法除了包含主题相关性外,还包含了一个可回答性。我们的目标是迫使生成器将与主题相关并包含答案的段落排名更高。在5个公开数据集上的实验表明,\ttt{PReGAN}能够更好地对合适的段落进行排序,从而提高了问答系统的有效性,并且在不使用外部数据的情况下优于现有方法。
2022-07-05 cs.AI cs.CL cs.IR
Can Video LLMs Refuse to Answer? Alignment for Answerability in Video Large Language Models
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
针对视频大语言模型无法拒绝超出视频内容范围的问题,本文提出面向可回答性的对齐框架及配套评估指标和数据集构建流程,使模型能够判断问题相关性并适当拒绝回答。
2025-07-07 cs.CL cs.CV
Ask To The Point: Open-Domain Entity-Centric Question Generation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了以实体为中心的问答生成(ECQG)任务,并构建了基于PLM的框架GenCONE,通过内容聚焦和问题验证两个模块生成高质量问题,显著优于基线方法。
2023-10-21 cs.AI cs.CL
WildTrace: Benchmarking Natural Evidence Trails in Long-Context Reasoning
Hong Kong University of Science and Technology(香港科技大学);Qwen Team, Alibaba Group(阿里集团通义团队)
该研究针对长文档复杂问题回答中源内证据整合的缺失,引入WILDTRACE基准,利用因果层次等定义证据几何结构,通过源优先管道挖掘线索并验证,为长文本研究应对信息与推理差距提供基准。
2026-07-24 cs.AI cs.CL
SCARE: A Benchmark for SQL Correction and Question Answerability Classification for Reliable EHR Question Answering
Korea Advanced Institute of Science & Technology(韩国科学技术院)
SCARE是一个用于评估SQL校正和问题可回答性分类的基准,旨在提升EHR问答系统的安全性与可靠性。
2025-12-21 cs.CL cs.DB
Challenges in Information-Seeking QA: Unanswerable Questions and Paragraph Retrieval
University of Washington(华盛顿大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google AI(谷歌人工智能部门)
最近的预训练语言模型“解决”了许多阅读理解基准,其中问题是通过访问证据文档来编写的。然而,包含信息寻求查询的数据集,其中在独立编写查询之后提供证据文件,仍然具有挑战性。我们分析了为什么回答信息查询更具挑战性,以及他们普遍无法回答的地方,自然问题和TyDi QA。我们的对照实验表明两个净空-段落选择和回答能力预测,即配对的证据文档是否包含查询的答案。当提供一个黄金段落并知道何时放弃回答时,现有模型很容易胜过人类注释者。然而,预测可回答性本身仍然具有挑战性。我们手动注释了六种语言中的800个无法回答的例子,说明是什么让它们难以回答。有了这些新数据,我们进行了每个类别的可回答性预测,揭示了当前数据集收集和任务制定中的问题。总之,我们的研究指出了未来研究信息寻求问答的途径,无论是数据集的创建和模型的开发。
2021-06-04 cs.CL
Towards a Better Metric for Evaluating Question Generation Systems
IIT Madras(印度理工学院马德拉斯分校);Robert Bosch Center for Data Science and Artificial Intelligence, IIT Madras(印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心)
对于使用基于$n$ -gram的相似性度量(诸如BLEU、NIST等)来评估NLG系统的性能,一直存在批评。然而,这些指标仍然很受欢迎,最近被用于评估系统的性能,自动生成的问题,从文件,知识图谱,图像等的自动问题生成(AQG)系统的兴趣不断上升,重要的是要客观地检查这些指标是否适合这项任务。特别是,重要的是要验证是否用于评估AQG系统的这些指标侧重于生成的问题的可回答性,更喜欢的问题,其中包含所有相关的信息,如问题类型(WH-类型),实体,关系等,在这项工作中,我们表明,目前的自动评估指标的基础上$n$ -克相似性并不总是与人类判断的问题的可回答性。为了缓解这个问题,并作为第一步更好的评估指标AQG,我们引入了一个评分功能,以捕捉答案,并表明,当这个评分功能与现有的指标相结合,它们与人类的判断显着更好地相关。作为这项工作的一部分开发的脚本和数据在https://github.com/PrekshaNema25/Answerability-Metric上公开提供
2018-08-31 cs.CL
From Knowing to Abstaining: Bridging the Representation-Action Gap in Vision-Language Models
针对视觉语言模型弃权能力评估不足的问题,提出VAD-R基准和Rep2Act方法,通过表示到行动的校准提升自发弃权,在多个模型上显著提高准确率。
2026-09-29 cs.CL cs.CV
TraceSQL: Traceable Answerability Estimation for Reference-Free Text-to-SQL Verification
Oracle Corporation(甲骨文公司)
针对无参考文本到SQL验证的可追踪性不足问题,提出基于67种诊断特征的轻量模型TraceSQL,在BIRD数据集上优于基线模型,可提供可追溯的预测证据。
2026-08-25 cs.CL
RetinaQA: A Robust Knowledge Base Question Answering Model for both Answerable and Unanswerable Questions
Indian Institute of Technology Delhi(印度德里理工学院);TCS Research(塔塔咨询服务公司研究院)
提出RetinaQA模型,通过判别候选逻辑形式与草图填充构建,统一处理可回答与不可回答的KBQA问题,显著提升性能并创下新纪录。
2024-11-02 cs.CL
Ground Truth First: A Longitudinal Evaluation Instrument for Agent Memory, and the Tenure Crossover in Memory-Architecture Rankings
研究大型语言模型智能体记忆基准问题,提出颠倒流程的评估方法,通过合成虚构语料库嵌入新特征,对五种记忆架构基准测试,发现排名随历史长度反转,分层架构表现最佳,发布开源库Veracium。
2026-07-27 cs.CL
Answer Span Correction in Machine Reading Comprehension
IBM Research AI(IBM研究院AI)
机器阅读理解(MRC)中的答案验证包括根据输入上下文和问题对提取的答案进行验证。以前的工作着眼于重新评估问题的“可回答性”,给出了提取的答案。在这里,我们解决一个不同的问题:现有的MRC系统的倾向,以产生部分正确的答案时,提出了可回答的问题。我们探讨了这种错误的性质,并提出了一种后处理校正方法,产生统计上显着的性能改进,在单语和多语言评估的最先进的MRC系统。
2020-11-06 cs.AI cs.CL cs.LG
Towards Confident Machine Reading Comprehension
AWS AI Labs(亚马逊云科技人工智能实验室);IBM Research AI(IBM人工智能研究院)
在阅读理解(RC)任务的学术基准方面已经取得了相当大的进展,最先进的模型缩小了与人类在提取问答方面的差距。SQuAD 2.0和NQ等数据集还引入了一个辅助任务,要求模型预测文本中何时没有答案。然而,在生产环境中,还需要在答案提取和“可回答性”检测时为底层RC模型的性能提供置信度估计。我们提出了一种新的预测后置信度估计模型,我们称之为Mr. C(自信先生的缩写),可以通过训练来提高系统避免做出错误预测的能力,通过曲线下面积(AUC)分数测量,该模型的改进高达4点。C先生可以从一个新的白盒功能中受益,该功能利用了底层RC模型的梯度。性能预测在域转移的情况下尤其重要(通过在SQUAD 2.0上训练RC模型并在NQ上进行评估来衡量),其中Mr. C不仅改善了AUC,而且还改善了传统的可回答性预测(通过F1中的5点改善来衡量)。
2021-02-24 cs.CL
Can LLMs Ask Good Questions?
University of California Berkeley(加州大学伯克利分校);KACST(王国立科学与技术委员会);University of Washington(华盛顿大学)
本研究从六个维度比较了LLM与人类生成的问题,发现LLM问题更均匀覆盖上下文且要求更长答案,为问题质量研究提供参考。
2025-06-17 cs.AI cs.CL
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答(QA)是语音助理的重要用例。一种流行的问答方法是提取阅读理解(RC),它在文本段落中找到答案跨度。然而,提取的答案在会话上下文中通常是不自然的,这导致次优的用户体验。在这项工作中,我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型,它将多个段落的答案生成与段落排名和可回答性相结合。此外,在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结,以评估真实性。实验结果表明,与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比,EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
Auto FAQ Generation
California Polytechnic State University(加州州立理工大学)
提出自动从大型文本中生成FAQ的系统,结合摘要、TextRank排序和问题生成,并用启发式过滤,人工评估显示71%的问题有意义。
2024-05-13 cs.AI cs.CL
Multi-Type Conversational Question-Answer Generation with Closed-ended and Unanswerable Questions
POSTECH(浦项科技大学)
会话式问答(CQA)有助于对给定上下文的增量和交互式理解,但由于数据稀缺的问题,构建CQA系统对于许多领域来说是困难的。在本文中,我们介绍了一种新的方法来合成数据的CQA与各种问题类型,包括开放式,封闭式和无法回答的问题。我们为每种问题类型设计了不同的生成流程,并将它们有效地结合在一个单一的共享框架中。此外,我们设计了一个分层的可回答性分类(分层AC)模块,提高质量的合成数据,同时获得无法回答的问题。人工检查表明,用我们的框架生成的合成数据具有与人类生成的对话非常相似的特征。在四个领域中,在我们的合成数据上训练的CQA系统确实显示出与在人类注释数据上训练的系统接近的良好性能。
2022-10-24 cs.CL
Contextual Candor: Enhancing LLM Trustworthiness Through Hierarchical Unanswerability Detection
EDP University of Puerto Rico: San Sebastian(EDP巴尔的摩大学:圣塞巴斯蒂安)
本文提出强化不可回答性学习(RUL)框架,通过分层标签数据集ECA与RLHF训练,使大语言模型能准确检测不可回答问题并生成恰当拒绝回复,从而提升对话AI的可信度与有用性。
2025-06-01 cs.CL
Read + Verify: Machine Reading Comprehension with Unanswerable Questions
National University of Defense Technology(国防科技大学);Microsoft Research Asia(微软亚洲研究院)
具有不可回答问题的机器阅读理解旨在当无法推断答案时避免回答。除了提取答案,以前的作品通常预测一个额外的“无答案”的概率来检测无法回答的情况。然而,他们无法通过验证预测答案的合法性来验证问题的可回答性。为了解决这个问题,我们提出了一种新的读取然后验证系统,它不仅利用神经阅读器来提取候选答案并产生无答案概率,而且还利用答案验证器来决定预测的答案是否包含输入片段。此外,我们引入了两个辅助损失,以帮助读者更好地处理答案提取以及无答案检测,并调查三种不同的架构的答案验证。我们在SQuAD 2.0数据集上的实验表明,我们的系统在测试集上获得了74.2 F1的分数,在提交时(2018年8月28日)达到了最先进的结果。
2018-11-15 cs.CL
Hallucination-Free Automatic Question & Answer Generation for Intuitive Learning
Stellar Learning Technologies(Stellar学习技术公司);Northwestern University(西北大学)
本文提出无幻觉的多代理生成框架,通过结构化协作减少教育内容中的幻觉,提升问答生成的准确性与教育价值。
2026-01-13 cs.AI cs.CL
FairytaleQA Translated: Enabling Educational Question and Answer Generation in Less-Resourced Languages
Artificial Intelligence and Computer Science Laboratory (LIACC) Faculty of Engineering of the University of Porto (FEUP)(人工智能与计算机科学实验室(LIACC)工程学院(FEUP))
本文将 FairytaleQA 机器翻译为低资源语言版本,并基于微调中等模型建立 QG 与 QA 基准,结合问答对生成案例和多维质量评估推动相关研究。
2024-06-24 cs.AI cs.CL
Iterative Repair with Weak Verifiers for Few-shot Transfer in KBQA with Unanswerability
Indian Institute of Technology, Delhi(印度理工学院德里分校);Graviton Research Capital(引力资本);KnowDis AI
该研究提出含不可答问题的KBQA少样本迁移新任务与两个评估数据集,提出结合强弱验证器反馈迭代修复的FUn-FuSIC方法,在该任务及可答类少样本迁移任务上均达到最优性能。
2025-07-31 cs.AI cs.CL
Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models
Anhui University(安徽大学)
提出一种污染感知多区域基准,通过冻结构建时标签测量从可回答知识到应弃权未知的转变,评估模型在回答与弃权间的可靠性。
2026-08-24 cs.AI cs.CL
A Dataset and Baselines for Visual Question Answering on Art
Osaka University(大阪大学);Carnegie Mellon University(卡内基梅隆大学);CyberAgent, Inc.(CyberAgent 公司)
与艺术作品(绘画)相关的问答是一项艰巨的任务,因为它不仅意味着对图片中显示的视觉信息的理解,而且还意味着对通过研究艺术史获得的背景知识的理解。在这项工作中,我们介绍了我们首次尝试构建一个新的数据集,即AQUA(艺术问答)。问答(QA)对是使用基于现有艺术理解数据集中提供的绘画和评论的最先进的问题生成方法自动生成的。QA对由众包工作人员根据语法正确性、可回答性和答案的正确性进行清理。我们的数据集本质上由视觉(基于绘画)和知识(基于评论)问题组成。我们还提出了一个两个分支的模型作为基线,视觉和知识的问题是独立处理的。我们广泛比较我们的基线模型对国家的最先进的问答模型,我们提供了一个全面的研究视觉问答艺术的挑战和潜在的未来方向。
2020-08-28 cs.CL cs.CV
Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models
Appier AI Research(Appier人工智能研究院);National Taiwan University(国立台湾大学)
本研究针对语言模型智能体的风险感知决策问题,构建可变风险结构的评估框架,发现其高风险过度作答、低风险过度暂缓的缺陷,提出技能分解方法有效改善决策策略,为不同风险场景部署可靠LM智能体提供指导。
2025-09-30 cs.AI cs.CL
Evaluating the Knowledge Dependency of Questions
Riiid AI Research(Riiid人工智能研究院);NAVER AI Lab(NAVER人工智能实验室);UC Berkeley(加州大学伯克利分校)
针对现有MCQ生成评估指标忽略教育价值的问题,提出知识依赖可答性(KDA)指标及两种自动近似指标,验证了其与人工KDA、课堂可用性的强相关性及结合传统指标后的质量预测能力。
2022-11-21 cs.CL
Less Is More: Linear Layers on CLIP Features as Powerful VizWiz Model
University of the Bundeswehr Munich(慕尼黑联邦国防军大学);Institute for Distributed Intelligent Systems (VIS)(分布式智能系统研究所(VIS))
用于多模态任务(诸如视觉问答)的当前架构遭受其高复杂性。结果,这些架构难以训练并且需要高计算资源。为了解决这些问题,我们提出了一个基于CLIP的架构,不需要任何微调的特征提取器。一个简单的线性分类器被用于图像和文本编码器的级联特征。在训练过程中,增加了一个辅助损失,它对答案类型进行操作。然后将得到的分类用作答案类别选择的注意力门。在VizWiz 2022视觉问答挑战赛中,我们在任务1:预测视觉问题的答案上实现了60.15%的准确率,在任务2:预测视觉问题的可回答性上实现了83.78%的AP得分。
2022-06-10 cs.CL cs.CV cs.LG
Investigating Information Inconsistency in Multilingual Open-Domain Question Answering
University of Maryland, College Park(马里兰大学帕克分校)
基于检索的开放域QA系统使用检索到的文档和对检索到的文档的答案跨度选择来找到最佳答案候选者。我们假设,多语言问答(QA)系统很容易出现信息不一致,当涉及到不同语言编写的文件,因为这些文件往往提供一个模型与不同的信息相同的主题。为了理解信息的可获得性偏差和文化影响的影响,我们分析了多语言开放域问答模型的行为,重点是检索偏差。我们分析如果不同的检索模型呈现不同的段落给定相同的问题在不同的语言上的TyDi QA和XOR-TyDi QA,两个多语言QA数据集。我们推测,跨语言文档的内容差异可能反映了文化差异和/或社会偏见。
2022-05-25 cs.AI cs.CL cs.IR
Where is the answer? Investigating Positional Bias in Language Model Knowledge Extraction
OMRON SINIC X(欧姆龙SINIC X);Google Research(谷歌研究院);Google Cloud AI Research(谷歌云人工智能研究院)
针对大型语言模型微调后存在的“困惑度诅咒”问题,研究发现其知识提取存在位置偏差,即易提取文档首句信息、难提取中间或结尾信息,通过发布相关数据集及验证去噪自回归损失等正则化方法的改善作用,为改进知识提取及讨论RAG与微调权衡提供新依据。
2025-04-18 cs.AI cs.CL
Selectively Answering Visual Questions
Google DeepMind(谷歌DeepMind);Universidad Nacional de Córdoba(科尔多瓦国立大学);CONICET(阿根廷国家科学技术研究委员会)
本文首次深入分析了上下文学习LMMs在VQA中的校准方法,发现视觉基础模型的似然分数校准优于纯文本模型,采样方法通常更优但无绝对赢家,并提出了结合两者优势的Avg BLEU校准分数。
2024-06-03 cs.CL cs.CV
Investigating Post-pretraining Representation Alignment for Cross-Lingual Question Answering
George Mason University(乔治梅森大学)
人类的知识集中编码在世界各地使用的大约6500种语言中,但它并没有在语言之间均匀分布。因此,信息搜索问答(QA)系统,以充分服务于所有语言的发言者,他们需要跨语言操作。在这项工作中,我们研究了多语言预训练的语言模型的跨语言QA的能力。我们发现,显式地调整跨语言的表示与事后微调步骤通常会提高性能。我们还研究了数据大小的影响以及在这个微调步骤中的语言选择,还发布了一个数据集,用于评估跨语言QA系统。代码和数据集可在此处公开获取:https://github.com/ffaisal93/aligned_qa
2021-09-24 cs.CL
Can LLMs Correct Physicians, Yet? Investigating Effective Interaction Methods in the Medical Domain
University of Trento(特伦托大学);University of Edinburgh(爱丁堡大学)
本文研究LLM在医疗决策中辅助并纠正医生的潜力,通过评估Meditron、Llama2和Mistral在不同提示和交互场景下的表现,发现提示设计显著影响准确率,且LLM能有效质疑错误诊断并提升决策准确性。
2024-05-06 cs.AI cs.CL
Less is More: Rejecting Unreliable Reviews for Product Question Answering
RMIT University(皇家墨尔本理工大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);The University of Melbourne(墨尔本大学)
快速准确地回答关于产品的问题对于电子商务应用非常重要。手动回答产品问题(例如,在社区问答平台上)会导致响应缓慢且无法扩展。最近的研究表明,产品评论是实时、自动产品问答(PQA)的良好来源。在文献中,PQA被表述为检索问题,其目标是搜索最相关的评论来回答给定的产品问题。在本文中,我们专注于PQA使用评论的可回答性和答案的可靠性问题。我们的调查是基于这样一种直觉,即许多问题可能无法用有限的评论来回答。当一个问题无法回答时,系统应该返回空答案,而不是提供一个不相关的评论列表,这可能对用户体验产生重大的负面影响。此外,对于可回答的问题,只有回答问题的最相关的评论才应该包含在结果中。我们提出了一个共形预测为基础的框架,以提高PQA系统的可靠性,我们拒绝不可靠的答案,使返回的结果更简洁,更准确地回答产品的问题,包括返回零答案无法回答的问题。在广泛使用的Amazon数据集上的实验显示了我们所提出的框架的令人鼓舞的结果。更广泛地说,我们的研究结果表明,一个新的和有效的应用保形方法的检索任务。
2020-07-09 cs.CL cs.IR cs.LG
Inferential Question Answering
University of Innsbruck(因斯布鲁克大学);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);The University of Queensland(昆士兰大学)
本文提出推断性QA任务,通过构建QUIT数据集,发现传统QA方法在推断任务中表现不佳,揭示当前QA流程难以处理基于推断的推理。
2026-02-01 cs.CL cs.IR
Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark
University of Turin(都灵大学)
该研究构建了意大利谚语基准ProverbIT,评估13个前沿LLMs的谚语处理能力,发现LLMs虽能完成谚语任务,但在无正确答案的选择题中性能骤降,暴露其依赖记忆而非深层语义理解的局限。
2026-08-06 cs.AI cs.CL
MCR-Net: A Multi-Step Co-Interactive Relation Network for Unanswerable Questions on Machine Reading Comprehension
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
问答系统通常使用关键字搜索来检索与问题相关的潜在段落,然后使用机器阅读理解方法从段落中提取答案。然而,在现实世界中,许多问题往往是无法回答的。在这种情况下,模型如何确定文章不支持答案并避免回答是重要且具有挑战性的。现有的系统大多设计了一个简单的分类器来隐式地确定可回答性,而没有显式地建模问题和段落之间的相互作用和关系,导致确定不可回答问题的性能较差。为了解决这个问题,我们提出了一个多步骤的协同交互关系网络(MCR-Net),明确地建模的相互作用,并通过引入一个协同交互关系模块定位从粗到细的关键线索。协同交互关系模块包含交互和融合块的堆栈,以显式方式连续集成和融合历史引导和当前查询引导的线索。在SQuAD 2.0和DuReader数据集上的实验表明,我们的模型取得了显着的改善,优于文献中的BERT风格的基线。可视化分析也验证了问题与篇章互动的重要性。
2021-05-24 cs.CL
Investigating LLM Capabilities on Long Context Comprehension for Clinical Question Answering
Istanbul Aydın University(伊斯坦布尔阿迪兰大学);Queen Mary University of London(伦敦女王学院);The Alan Turing Institute(艾伦·图灵研究所)
本研究探讨大语言模型在医疗问答中处理长上下文任务的能力,分析了模型大小、记忆问题及RAG方法的效果,揭示了其在不同任务中的优势与限制。
2026-11-16 cs.CL
Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
本研究提出基于项目反应理论的CAIMIRA框架,通过分析超30万份人机问答回答,揭示二者在不同推理类型上的能力差异,为未来QA任务设计与AI发展提供方向。
2024-10-09 cs.AI cs.CL cs.LG
Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering
Stanford University(斯坦福大学)
主动学习有望缓解监督机器学习的海量数据需求:它成功地将主题分类和对象识别等传统任务的样本效率提高了一个数量级。然而,我们发现了与这一承诺形成鲜明对比的是:在视觉问答任务的5个模型和4个数据集上,各种各样的主动学习方法都未能优于随机选择。为了理解这种差异,我们在每个示例的基础上描述了8种主动学习方法,并将问题识别为集体离群值-主动学习方法更喜欢获取但模型无法学习的示例组(例如,询问图像中的文本或需要外部知识的问题)。通过系统的消融实验和定性可视化,我们验证了集体离群值是一种普遍现象,负责退化池为基础的主动学习。值得注意的是,我们表明,主动学习样本效率显着增加集体离群值的数量在主动学习池减少。最后,我们的讨论和规范性的建议,以减轻这些离群值在未来的工作的影响。
2021-07-06 cs.AI cs.CL cs.CV
Interpretable Traces, Unexpected Outcomes: Investigating the Disconnect in Trace-Based Knowledge Distillation
School of Computing & AI, Arizona State University(计算与人工智能学院,亚利桑那州立大学)
本文通过规则问题分解设计实验,探讨基于轨迹的知识蒸馏中轨迹语义正确性与可解释性之间的断层,发现轨迹正确性并不能保证最终答案正确,且可解释的分解轨迹在准确性上不具优势。
2026-04-16 cs.AI cs.CL
Can LLMs Master Math? Investigating Large Language Models on Math Stack Exchange
FIZ Karlsruhe(弗劳恩霍夫 Karlsruhe 研究所);University of Göttingen(哥廷根大学);NII(信息学研究所(日本))
本文通过基准测试与人工案例分析评估LLMs在Math Stack Exchange数学问答上的表现,发现GPT-4虽优于现有方法但仍存在准确性与一致性的局限。
2024-03-30 cs.AI cs.CL cs.IR
Do LLMs Know When to NOT Answer? Investigating Abstention Abilities of Large Language Models
ServiceNow
本文提出黑盒评估方法与新数据集Abstain-QA,引入可回答-不可回答混淆矩阵,探究三种提示策略对LLM弃权能力的影响,发现GPT-4等模型弃权困难但严格提示和CoT可提升该能力。
2024-09-24 cs.CL
An Enigma of Artificial Reason: Investigating the Production-Evaluation Gap in Large Reasoning Models
NUS Department of Computer Science(国立新加坡大学计算机科学系);MIT EECS(麻省理工学院电子工程与计算机科学系);A*STAR(新加坡科技研究局);Singapore-MIT Alliance for Research and Technology (SMART)(新加坡-麻省理工联合研究技术机构(SMART))
本文通过VAIR数据集发现大型推理模型在评估推理时存在显著缺陷,表现为答案确认偏差,即模型倾向于验证答案正确性而非仔细检查推理步骤。
2026-11-10 cs.AI cs.CL cs.LG
When History Helps and Hurts: Selective History Use across Multimodal Turns
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));AgiBot;Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
该研究针对多模态交互中历史使用评估的空白,构建了含7000个任务的ReTurn基准,评估13类模型的选择性历史使用能力,发现其准确率下降且监督适应增益有限。
2026-10-12 cs.CL
Investigating the use of Paraphrase Generation for Question Reformulation in the FRANK QA system
University of Edinburgh(爱丁堡大学)
我们提出了一个研究的释义生成方法的能力,以增加各种自然语言的问题,弗兰克问答系统可以回答。我们首先使用自动度量和人工判断在LC-QuAD 2.0数据集上评估释义生成方法,并讨论它们的相关性。数据集上的错误分析也使用自动和手动的方法进行,我们讨论了如何释义生成和评价的数据点包含错误的影响。然后,我们使用一个小的挑战数据集,模拟执行最佳的释义生成方法(英语-法语回译)到FRANK,以测试我们原来的假设。我们的两个主要结论是,需要清理LC-QuAD 2.0,因为存在的错误会影响评估;并且,由于FRANK解析器的限制,释义生成不是一种我们可以依靠的方法来改进FRANK可以回答的各种自然语言问题。
2022-06-06 cs.CL
Technical Question Answering across Tasks and Domains
University of Notre Dame(圣母大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
建立自动化技术支持系统是一项重要而又富有挑战性的任务。从概念上讲,要回答技术论坛上的用户问题,人类专家必须首先检索相关文档,然后仔细阅读它们以识别答案片段。尽管研究者在一般领域的问答(QA)方面取得了巨大的成功,但对技术问答的研究却很少。具体地,现有方法遭受几个独特的挑战:(i)问题和答案很少实质上重叠,以及(ii)非常有限的数据大小。在本文中,我们提出了一种新的深度迁移学习框架,以有效地解决跨任务和领域的技术QA。为此,我们提出了一个可调的联合学习方法的文件检索和阅读理解任务。我们在TechQA上的实验表明,与最先进的方法相比,性能优越。
2021-05-18 cs.AI cs.CL
Unsupervised Evaluation for Question Answering with Transformers
University of Copenhagen(哥本哈根大学);Max-Planck-Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Aalborg University(奥尔堡大学)
在推理时自动评估QA模型的答案是具有挑战性的。虽然许多模型提供了置信度分数,并且简单的算法可以在很大程度上表明答案的正确性,但这些措施严重依赖于数据集,不太可能推广。在这项工作中,我们开始调查的问题,答案和上下文的隐藏表示在基于transformer的QA架构。我们观察到一个一致的模式的答案表示,我们可以用来自动评估是否预测的答案跨度是正确的。我们的方法不需要任何标记数据,并且在2个数据集和7个域上优于强启发式基线。我们能够预测模型的答案是否正确,SQuAD的准确率为91.37%,SubjQA的准确率为80.7%。我们希望这种方法将有广泛的应用,例如,在QA数据集的半自动开发中,
2020-10-07 cs.AI cs.CL