The Effect of Natural Distribution Shift on Question Answering Models
UC Berkeley（加州大学伯克利分校）
我们建立了四个新的测试集斯坦福问答数据集（SQuAD）和评估问答系统的能力，以推广到新的数据。我们的第一个测试集来自原始维基百科域，并测量现有系统过拟合原始测试集的程度。尽管几年来大量的测试集重复使用，我们没有发现自适应过拟合的证据。剩下的三个测试集是从《纽约时报》的文章、Reddit的帖子和亚马逊的产品评论中构建的，并测量了对自然分布偏移的鲁棒性。在广泛的模型中，我们观察到平均性能分别下降3.8，14.0和17.4 F1点。相比之下，强大的人类基线匹配或超过SQuAD模型在原始域上的性能，并且在新域中几乎没有下降。总之，我们的研究结果证实了令人惊讶的弹性的坚持方法，并强调需要走向评估指标，将鲁棒性自然分布偏移。
2020-04-29 cs.CL cs.LG stat.ML
EASE-TTT: Evidence-Aligned Selective Test-Time Training for Long-Context Question Answering
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）；Brion, ASML US LP；Florida State University（佛罗里达州立大学）
提出EASE-TTT框架，通过将检索到的证据块转化为软注意力监督目标，指导查询侧参数适应，从而在保留完整上下文的情况下提升小模型的长上下文问答性能。
2026-06-05 cs.AI cs.CL
CLIFT: Analysing Natural Distribution Shift on Question Answering Models in Clinical Domain
Saama AI Research（萨马人工智能研究院）
本文提出临床领域问答任务的新测试平台CLIFT，包含7.5k样本，评估发现深度学习模型在新测试集上因分布偏移性能下降，强调需提升模型鲁棒性并采用相应评估指标。
2023-10-19 cs.AI cs.CL cs.CY
Robust Question Answering against Distribution Shifts with Test-Time Adaptation: An Empirical Study
National University of Singapore（新加坡国立大学）；Soochow University（苏州大学）
当测试数据与训练数据相比具有分布偏移时，部署的问答（QA）模型可能容易失败。鲁棒性调整（RT）方法已被广泛研究，以提高模型部署前对分布偏移的鲁棒性。但是，我们可以在部署后改进模型吗？为了回答这个问题，我们评估测试时自适应（TTA），以改善部署后的模型。我们首先介绍COLDQA，这是一个统一的评估基准，用于针对文本损坏以及语言和域的更改进行强大的QA。然后，我们评估以前的TTA方法COLDQA和RT方法进行比较。我们还提出了一种新的TTA方法称为在线模仿学习（OIL）。通过大量的实验，我们发现TTA与RT方法相当，并且在RT之后应用TTA可以显着提高COLDQA的性能。我们提出的OIL改进了TTA，使其对超参数和测试分布随时间的变化更具鲁棒性。
2023-02-09 cs.CL
Predicting the Benefit of Retrieval Augmentation in Open-Domain Question Answering
Technion（技术学院）；Technology Innovation Institute (TII)（技术创新研究所）
本文研究了RAG在问答中的性能预测，提出了一种新的监督预测器，通过建模问题、检索段落和生成答案之间的语义关系，提升了预测效果。
2026-08-20 cs.CL cs.IR
How Relevant is Selective Memory Population in Lifelong Language Learning?
KU Leuven（鲁汶大学）；Pontificia Universidad Católica de Chile（智利天主教大学）；University of Pisa（比萨大学）
终身语言学习的目标是让模型按照顺序连续学习多个任务，而不会遭受灾难性遗忘。最先进的方法依赖于稀疏经验重放作为防止遗忘的主要方法。经验重放通常采用记忆总体的抽样方法，然而，尚未研究所选择的抽样策略对模型性能的影响。在本文中，我们研究了选择性记忆人口在文本分类和问答任务的终身学习过程中的相关性。我们发现，从整个数据流中随机存储均匀数量的样本的方法会导致高性能，特别是对于低内存大小，这与计算机视觉研究一致。
2022-10-03 cs.AI cs.CL cs.LG
Toward Ethical AI Through Bayesian Uncertainty in Neural Question Answering
Dayforce
本文通过贝叶斯不确定性方法改进神经问答系统的可解释性和伦理性，对比拉普拉斯近似与MAP估计以提升不确定性校准能力。
2025-12-19 cs.CL
UETQuintet at BioCreative IX -- MedHopQA: Enhancing Biomedical QA with Selective Multi-hop Reasoning and Contextual Retrieval
VNU University of Engineering and Technology（越南工程大学）
本文提出MedHopQA模型，通过选择性多跳推理和上下文检索提升生物医学问答性能，在BioCreative IX共享任务中取得第二名成绩。
2026-01-11 cs.CL
MemSum-DQA: Adapting An Efficient Long Document Extractive Summarizer for Document Question Answering
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
MemSum-DQA利用MemSum抽取式摘要器，通过前缀问题与类型实现文档问答，精确匹配提升9%，擅长子关系理解。
2023-10-10 cs.CL
Question Answering for Privacy Policies: Combining Computational and Legal Perspectives
Carnegie Mellon University（卡内基梅隆大学）；Penn State University（宾夕法尼亚州立大学）；Fordham Law School（福特汉姆法学院）
隐私政策是冗长而复杂的文件，用户难以阅读和理解，但它们对如何收集、管理和使用用户数据具有法律效力。理想情况下，我们希望让用户能够了解对他们重要的问题，并使他们能够有选择地探索这些问题。我们目前的PrivacyQA，语料库包括1750个问题的隐私政策的移动应用程序，以及超过3500个专家注释的相关答案。我们观察到，一个强大的神经基线在PrivacyQA上的表现比人类差了近0.3 F1，这表明未来系统还有相当大的改进空间。此外，我们使用这个数据集来阐明问题可回答性的挑战，对任何问答系统都有普遍的影响。PrivacyQA语料库为问答提供了一个具有挑战性的语料库，具有真正的现实效用。
2019-11-03 cs.CL
SCoNE: Selective Context-aware Neuron Editing for Robust Retrieval-Augmented Generation
Hanyang University（汉阳大学）
SCoNE是一种无需训练的模型编辑方法，通过选择性增强特定FFN神经元提升RAG的检索噪声鲁棒性，在多问答基准和两种LLM主干上优于基线方法。
2026-09-22 cs.CL
Reliable Financial Named Entity Recognition Under Domain Shift: Confidence Estimation and Selective Prediction
Washington University in St. Louis（圣路易斯华盛顿大学）；Southern Methodist University（南卫理公会大学）
该研究针对领域偏移下的金融命名实体识别，评估BERT等模型的置信度信号，提出先检测严重分布偏移再应用置信度门控的分阶段部署策略，提升了预测可靠性。
2026-08-27 cs.CL
Exploring The Landscape of Distributional Robustness for Question Answering Models
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们进行了一个大型的实证评估，调查景观的分布鲁棒性问答。我们的调查涵盖了350多个模型和16个问答数据集，包括一组不同的架构、模型大小和适应方法（例如，微调、适配器调整、上下文学习等）。我们发现，在许多情况下，模型的变化并不影响鲁棒性和分布性能单独决定的分布性能。此外，我们的研究结果表明，i）zero-shot和上下文学习方法比完全微调模型对分布偏移更鲁棒; ii）Few-Shot提示微调模型比Few-Shot微调跨度预测模型表现出更好的鲁棒性; iii）参数有效和鲁棒性增强训练方法没有提供显着的鲁棒性改进。此外，我们公开发布所有评估，以鼓励研究人员进一步分析问答模型的鲁棒性趋势。
2022-10-22 cs.CL cs.LG
Generative Data Augmentation using LLMs improves Distributional Robustness in Question Answering
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）；Amazon GenAI（亚马逊生成式人工智能部门）
本研究探讨利用LLM生成数据增强问答数据集，以提升模型在自然分布偏移下的鲁棒性，通过两步生成上下文和问答对，实验验证了该方法在4个数据集上的有效性。
2024-02-09 cs.AI cs.CL
Propagate-Selector: Detecting Supporting Sentences for Question Answering via Graph Neural Networks
Seoul National University（首尔国立大学）；Adobe Research（奥多比研究院）
在这项研究中，我们提出了一种新的图神经网络称为传播选择器（PS），它传播信息的句子，以了解信息时，不能推断孤立地考虑句子。首先，我们设计了一个图结构，其中每个节点代表一个单独的句子，并根据文本结构选择性地连接一些节点对。然后，我们开发了一个迭代的注意聚集和跳过合并方法，其中一个节点与它的邻居节点进行交互，以积累必要的信息。为了评估所提出的方法的性能，我们用标准的HotpotQA数据集进行实验。实证结果表明，我们所提出的方法，它获得了最好的性能，相比广泛使用的答案选择模型，不考虑intermittential关系的优越性。
2020-02-16 cs.AI cs.CL cs.LG
When to Read Documents or QA History: On Unified and Selective Open-domain QA
LG AI Research（LG人工智能研究院）；SNU-LG AI Research Center（首尔国立大学-LG人工智能研究中心）；Seoul National University（首尔国立大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文针对开放域问答中文档与问答对语料互补却难以简单融合的问题，提出基于答案置信度校准来选择性选择知识来源的方法，并在 Natural Questions 和 TriviaQA 上验证其效果。
2023-06-07 cs.AI cs.CL
To Adapt or to Annotate: Challenges and Interventions for Domain Adaptation in Open-Domain Question Answering
University of California Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
开放领域问答（ODQA）的最新进展已经在标准维基百科风格的基准测试中证明了令人印象深刻的准确性。然而，目前尚不清楚这些模型的鲁棒性如何，以及它们在应用于完全不同领域的实际应用时的性能如何。虽然已经有一些工作调查ODQA模型在测试域外（OOD）泛化时的表现如何，但这些研究仅在数据分布的保守变化下进行，并且通常集中在单个组件（即，而不是端到端系统。作为回应，我们提出了一个更现实和更具挑战性的域转移评估设置，并通过广泛的实验，研究端到端的模型性能。我们发现，不仅模型不能推广，但高检索分数往往仍然产生差的答案预测准确性。然后，我们对不同类型的转变进行分类，并提出了一些技术，当出现新的数据集时，这些技术可以预测干预方法是否可能成功。最后，利用这项分析的见解，我们提出并评估了几种干预方法，这些方法可以将端到端的答案F1得分提高24分。
2022-12-20 cs.CL
SURE-RAG: Sufficiency and Uncertainty-Aware Evidence Verification for Selective Retrieval-Augmented Generation
ZenWeave AI；Georgetown University（乔治城大学）；Southern Methodist University（南卫理公会大学）
研究选择性检索增强生成的证据充分性验证问题，提出SURE-RAG聚合协议，通过共享验证器生成局部关系分布并聚合为特征块，产生三向决策和可审计分数，实验表明其性能优于多种方法，还对比了与GPT-4o在不同任务上的表现。
2026-07-27 cs.CL cs.IR cs.LG
Adversarial TableQA: Attention Supervision for Question Answering on Tables
Yonsei University（延世大学）；University of Edinburgh（爱丁堡大学）；NCSOFT（NCSoft公司）
由于社区在构建有用数据集方面的努力，回答给定文本段落的问题的任务在模型性能上取得了很大的发展。最近，有人怀疑这种快速进步是否建立在真正理解语言的基础上。在表问答（TableQA）任务中没有提出相同的问题，我们的任务是回答给定表的查询。我们表明，现有的努力，使用“答案”的评价和监督TableQA，表现出恶化的性能在对抗性设置的扰动，不影响答案。这种洞察力自然会促使开发更精确地理解问题和表格的新模型。为了实现这个目标，我们提出了Neural Operator（NeOp），这是一个具有注意力监督的多层顺序网络，用于回答给定表格的查询。NeOp使用多个选择性递归单元（SelRU）来进一步帮助模型答案的可解释性。实验表明，使用操作数信息来训练模型显著提高了TableQA模型的性能和可解释性。NeOp的性能远远优于以前的所有型号。
2018-10-19 cs.CL
Whatcha lookin' at? DeepLIFTing BERT's Attention in Question Answering
Saarland University（萨尔大学）
最近，神经网络在处理具有挑战性的NLP任务方面取得了巨大的成功，这些神经网络已经在大量任务数据上进行了预训练和微调。在本文中，我们研究了一个这样的模型，BERT的问答，目的是分析为什么它能够取得显着优于其他模型的结果。我们在模型预测上运行DeepLIFT，并测试结果，以监控输入的注意力值的变化。我们还对结果进行聚类，以根据模型试图回答的输入段落和问题的类型来分析任何类似于人类推理的可能模式。
2019-10-14 cs.CL
KnowShiftQA: How Robust are RAG Systems when Textbook Knowledge Shifts in K-12 Education?
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China（计算机科学与工程系，香港科技大学，香港特别行政区，中国）；Department of Mechanical Engineering, The University of Tokyo, Tokyo, Japan（机械工程系，东京大学，东京，日本）
本文提出KnowShiftQA数据集，通过模拟教科书知识更新与LLM参数化知识之间的差异，系统评估RAG系统在K-12教育问答中的稳健性，发现多数RAG系统性能显著下降，且知识整合类问题对当前LLMs构成突出挑战。
2025-07-21 cs.CL
Chronological Passage Assembling in RAG framework for Temporal Question Answering
Department of Artificial Intelligence, Chung-Ang University（人工智能系， Chung-Ang 大学）
针对叙事文本问答中时间线重建的挑战，提出ChronoRAG框架，通过将分散信息精炼为结构化段落并显式维护检索段落的时间顺序，显著提升了事实识别与复杂时序理解的性能。
2025-10-13 cs.CL
A Generative Approach to Question Answering
Microsoft（微软）
问答经历了从回答句的选择、关系问答到阅读理解的漫长历程。我们将注意力转移到生成式问答（gQA），通过学习生成答案来帮助机器阅读段落并回答问题。我们将问题框架为生成任务，其中编码器是一个网络，该网络对问题和段落之间的关系进行建模，并将其编码为向量，从而便于解码器直接形成答案的抽象。不能记住事实和重复是影响答案整体易读性的常见错误。为了解决这些问题，我们分别采用复制机制和覆盖向量的维护在我们的模型。我们在MS-MARCO上的结果证明了它比基线的优越性，我们还展示了我们在正确性和可读性方面改进的定性示例
2018-07-07 cs.CL
Retrieval Augmented Biomedical Question Answering with Weak Question Recovery and Neural Reranking for BioASQ Task 14b
Georgia Institute of Technology（佐治亚理工学院）
该研究针对BioASQ第14b任务，构建了结合多源查询扩展等技术的生物医学问答系统，通过弱问题恢复与检索后剪枝提升检索性能，经实验验证可显著优化MAP@10指标。
2026-08-04 cs.AI cs.CL
Condition-Gated Reasoning for Context-Dependent Biomedical Question Answering
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National Institutes of Health（美国国立卫生研究院）
本文提出CondMedQA基准和Condition-Gated Reasoning框架，通过构建条件感知知识图谱，提升生物医学问答中条件依赖的推理能力。
2026-06-06 cs.AI cs.CL
Capturing Global Structural Information in Long Document Question Answering with Compressive Graph Selector Network
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Southeast Academy of Information Technology（北京理工大学东南信息技术研究院）
长文档问答是一个具有挑战性的任务，因为它需要对长文本进行复杂的推理。以往的研究通常将长文档看作非结构化的平面文本，或者只考虑长文档的局部结构。然而，这些方法通常忽略了长期的理解是必不可少的长文档的全局结构。为了解决这个问题，我们提出了压缩图网络（CGSN），以压缩和迭代的方式捕获全局结构。该模型主要研究长文档问答的证据选择阶段。具体来说，它包括三个模块：局部图网络，全局图网络和证据记忆网络。首先，局部图网络在词元、句子、段落和段的层次上构建组块段的图结构，以捕捉文本的短期依赖关系。其次，全局图网络有选择地接收来自局部图的每一层信息，将它们压缩到全局图节点中，并将图注意力应用于全局图节点，以迭代的方式建立对整个文本的远程推理。第三，设计了证据记忆网络，通过保存前几步的选择结果来缓解证据选择中的冗余问题。大量的实验表明，该模型优于以前的方法在两个数据集上。
2022-10-19 cs.CL
Topic Transferable Table Question Answering
IBM Research（IBM研究院）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
弱监督表问答（TableQA）模型通过使用预训练的BERT Transformer来联合编码问题和表以产生针对问题的结构化查询，从而实现了最先进的性能。然而，在实际环境中，TableQA系统部署在表语料库的主题和单词分布非常不同的BERT的预训练语料库。在这项工作中，我们模拟了实际的主题转移的情况下，设计新颖的挑战基准WikiSQL-TS和WikiTQ-TS，包括在五个不同的话题组，基于流行的WikiSQL和WikiTableQuestions数据集的train-dev-test分裂。我们的经验表明，尽管对大型开放域文本进行了预训练，但当对看不见的主题进行评估时，模型的性能会显着下降。作为回应，我们提出了T3 QA（主题可转移表问答）的一个实用的自适应框架，包括：（1）主题特定的词汇注入到BERT，（2）一个新的文本到文本的Transformer生成器（如T5，GPT 2）基于自然语言问题生成管道集中在生成特定的训练数据，和（3）一个逻辑形式ranker。我们表明，T3 QA为我们的主题转移基准提供了一个相当好的基线。我们相信，我们的主题分割基准将带来更适合实际部署的健壮的TableQA解决方案。
2021-09-15 cs.AI cs.CL
DynaRAG: Bridging Static and Dynamic Knowledge in Retrieval-Augmented Generation
Northeastern University（东北大学）；Independent Researcher（独立研究员）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；New York University（纽约大学）
DynaRAG通过动态知识整合处理静态和时效性信息需求，采用LLM重排器、充分性分类器和Gorilla v2模型提升回答准确性与鲁棒性。
2026-02-24 cs.AI cs.CL cs.IR
When Retrieval Helps: Selective Retrieval for Single-Turn Mental-Health QA
Korea Institute of Energy Technology（韩国能源技术研究院）
本研究针对单轮心理健康问答，提出选择性检索策略，在CounselBench系列基准实验中验证其可平衡检索的针对性提升与安全风险，优于闭卷及始终检索设置。
2026-09-04 cs.CL cs.IR
Controlling Risk of Web Question Answering
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
Web问答（QA）已经成为现代搜索系统中不可或缺的组成部分，它可以直接回答用户的信息需求，从而显著改善用户的搜索体验。这可以通过在检索到的段落上应用机器阅读理解（MRC）模型来提取关于搜索查询的答案来实现。随着深度学习技术的发展，最近的深度方法已经实现了最先进的MRC性能。然而，关于MRC的现有研究很少解决预测不确定性问题，即，MRC模型的预测出错的可能性有多大，从而在实际的Web QA应用程序中导致无法控制的风险。在这项工作中，我们首先进行了深入的调查，在Web QA的风险。在此基础上，我们提出了一种新的风险控制框架，该框架包括一个基于探测思想的不确定性估计的定性模型和一个选择性输出的决策模型。对于评估，我们引入了风险相关的指标，而不是传统的EM和MRC中的F1，用于评估风险感知的Web QA。在现实世界的Web QA数据集和学术MRC基准集的实证结果证明了我们的方法的有效性。
2019-07-11 cs.CL cs.IR
Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）；Central South University（中南大学）；Chongqing University（重庆大学）
针对特定领域问答中知识长尾分布及获取成本高的问题，提出Selct2Know框架，通过内外部知识自选择策略、选择性监督微调及GRPO增强推理，以更低成本匹敌领域预训练模型。
2025-09-18 cs.CL
A Survey on Complex Question Answering over Knowledge Base: Recent Advances and Challenges
Alibaba Group（阿里巴巴集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
基于知识库的问答（Question Questioning，QA）是利用知识库中存储的实体之间的结构良好的关系信息来自动回答自然语言问题。为了使KBQA更适用于实际场景，研究人员将注意力从简单问题转移到复杂问题，这需要更多的KB三元组和约束推理。本文介绍了复杂QA的最新进展。除传统的基于模板和规则的方法外，本文将其分为基于信息检索和基于神经语义解析两大类。在描述了这些分支的方法之后，我们分析了未来研究的方向，并介绍了Alime团队提出的模型。
2020-07-26 cs.CL cs.HC
I-CALM: Incentivizing Confidence-Aware Abstention for LLM Selective Answering
本文研究通过仅提示干预减少大语言模型幻觉风险，提出I-CALM框架通过引导自信、奖励回避和加入规范原则提升事实性问题的准确性。
2026-08-18 cs.AI cs.CL
Commonsense for Generative Multi-Hop Question Answering Tasks
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
阅读理解问答任务最近越来越受欢迎，但大多数作品都集中在事实发现的提取问答上。相反，我们专注于更具挑战性的多跳生成任务（NarrativeQA），该任务要求模型在上下文中推理，收集和合成不相交的信息以生成答案。这种类型的多步推理通常还需要理解隐含的关系，人类通过外部背景常识知识来解决这些关系。我们首先提出了一个强大的生成基线，使用多注意力机制执行多跳推理和指针生成器解码器合成的答案。该模型比以前的生成模型表现得更好，并且与当前最先进的跨度预测模型具有竞争力。接下来，我们将介绍一种新的系统，用于通过逐点互信息和基于词频的评分函数从ConceptNet中选择接地多跳关系常识信息。最后，我们有效地使用这个提取的常识信息，以填补上下文跳之间的推理差距，使用选择性门控注意力机制。这显著提高了模型的性能（也通过人工评估进行了验证），为任务建立了新的最先进技术。我们还展示了有希望的初步结果，我们的背景知识增强的泛化能力，通过展示QAngaroo WikiHop，另一个多跳推理数据集的一些改进。
2019-06-01 cs.AI cs.CL
To Reason or Not to: Selective Chain-of-Thought in Medical Question Answering
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Minnesota（明尼苏达大学）；Division of Computational Health Sciences, Department of Surgery（计算健康科学 division，外科系）；Department of Computer Science and Engineering（计算机科学与工程系）；Health Data Science, School of Public Health（公共卫生学院健康数据科学系）
选择性推理通过动态调整推理深度和效率，提升医学问答的效率和准确性。
2026-02-23 cs.AI cs.CL
Selectively Answering Visual Questions
Google DeepMind（谷歌DeepMind）；Universidad Nacional de Córdoba（科尔多瓦国立大学）；CONICET（阿根廷国家科学技术研究委员会）
本文首次深入分析了上下文学习LMMs在VQA中的校准方法，发现视觉基础模型的似然分数校准优于纯文本模型，采样方法通常更优但无绝对赢家，并提出了结合两者优势的Avg BLEU校准分数。
2024-06-03 cs.CL cs.CV
Selectively Answering Ambiguous Questions
Google DeepMind（谷歌DeepMind）；University of Texas（德克萨斯大学）；Duke University（杜克大学）
针对模糊问题，提出基于采样输出重复性的置信度方法决定弃权，提升回答准确率，优于似然和自我验证。
2023-11-15 cs.AI cs.CL
Risk-Controlled Selective LLM Answering by Pricing Label-Free Checks
Zoom Communications（Zoom通讯公司）；Korea University（高丽大学）；Soongsil University（崇实大学）
PriceCheck通过为无标签检查定价并组合决策规则，在指定风险目标下选择性提供大语言模型答案，实现高覆盖率与低错误率，优于现有评分器。
2026-09-30 cs.AI cs.CL cs.LG
Investigating the Failure Modes of the AUC metric and Exploring Alternatives for Evaluating Systems in Safety Critical Applications
Arizona State University（亚利桑那州立大学）
随着与黑盒模型的使用相关的安全要求的重要性的增加，模型的选择性应答能力的评估已经变得至关重要。曲线下面积（AUC）用作该目的的度量。我们发现AUC的局限性;例如，具有较高AUC的模型在执行选择性应答时并不总是更好。我们提出了三个替代指标，修复已确定的限制。在对10个模型进行实验时，我们使用新指标的结果表明，更新和更大的预训练模型不一定在选择性回答中表现出更好的性能。我们希望我们的见解将有助于开发更好的模型，为安全关键型应用量身定制。
2022-10-10 cs.CL cs.CV
COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees
University of Electronic Science and Technology of China（电子科技大学）；Drexel University（德雷塞尔大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出 COIN 框架，通过校准统计有效阈值在 FDR 约束下为每个问题筛选单一答案，利用置信区间方法建立错误率上界，在通用和多模态任务中实现了稳健的风险控制与高样本保留率。
2025-06-25 cs.AI cs.CL cs.LG
Beyond Invariance: Factor-wise Selective Treatment of Shifts for Multimodal Learning
Guangdong University of Technology（广东工业大学）；University of Copenhagen（哥本哈根大学）
针对多模态学习中分布偏移的统一处理缺陷，提出FaShift框架，通过诊断表示因子的分布变化等属性实现选择性处理，在三个多模态情感分析数据集上取得最优ID和OOD性能。
2026-10-21 cs.CL cs.LG
Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation
University of Science and Technology of China（中国科学技术大学）；Huawei Inc.（华为公司）
提出CoCA框架，通过GRPO强化学习联合优化置信度校准与答案准确性，实现回答前输出置信度，提升不确定性估计效率。
2026-06-03 cs.CL
FRAMES-VQA: Benchmarking Fine-Tuning Robustness across Multi-Modal Shifts in Visual Question Answering
Georgia Institute of Technology（佐治亚理工学院）
提出FRAMES-VQA基准，整合十个VQA数据集，分类ID与近/远OOD，评估鲁棒微调方法，量化多模态偏移，指导开发更鲁棒的微调策略。
2025-06-20 cs.AI cs.CL cs.CV
Visual Question Answering with Memory-Augmented Networks
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；The University of Adelaide（阿德莱德大学）
在本文中，我们利用记忆增强的神经网络来预测视觉问题的准确答案，即使这些答案很少出现在训练集中。记忆网络结合了内部和外部记忆块，并有选择地关注每个训练样本。我们发现，记忆增强的神经网络能够保持一个相对长期记忆记忆稀缺的训练样本，这是很重要的视觉问答由于重尾分布的答案在一般的VQA设置。在两个大规模基准数据集上的实验结果表明，与现有技术相比，该算法具有良好的性能。
2018-03-25 cs.CL cs.CV
Training LLM Judges from Language Feedback via Position-Selective Self-Distillation
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）；UC San Diego（加州大学圣迭戈分校）
本研究提出位置选择性自蒸馏方法，通过熵移掩蔽利用语言反馈训练LLM裁判，在主观任务上比结果监督RL提升2-9个百分点，并改善分布外泛化。
2026-10-01 cs.CL cs.LG
Conformal Prediction with Large Language Models for Multi-Choice Question Answering
Harvard University（哈佛大学）；MIT Media Lab（麻省理工学院媒体实验室）；Harvard-MIT Health Sciences & Technology（哈佛-麻省理工健康科学与技术学院）
本文研究如何利用保形预测为大语言模型的多选题问答提供不确定性量化，发现其不确定性估计与预测准确率高度相关，可用于选择性分类和低质量预测过滤，并探讨了跨主题问题下的可交换性假设，以提升安全关键场景中的可信度。
2023-07-08 cs.CL cs.LG stat.ML
Does Language Shift Break Medical Vision-Language Models? Indonesian Radiology Visual Question Answering Case Study
Intelligent System Laboratory, Faculty of Computer Science Brawijaya University（智能系统实验室，计算机科学学院布拉维亚大学）
本研究通过构建印尼语放射学VQA数据集IndoRad-VQA，评估医学视觉语言模型在非英语临床语言下的鲁棒性，发现英语与印尼语设置间存在8-25%的性能差距，表明需要更包容的多语言评估。
2026-06-02 cs.CL cs.CV
Certify or Refuse: A Cross-Model Map for Selective Risk Control with Coverage Floors under Covariate Shift
该研究针对协变量偏移下的选择性风险控制，提出带覆盖下限的跨模型映射，给出Model-A、Model-B、Model-B'的相关界，并通过实证验证了其有效性。
2026-08-12 cs.CL
Learning Visual Question Answering by Bootstrapping Hard Attention
DeepMind（深度思维）
生物感知中的注意力机制被认为是选择感知信息的子集进行更复杂的处理，这将是禁止对所有感官输入执行的。然而，在计算机视觉中，对硬注意力的探索相对较少，尽管软注意力取得了成功，但其中一些信息被选择性地忽略，其中信息被重新加权和聚合，但从未被过滤掉。在这里，我们介绍了一种新的硬注意力方法，并发现它在最近发布的视觉问答数据集上实现了非常有竞争力的性能，在某些情况下甚至超过了类似的软注意力架构，同时完全忽略了一些功能。尽管硬注意力机制被认为是不可微的，我们发现，特征量与语义相关性，并提供了一个有用的信号，我们的机制的注意力选择标准。因为硬注意力选择输入信息的重要特征，所以它也可以比类似的软注意力机制更有效。这对于最近使用非局部成对操作的方法尤其重要，由此计算和存储器成本在特征集的大小上是二次的。
2018-08-01 cs.AI cs.CL cs.CV
Selective "Selective Prediction": Reducing Unnecessary Abstention in Vision-Language Reasoning
University of Southern California（南加州大学）；AI2（艾伦人工智能研究所）；Samaya AI（萨马亚人工智能公司）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
针对选择性视觉-语言系统过度弃权（不执行）的问题，本文提出推理时算法 ReCoVERR，通过 LLM 提问并收集图像证据挽救低置信度正确预测，在不降低准确率的情况下多回答至多 20% 的问题。
2024-06-12 cs.CL
VQA: Visual Question Answering
Virginia Tech（弗吉尼亚理工大学）；Microsoft Research（微软研究院）；Facebook AI Research（Facebook人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了自由形式和开放式可视问答（VQA）的任务。给定图像和关于图像的自然语言问题，任务是提供准确的自然语言答案。在真实世界的场景中，比如帮助视障人士，问题和答案都是开放式的。视觉问题选择性地针对图像的不同区域，包括背景细节和潜在上下文。因此，在VQA方面取得成功的系统通常需要比生成通用图像标题的系统更详细地理解图像和复杂的推理。此外，VQA是服从自动评估，因为许多开放式的答案只包含几个字或一个封闭的答案，可以提供一个多项选择的格式。我们提供了一个包含约0.25M图像，约0.76M问题和约10M答案的数据集（www.visualqa.org），并讨论了它提供的信息。提供了许多VQA的基线和方法，并与人的表现进行了比较。我们的VQA演示可在CloudCV（http：//cloudcv.org/vqa）上获得。
2016-10-27 cs.CL cs.CV
Probing the Geometry of Truth: Consistency and Generalization of Truth Directions in LLMs Across Logical Transformations and Question Answering Tasks
Zhejiang University（浙江大学）；Zhejiang Normal University（浙江师范大学）
本文探究LLM中“真理方向”的一致性与泛化性，发现能力更强的模型表现出更一致的方向，且在声明性语句上训练的真实性探针可有效泛化至逻辑转换、问答等任务，从而提升用户信任。
2025-06-01 cs.CL
When History Helps and Hurts: Selective History Use across Multimodal Turns
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；AgiBot；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
该研究针对多模态交互中历史使用评估的空白，构建了含7000个任务的ReTurn基准，评估13类模型的选择性历史使用能力，发现其准确率下降且监督适应增益有限。
2026-10-12 cs.CL
Continual Visual Learning under Evolving Semantic Concept Shift
Mohammed Premier University（穆罕默德一世大学）；Sultan Moulay Slimane University（苏丹穆莱·斯利曼大学）
针对演化语义概念偏移问题，本文提出SemReWrite框架，结合低秩重写机制与结构化语义记忆等，构建EvoShift-Bench基准并引入多评价指标，在视觉持续学习中实现了修订语义与保留知识的更优平衡。
2026-08-26 cs.CL cs.CV
