U-Net: Machine Reading Comprehension with Unanswerable Questions
Fudan University(复旦大学);Liulishuo Silicon Valley AI Lab(英语流利说硅谷人工智能实验室)
具有不可回答问题的机器阅读理解是自然语言处理面临的一个新的挑战。一个关键的子任务是可靠地预测问题是否无法回答。在本文中,我们提出了一个统一的模型,称为U-Net,有三个重要组成部分:答案指针,无答案指针和答案验证器。我们引入了一个通用节点,从而将问题及其上下文作为一个连续的令牌序列进行处理。通用节点对问题和文章的融合信息进行编码,在预测问题是否可回答方面发挥了重要作用,大大提高了U-Net的简洁性。与最先进的管道模型不同,U-Net可以以端到端的方式学习。在SQuAD 2.0数据集上的实验结果表明,U-Net可以有效地预测问题的不可回答性,并在SQuAD 2.0上获得了71.7的F1分数。
2018-10-12 cs.AI cs.CL
AGent: A Novel Pipeline for Automatically Creating Unanswerable Questions
Denison University(丹尼森大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出AGent流程,通过将问题与缺乏必要信息的上下文重新匹配自动生成不可回答问题,有效降低人工标注成本,并在多个EQA基准上取得与SQuAD 2.0微调模型相当的性能。
2023-09-10 cs.AI cs.CL
FQuAD2.0: French Question Answering and knowing that you know nothing
Illuin Technology(伊鲁因科技)
问答,包括阅读理解,是NLP研究领域之一,在过去的几年里,由于语言建模的同步进步,已经取得了重大的科学突破。然而,这些突破大多集中在英语上。2020年,作为第一个弥合法语差距的强有力举措,Illuin Technology推出了FQuAD 1. 1,这是一个法语母语阅读理解数据集,由从维基百科文章中提取的60,000多个问题和答案样本组成。尽管如此,在此数据集上训练的问答模型有一个主要缺点:它们无法预测给定问题何时在感兴趣的段落中没有答案,因此在各种工业用例中做出不可靠的预测。在目前的工作中,我们介绍了FQuAD 2.0,它扩展了FQuAD与17,000+无法回答的问题,注释相反,为了类似于可回答的。这个新的数据集总共包含近80,000个问题,使得训练法国问答模型能够区分无法回答的问题和可回答的问题。我们用这个数据集对几个模型进行了基准测试:我们最好的模型,一个微调过的CamemBERT-large,在这个分类任务上的F1得分为82.3%,在阅读理解任务上的F1得分为83%。
2021-09-27 cs.AI cs.CL cs.LG
A Lightweight Method to Generate Unanswerable Questions in English
Saarland University(萨尔兰大学)
本文提出一种无需训练的轻量级数据增强方法,通过对可回答问题进行反义词和实体替换生成不可回答问题,在 SQuAD 2.0 和 TydiQA-MinSpan 上以 BERT-large 分别提升 1.6 和 9.3 个 F1 点,证明简单替换即可作为强基线。
2023-10-30 cs.CL
AQUA-Bench: Beyond Finding Answers to Knowing When There Are None in Audio Question Answering
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan(台湾国立台湾大学通信工程研究所);Artificial Intelligence Center of Research Excellence (AI-CoRE), National Taiwan University, Taiwan(台湾国立台湾大学人工智能研究中心)
AQUA-Bench针对音频问答中不可回答的问题提出评估基准,评估三种场景:缺失答案检测、不兼容答案集检测和不兼容音频问题检测,推动更稳健可靠的音频-语言系统发展。
2026-05-10 cs.AI cs.CL cs.LG
Less is More: Rejecting Unreliable Reviews for Product Question Answering
RMIT University(皇家墨尔本理工大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);The University of Melbourne(墨尔本大学)
快速准确地回答关于产品的问题对于电子商务应用非常重要。手动回答产品问题(例如,在社区问答平台上)会导致响应缓慢且无法扩展。最近的研究表明,产品评论是实时、自动产品问答(PQA)的良好来源。在文献中,PQA被表述为检索问题,其目标是搜索最相关的评论来回答给定的产品问题。在本文中,我们专注于PQA使用评论的可回答性和答案的可靠性问题。我们的调查是基于这样一种直觉,即许多问题可能无法用有限的评论来回答。当一个问题无法回答时,系统应该返回空答案,而不是提供一个不相关的评论列表,这可能对用户体验产生重大的负面影响。此外,对于可回答的问题,只有回答问题的最相关的评论才应该包含在结果中。我们提出了一个共形预测为基础的框架,以提高PQA系统的可靠性,我们拒绝不可靠的答案,使返回的结果更简洁,更准确地回答产品的问题,包括返回零答案无法回答的问题。在广泛使用的Amazon数据集上的实验显示了我们所提出的框架的令人鼓舞的结果。更广泛地说,我们的研究结果表明,一个新的和有效的应用保形方法的检索任务。
2020-07-09 cs.CL cs.IR cs.LG
Exploring Neural Net Augmentation to BERT for Question Answering on SQUAD 2.0
University of California, Berkeley(加州大学伯克利分校)
增强机器回答问题的能力一直是近年来NLP研究的一个相当关注的话题。语言模型如语言模型嵌入(ELMo)[1]和Transformers双向编码器表示(BERT)[2]在开发通用语言模型方面非常成功,可以为大量下游语言任务进行优化。在这项工作中,我们专注于用不同的输出神经网络架构来增强预训练的BERT语言模型,并比较它们在斯坦福问答数据集2.0(SQUAD 2.0)提出的问答任务上的表现。此外,我们还微调了预训练的BERT模型参数,以证明其适应专门语言任务的有效性。我们最好的输出网络是上下文化的CNN,它在不可回答和可回答的问答任务上都有表现,F1得分分别为75.32和64.85。
2020-03-08 cs.AI cs.CL cs.LG
ArabicaQA: A Comprehensive Dataset for Arabic Question Answering
University of Innsbruck(因斯布鲁克大学);Assuit University(艾斯尤特大学);DISCO AI
本文提出首个大规模阿拉伯语机器阅读理解与开放域问答数据集ArabicaQA及密集段落检索模型AraDPR,并对大语言模型进行基准测试,显著推进了阿拉伯语NLP资源发展。
2024-03-26 cs.CL cs.IR
SCENE: Self-Labeled Counterfactuals for Extrapolating to Negative Examples
University of Southern California(南加州大学)
针对自然语言理解任务中负例收集成本高、领域受限的问题,提出SCENE自标记反事实样本合成方法,仅用正样本即可零样本生成负例,在多个问答与蕴含任务上显著提升性能与跨领域泛化能力。
2024-01-27 cs.CL
NCTB-QA: A Large-Scale Bangla Educational Question Answering Dataset and Benchmarking Performance
Department of Computer Science and Engineering University of Dhaka(计算机科学与工程系达卡大学)
NCTB-QA是一个大规模孟加拉语教育问答数据集,通过微调BERT等模型显著提升了问答性能,验证了领域特定微调在低资源环境中的重要性。
2026-03-05 cs.CL
AmazonQA: A Review-Based Question Answering Task
Carnegie Mellon University(卡内基梅隆大学);Petuum, Inc.(Petuum公司);Google LLC(谷歌有限责任公司)
每天都有成千上万的客户在亚马逊的产品页面上发布问题。一段时间后,如果他们幸运的话,一个有知识的客户可能会回答他们的问题。观察到许多问题可以根据可用的产品评论来回答,我们提出了基于评论的QA任务。给定评论语料库和问题,QA系统合成答案。为此,我们引入了一个新的数据集,并提出了一种方法,结合信息检索技术选择相关的评论(给定一个问题)和“阅读理解”模型合成的答案(给定一个问题和评论)。我们的数据集包括92.3万个问题,360万个答案和15.6万个产品的1400万条评论。在著名的亚马逊数据集的基础上,我们收集了额外的注释,根据可用的评论将每个问题标记为可回答或不可回答。部署的系统可以首先将问题分类为可回答的,然后尝试生成答案。值得注意的是,与许多流行的QA数据集不同,这里的问题,段落和答案都是从真实的人类互动中提取的。我们评估了许多用于生成答案的模型,并提出了强有力的基线,展示了这项新任务的挑战性。
2019-08-20 cs.CL cs.IR
Pardon? Evaluating Conversational Repair in Large Audio-Language Models
Beijing Institute of Technology(北京理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出EAR评分,用于评估大型音频-语言模型在语音问答任务中对可回答和不可回答输入的处理能力及修复行为。
2026-01-19 cs.CL
Molweni: A Challenge Multiparty Dialogues-based Machine Reading Comprehension Dataset with Discourse Structure
Harbin Institute of Technology(哈尔滨工业大学);National University of Singapore(新加坡国立大学);Peng Cheng Laboratory(鹏城实验室)
近年来,对多党对话领域的研究有了相当大的增长。我们提出了Molweni数据集,一个机器阅读理解(MRC)数据集的话语结构建立在多方对话。Molweni的源代码样本来自Ubuntu聊天语料库,包括10,000个对话框,包含88,303个话语。我们在这个语料库上标注了30,066个问题,包括可回答和不可回答的问题。Molweni还在修改的分段话语表示理论(SDRT; Asher et al.,2016)风格,贡献了大规模(78,245注释话语关系)数据来承担多方对话话语解析的任务。我们的实验表明,Molweni对于当前MRC模型来说是一个具有挑战性的数据集:BERT-wwm,一个当前强大的SQuAD 2.0性能,在Molweni的问题上只实现了67.7%的F1,与其SQuAD 2.0性能相比,显著下降了20%以上。
2020-11-07 cs.CL
Perception of Knowledge Boundary for Large Language Models through Semi-open-ended Question Answering
College of Computer, National University of Defense Technology(国防科技大学计算机学院);Tsinghua University(清华大学)
本文通过半开放式问题发现模糊答案,感知LLM知识边界,提出开源辅助模型方法,实验表明GPT-4在SoeQ上表现差且不自知,LLaMA-2-13B有效。
2024-05-23 cs.AI cs.CL
TUBench: Benchmarking Large Vision-Language Models on Trustworthiness with Unanswerable Questions
The University of Hong Kong(香港大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机学院);Zhongguancun Laboratory(中关村实验室)
针对现有LVLM幻觉评估基准未覆盖不可回答问题的缺口,研究提出含多领域、多策略构建的不可回答问题的TUBench基准,评测28个主流模型并给出性能结果,为LVLM可信性评估提供新工具。
2024-10-05 cs.CL cs.CV
TreeCut: A Synthetic Unanswerable Math Word Problem Dataset for LLM Hallucination Evaluation
Columbia University(哥伦比亚大学)
本研究提出合成数据集TreeCut,通过树结构移除必要条件生成不可解数学题,实验发现其能有效诱发GPT-4o等大模型产生幻觉,并分析了影响幻觉率的相关因素。
2025-05-20 cs.AI cs.CL cs.LG
Benchmarking Deep Search over Heterogeneous Enterprise Data
Salesforce AI Research(Salesforce人工智能研究)
提出了一个评估深度搜索的新基准,利用合成数据管道模拟业务工作流生成多跳问题,发现现有智能体RAG方法因检索瓶颈导致性能显著下降。
2025-06-29 cs.AI cs.CL
Rewarding Efficient Reasoning Improves Abstention on Underspecified Tasks in Reasoning Models
University of Tübingen(图宾根大学);Aleph Alpha Research(Aleph Alpha 研究院);Lab1141
针对推理模型在欠指定任务上过度推理而不弃权的问题,提出基于资源理性的GRPO奖励,微调4B模型实现弃权率提升12.8%且推理成本降低44%。
2026-10-14 cs.CL cs.LG
Iterative Repair with Weak Verifiers for Few-shot Transfer in KBQA with Unanswerability
Indian Institute of Technology, Delhi(印度理工学院德里分校);Graviton Research Capital(引力资本);KnowDis AI
该研究提出含不可答问题的KBQA少样本迁移新任务与两个评估数据集,提出结合强弱验证器反馈迭代修复的FUn-FuSIC方法,在该任务及可答类少样本迁移任务上均达到最优性能。
2025-07-31 cs.AI cs.CL
Towards Reliable Long-Context Reasoning: Detecting Unanswerable Questions via FactGuard
Tencent YouTu Lab(腾讯优图实验室)
FactGuard提出基于多智能体协作的数据增强方法,自动生成可回答与不可回答问题并构建25,220条长上下文基准,实验表明主流LLM准确率仅61.79%,显著降低人工标注成本。
2026-10-16 cs.AI cs.CL
PRACTIQ: A Practical Conversational Text-to-SQL dataset with Ambiguous and Unanswerable Queries
Amazon Web Services(亚马逊云科技);University of Massachusetts at Amherst(马萨诸塞大学阿默斯特分校)
PRACTIQ数据集旨在解决模糊和无法回答的文本到SQL问题,通过四轮对话生成和多种LLM基准测试,评估系统在复杂查询中的表现。
2026-01-23 cs.AI cs.CL
Saying No is An Art: Contextualized Fallback Responses for Unanswerable Dialogue Queries
Amelia Science, IPsoft R&D(Amelia Science,IPsoft 研发部);Universität des Saarlandes(萨尔兰大学)
尽管端到端神经系统在过去十年中对于面向任务以及基于闲聊的对话系统取得了重大进展,但大多数对话系统依赖于混合方法,该混合方法使用基于规则的方法、检索方法和生成方法的组合来生成一组分级响应。这种对话系统需要依赖于回退机制来响应在对话系统的范围内不可回答的域外或新的用户查询。虽然,今天的对话系统依赖于静态和不自然的反应,如“我不知道这个问题的答案”或“我不确定”,但我们设计了一种神经方法,它可以生成对用户查询有上下文意识的响应,并对用户说不。这种定制的响应提供了释义能力和语境化,以及改善与用户的交互并减少对话的单调性。我们的简单方法利用依赖关系解析规则和文本到文本的Transformer,该转换器对问题-响应对的合成数据进行微调,生成高度相关、语法和多样化的问题。我们进行自动和手动评估,以证明该系统的有效性。
2021-05-06 cs.AI cs.CL cs.LG
Binding Language Models in Symbolic Languages
The University of Hong Kong(香港大学);University of Washington(华盛顿大学);University of Waterloo(滑铁卢大学);Salesforce Research(赛富时研究院);Yale University(耶鲁大学);Shanghai Jiao Tong University(上海交通大学);Allen Institute for AI(艾伦人工智能研究所);Meta AI
虽然端到端神经方法最近在性能和易用性方面都主导了NLP任务,但它们缺乏可解释性和鲁棒性。我们提出了Binder,一个将任务输入映射到程序的无训练神经符号框架,它(1)允许将语言模型(LM)功能的统一API绑定到程序设计语言(例如,SQL,Python)来扩展其语法覆盖范围,从而解决更多样化的问题,(2)采用LM作为程序解析器和API在执行期间调用的底层模型,以及(3)只需要一些上下文中的范例注释。具体来说,我们采用GPT-3 Codex作为LM。在解析阶段,只有少量的上下文范例,Codex能够识别任务输入中原始程序设计语言无法回答的部分,正确地生成API调用以提示Codex解决无法回答的部分,并识别在哪里放置API调用,同时与原始语法兼容。在执行阶段,Codex可以执行多功能(例如,常识QA、信息抽取)在API调用中给出适当的提示。Binder在WikiTableQuestions和TabFact数据集上实现了最先进的结果,其显式输出程序有利于人类调试。请注意,以前最好的系统都是在数万个特定于任务的样本上进行微调的,而Binder只使用数十个注释作为上下文范例,而没有任何训练。我们的代码可在https://github.com/HKUNLP/Binder上获得。
2023-03-01 cs.CL
VLSP 2021 - ViMRC Challenge: Vietnamese Machine Reading Comprehension
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);Denison University(丹尼森大学)
针对现有越南语MRC数据集仅覆盖可回答问题的不足,发布UIT-ViQuAD 2.0基准数据集并举办VLSP 2021越南语MRC挑战赛,公布参赛情况、参赛方法及最高成绩,推动越南语相关NLP研究。
2022-04-04 cs.CL
Recognition-Refusal Misalignment in LLMs: Why Models Answer Structurally Unanswerable Questions
University of Southern California(南加州大学);Arizona State University(亚利桑那州立大学)
该研究发现大语言模型会回答结构上无法解答的问题是因识别到不可行性的信号与安全拒绝通路未对齐,而非缺失识别能力。
2026-10-27 cs.CL
SCARE: A Benchmark for SQL Correction and Question Answerability Classification for Reliable EHR Question Answering
Korea Advanced Institute of Science & Technology(韩国科学技术院)
SCARE是一个用于评估SQL校正和问题可回答性分类的基准,旨在提升EHR问答系统的安全性与可靠性。
2025-12-21 cs.CL cs.DB
Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);Microsoft(微软公司);Samaya AI(萨马亚人工智能公司)
针对视觉语言 AI 的不确定性感知,本文区分认知与偶然不确定性,构建含 17.8 万 VQA 对比样本的 CertainlyUncertain 基准,并提出置信度加权准确率指标。
2024-07-02 cs.AI cs.CL cs.CV
Do I have the Knowledge to Answer? Investigating Answerability of Knowledge Base Questions
TCS Research(塔塔咨询服务公司研究院);Indian Institute of Technology, Delhi(德里印度理工学院)
本文针对知识库问答(KBQA)中的不可回答性问题,创建了新基准数据集GrailQAbility,实验发现现有最先进模型在处理不可回答问题时性能下降且存在误判,凸显了提升系统鲁棒性的需求。
2023-06-24 cs.AI cs.CL
Development of an Extractive Clinical Question Answering Dataset with Multi-Answer and Multi-Focus Questions
Mayo Clinic(梅奥诊所)
本研究利用n2c2语料库开发了RxWhyQA数据集,包含96,939个问答条目,专门用于评估和训练能处理多答案和多焦点问题的临床抽取式问答系统,并发现多答案EQA仍具挑战性。
2023-02-10 cs.CL
Do LLMs Know When to NOT Answer? Investigating Abstention Abilities of Large Language Models
ServiceNow
本文提出黑盒评估方法与新数据集Abstain-QA,引入可回答-不可回答混淆矩阵,探究三种提示策略对LLM弃权能力的影响,发现GPT-4等模型弃权困难但严格提示和CoT可提升该能力。
2024-09-24 cs.CL
Knowing What Not to Answer: Selective Non-Compliance in Vision-Language Models
POSTECH(浦项科技大学);Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
本文提出KoNA基准评估视觉语言模型的选择性不遵从,发现现有模型在该场景下表现不佳,经KoNA示例微调后,模型不遵从准确率提升且可区分需不遵从的成分。
2026-09-07 cs.AI cs.CL
InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis
Kahlert School of Computing(卡勒特计算学院)
本文提出InfiniteScienceGym,通过程序生成科学仓库和可验证问答任务,评估证据推理、回避和工具分析能力,发现现有模型在回答不可答问题上存在显著缺陷。
2026-08-12 cs.AI cs.CL
Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability
University of Southern California(南加州大学)
研究能否通过测量隐藏状态与可回答参考集的偏差,利用表示几何提供预生成信号。在三个模型和三种提示形式上实验,发现几何主要编码任务形式,数学提示中有可区分性,代码提示有部分泛化,该信号在早期层出现。
2026-05-04 cs.CL cs.LG
Do Large Language Models Know What They Don't Know?
Fudan University(复旦大学);National University of Singapore(新加坡国立大学)
本文通过构建SelfAware数据集并检测模型响应中的不确定性,评估了20个LLMs识别不可回答问题的自我知识能力,发现模型具有内在自我知识且可通过上下文学习和指令微调增强,但与人类水平仍有显著差距。
2023-05-30 cs.CL
Did You Ask a Good Question? A Cross-Domain Question Intention Classification Benchmark for Text-to-SQL
Emory University(埃默里大学);Beihang University(北京航空航天大学);Ohio State University(俄亥俄州立大学);Yale University(耶鲁大学);University of Waterloo(滑铁卢大学);Penn State University(宾夕法尼亚州立大学)
神经模型在文本到SQL任务上取得了显著的成果,其中大多数当前的工作假设所有输入问题都是合法的,并为任何输入生成SQL查询。然而,在实际场景中,用户可以输入任何可能无法通过SQL查询回答的文本。在这项工作中,我们提出了TriageSQL,第一个跨域的文本到SQL问题的意图分类基准,需要模型来区分四种类型的无法回答的问题从可回答的问题。基线RoBERTa模型在测试集上获得了60%的F1分数,表明需要进一步改进这项任务。我们的数据集可以在https://github.com/chatc/TriageSQL上找到。
2020-10-23 cs.CL
EHRSQL: A Practical Text-to-SQL Benchmark for Electronic Health Records
KAIST(韩国科学技术院);Seoul Women’s University(首尔女子大学);College of Medicine, Konyang University(建阳大学医学院)
EHRSQL是一个用于电子健康记录的文本到SQL基准数据集,旨在解决医疗场景中的复杂查询和时间表达问题。
2026-03-04 cs.AI cs.CL
Knowledge Boundary Discovery for Large Language Models
本文提出KBD框架,通过强化学习探索LLM的知识边界,通过自动生成可答与不可答问题识别边界,验证了方法的有效性。
2026-01-14 cs.AI cs.CL cs.LG
From Knowing to Abstaining: Bridging the Representation-Action Gap in Vision-Language Models
针对视觉语言模型弃权能力评估不足的问题,提出VAD-R基准和Rep2Act方法,通过表示到行动的校准提升自发弃权,在多个模型上显著提高准确率。
2026-09-29 cs.CL cs.CV
CoSQL: A Conversational Text-to-SQL Challenge Towards Cross-Domain Natural Language Interfaces to Databases
Yale University(耶鲁大学);Salesforce Research(赛富时研究院);University of Michigan(密歇根大学);Cornell University(康奈尔大学)
我们提出了CoSQL,用于构建跨域,通用数据库(DB)查询对话系统的语料库。它由30k+ turns加上10k+注释的SQL查询组成,这些查询是从3k对话的向导(WOZ)集合中获得的,查询跨越138个域的200个复杂DB。每个对话都模拟了一个真实的数据库查询场景,其中一个群众工作者作为用户探索数据库,一个SQL专家用SQL检索答案,澄清模糊的问题,或者通知无法回答的问题。当用户问题可以通过SQL回答时,专家向用户描述SQL和执行结果,从而保持自然的交互流。与现有的面向任务的对话数据集相比,CoSQL引入了新的挑战:(1)对话状态基于SQL,一种独立于域的可执行表示,而不是特定于域的槽值对,(2)因为测试是在看不见的数据库上完成的,成功需要推广到新的域。CoSQL包括三个任务:基于SQL的对话状态跟踪,查询结果的响应生成和用户对话行为预测。我们为每个任务评估了一组强大的基线,并表明CoSQL为未来的研究提出了重大挑战。数据集、基线和排行榜将在https://yale-lily.github.io/cosql上发布。
2019-09-11 cs.AI cs.CL
Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact
Apple Inc.(苹果公司)
针对LLM文本转SQL系统返回错误答案且无法区分的问题,提出带生成式外壳的可信内核架构,即结构弃权,在生产案例中验证其可靠性优于两种生成式替代方案。
2026-08-17 cs.AI cs.CL cs.DB