BeamAggR: Beam Aggregation Reasoning over Multi-source Knowledge for Multi-hop Question Answering
Harbin Institute of Technology(哈尔滨工业大学);Zhejiang University(浙江大学);Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室)
BeamAggR 通过将复杂问题解析为树结构并采用自底向上的束聚合推理,在多跳问答中有效整合多源知识,在四个开放域数据集上比 SOTA 方法提升 8.5%。
2024-06-28 cs.AI cs.CL
Knowing What's Missing: Assessing Information Sufficiency in Question Answering
Adobe Research(Adobe研究院)
本文提出了一种结构化框架,通过识别和验证缺失信息来提高问答系统中信息充分性的评估准确性。
2026-03-21 cs.CL
What Does Activation Steering Control? Attribution Across Answer Encodings and Output-Sensitive Subspaces
Nara Institute of Science and Technology(奈良科学技术研究所)
本研究提出跨编码导向评估方法,发现激活导向主要追踪提取索引而非语义标签,且不同数据集、模型及评估类型的表现存在差异,单一编码下的导向增益无法确定干预的控制对象。
2026-08-25 cs.CL
What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs
本研究通过联合事实验证分数提升的分解分析,量化了证据替换对分数增益的贡献,并考察了上下文长度和模型选择的影响,揭示了聚合指标遗漏的声明层面变化。
2026-09-24 cs.CL
Relevant CommonSense Subgraphs for "What if..." Procedural Reasoning
Michigan State University(密歇根州立大学)
我们研究的挑战,学习因果推理过程中的文本回答“如果.“在需要外部常识知识时提问。我们提出了一种新的多跳图推理模型,以1)有效地从一个大型的知识图谱中提取一个常识子图与最相关的信息; 2)通过推理从常识子图获得的表示和问题和上下文之间的上下文交互来预测因果答案。我们在WIQA基准上评估了我们的模型,并与最近的模型相比实现了最先进的性能。
2022-06-07 cs.CL
The Benchmark Illusion: Pruned LLMs Can Pass Multiple Choice but Fail to Answer
Institute of Science Tokyo(东京科学大学);Tohoku University(东北大学);Nanyang Technological University(南洋理工大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Shandong University(山东大学)
研究发现,高稀疏度剪枝后的大语言模型在多项选择评估中表现良好,但在开放生成中无法正确回答相同问题,揭示了基准测试的盲点。
2026-06-17 cs.CL
What Is a Clarification? Estimating Model-Dependent Input Ambiguity
School of Computation, Information & Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
本研究区分世界歧义与模型歧义,提出黑盒方法\ucbacl{},通过答案-澄清对应关系估计模型可用答案集合,在QA和Text-to-SQL任务中实现了良好的歧义检测与决策性能。
2026-10-15 cs.CL
What Factors Affect LLMs and RLLMs in Financial Question Answering?
School of Computer Science and Engineering, Macau University of Science and Technology, China(澳门科技大学计算机科学与工程学院);SKLPlanets, Macau University of Science and Technology, China(澳门科技大学月球与行星科学国家重点实验室);School of Economics, Anhui University, China(安徽大学经济学院);School of Energy and Power Engineering, Huazhong University of Science and Technology, China(华中科技大学能源与动力工程学院)
研究探讨了提示方法、代理框架和多语言对齐方法对LLMs和RLLMs在金融问答任务中的影响,发现提示方法和代理框架能提升LLMs性能,而RLLMs自身具备Long CoT能力,传统方法对其提升有限。
2026-04-12 cs.CL
What Do You Get When You Cross Beam Search with Nucleus Sampling?
The Blavatnik School of Computer Science(布拉瓦特尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
我们结合束搜索和核采样的概率修剪技术,创建了两个确定性核搜索算法用于自然语言生成。第一个算法,p-精确搜索,局部修剪下一个令牌分布,并在剩余的空间上执行精确搜索。第二种算法,动态束搜索,根据候选者概率分布的熵来收缩和扩展束大小。尽管核搜索背后的概率直觉,机器翻译和摘要基准测试的实验表明,这两种算法达到了标准束搜索相同的性能水平。
2022-05-02 cs.AI cs.CL cs.LG
Relational Gating for "What If" Reasoning
Michigan State University(密歇根州立大学)
本文讨论了学习的挑战,做程序推理的文本回答“如果......“问题。我们提出了一种新的关系门控网络,学习过滤的关键实体和关系,并学习上下文和交叉表示的过程和问题找到答案。我们的关系门控网络包含一个实体门控模块,关系门控模块和上下文交互模块。这些模块有助于解决“如果...“推理问题。我们表明,成对关系建模有助于捕捉高阶关系,并找到推理的原因和影响的程序描述。我们提出的方法在WIQA数据集上实现了最先进的结果。
2021-05-27 cs.CL
Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search
Allen Institute for AI(艾伦人工智能研究所);Masakhane(马萨卡内);University of Washington(华盛顿大学);MosaicML;MIT(麻省理工学院);Northwestern University(西北大学)
本研究提出PINOCCHIO解码方法,通过约束束搜索检测并避免幻觉,将抽象式摘要的一致性平均提升约67%。
2023-11-17 cs.CL
RealTime QA: What's the Answer Right Now?
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Tohoku University(东北大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);University of Southern California(南加州大学);Yale University(耶鲁大学);RIKEN(理化学研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出按周更新的动态开放域问答基准 REALTIME QA,并基于 GPT-3、T5 评估系统回答最新事件的能力,揭示实时检索及识别不可答问题的重要性。
2024-02-28 cs.CL
What Question Answering can Learn from Trivia Nerds
University of Maryland(马里兰大学);Google Research(谷歌研究院)
除了让机器回答问题的传统任务外,问答中的一个主要研究问题是创建有趣的、具有挑战性的问题,这些问题可以帮助系统学习如何回答问题,并揭示哪些系统最擅长回答问题。我们认为,创建一个问答数据集-以及与之配套的无处不在的排行榜-非常类似于运行一个琐事锦标赛:您编写问题,让代理(人类或机器)回答问题,并宣布获胜者。然而,研究界忽视了数十年来从琐事社区创造充满活力,公平和有效的问答比赛中吸取的教训。在详细介绍了现有QA数据集的问题后,我们概述了关键的经验教训-消除歧义,区分技能和裁决争议-可以转移到QA研究以及如何为QA社区实施。
2020-04-21 cs.AI cs.CL cs.LG
Trace Only What You Need: Structure-Aware On-Demand Hypergraph Memory for Long-Document Question Answering
University of New South Wales(新南威尔士大学);CSIRO(澳大利亚联邦科学与工业研究组织);University of Wollongong(伍伦贡大学)
提出DocTrace,一种多智能体RAG框架,通过查询触发的知识组织、文档结构感知和经验引导推理,解决长文档问答中知识组织成本高、结构利用不足和推理经验无法复用的问题,在三个数据集上取得最佳性能。
2026-08-07 cs.CL
Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baichuan Intelligent Technology(百川智能科技)
本文提出SlimPLM方法,利用轻量代理模型检测大语言模型缺失的知识,精准决定检索时机与内容,在降低推理成本的同时显著提升了问答任务的端到端性能。
2024-05-30 cs.CL
No that's not what I meant: Handling Third Position Repair in Conversational Question Answering
AlanaAI
本文发布了首个对话式问答场景下的大规模第三位置修正数据集Repair-QA,通过训练和评估T5及GPT-3等基线模型,证明接触该数据集能显著提升模型处理TPR的能力。
2023-07-31 cs.CL
What Can We Learn From Almost a Decade of Food Tweets
University of Latvia(拉脱维亚大学);The University of Tokyo(东京大学)
我们提出了拉脱维亚Twitter食客语料库-一组推文在狭窄的域相关的食物,饮料,饮食和饮料。该语料库收集了超过8年的时间,包括200多万条推文,其中包含额外的有用数据。我们还分离了两个子语料库的问题和答案的推文和情感注释的推文。我们分析了语料库的内容,并通过使用语料库中的数据训练特定领域的问答和情感分析模型来展示子语料库的用例。
2020-09-01 cs.CL
Question Analysis for Arabic Question Answering Systems
Kannur University(坎努尔大学)
在问答(QA)系统中处理问题的第一步是对问题进行详细分析,以确定问题的要求以及如何完美地回答它。我们的问题分析使用几种技术来分析任何以自然语言给出的问题:一个Stanford POS Tagger和阿拉伯语解析器,一个命名实体识别器,分词器,停止词删除,问题扩展,问题分类和问题焦点提取组件。我们采用了大量的检测规则和训练分类器,使用来自此分析的特征来检测问题的重要元素,包括:1)问题中涉及答案的部分(焦点); 2)问题中的不同术语,用于确定所要求的实体类型(词汇答案类型); 3)问题扩展; 4)将问题分类为若干不同类型中的一个或多个的过程;我们描述了如何识别这些元素,并使用平均倒数秩(MRR)准确度测量来评估准确检测对我们的问答系统的影响。
2017-01-11 cs.CL
What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception
University of Pennsylvania(宾夕法尼亚大学)
本文研究问答模型解释理由的呈现格式如何影响用户反馈效果与用户理解信任,通过两项用户研究发现理由格式显著影响反馈难易度和模型执行反馈的效果,且带上下文归因和深入推理的格式更能提升用户理解与信任。
2024-04-02 cs.CL
Do LVLMs Know What They Know? A Systematic Study of Knowledge Boundary Perception in LVLMs
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
本文系统研究大型视觉语言模型(LVLMs)对自身知识边界的感知能力,评估三种置信度信号,提出三种校准方法,并发现视觉与文本联合处理虽降低问答性能但提升感知水平。
2025-08-26 cs.CL
What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets
Carnegie Mellon University(卡内基梅隆大学)
视频QA数据集中的问答偏差会误导多模态模型过拟合QA工件,并危及模型的泛化能力。了解这些QA偏见有多强以及它们来自哪里,可以帮助社区更准确地衡量进展,并为研究人员提供深入的见解来调试他们的模型。在本文中,我们分析了流行的视频问答数据集的QA偏差,发现预训练的语言模型可以正确回答37-48%的问题,而无需使用任何多模态上下文信息,远远超过了5-choose-1多项选择题的20%随机猜测基线。我们的消融研究表明,偏见可能来自注释者和问题类型。具体来说,在训练过程中看到的注释者被模型和推理更好地预测,抽象问题比事实,直接的问题产生更多的偏见。我们还根据经验表明,使用注释器非重叠训练测试分割可以减少视频QA数据集的QA偏差。
2020-07-07 cs.CL cs.CV cs.LG
What Types of Questions Require Conversation to Answer? A Case Study of AskReddit Questions
The Pennsylvania State University(宾夕法尼亚州立大学)
本文通过分析AskReddit的500个开放式问题,发现需要对话解答的问题多具社会性与个人性,为未来对话系统设计满足用户需求提供了见解。
2023-04-03 cs.CL cs.HC
LLM Microscope: What Model Internals Reveal About Answer Correctness and Context Utilization
Carnege Mellon University(卡内基梅隆大学)
本研究提出LLM Microscope方法,利用大语言模型内部激活值预测输出正确性并评估上下文效用,实验验证其准确率约75%且优于提示基线,为理解LLM决策过程提供新视角。
2025-10-05 cs.CL
What's Different between Visual Question Answering for Machine "Understanding" Versus for Accessibility?
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
在视觉问答(VQA)中,机器必须回答给定的相关图像的问题。最近,可访问性研究人员探索了VQA是否可以部署在现实世界中,视觉障碍用户通过捕捉他们的视觉环境并提出问题来了解他们的环境。然而,大多数现有的VQA基准测试数据集都集中在机器“理解”上,目前还不清楚这些数据集的进展如何对应于这个真实用例的改进。我们的目标是通过评估各种VQA模型来评估机器“理解”数据集(VQA-v2)和可访问性数据集(VizWiz)之间的差异来回答这个问题。根据我们的研究结果,我们讨论了VQA的可访问性的机遇和挑战,并为未来的工作提出了建议。
2022-10-26 cs.AI cs.CL cs.CV
Question and Answer Test-Train Overlap in Open-Domain Question Answering Datasets
Facebook AI Research(Facebook 人工智能研究院);University College London(伦敦大学学院)
理想情况下,开放域问答模型应该表现出许多能力,从简单地记忆训练时看到的问题,到用训练期间看到的答案回答新的问题公式,再到用新的答案概括出完全新的问题。然而,单个聚合测试集分数并不能显示模型真正拥有的能力的全貌。在这项工作中,我们进行了详细的研究,测试集的三个流行的开放域基准数据集就这些能力。我们发现60 - 70%的测试时间答案也存在于训练集中的某个地方。我们还发现,30%的测试集问题在相应的训练集中有一个近乎重复的释义。利用这些发现,我们评估了各种流行的开放领域模型,以更深入地了解它们实际上可以推广到什么程度,以及是什么推动了它们的整体性能。我们发现,所有模型在无法从训练集中记忆的问题上的表现都要差得多,重复和非重复数据之间的平均绝对性能差异为63%。最后,我们证明了简单的最近邻模型优于BART闭卷QA模型,进一步强调了训练集记忆在这些基准测试中的作用
2020-08-06 cs.AI cs.CL
Safety Monitors Mostly Catch What the Model Already Refuses
Columbia University(哥伦比亚大学)
研究发现安全监控器在模型会遵从的有害提示上召回率显著更低,标准召回率高估了实际保护,应基于模型实际响应评估监控器。
2026-10-01 cs.CL
Modeling What-to-ask and How-to-ask for Answer-unaware Conversational Question Generation
Institute for Infocomm Research (I2R), A*STAR(新加坡科技研究局资讯通信研究院(I2R));Nanyang Technological University, Singapore(新加坡南洋理工大学);Salesforce AI(赛富时人工智能研究院);ByteDance(字节跳动);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对答案未知型对话式问题生成中“问什么”与“怎么问”的挑战,提出两阶段框架SG-CQG,结合语义图选推理依据、显式控制问题类型,并提出多样性评估指标Conv-Distinct,实现当前最优性能。
2023-05-04 cs.AI cs.CL
What Am I Missing? Question-Answering as Hidden State Probing
Department of Electrical and Computer Engineering & Ingenuity Labs, Queen’s University(电子与计算机工程系及Ingenuity实验室,女王大学);Conflict Analytics Lab, Queen’s University(冲突分析实验室,女王大学);Cornell Law School(康奈尔法学院);Vector Institute for AI(人工智能向量研究所)
提出将问答作为推理时干预手段,通过学生-教师框架探测隐藏状态,发现提问前的隐藏状态可预测最终正确性,并设计门控策略优化提问时机。
2026-11-18 cs.CL
Knowing Is Not Choosing: What Explicit Verification Adds Beyond Generative Preference
该研究将事实回忆分解为生成、排序和选择三步,发现显式验证($P(\mathrm{True})$)相比生成式似然能显著提升候选排序准确率(AUROC 提升 0.08–0.12)和多数票准确率(约 5 点),且收益受实体可及性和正确性定义影响。
2026-09-30 cs.CL
Answering Visual What-If Questions: From Actions to Predicted Scene Descriptions
University of Birmingham(伯明翰大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CISPA Helmholtz Center i.G.(CISPA亥姆霍兹中心)
深入的场景描述和问答任务大大增加了当今场景理解的定义范围。虽然这些任务原则上是开放式的,但目前的提法主要侧重于描述所考虑的场景的当前状态。相比之下,在本文中,我们专注于未来的状态的场景,也有条件的行动。我们将此作为一个问答任务,其中必须给出关于未来场景状态的答案,给出对当前场景的观察,以及包括假设动作的问题。我们的解决方案是一个混合模型,它集成了一个物理引擎到一个问答架构,以预期未来的场景状态所造成的对象-对象交互的行动。我们展示了这个具有挑战性的新问题的初步结果,并与基线进行了比较,在基线上,我们的表现优于完全数据驱动的端到端学习方法。
2018-11-21 cs.CL cs.CV cs.LG
See What LLMs Cannot Answer: A Self-Challenge Framework for Uncovering LLM Weaknesses
Westlake University(西湖大学);University of Cambridge(剑桥大学);Microsoft GenAI(微软生成式人工智能部门);UIUC(伊利诺伊大学厄巴纳-香槟分校);Westlake Institute for Advanced Study(西湖高等研究院)
本文提出Self-Challenge框架,让GPT-4从自身错误中迭代总结错误模式并生成挑战性数据,构建SC-G4基准,揭示LLM固有弱点。
2024-10-01 cs.CL
Can AI Assistants Know What They Don't Know?
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学)
针对大语言模型驱动的AI助手易产生事实性错误的问题,研究构建专属Idk数据集对助手对齐,验证其可学会对未知问题弃权(不执行)作答,且作答准确率显著提升,为减少模型幻觉、提升真实性提供可行路径。
2024-01-28 cs.AI cs.CL
What makes us curious? analysis of a corpus of open-domain questions
University of Bristol(布里斯托大学);We the Curious
每天,人们都会通过智能设备或在线论坛提出简短的问题,以寻求各种问题的答案。随着收集的问题数量的增加,很难为每个问题提供答案,这是对自动问答越来越感兴趣的原因之一。有些问题与已经回答的现有问题类似,而另一些问题可以通过外部知识来源(如维基百科)来回答。一个重要的问题是,通过分析大量问题可以揭示什么。2017年,布里斯托尔的“我们好奇”科学中心启动了一个项目,以捕捉布里斯托尔人的好奇心:该项目收集了10,000多个关于各种主题的问题。由于在收集过程中没有给出任何规则,这些问题是真正的开放领域,涉及各种主题。科学中心的一个重要目标是了解参观者在科学之外的关切,特别是在社会和文化问题上。我们通过开发一个人工智能工具来解决这个问题,该工具可用于执行各种处理任务:检测问题之间的等价性;检测主题和类型;以及回答问题。当我们专注于创建一个“通才”工具时,我们用来自不同数据集的标记数据对其进行了训练。我们将生成的模型称为QBERT。本文介绍了我们从WTC开放域问题语料库的自动分析中提取的信息。
2021-10-28 cs.AI cs.CL cs.LG
What Disease does this Patient Have? A Large-scale Open Domain Question Answering Dataset from Medical Exams
Computer Science and Artificial Intelligence, MIT(麻省理工学院计算机科学与人工智能系);Tongji Medical College, HUST(华中科技大学同济医学院)
开放域问答(OpenQA)任务近年来受到了自然语言处理(NLP)界越来越多的关注。在这项工作中,我们提出了第一个自由形式的多项选择OpenQA数据集,用于解决医疗问题,MedQA,从专业的医学委员会考试收集。它包含三种语言:英语、简体中文和繁体中文,分别包含三种语言的12,723、34,251和14,123个问题。我们实现了基于规则的和流行的神经方法,依次结合文档检索器和机器理解模型。通过实验,我们发现即使是目前最好的方法,在英文、繁体中文和简体中文问题上的测试准确率也只能分别达到36.7%、42.0%和70.1%。我们希望MedQA能给现有的OpenQA系统带来巨大的挑战,并希望它能作为一个平台,在未来从NLP社区推广更强大的OpenQA模型。
2020-09-28 cs.AI cs.CL
Aligning What LLMs Do and Say: Towards Self-Consistent Explanations
Technion – Israel Institute of Technology(以色列理工学院);Nvidia Research(英伟达研究院);University of Groningen(格罗宁根大学)
研究通过比较回答与解释的特征重要性分布,发现后验自一致性银行(PSCB)能更可靠地体现模型决策与解释的一致性,应用DPO优化提升对齐性而不影响任务精度。
2026-04-12 cs.CL
Dr ChatGPT, tell me what I want to hear: How prompt knowledge impacts health answer correctness
The University of Queensland(昆士兰大学);CSIRO(澳大利亚联邦科学与工业研究组织)
生成式预训练语言模型(GPLM)(如ChatGPT)将模型在预训练阶段观察到的模型参数知识进行编码。然后在推理时使用该知识来解决用户在其提示中指定的任务。例如,对于问答任务,GPLM利用在培训中学到的知识和语言模式来生成用户问题的答案。除了模型本身编码的知识之外,GPLM生成的答案还可以利用提示中提供的知识。例如,GPLM可以集成到检索然后生成的范例中,其中使用搜索引擎来检索与问题相关的文档;然后通过提示将文档的内容传输到GPLM。在本文中,我们研究了ChatGPT在单独利用模型知识与提示知识相结合时生成的答案正确性的差异。我们在消费者从模型中寻求健康建议的背景下研究这一点。除了测量ChatGPT在这种情况下的有效性外,我们还表明提示中传递的知识可以推翻模型中编码的知识,在我们的实验中,这不利于答案的正确性。这项工作具有重要的意义,更强大的和透明的问答系统的基础上生成的预训练语言模型的发展。
2023-02-23 cs.AI cs.CL cs.IR
What If: Generating Code to Answer Simulation Questions
Technion(以色列理工学院);Israel Institute of Technology(以色列理工学院)
许多文本,特别是化学和生物学,描述复杂的过程。我们专注于描述化学反应过程的文本,以及在不同环境条件下询问该过程结果的问题。要回答有关此类流程的问题,需要了解流程中涉及的不同实体之间的交互,并在不同条件下模拟流程执行期间的状态转换。状态转换被定义为程序在执行期间对变量所做的内存修改。我们假设生成代码并执行它来模拟流程将允许回答这些问题。因此,我们定义了一个领域特定语言(DSL)来表示流程。我们为社区贡献了一个由化学家策划并由计算机科学家注释的独特数据集。该数据集由过程文本、模拟问题及其对应的DSL代码组成,提出了一种基于强化学习的神经程序合成方法。新的奖励是基于预测代码和参考代码之间的运行时语义相似性。这允许模拟复杂的过程转换,从而回答模拟问题。我们的方法产生了显着提高模拟问题的准确性:88\%的准确性,而不是83\%的准确性的最先进的神经程序合成方法和54\%的准确性的最先进的端到端的基于文本的方法。
2022-04-16 cs.CL cs.LG
Beamforming-LLM: What, Where and When Did I Miss?
Columbia University(哥伦比亚大学);Institute for Clarity in Documentation(清晰文档研究所);Inria Paris-Rocquencourt(Inria巴黎- Rocquencourt研究所);Rajiv Gandhi University(拉贾·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒姆研究实验室)
本文提出Beamforming-LLM系统,结合波束形成、Whisper转录和RAG,实现多说话人环境中错失对话的语义回忆,提供对比摘要和时空上下文,奠定智能听觉记忆基础。
2025-09-07 cs.AI cs.CL cs.HC
When Is Enough Not Enough? Illusory Completion in Search Agents
Seoul National University(首尔国立大学);LG AI Research(LG人工智能研究);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
研究发现搜索代理在多约束问题中常出现错觉完成,通过引入认知账本框架,显式跟踪约束状态可有效减少未经验证答案并提升准确性。
2026-10-15 cs.AI cs.CL
What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA
University of Zurich(苏黎世大学);Shanghai Jiao Tong University(上海交通大学)
本研究通过消息干预诊断,在角色专业化QA中揭示理性依据主要影响验证者的支持判断而非答案准确性,并应作为验证消息机制评估。
2026-10-02 cs.AI cs.CL
Knowing What Not to Answer: Selective Non-Compliance in Vision-Language Models
POSTECH(浦项科技大学);Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
本文提出KoNA基准评估视觉语言模型的选择性不遵从,发现现有模型在该场景下表现不佳,经KoNA示例微调后,模型不遵从准确率提升且可区分需不遵从的成分。
2026-09-07 cs.AI cs.CL
What Questions Should Robots Be Able to Answer? A Dataset of User Questions for Explainable Robotics
King's College London, CDT in Safe and Trusted AI(国王学院伦敦大学,安全与可信人工智能中心);King's College London(国王学院伦敦大学)
本文通过收集100名参与者的1893个问题,构建了一个面向家用机器人的用户问题数据集,涵盖12个类别和70个子类别,旨在帮助机器人学家确定机器人需要回答的关键问题类型。
2026-05-22 cs.CL cs.HC cs.RO
Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data
KAIST(韩国科学技术院);AITRICS
我们考虑了一种新的问答(QA)任务,其中机器需要从大型流数据(长文档或视频)中读取,而不知道何时会给出问题,由于缺乏可扩展性,这很难用现有的QA方法解决。为了解决这个问题,我们提出了一种新的端到端深度网络模型,用于阅读理解,我们称之为情景记忆阅读器(EMR),它将输入的上下文顺序地读取到外部存储器中,同时替换对于回答\emph{unseen}问题不太重要的记忆。具体而言,我们训练RL代理在内存满时替换内存条目,以便在未来时间点最大化其QA准确性,同时使用GRU或Transformer架构对外部内存进行编码,以学习考虑内存条目之间的相对重要性的表示。我们在合成数据集(bAbI)以及真实世界的大规模文本QA(TriviaQA)和视频QA(TVQA)数据集上验证了我们的模型,在这些数据集上,它比基于规则的内存调度策略或基于RL的基线(独立学习每个内存的查询特定重要性)实现了显着改进。
2019-06-09 cs.CL cs.LG stat.ML
What Improves Multimodal Misinformation Detection? Answers from a Large-Scale Empirical Study
CVPR Lab, MFSDSAI(CVPR实验室,MFSDSAI);Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
通过超3,375次实验的大规模实证研究,系统评估多模态虚假信息检测中的设计选择,提炼出关键指导建议,为构建更可靠检测系统提供依据。
2026-09-28 cs.AI cs.CL cs.CV
Demo: TOSense -- What Did You Just Agree to?
School of Computer Science and Engineering, The University of New South Wales(计算机科学与工程学院,新南威尔士大学)
针对在线服务条款冗长晦涩带来的信息不对称与法律风险,本文提出Chrome扩展TOSense,结合爬虫与轻量大模型流水线实现ToS自然语言问答,还提出无需人工标注的QEP评估方法,在五大平台实验验证了有效性。
2025-08-01 cs.CL cs.CR
Correct Answers, Invalid Traces: What Verifiable Grade-School Math Reveals About Chain-of-Thought Traces
IT University of Copenhagen(哥本哈根信息技术大学);Chennai Mathematical Institute(金奈数学研究所);Indian Institute of Technology Jammu(印度理工学院贾姆穆分校);Arizona State University(亚利桑那州立大学)
本研究通过可验证的小学数学基准iGSM,发现思维链轨迹的答案正确性与轨迹有效性在分布外会分离,且轨迹监督干预可削弱最小性证据,对思维链监控与解释提出警示。
2026-09-30 cs.AI cs.CL
What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering
HPI / University of Potsdam(HPI/波茨坦大学);Utrecht University(乌特勒支大学);Google DeepMind(谷歌DeepMind)
本文提出简单方法评估LLM隐式规划,通过押韵生成和问答案例展示其可扩展性,发现隐式规划在1B参数模型中普遍存在,为AI安全提供新视角。
2026-05-11 cs.AI cs.CL cs.LG
I Know What You Asked: Graph Path Learning using AMR for Commonsense Reasoning
Korea University(高丽大学)
常识问答是一项任务,其中正确的答案是预测通过常识推理与预定义的知识。大多数以前的作品的目的是提高分布式表示的性能,而不考虑从问题的语义表示预测答案的过程。为了阐明问题的语义解释,我们提出了一个AMR-概念网-修剪(ACP)图。ACP图是从包含从输入问题生成的抽象意义表示(AMR)图和外部常识知识图谱ConceptNet(CN)的完全集成图中修剪出来的。然后利用ACP图来解释推理路径并预测CommonsenseQA任务的正确答案。本文提出的方式,其中常识推理过程可以解释的关系和概念提供的ACP图。此外,ACP为基础的模型被证明优于基线。
2020-11-06 cs.AI cs.CL
What Makes Reading Comprehension Questions Easier?
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Tohoku University(东北大学);National Institute of Informatics(国立信息学研究所)
为机器阅读理解(MRC)创建数据集的一个挑战是收集需要对语言进行复杂理解的问题,而不仅仅是使用表面线索来回答。在这项工作中,我们调查了是什么让最近12个MRC数据集的问题更容易,有三种问题风格(答案提取,描述和多项选择)。我们建议采用简单的算法将每个数据集分为简单和困难的子集,并检查每个子集的两个基线模型的性能。然后,我们手动注释从每个子集的有效性和必要的推理技能,调查哪些技能解释简单和困难的问题之间的差异采样的问题。从这项研究中,我们观察到(i)与整个数据集相比,硬子集的基线表现显着下降,(ii)与简单问题相比,硬问题需要知识推理和多句推理,(iii)多项选择题往往需要比答案提取和描述问题更广泛的推理技能。这些结果表明,人们可能高估了MRC的最新进展。
2018-08-28 cs.AI cs.CL
What Can Secondary Predictions Tell Us? An Exploration on Question-Answering with SQuAD-v2.0
自然语言处理的性能,特别是问答任务的性能,通常是通过比较模型最有信心的(主要)预测和黄金答案(地面真相)来衡量的。我们正在证明,即使对于失败的例子,量化模型预测正确答案的接近程度也是有用的。我们将一个例子的黄金排名(GR)定义为与地面事实完全匹配的最有信心的预测的排名,并展示了为什么这样的匹配总是存在。对于我们分析的16个Transformer模型,次级预测空间中大多数完全匹配的黄金答案都非常接近顶级。我们将次要预测称为那些在置信概率降序中排名在0以上的预测。我们演示了如何GR可以用来分类的问题,并可视化他们的难度谱,从持久的接近成功的持续极端失败。我们在整个测试集上推导出一个新的聚合统计量,称为黄金秩插值中位数(GRIM),它量化了失败预测与模型所做的最佳选择的接近程度。为了开发一些直觉并探索这些指标的适用性,我们使用了斯坦福问答数据集(SQuAD-2)和Hugging Face中心的一些流行的Transformer模型。我们首先证明GRIM与F1和精确匹配(EM)分数不直接相关。然后,我们计算和可视化这些分数为各种Transformer架构,探索其适用性的错误分析聚类失败的预测,并比较它们如何与其他训练诊断,如EM和F1分数。最后,我们提出了各种研究目标,如扩大这些指标的数据汇集及其在对抗训练中的可能用途。
2022-10-24 cs.AI cs.CL cs.LG
On the Fundamental Impossibility of Hallucination Control in Large Language Models
Samsung AI Center(三星人工智能中心)
该研究通过将大语言模型推理建模为观点拍卖,证明了幻觉控制的不可能性定理,指出模型无法同时满足如实性、置信度合理性等四个目标,仅能基于外部证据验证答案的支撑性,相关权衡需由人决策。
2026-07-31 cs.AI cs.CL cs.GT
Reducing Language Biases in Visual Question Answering with Visually-Grounded Question Encoder
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最近的研究表明,目前的VQA模型严重偏向于训练集中的语言先验来回答问题,而与图像无关。例如,在一个示例中,绝大多数人把“什么运动”回答为“网球”或把“香蕉什么颜色”回答为“黄色”。“这种行为限制了他们在现实世界的应用场景中的应用。在这项工作中,我们提出了一种新的模型无关的问题编码器,视觉接地问题编码器(VGQE),VQA,减少这种影响。VGQE在编码问题时平等地利用视觉和语言模态。因此,问题表示本身得到了充分的视觉基础,从而减少了模型对语言先验的依赖。我们证明了VGQE对三个最近的VQA模型的影响,并在VQAv 2数据集的偏差敏感分裂上取得了最先进的结果; VQA-CPv 2。此外,与现有的偏差减少技术不同,在标准VQAv 2基准测试中,我们的方法不会降低准确性;相反,它提高了性能。
2020-07-18 cs.CL cs.CV
The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much
Hosho
该研究将LLM评判者视为控制论监管者,通过7个公开基准实验发现,向评判者展示的内容比评判者种类更重要,还揭示了不同任务中参考材料的作用,报告了理论预测的不足并推导了相关设计规则。
2026-10-14 cs.AI cs.CL
What Matters for Latent Reasoning with Flow Matching
本文提出流式潜在推理(FLaRe),通过流匹配在潜在空间训练有效思维,满足有用、多样、可解释、可改进和高效五项要求,在算术基准上以四分之一延迟达到显式思维链97%的准确率。
2026-10-06 cs.CL cs.LG