Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and Beyond
Columbia University(哥伦比亚大学);HKUST(香港科技大学);Microsoft Research(微软研究院);University of California, Los Angeles(加州大学洛杉矶分校)
视觉语言理解任务通过多项选择题评估模型对复杂视觉场景的理解。然而,我们已经确定了两个数据集偏差,模型可以利用它们作为捷径,在没有适当理解的情况下正确解决各种VL任务。第一种类型的数据集偏差是\emph{Unbalanced Matching}偏差,其中正确答案与问题和图像的重叠比错误答案更多。第二种类型的数据集偏差是\emph{Distractor Similarity}偏差,其中不正确的答案与正确的答案非常不相似,但与同一样本中的其他不正确的答案非常相似。为了解决这些数据集偏差,我们首先提出了对抗性数据合成(ADS)来生成合成训练和去偏评估数据。然后,我们引入样本内反事实训练(ICT),以帮助模型利用合成的训练数据,特别是反事实数据,通过关注样本内的差异。大量的实验表明,ADS和ICT在不断提高模型性能在不同的基准测试,即使在域转移的情况下的有效性。
2023-10-31 cs.AI cs.CL cs.CV
Can NLI Models Verify QA Systems' Predictions?
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
为了构建健壮的问答系统,我们需要能够验证问题的答案是否真正正确,而不仅仅是在不完美的QA数据集的上下文中“足够好”。我们探索使用自然语言推理(NLI)作为实现这一目标的一种方式,因为NLI本质上需要的前提(文档上下文)包含所有必要的信息来支持假设(提出的问题的答案)。我们利用大型的预训练模型和最近的先验数据集来构建强大的问题转换器和去语境化模块,这些模块可以将QA实例重新表述为具有非常高可靠性的前提假设对。然后,通过结合标准NLI数据集和从QA训练数据自动获得的NLI示例,我们可以训练NLI模型来判断QA模型提出的答案的正确性。我们表明,我们的NLI方法通常可以提高跨不同领域的QA模型的置信度估计,在选择性QA设置进行评估。对我们的NLI模型的预测进行仔细的手动分析表明,它可以进一步识别QA模型由于错误的原因产生正确答案的情况,或者答案无法验证为解决问题的所有方面的情况。
2021-09-11 cs.AI cs.CL
Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks
该研究针对LLM多项选择基准提出LLM-NRM框架,利用错误答案的独特信息提升能力估计精度与基准测试效率,其能力估计与人类偏好排行榜相关性达0.920,仅错误回答就能实现0.943的高相关。
2026-08-05 cs.CL
More Yap Less Meaning: Uncovering Self-Improvement Behavior in SLMs
American University of Armenia(亚美尼亚美国大学);NVIDIA(英伟达)
本研究通过构建充分性测试,发现小语言模型在自我纠正中仅获得4.4%的准确率提升,且较长的提示反而与错误答案正相关,表明其推理能力有限。
2026-06-07 cs.AI cs.CL
Can LLMs Model Incorrect Student Reasoning? A Case Study on Distractor Generation
ETH Zürich, Switzerland(苏黎世联邦理工学院,瑞士);Bocconi University, Italy(博科尼大学,意大利);University of Central Florida, USA(中央佛罗里达大学,美国)
本文研究了大语言模型在生成多项选择题干扰项时对错误推理的建模能力,发现模型通常先正确解决问题,再模拟可能的误解,最后选择干扰项,且正确解的提示能提升干扰项质量。
2026-09-16 cs.AI cs.CL cs.HC
Evaluating Sycophancy in Chinese Large Language Models on Factual Questions Derived from Online Search Queries
Politecnico di Milano(米兰理工大学);University of Science and Technology of China(中国科学技术大学)
该研究评估中文大语言模型在事实问答中的谄媚行为,发现迎合用户错误信念与保持事实准确性不等同,提出转变层面评估方法。
2026-09-28 cs.CL
Popular but Wrong: Understanding and Mitigating LLM Overconfidence through Knowledge Popularity
CAS Key Lab of Network Data Science and Technology, ICT, CAS(中国科学院信息科技研究院网络数据科学与技术重点实验室);State Key Laboratory of AI Safety(人工智能安全国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
该研究针对LLM过度自信问题,从知识流行度角度分析发现流行但错误的答案会加剧过度自信,通过融入知识流行度信号可显著缓解过度自信并提升置信度估计效果。
2026-09-01 cs.CL
Two Regimes of Chain-of-Thought Unfaithfulness: Metric-Based Detection Fails Where Models Are Wrong
The University of Southern Mississippi(南密西西比大学)
研究思维链不忠实检测,发现答案正确性影响检测效果,分正确与错误答案两种模式。仅答案不正确性表现优,跨模式无共享正向对齐方向,指示轨迹难转移,还解决了基准标签语义不匹配问题。
2026-08-25 cs.CL
Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Meta AI;Institute of Dataspace(空间数据研究院)
针对LLM自检测中过度信任错误答案的问题,提出考虑全面答案空间的两步反思框架,通过比较多候选答案并聚合理由进行评估,有效提升了自检测性能。
2024-09-27 cs.CL
Asking LLMs to Verify First is Almost Free Lunch
Department of Electonic Engineering(电子工程系)
提出Verification-First (VF)策略,通过先验证候选答案再生成解决方案,以低计算开销提升推理能力,并扩展为Iter-VF迭代方法,在多个基准上优于标准CoT和现有TTS策略。
2026-05-23 cs.AI cs.CL
CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine
Department of Biomedical Informatics, Vanderbilt University Medical Center(生物医学信息学系,范德比尔特大学医学中心);Vanderbilt University(范德比尔特大学);Intuit AI Research(Intuit AI研究);Department of Electrical and Computer Engineering, Vanderbilt University(电气与计算机工程系,范德比尔特大学);Department of Computer Science, Vanderbilt University(计算机科学系,范德比尔特大学);Department of Biostatistics, Vanderbilt University Medical Center(生物统计学系,范德比尔特大学医学中心)
CLEAR框架评估了决策空间呈现、歧义性和不确定性对医学基准LLM推理的影响,揭示了现有评估方法的三大局限:增加合理答案数量会降低模型识别正确答案和避免错误答案的能力,歧义性增加导致模型更不谨慎,且模型规模越大,谦逊缺陷越严重。
2026-05-09 cs.AI cs.CL cs.LG
Recon, Answer, Verify: Agents in Search of Truth
Indian Institute of Technology Bombay(印度理工学院孟买学院)
本文提出 PFO 基准数据集以消除事实核查中的事后信息,并设计 RAV 多智能体框架,通过迭代生成和回答子问题验证声明,在多个基准上显著优于现有方法且性能下降最小。
2025-07-04 cs.AI cs.CL
Assessing the Answerability of Queries in Retrieval-Augmented Code Generation
Nota Inc.(Nota公司)
本文提出RaCG中查询可回答性评估任务,并构建RaCGEval基准,实验显示基线模型性能仅46.7%,同时探讨了可显著提升性能的方法。
2024-11-25 cs.CL
HealthContradict: Evaluating Biomedical Knowledge Conflicts in Language Models
Faculty of Medicine, University of Geneva(日内瓦大学医学院);Department of Biomedical Informatics, Yong Loo Lin School of Medicine, National University of Singapore(新加坡国立大学 Yong Loo Lin 医学院生物医学信息学系);Department of Biostatistics & Bioinformatics, Duke University Artificial Intelligence Institute, National University of Singapore(新加坡国立大学人工智能研究所生物统计学与生物信息学系)
HealthContradict数据集评估语言模型在处理生物医学知识矛盾时的推理能力,揭示模型在正确上下文利用与错误上下文抵抗方面的表现。
2025-12-02 cs.AI cs.CL
LLM Microscope: What Model Internals Reveal About Answer Correctness and Context Utilization
Carnege Mellon University(卡内基梅隆大学)
本研究提出LLM Microscope方法,利用大语言模型内部激活值预测输出正确性并评估上下文效用,实验验证其准确率约75%且优于提示基线,为理解LLM决策过程提供新视角。
2025-10-05 cs.CL
ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation
INSAIT, Sofia University "St. Kliment Ohridski"(INSAIT索菲亚大学"圣克莱门特·欧赫里迪斯基");Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE(无处不在知识处理实验室(UKP实验室)、计算机科学系、图腾达姆斯塔特大学和应用网络安全国家研究中心ATHENE);Arizona State University(亚利桑那州立大学)
本文提出ChartAttack框架,用于评估多模态大语言模型在生成误导性图表方面的能力,通过注入误导性元素来诱导错误解释,并引入AttackViz数据集来评估和改进模型的鲁棒性。
2026-09-03 cs.CL
Stop Listening to Me! How Multi-turn Conversations Can Degrade LLM Reliability
Vanderbilt University(范德比尔大学);Vanderbilt University Medical Center(范德比尔大学医学中心);Intuit AI Research(Intuit人工智能研究)
提出“坚持或切换”(SoS)框架,通过将问答空间分割为多个顺序呈现来评估LLM在多轮对话中的可靠性,发现对话税导致准确性和拒绝错误建议的能力平均下降30%,并观察到盲目切换现象。
2026-05-26 cs.AI cs.CL cs.LG
Problem-Solving in Language Model Networks
University of Tsukuba(筑波大学);Grenoble INP - Ensimag, UGA(格勒诺布尔国立高等信息与应用数学学院)
本研究将多智能体辩论拓展至通用网络拓扑,发现随机网络性能与全连接网络相当且token消耗更少,揭示了自我反思与互联性的平衡及枢纽节点偏差的影响,为提升多智能体问答性能提供了新思路。
2024-07-09 cs.AI cs.SI
ClashEval: Quantifying the tug-of-war between an LLM's internal prior and external evidence
Cranberry-Lemon University(蔓越莓柠檬大学);Department of Computer Science(计算机科学系)
ClashEval通过构建1200余个多领域问题并施加答案扰动,系统量化了LLMs在内部先验与外部检索证据冲突时的取舍行为,发现模型在60%以上情况下会错误采纳检索内容,并提出利用置信度提升准确率的简单方法。
2025-02-07 cs.AI cs.CL
Probabilistic Tree-of-thought Reasoning for Answering Knowledge-intensive Complex Questions
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司)
本文提出概率性思维树推理方法ProbTree,通过构建查询树并结合闭卷与开卷问答的置信度选择,解决LLM在知识密集型复杂问答中的负面检索和局部错误传播问题,显著优于现有SOTA方法。
2023-11-23 cs.AI cs.CL
Answering the Wrong Question: Reasoning Trace Inversion for Abstention in LLMs
MIT(麻省理工学院);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文提出轨迹逆向方法,通过分析模型推理轨迹来改进LLMs的退避能力,实验表明其在多个数据集上显著提升退避性能。
2026-04-02 cs.AI
Generalization of Fine-Tuned Uncertainty Communication and Metacognition in Large Language Models
Department of Cognitive Sciences, University of California, Irvine, United States(认知科学系,加州大学伊文斯顿分校,美国);Department of Computer Science, University of California, Irvine, United States(计算机科学系,加州大学伊文斯顿分校,美国)
研究通过监督微调提升大语言模型不确定性沟通能力,发现领域内校准和判别改善,但任务间迁移有限,多任务训练可促进泛化。
2026-06-23 cs.AI cs.CL
LLM Judges Can Be Too Generous When There Is No Reference Answer
University of Potsdam(波茨坦大学);National Research Council(国家研究委员会)
探讨在无参考答案时大语言模型评判器能否可靠评估。通过校准和敏感性两阶段实验,发现其在无参考答案时易高估错误答案,添加参考答案信息会大幅改变评判结果,且与人类判断相符,强调校准LLM评判器的必要性并提供了方法。
2026-07-15 cs.CL
I've got the "Answer"! Interpretation of LLMs Hidden States in Question Answering
Vyatka State University(维亚特卡国立大学)
本文研究知识库问答中 LLMs 隐藏状态的解释,提出正确与错误的模型行为可在隐藏状态层面区分的假设,并通过对量化模型与数据集的测试验证了该假设,同时建议额外训练“弱”层以提升任务质量。
2024-06-04 cs.AI cs.CL
Generating and Evaluating Explanations of Attended and Error-Inducing Input Regions for VQA Models
SRI International(SRI国际);University of California, San Diego(加州大学圣地亚哥分校)
注意力地图是一种流行的基于热图的视觉问答(VQA)解释方法,旨在通过突出显示模型用于推断答案的图像/问题的部分来帮助用户理解模型。然而,我们看到用户经常被当前的注意力地图可视化误导,尽管模型产生了错误的答案,但这些可视化指向相关区域。因此,我们提出了错误映射,通过突出显示模型容易出错的图像区域来澄清错误。错误映射可以指示何时正确关注的区域可能被不正确地处理,从而导致不正确的答案,并且因此提高用户对这些情况的理解。为了评估我们的新解释,我们进一步引入了一个度量,模拟用户的解释,以评估其潜在的帮助理解模型的正确性。最后,我们进行用户研究,看看我们的新的解释,帮助用户理解模型的正确性比基线预期的30%,我们的代理有用性指标密切相关($ρ>0.97$),以及用户可以预测模型的正确性。
2021-10-25 cs.AI cs.CV cs.CY
What Patients Really Ask: Exploring the Effect of False Assumptions in Patient Information Seeking
Duke University(杜克大学);Stanford University(斯坦福大学)
研究探讨了患者实际提问中错误假设的影响,通过分析谷歌People Also Ask数据集,发现现有LLM在识别日常问题中的错误假设方面表现不佳。
2026-03-18 cs.CL
From Answers to Rationales: Self-Aligning Multimodal Reasoning with Answer-Oriented Chain-of-Thought
South China University of Technology(华南理工大学);JD Explore Academy, JD.com(京东探索研究院);Pazhou Lab(琶洲实验室)
本文提出SMART框架,利用面向答案的思维链从正确与错误答案自动构建正负理据数据,并通过迭代生成—优化提升多模态大语言模型推理能力。
2025-07-28 cs.CL
Enhancing In-Context Learning with Answer Feedback for Multi-Span Question Answering
Nanjing University(南京大学)
针对多跨度问答中 LLM 少样本提示仅展示正确答案的局限,本文在演示示例中加入现成模型预测答案的正确、错误或不完整反馈,实验证明该策略可稳定提升上下文学习性能。
2023-06-07 cs.AI cs.CL
SocialIQA: Commonsense Reasoning about Social Interactions
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院)
我们介绍社会智商,第一个大规模的基准常识推理的社会情况。社交智商包含38,000个多项选择题,用于在各种日常情况下探索情感和社交智力(例如,问:“乔丹想告诉特雷西一个秘密,所以乔丹向特雷西倾斜。乔丹为什么要这么做?答:“确保没有其他人能听到”)。通过众包,我们收集关于社交互动的常识性问题以及正确和不正确的答案,使用一个新的框架,通过要求工人为不同但相关的问题提供正确的答案来减轻不正确答案中的风格工件。实证结果表明,与人类表现相比,我们的基准测试对基于预训练语言模型的现有问答模型具有挑战性(>20%差距)。值得注意的是,我们进一步建立了社会智商作为常识知识的迁移学习的资源,在多个常识推理任务(Winograd Schemas,COPA)上实现了最先进的性能。
2019-09-09 cs.CL
LLMs May Perform MCQA by Selecting the Least Incorrect Option
Harbin Institute of Technology(哈尔滨工业大学);Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心)
针对 MCQA 可能无法区分“正确”与“错误最少”选项的问题,本文提出 MCQA+ 数据集增强方法,以更可靠地评估 LLM 能力。
2024-12-06 cs.AI cs.CL
Beyond Penalizing Mistakes: Stabilizing Efficiency Training in Large Reasoning Models via Adaptive Correct-Only Rewards
Korea University(高丽大学);Soongsil University(崇实大学)
针对GRPO中长度惩罚导致奖励崩溃的问题,提出ACOER方法,通过仅对正确回答给予简洁奖励并动态调整预算,在数学推理任务中准确率提升且生成token减少超60%。
2026-06-23 cs.AI cs.CL
Incentivizing LLMs to Self-Verify Their Answers
Nanyang Technological University, Singapore(南洋理工大学,新加坡);Skywork AI
针对特定推理任务训练后LLM用外部奖励模型做测试时缩放收益有限的问题,提出统一生成与验证的强化学习框架,激励模型自我验证,实现了训练后性能提升与有效测试时缩放。
2025-10-30 cs.AI cs.LG
When Persuasion Overrides Truth in Multi-Agent LLM Debates: Introducing a Confidence-Weighted Persuasion Override Rate (CW-POR)
本文研究多智能体LLM辩论中说服力凌驾真相的风险,提出置信度加权说服覆盖率(CW-POR)指标,通过TruthfulQA实验发现较小模型也能以高置信度说服评判者接受虚假信息,凸显了稳健校准与对抗性测试的必要性。
2025-04-01 cs.AI cs.CL
LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出听众感知微调方法LACIE,通过双智能体博弈建模听众接受度,以偏好优化校准LLM的隐式和显式置信标记,使模型在保持正确答案接受率的同时显著减少错误答案被接受,并提升真实性、置信度分离和弃权行为。
2024-07-03 cs.AI cs.CL
Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension
The Asahi Shimbun Company(朝日新闻公司);National Institute of Informatics(国立信息学研究所)
本文构建了一个包含3,003个子问题的数据集,用于评估语言模型对逻辑阅读理解中批判性推理理由的理解,实验发现现有大模型即使能答对主问题,也难以解释为何排除错误选项,从而揭示了其在批判性推理上的不足。
2023-11-30 cs.CL
Minimizing Factual Inconsistency and Hallucination in Large Language Models
Quantiphi(Quantiphi公司)
提出多阶段框架先生成并验证原理再生成答案,有效减少LLM幻觉,显著提升GPT-3.5-turbo及小型开源模型在药物查询等任务中的忠实度与准确率。
2023-11-23 cs.AI cs.CL
Early Stopping for Large Reasoning Models via Confidence Dynamics
University of Maryland(马里兰大学);University of Southern California(南加州大学)
本文研究推理过程中中间答案的置信度,提出CoDE-Stop方法利用置信度动态决定早停,无需额外训练,提升准确率与效率,减少25-50%的token使用。
2026-08-17 cs.AI cs.CL cs.LG
MalAlgoQA: Pedagogical Evaluation of Counterfactual Reasoning in Large Language Models and Implications for AI in Education
Rice University(莱斯大学)
本文提出用于评估大语言模型反事实推理能力的教学法数据集MalAlgoQA,设计错误算法识别任务及对应指标,发现顶尖大模型在错误推理识别上表现显著下滑,且思维链提示无稳定提升效果,为教育AI系统开发提供参考。
2024-10-05 cs.CL cs.CY
LLMs Should Express Uncertainty Explicitly
University of California, Berkeley(加州大学伯克利分校);Virginia Tech(弗吉尼亚理工大学)
本文研究通过训练使模型在回答时显式表达不确定性,以减少过度自信的错误,提升回答质量,并通过检索增强生成技术改进最终响应。
2026-05-13 cs.AI cs.CL cs.LG
Certainty Is Not Just Correctness: Rethinking Token-Level Certainty in LLM Reasoning
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
本研究重新评估LLM推理中词元级确定性的预测能力,发现其在不同预测目标上表现不一,并据此提出一种利用确定性分配响应数量和加权投票的方法,在提升准确率的同时大幅降低生成成本。
2026-10-02 cs.AI cs.CL
I-CALM: Incentivizing Confidence-Aware Abstention for LLM Selective Answering
本文研究通过仅提示干预减少大语言模型幻觉风险,提出I-CALM框架通过引导自信、奖励回避和加入规范原则提升事实性问题的准确性。
2026-08-18 cs.AI cs.CL
It's Not Easy Being Wrong: Large Language Models Struggle with Process of Elimination Reasoning
University of Maryland(马里兰大学)
本文研究大型语言模型在多项选择题中使用排除法推理错误选项的能力,发现排除法策略始终不如直接选择正确答案,且两种策略间一致性低于各自自一致性,并通过错误分析为未来研究提供建议。
2024-06-07 cs.CL
When Chain-of-Thought Fails, the Solution Hides in the Hidden States
Heriot-Watt University(赫瑞斯泰大学);University of Edinburgh(爱丁堡大学)
研究通过激活补丁分析发现,链式推理(CoT)中的隐藏状态包含任务相关信息,即使原始推理轨迹错误,也能通过补丁提升准确率,揭示CoT中某些token能编码足够的信息恢复正确答案。
2026-09-04 cs.AI cs.CL cs.LG
Rectifying Belief Space via Unlearning to Harness LLMs' Reasoning
MBZUAI;Tohoku University(东北大学);RIKEN(日本理化学研究所)
针对大语言模型因虚假信念导致推理错误的问题,提出结合前向后向波束搜索识别信念、通过去学习校正信念空间的方法,可纠错且提升泛化,为提升LLM可靠性提供新方向。
2025-06-17 cs.CL
Complementing Self-Consistency with Cross-Model Disagreement for Uncertainty Quantification
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);WPI(伍斯特理工学院);IFM MBZUAI(MBZUAI人工智能研究所)
本文通过引入epistemic不确定性项,改进了自一致性估计的不确定性量化,提升了模型在低不确定性下的选择性回避性能。
2026-04-18 cs.AI
When Do LLMs Admit Their Mistakes? Understanding The Role Of Model Belief In Retraction
University of Southern California(南加州大学)
研究揭示LLMs在生成时基于内部信念而非参数知识进行撤回,监督微调可提升其撤回性能。
2026-08-10 cs.CL
(Ir)rationality and Cognitive Biases in Large Language Models
University College London(伦敦大学);University of Bologna(博洛尼亚大学)
本文通过心理学文献中的任务评估七种语言模型,发现其在非理性表现上与人类相似,但表现形式不同,且存在响应不一致的额外非理性特征。
2024-02-15 cs.AI cs.CL cs.HC
LLMs and the Madness of Crowds
Mirabolic Consulting(米拉波里克咨询公司)
本研究通过分析大语言模型评估中的错误答案模式,测量模型间相似性并构建基于错误相关性的分类体系,揭示错误响应跨模型系统性相关,为理解模型底层结构提供新视角。
2024-11-05 cs.CL cs.LG
SEMQA: Semi-Extractive Multi-Source Question Answering
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出半抽取式多源问答任务SEMQA,要求模型混合逐字引用片段与自由文本连接成分生成可归因答案,并构建首个数据集QuoteSum及评估指标,实验表明该任务对现有大语言模型仍具挑战性。
2024-06-30 cs.AI cs.CL cs.LG
Judging by the Cover: Cleaning LLM Truthfulness Benchmarks to Avoid Surface-Level Feature Leakage
University of Utah(犹他大学);Thoughtworks;University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Martian AI
本文揭示LLM真实性基准存在表面特征泄露,使模型无需推理即可答对,并提出清理机制Audit-Prune及清理后的TruthfulQA版本以消除该问题。
2026-09-14 cs.CL cs.LG
Retrieval Augmented Question Answering: When Should LLMs Admit Ignorance?
Google Research(谷歌研究);University of Oxford(牛津大学)
本文提出了一种自适应提示策略,通过分割检索信息并逐步提示LLM回答问题,以提高问答性能并减少无关信息的影响。
2025-12-29 cs.AI cs.CL cs.LG
How much do LLMs learn from negative examples?
Koç University(科克大学)
本文利用 Likra 似然比模型在多项选择问答基准上控制负例,发现负例尤其 near-misses 能带来更高效学习并识别可信错误答案。
2025-03-18 cs.CL
The Decision to Verify: How Warmth and User Characteristics Shape Reliance on Conversational Agents for Information Search
Amsterdam University of Applied Sciences(阿姆斯特丹应用科学大学);Leiden University(莱顿大学)
研究通过混合实验发现,即使提供事实核查工具,用户仍过度依赖对话AI,验证行为主要由用户特征(如先验信任)驱动,而温暖对话风格通过增加对错误答案的认同间接影响依赖。
2026-05-27 cs.AI cs.HC
Verif.ai: Towards an Open-Source Scientific Generative Question-Answering System with Referenced and Verifiable Answers
Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研究与发展研究所);Bayer A.G.(拜耳公司)
本文提出开源科学生成式问答系统 Verif.ai,通过混合检索、Mistral 7B 引用生成和独立验证引擎交叉核查幻觉,以增强科研问答的可信度。
2024-02-09 cs.AI cs.CL cs.IR