Question Calibration and Multi-Hop Modeling for Temporal Question Answering
Beihang University(北京航空航天大学);Fudan University(复旦大学);Zhejiang University(浙江大学)
本文针对时序知识图谱问答中实体时序表示不足和多跳关系建模困难的问题,提出QC-MHM方法,通过问题校准与GNN多跳建模提升复杂时序问答性能,并在CronQuestions上取得显著提升。
2024-02-20 cs.CL
Addressing Blind Guessing: Calibration of Selection Bias in Multiple-Choice Question Answering by Video Language Models
University of Trento(特伦托大学);Gran Sasso Science Institute(格兰萨索科学研究所);University of Essex(埃塞克斯大学);University of Bath(巴斯大学)
本文针对视频语言模型在多选题问答中的选择性偏差问题,提出后处理校准技术BOLD,通过抑制盲猜有效缓解偏差并提升模型整体性能。
2025-05-30 cs.CL
Quizbowl: The Case for Incremental Question Answering
University of Maryland at College Park(马里兰大学帕克分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学)
学术知识竞赛通过对问答的掌握来测试知识和智力。现代的问答基准测试是图灵测试的一个变体。具体来说,像人类一样回答一系列问题是展示人类智能的最低门槛。本文提出的情况下,一个竞争的形式-参与者可以在听到一个问题(增量)的中间回答-更好地区分(人类或机器)玩家之间的技能。此外,将顺序决策子任务与问答(QA)相结合,为模型校准和对手建模的研究提供了良好的环境。因此,在这个任务中嵌入了三个机器学习挑战:(1)对数千个类似维基百科的答案进行事实问答,(2)校准QA模型的置信度得分,以及(3)结合QA模型,其校准以及对手可能做什么的知识的顺序决策。我们做两个贡献:(1)收集和管理大型的事实问答数据集和附带的游戏数据集,以及(2)开发一个解决这三个机器学习挑战的模型。除了离线评估,我们还将我们的模型与世界上一些最有成就的琐事玩家进行了一系列长达数年的表演赛。在本文中,我们表明,与充满活力的琐事社区的合作有助于提高我们数据集的质量,催生新的研究方向,并作为一种令人兴奋的方式,使公众参与机器学习和自然语言处理的研究。
2021-02-12 cs.CL
UKP-SQuARE v2: Explainability and Adversarial Attacks for Trustworthy QA
Technical University of Darmstadt(达姆施塔特工业大学)
问答(QA)系统越来越多地部署在支持现实决策的应用程序中。然而,最先进的模型依赖于深度神经网络,这是很难解释的人类。内在可解释的模型或事后可解释性方法可以帮助用户理解模型是如何实现其预测的,如果成功,可以增加他们对系统的信任。此外,研究人员可以利用这些见解来开发更准确、更少偏见的新方法。在本文中,我们介绍了SQuARE v2,SQuARE的新版本,为基于显着图和基于图形的解释等方法的模型比较提供了一个可解释的基础设施。虽然显着图对于检查每个输入标记对于模型预测的重要性是有用的,但是来自外部知识图谱的基于图的解释使用户能够验证模型预测背后的推理。此外,我们提供了多个对抗攻击来比较QA模型的鲁棒性。通过这些可解释性方法和对抗攻击,我们的目标是简化可信QA模型的研究。SQuARE可在www.example.com上获得。
2022-10-20 cs.CL
The Dangers of trusting Stochastic Parrots: Faithfulness and Trust in Open-domain Conversational Question Answering
Alana AI(阿兰人工智能公司)
本文研究开放域对话问答中语言对话行为对用户信任的影响,发现词汇对齐等“鹦鹉学舌”行为会提高信任度,但可能掩盖不忠实回答,从而揭示此类系统的潜在危险。
2023-05-25 cs.CL
SQuAI: Scientific Question-Answering with Multi-Agent Retrieval-Augmented Generation
TU Dresden(德累斯顿理工大学)
SQuAI是一个多智能体检索增强生成框架,通过分解问题、混合检索和自适应过滤,在230万篇论文上提升科学问答的忠实性和相关性,并发布千级基准。
2025-10-17 cs.CL cs.IR
MiRD: Reliable Set-Valued Prediction for Open-Ended Question Answering via Miscoverage Risk Decomposition
University of Electronic Science and Technology of China(电子科学与技术大学);Beihang University(北航)
提出MiRD两阶段框架,通过将整体误覆盖分解为采样失败和条件选择失败,在开放式问答中实现可靠的集值预测,控制采样风险和条件选择风险,并产生更紧的边界和更自适应的预测集。
2026-05-25 cs.AI cs.CL
QAEncoder: Towards Aligned Representation Learning in Question Answering Systems
Peking University(北京大学);Institute for Advanced Algorithms Research(高级算法研究所);Zhongguancun Academy(中关村学院)
QAEncoder提出一种无需训练的方法,通过在嵌入空间估计潜在查询期望并附加文档指纹,弥合问答系统中查询与文档的差距,实现零额外成本的对齐表示学习。
2025-07-02 cs.CL
Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026
Department of Computer Science;Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh
针对QANTA 2026共享挑战,开发特定任务双代理架构,抢答代理用带置信度校准的模型及数值推理策略,加分代理用多种推理整合信息,强调仅托管环境下的高效推理与校准,系统取得高分,证明轻量级策略在资源受限问答中性能强。
2026-07-13 cs.AI cs.CL
A Semantic-Sampling Framework for Evaluating Calibration in Open-Ended Question Answering
University of Pennsylvania(宾夕法尼亚大学);Dartmouth College(达特茅斯学院)
本文提出Sem-ECE框架,通过语义分类评估开放性问答的校准,证明其在易题一致、难题差异,优于传统方法。
2026-05-08 cs.AI cs.CL stat.ML
Towards Reliable Medical Question Answering: Techniques and Challenges in Mitigating Hallucinations in Language Models
Swinburne University of Technology(斯威本科技大学)
本文综述了RAG、监督微调等缓解大语言模型幻觉的技术,指出其在医疗领域需进一步优化,以构建提升临床决策与患者安全的可信赖AI系统。
2024-08-25 cs.CL
ViLegalExpert: A Large-Scale Benchmark for Vietnamese Legal Retrieval and Question Answering from Real-World Consultations
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh city(胡志明市越南国家大学)
针对越南法律咨询领域基准缺失的问题,构建了基于真实咨询的大规模基准ViLegalExpert,涵盖172K问题与34个法律领域,实验显示混合检索最优,为可靠越南法律AI提供挑战性基准。
2026-10-01 cs.CL
From token probabilities to calibrated confidence: An empirical study of mathematical question answering
RBC Borealis(加拿大皇家银行博雷利斯(RBC Borealis))
该研究针对数学问答任务,探究token概率能否用于生成校准置信度,对比单遍与多遍估计器,评估多种校准方法,发现序列聚合token概率可提升置信度质量,事后校准能降低域内误差但迁移性存在非对称问题。
2026-08-11 cs.CL cs.LG
PubMed Reasoner: Dynamic Reasoning-based Retrieval for Evidence-Grounded Biomedical Question Answering
PayPal;Worcester Polytechnic Institute(伍斯特理工学院)
PubMed Reasoner通过动态推理机制提升生物医学问答的准确性与证据可靠性,采用三阶段框架优化检索过程并生成有据可查的回答。
2026-03-28 cs.CL
STQA: A Benchmark for Stock-Focused Tabular Question Answering over Historical and Forecasted Data
Beijing Normal University(北京师范大学);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院)
提出STQA基准,覆盖4,417只股票和31,400个问答对,评估历史与预测数据的表格问答,并引入SQFRS框架,发现预测推理是当前大模型的瓶颈。
2026-09-09 cs.CL
RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering
University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
本文提出RetrievalQA基准评估自适应检索增强生成,并发现现有方法依赖阈值或提示不足,进而提出无需校准与训练的TA-ARE方法以有效判断检索必要性。
2024-06-05 cs.CL
Toward Ethical AI Through Bayesian Uncertainty in Neural Question Answering
Dayforce
本文通过贝叶斯不确定性方法改进神经问答系统的可解释性和伦理性,对比拉普拉斯近似与MAP估计以提升不确定性校准能力。
2025-12-19 cs.CL
Calibration of Machine Reading Systems at Scale
ETH Zürich(苏黎世联邦理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在典型的机器学习系统中,预测概率的估计用于评估系统对预测的置信度。这种置信度通常是未经校准的;即,系统对预测的置信度与预测输出的真实概率不匹配。在本文中,我们提出了一个调查校准开放设置机器阅读系统,如开放域问答和索赔验证系统。我们表明,校准这种复杂的系统,其中包含离散检索和深度阅读组件是具有挑战性的,目前的校准技术未能扩展到这些设置。我们提出了简单的扩展现有的校准方法,使我们能够适应这些设置。我们的实验结果表明,该方法工作良好,并可以是有用的选择性预测答案时,问答系统提出了不可回答的或出的训练分布的问题。
2022-05-23 cs.CL cs.LG
TRIAGE: Trustworthy Retrieval Instrumentation And Graph Evaluation
IRT-SystemX(SystemX研究院)
研究基于LLM驱动自动构建的知识图谱评估问题,引入TRIAGE框架,通过特定阶段指标对知识图谱构建与使用各阶段评估,可定位失败环节并给出改进方向。
2026-07-07 cs.AI cs.CL cs.IR
TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages
Google Research(谷歌研究院)
自信地在多语言建模方面取得进展需要具有挑战性的、值得信赖的评估。我们提出了TyDi QA-一个问答数据集,涵盖了11种类型不同的语言,204 K问答对。TyDi QA的语言在类型学方面是多样的-每种语言表达的语言特征集-这样我们就可以期望在这一集上表现良好的模型可以推广到世界上大量的语言。我们提出了一个定量分析的数据质量和实例级的定性语言分析观察到的语言现象,不会发现在英语语料库。为了提供一个现实的信息寻求任务,避免启动效应,问题是由想知道答案但还不知道答案的人写的,数据是直接用每种语言收集的,而不需要翻译。
2020-03-10 cs.CL cs.LG
Memory-Augmented Knowledge Fusion with Safety-Aware Decoding for Domain-Adaptive Question Answering
Independent Researcher(独立研究者);Boston University(波士顿大学);Binghamton University(伯克利大学)
KARMA通过记忆增强和安全意识解码提升领域自适应问答的准确性和安全性
2025-12-02 cs.AI cs.CL
On the Transferability of Minimal Prediction Preserving Inputs in Question Answering
Apple Inc.(苹果公司)
最近的工作(Feng et al.,2018)建立了短的,不可解释的输入片段的存在,这些片段在神经模型中产生高置信度和准确性。我们将其称为最小预测保持输入(MPPI)。在问答的背景下,我们研究了MPPI存在的竞争假设,包括神经模型的后验校准差,缺乏预训练和“数据集偏差”(其中模型学会关注训练数据中的虚假,不可推广的线索)。我们发现MPPI对随机训练种子、模型架构、预训练和训练域具有令人困惑的不变性。MPPI表现出显著的跨域可移植性,实现了比短查询更高的性能。此外,惩罚MPPI上的过度自信无法提高泛化或对抗鲁棒性。这些结果表明MPPI的可解释性不足以表征这些模型的泛化能力。我们希望这种集中的调查鼓励更系统地分析模型行为以外的人类可解释的分布的例子。
2021-03-25 cs.CL
Assessing Reliability of BERT-Based Models on Question Answering Tasks
Malaviya National Institute of Technology(马拉维亚国家理工学院);Central University of Rajasthan(拉贾斯坦中央大学);University of Ljubljana(卢布尔雅那大学)
本研究评估BERT及其变体在问答任务上的可靠性,发现RoBERTa可靠性更高,ALBERT与DistilBERT存在显著不一致,验证了MCD作为可靠性指标的有效性,强调需同时评估QA模型的准确性与稳定性。
2026-08-12 cs.CL
Calibrating Structured Output Predictors for Natural Language Processing
我们解决的问题,校准预测置信度的输出实体感兴趣的自然语言处理(NLP)的应用。重要的是,诸如命名实体识别和问答之类的NLP应用程序为其预测生成校准的置信度分数,特别是如果系统要部署在安全关键领域(如医疗保健)中。然而,这样的结构化预测模型的输出空间通常太大而不能直接适应二进制或多类校准方法。在这项研究中,我们提出了一个通用的校准方案,在基于神经网络的结构化预测模型的输出实体的兴趣。我们提出的方法可以用于任何二进制类校准方案和神经网络模型。此外,我们还表明,我们的校准方法也可以用作不确定性感知的实体特定解码步骤,以提高底层模型的性能,而无需额外的训练成本或数据要求。我们表明,我们的方法优于目前的校准技术命名实体识别,部分的语音和问答。我们还通过多个任务和基准数据集的解码步骤来提高模型的性能。我们的方法也提高了域外测试场景的校准和模型性能。
2020-05-05 cs.CL cs.LG
DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing
Microsoft(微软公司)
针对LLM评判器因无关参考示例导致的校准偏差问题,提出DA-RAC距离感知参考锚定校准方法,在多轮评估基准上提升了校准效果并降低了误通过风险,为可信AI审计提供支撑。
2026-08-18 cs.CL
CANDI: Contextual Alignment for Niche Domains Question Answering
研究针对专业领域大语言模型评估问题,提出CANDI-QA数据集,含两类问答对。评估多种语言模型,给出MTSS-Net框架。揭示特定领域上下文对齐挑战及当前模型局限,为上下文感知语言模型研究提供关键基准。
2026-07-15 cs.AI cs.CL
LabourCrew: A Multi-Agent RAG Framework for Trustworthy Adversarial Deliberation and Statutory Reasoning over Labour Law
Ahsanullah University of Science and Technology(阿赫萨努拉科技大学);Jashore University of Science and Technology(杰肖尔科技大学);American International University - Bangladesh(美国国际大学-孟加拉)
LabourCrew提出多智能体RAG框架,通过图索引、证据交换协议和校准信任门实现可审计的法条问答,在孟加拉劳动法数据集上达到目标错误接受率并优于现有方法。
2026-09-24 cs.AI cs.CL cs.IR
HealthBranches: Synthesizing Clinically-Grounded Question Answering Datasets via Decision Pathways
University of Calabria(卡拉布里亚大学);University of Catanzaro(卡坦扎罗大学);University of Eastern Piedmont(东皮埃蒙特大学);University of Pisa(比萨大学);University of Cambridge(剑桥大学)
HealthBranches是一个新型医疗问答基准数据集,通过半自动化流水线将医学决策路径转化为包含4,063个案例的现实问答,支持多步推理评估,旨在推动高风险领域更可靠的LLMs发展。
2025-08-10 cs.AI cs.CL cs.IR
Agentic Medical Knowledge Graphs Enhance Medical Question Answering: Bridging the Gap Between LLMs and Evolving Medical Knowledge
University of Toronto(多伦多大学);Vector Institute(向量研究所);Worcester Polytechnic Institute(沃思菲技术学院)
为解决医学知识快速演进导致LLMs可靠性下降的问题,提出AMG-RAG框架,通过自动化构建更新医学知识图谱并检索外部证据,在MEDQA和MEDMCQA基准上以低计算开销超越大10至100倍的模型,提升医学问答准确性与可解释性。
2025-06-29 cs.CL cs.MA
Adaptive Memory and Reflection Multi-Agent System for Medical Question Answering
School of Computing and Mathematics, Manchester Metropolitan University(曼彻斯特城市大学计算与数学学院);Electrical and Computer Engineering, Technion – Israel Institute of Technology(以色列理工学院电气与计算机工程系);School of Science and Technology, Hong Kong Metropolitan University(香港都会大学科学与科技学院)
针对现有医学问答系统缺乏适应性等问题,提出自适应记忆与反思多智能体框架,经MedQA等数据集验证,结合专用记忆等模块可提升性能,助力开发可信医学智能体。
2026-08-20 cs.AI cs.CL cs.MA
Improving Health Question Answering with Reliable and Time-Aware Evidence Retrieval
Technical University of Munich(慕尼黑工业大学)
针对现有健康问答系统依赖预标注证据、难以应对新问题的局限,研究基于PubMed和检索-阅读流水线,通过优化检索文档数量、时效与引用指标,将宏F1分数最高提升10%,并指出未来研究方向。
2024-04-12 cs.AI cs.CL cs.IR
Conformal P-Value in Multiple-Choice Question Answering Tasks with Provable Risk Control
Zhejiang University of Finance & Economics(浙江财经大学)
本研究提出一种结合显著性检验与保形预测的框架,通过自洽性重采样和 p 值计算构建预测集,有效缓解 LLMs 在多项选择题回答中的幻觉问题,并验证了其风险控制与不确定性度量能力。
2025-08-07 cs.AI cs.CL
CORE-GPT: Combining Open Access research and large language models for credible, trustworthy question answering
The Knowledge Media Institute, The Open University(开放大学知识媒体研究所)
本文提出CORE-GPT问答平台,将GPT语言模型与CORE中3200余万篇开放获取论文结合,通过提供带引用和链接的循证答案来减少幻觉、提升可信度,实验覆盖20个科学领域的100个问题,验证了其在多数领域生成可靠答案的能力。
2023-07-06 cs.AI cs.CL
Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation
Center for Language and Cognition (CLCG), University of Groningen(格罗宁根大学语言与认知中心(CLCG));Institute for Logic, Language and Computation (ILLC), University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所(ILLC))
针对RAG问答中模型答案可验证性的挑战,提出即插即用的MIRAGE方法,利用模型内部信息实现忠实归因,在多语言数据集上与人类归因高度一致,开放式QA中性能与自引用相当且支持细粒度控制。
2024-10-18 cs.AI cs.CL cs.LG
Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院)
本文提出医学问答RAG系统的全面评估框架MedRGB,涵盖充分性、整合性和鲁棒性场景,评估发现当前模型在处理检索噪声和错误信息方面能力有限,为医学RAG系统开发提供见解。
2024-11-14 cs.AI cs.CL cs.IR
Knowledge Graph-Guided Multi-Agent Distillation for Reliable Industrial Question Answering with Datasets
Zhongnan University of Economics and Law(中南财经政法大学)
提出KG-MASD,利用知识图谱引导多智能体蒸馏,将协作推理与可验证性注入轻量模型,提升工业问答准确率2.4%-20.1%。
2025-10-03 cs.AI cs.CL cs.DB
Towards Trustworthy Report Generation: A Deep Research Agent with Progressive Confidence Estimation and Calibration
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Southeast University(东南大学)
本文提出一种深度研究代理,通过逐步置信度估计和校准提升报告生成的可信度,增强透明度和用户信任。
2026-04-07 cs.AI cs.CL
Evaluating Confidence-Gated Retrieval with Matched Trajectory Replay
University of Southern California(南加州大学)
本研究提出匹配轨迹重放协议,对比原始置信度与事后等渗校准在多跳问答系统中的表现,发现校准可提升承诺回答准确率但影响整体准确率,且无法估计检索预期收益。
2026-08-28 cs.AI cs.CL
Can Knowledge Graphs Make Large Language Models More Trustworthy? An Empirical Study Over Open-ended Question Answering
National University of Singapore(新加坡国立大学);University of Cambridge(剑桥大学)
本研究提出OKGQA基准,在开放域问答中评估知识图谱增强的大语言模型的可信度,并引入扰动变体验证其抗幻觉能力,旨在探索KG提升LLM可信度的潜力。
2025-05-22 cs.AI cs.CL
Islamic Large Language Models: From Knowledge Acquisition to Trustworthy and Hallucination-Resistant AI
Paris Dauphine University(巴黎多芬纳大学)
综述伊斯兰大语言模型领域,提出构建可信、抗幻觉的伊斯兰AI需结合阿拉伯语NLP、检索增强生成、教法学派推理及专家评估等关键技术。
2026-06-16 cs.CL
Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems
Faculty of Information Technology and Communication Sciences, Tampere University(坦佩雷大学信息技术与传播科学学院)
该研究针对RAG系统的安全-可靠性鸿沟,提出结合NLI验证、五信号投毒检测器及可信指数的评估智能体,在TruthfulQA等数据集上实现高检测性能,可阻止RAG系统的不安全指令注入。
2026-11-05 cs.AI cs.CL cs.CR
FIRST: Teach A Reliable Large Language Model Through Efficient Trustworthy Distillation
The Hong Kong University of Science and Technology(香港科技大学);NVIDIA(英伟达);Purdue University(普渡大学);Wuhan University(武汉大学)
本文针对微调导致大语言模型误校准的问题,提出高效可信蒸馏方法FIRST,通过识别“集中知识”现象降低计算成本,并利用可信性最大化过程优化知识迁移,在域内外场景中同时提升准确率并降低误校准。
2024-10-02 cs.CL
AQUA-Bench: Beyond Finding Answers to Knowing When There Are None in Audio Question Answering
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan(台湾国立台湾大学通信工程研究所);Artificial Intelligence Center of Research Excellence (AI-CoRE), National Taiwan University, Taiwan(台湾国立台湾大学人工智能研究中心)
AQUA-Bench针对音频问答中不可回答的问题提出评估基准,评估三种场景:缺失答案检测、不兼容答案集检测和不兼容音频问题检测,推动更稳健可靠的音频-语言系统发展。
2026-05-10 cs.AI cs.CL cs.LG
CiteGuard-RAG: A Validation-Centered AI System for Evidence-Grounded Question Answering
Western Michigan University(西密歇根大学)
CiteGuard-RAG提出以验证为中心的RAG系统,集成混合检索、引用约束生成和句子级验证,在400题评估中实现99.1%检索准确率,证明显式验证对可信答案的关键作用。
2026-09-15 cs.AI cs.CL cs.IR
Evaluating the Calibration of Knowledge Graph Embeddings for Trustworthy Link Prediction
University of Michigan(密歇根大学);Bloomberg(彭博(公司))
关于知识图谱嵌入(KGE)模型预测的可信度知之甚少。在本文中,我们朝着这个方向采取初步措施,通过调查KGE模型的校准,或在何种程度上,他们输出的信心分数,反映了预期的正确性预测知识图谱三元组。我们首先进行评估下的标准封闭世界假设(CWA),其中预测的三元组还没有在知识图谱被认为是假的,并表明现有的校准技术是有效的KGE在这个共同的,但狭窄的假设。接下来,我们介绍更现实但具有挑战性的开放世界假设(OWA),其中未观察到的预测在获得地面真实标签之前不被认为是真的或假的。在这里,我们表明,现有的校准技术是有效的OWA下比CWA,并提供这种差异的解释。最后,为了从从业者的角度激励KGE校准的实用性,我们进行了一个独特的人类-AI协作案例研究,表明校准的预测可以提高人类在知识图谱完成任务中的表现。
2020-10-06 cs.AI cs.CL cs.LG
Revisiting Greedy Decoding for Visual Question Answering: A Calibration Perspective
ETH Zurich(苏黎世联邦理工学院);University of Toronto(多伦多大学);MBZUAI(穆桑比克人工智能研究所)
针对视觉问答任务,从校准角度理论证明贪婪解码优于随机采样,并提出适用于推理模型的贪婪解码方法,实验验证其有效性。
2026-09-01 cs.CL
Harnessing RLHF for Robust Unanswerability Recognition and Trustworthy Response Generation in LLMs
Sichuan University of Science and Engineering(四川理工学院);Zagazig University(扎加齐亚大学)
针对 CIR 中不可回答问题易引发幻觉的问题,本文提出 SALU,通过多任务学习与置信度引导的 RLHF 将检测和弃权(不执行)融入 LLM 生成过程,并在 C-IR_Answerability 上验证其准确率与可信度。
2025-07-22 cs.CL
On the Calibration of Multilingual Question Answering LLMs
University of Pennsylvania(宾夕法尼亚大学);IBM Research(IBM研究院)
该研究针对多语言问答大语言模型校准效果不明的问题,全面测试不同架构、规模的多语言LLM在多场景下的校准表现,探究优化策略,发现非英语语言校准较差,加入少量翻译样本可有效提升校准效果。
2024-04-15 cs.CL cs.LG
Will It Still Be True Tomorrow? Multilingual Evergreen Question Classification to Improve Trustworthy QA
Skoltech(斯科尔科沃科学技术学院);AIRI;HSE University(高等经济学院);MTS AI;MIPT(莫斯科物理技术学院)
针对LLM在QA中因问题时效性产生幻觉的问题,提出首个多语言常青问题数据集EverGreenQA,训练轻量级分类器EG-E5达到SoTA,并验证其在自我知识估计、数据过滤及解释GPT-4o检索行为上的实用价值。
2025-05-27 cs.CL
Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation
University of Science and Technology of China(中国科学技术大学);Huawei Inc.(华为公司)
提出CoCA框架,通过GRPO强化学习联合优化置信度校准与答案准确性,实现回答前输出置信度,提升不确定性估计效率。
2026-06-03 cs.CL
Beyond the Leaderboard: Design Lessons for Trustworthy Multimodal VQA
以MediaEval Medico 2025为案例,分析九个多模态问答系统,发现预训练主干的参数高效适应虽有挑战性能,但答案提升未转化为完整临床推理,结构化推理等方法更可靠,结果促使多方面改进,支持可信多模态医疗保健人工智能。
2026-07-17 cs.CL cs.CV
Direct Confidence Alignment: Aligning Verbalized Confidence with Internal Confidence In Large Language Models
Algoverse AI Research(Algoverse AI研究院)
本文提出直接置信对齐方法,通过优化使LLM的 verbalized 置信度与内部置信度对齐,提升模型透明度和可靠性。
2025-12-12 cs.CL
How to Estimate Whether You Have Found Several Needles in a Haystack: Measuring Calibration in Multi-Label Text Classification
针对多标签分类中校准度量未充分探索且现有分箱方案有缺陷的问题,提出对正负标签分配赋予同等权重的新分箱方案,以提供可信的标签级校准误差估计,并揭示大模型多标签校准的开放挑战。
2026-09-23 cs.CL
Towards Objective Fine-tuning: How LLMs' Prior Knowledge Causes Potential Poor Calibration?
SKLCCSE, School of Computer Science and Engineering, Beihang University(SKLCCSE,计算机科学与工程学院,北航);School of Software, Beihang University(软件学院,北航);Zhongguancun Laboratory, Beijing(中关村实验室,北京)
针对LLM先验知识导致的微调校准不良问题,提出认知感知框架CogCalib,通过应用针对性学习策略,在保持性能的同时显著改善校准并增强模型可靠性。
2025-05-27 cs.CL