Auditing Reasoning-Trace Memorization Claims after Unlearning with Head-Conditioned Canaries
Northeastern University, USA(东北大学);University of Illinois Urbana-Champaign, USA(伊利诺伊大学厄巴纳-香槟分校);Southern Methodist University, USA(南方 Methodist 大学)
该研究通过在DeepSeek-R1-Distill-Qwen-7B上使用LoRA记忆化的虚构作者和NPO取消学习,结合六token候鸟头部条件,审计推理轨迹记忆化声明,发现正向解析器拆分绕过间隙本身并不能识别隐藏的权重级记忆化,也不能排除其存在。
2026-05-17 cs.AI cs.LG
When Can Learned Uncertainty Be Trusted? An Audit of Distributional Reinforcement Learning
Hari Prasad
研究分布强化学习智能体风险声明真实性,结合决策指标与统计工具审核,发现多数声明被驳斥,风险反映训练假象,阳性对照证实部分真实声明,训练和集成无法消除问题,重新校准仅否定声明,还记录审核陷阱。
2026-11-13 cs.AI cs.LG stat.ML
MERMAID: Memory-Enhanced Retrieval and Reasoning with Multi-Agent Iterative Knowledge Grounding for Veracity Assessment
Stevens Institute of Technology(史蒂文斯理工学院)
MERMAID通过整合智能体驱动搜索、结构化知识表示和持久记忆模块,提升事实核查和主张验证的效率与一致性,实现检索、推理与记忆的协同优化。
2026-04-11 cs.AI cs.CL cs.LG
GANDR: Claim Auditing for Verifiable Legal Answer Generation
William & Mary(威廉与玛丽学院);Anytime AI
GANDR通过双智能体系统(起草器与评审器)对法律答案逐项主张进行审计,在185项基准上以70.8%严格准确率领先最强基线11.3个百分点,实现可验证的生成。
2026-09-10 cs.AI cs.CL cs.IR
Beyond Execution: Auditing Experimental Fidelity in LLM-Driven Scientific Research
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
该研究针对LLM驱动科学实验中智能体的方法学幻觉问题,提出ABE-Ralph审计框架,在复现实验中实现93%稳健执行率,可检测科学失败模式,NatureBench任务表现优异。
2026-08-28 cs.AI cs.SE
Claim-Gated Source-Risk Auditing for Generative Search
Google LLC(谷歌有限责任公司);Sony Corporate of America(索尼美国公司);Intuit Inc(Intuit公司)
针对生成式搜索答案遗漏关键源关系的问题,提出声明门控审计规范,通过证据绑定与可执行记录契约,在合成测试中实现全组合覆盖与错误拒绝,并明确后续验证要求。
2026-10-12 cs.AI cs.CC cs.CE
Paladin-mini: A Compact and Efficient Grounding Model Excelling in Real-World Scenarios
本文提出紧凑型开源分类器模型Paladin-mini(3.8B参数)和新评估数据集grounding-benchmark,解决给定上下文中主张的grounding问题,并在真实场景关键推理任务中展现卓越性能。
2025-06-25 cs.AI
FinGround: Detecting and Grounding Financial Hallucinations via Atomic Claim Verification
The University of Hong Kong(香港大学);Stellaris AI Limited(Stellaris AI有限公司)
FinGround通过三阶段验证-支撑流程,针对金融文档问答中的计算错误进行验证和修正,有效降低幻觉率,其在金融领域具有重要应用价值。
2026-04-26 cs.AI cs.CL cs.IR
ConflictScore: Identifying and Measuring How Language Models Handle Conflicting Evidence
提出ConflictScore指标,通过将回答分解为原子声明并与证据文档对比,量化模型对冲突证据的识别程度,实验表明该指标能有效检测过度自信声明并提升真实性。
2026-06-26 cs.AI cs.CL
CRScore: Grounding Automated Evaluation of Code Review Comments in Code Claims and Smells
Carnegie Mellon University(卡内基梅隆大学);Language Technologies Institute(语言技术研究所)
本文提出无参考指标 CRScore,利用 LLM 与静态分析器识别的代码声明和潜在问题,从多维度细粒度评估代码审查评论,并发布 2.9k 条人工标注语料。
2025-03-16 cs.AI cs.CL cs.SE
GroundedGEO: Auditing the Evidence Gap in Generative Search Rankings
Shenzhen University(深圳大学)
针对生成式搜索中无支持文本的排名优势问题,提出证据配对基准与主张级重排序器GroundedGEO,通过惩罚缺乏支持的查询相关主张来缩小可识别性缺口,并揭示标签质量与文档包覆盖率两个关键限制。
2026-09-23 cs.AI cs.IR
Task-Conditional Faithfulness Auditing of Multimodal LLMs for Grid Diagnosis
The University of Texas at Arlington(德克萨斯大学阿灵顿分校);Brookhaven National Laboratory(布鲁克海文国家实验室);Southern Methodist University(南卫理公会大学)
研究针对多模态大语言模型用于电网诊断时答案准确性与证据使用的问题,提出通用框架进行任务条件忠实性审计,通过比较多种依赖并设计校正和重新审计机制,经案例研究验证了框架检测、诊断及纠正相关失败的能力。
2026-07-28 cs.AI cs.SY eess.SY
Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable
University of Macau(澳门大学);South China University of Technology(华南理工大学)
该研究提出面向智能体科学的双边审计准则,通过实验揭示AI科学系统能力主张的夸大问题,证实智能体编写的程序在低计算量下可击败人类程序,但未明确可迁移的机制。
2026-08-04 cs.AI
VeriGraph: Towards Verifiable Data-Analytic Agents
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
提出VeriGraph框架,通过构建显式异质证据有向无环图(DAG)实现数据分析智能体的可验证性,并设计基于图的策略优化提升正确性与可审计性。
2026-06-16 cs.AI cs.CL
Optimizing Long-Form Clinical Text Generation with Claim-Based Rewards
Oracle Health AI(Oracle健康AI)
本研究提出集成GRPO与DocLens声明级评估器的强化学习框架,无需额外奖励模型或人工参考即可优化长临床文本的事实性与完整性,经实验和GPT-5评估验证有效,且可扩展适配真实场景自定义目标。
2025-09-26 cs.AI cs.CL
Generation Provenance Before Behavior Attribution: Auditing Synthetic Speech Research Objects
Blossom AI Labs(Blossom AI 实验室)
本文提出生成溯源基底,用于在合成语音数据中先确定数据来源再归因行为,并通过护理交接案例验证其必要性与局限性。
2026-10-02 cs.AI cs.CL cs.LG
EG-ARSA: An Expert-Grounded Open Model for Visual Road Safety Auditing in Low-Resource Settings
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学(BUET))
针对中低收入国家道路安全审计的资源限制,提出EGD框架,构建BD-ARSA数据集和EG-ARSA模型,实验显示其性能优于310亿参数教师模型及Gemini-2.5-Flash,为低资源场景道路安全审计提供有效方案。
2026-08-25 cs.AI cs.CV
VERIRAG: A Post-Retrieval Auditing of Scientific Study Summaries
Cornell University(康奈尔大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of Illinois Urbana‑Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加州大学洛杉矶分校)
VERIRAG通过后检索审计框架检测科学摘要的方法学漏洞,提升宏F1值19个百分点,提供结构化审计轨迹支持负责任的科学实践。
2025-12-05 cs.AI cs.IR
Measuring How (Not Just Whether) VLMs Build Common Ground
Northeastern University(东北大学)
针对现有VLM基准未覆盖交互式基础建立过程的问题,提出含四项指标的评估体系,在150场自对弈指称博弈中对比三款专有VLM与人类表现,发现任务成功率、图像-话语对齐度与基础建立成功无必然关联,为相关研究提供框架。
2025-09-04 cs.AI cs.CL
Optimally Auditing Adversarial Agents
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治·梅森大学)
本文提出一个主代理博弈模型,研究如何设计最优审计策略以应对智能体的欺诈行为,提出适应性和非适应性设置下的高效算法,并扩展至有限审计预算场景。
2026-04-28 cs.AI cs.CY cs.GT
CHAINTRIX: A multi-pipeline LLM-augmented framework for automated smart-contract security auditing
Bucharest University of Economic Studies(布加勒斯特经济大学)
CHAINTRIX通过结合LLM与确定性结构表示,提升智能合约审计效率,检测86/120高危漏洞,召回率71.7%,优于现有基准。
2026-05-10 cs.AI
Autonomous Grounding of Visual Field Experience through Sensorimotor Prediction
AI Lab, Aldebaran(Aldebaran AI实验室)
在一个发展的框架中,自主机器人需要探索世界并学习如何与世界互动。如果没有系统的先验模型,这就带来了让机器人掌握与世界互动的挑战性问题:如何使用传感器感知环境,以及如何使用电机在其中采取行动。感知的感觉运动方法声称,一个天真的代理可以通过捕捉其动作转换其感觉输入的方式来学习掌握这个接口。在本文中,我们应用这样的方法来发现和掌握与视觉传感器相关的视野。一个计算模型形式化,并应用到一个模拟系统来说明的方法。
2016-08-03 cs.AI cs.CV cs.LG
Does Location Matter? A Black-Box Causal Audit Reveals Model-Dependent Audio Grounding in LALM Hallucination
Sharif University of Technology(谢里夫理工大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);New Uzbekistan University(新乌兹别克斯坦大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本研究针对LALM的音频幻觉问题,提出黑盒因果测试方法,发现其音频 grounding 依赖模型,且改进的对比解码可提升Qwen2-Audio准确率至71.9%。
2026-10-12 cs.AI cs.LG cs.SD
Scores Alone Do Not Prove Discovery: The Discovery Certification Protocol for Auditing AI Research Agents
Carnegie Mellon University(卡内基梅隆大学)
针对AI研究代理结果可信度问题,提出发现认证协议(DCP),通过可执行恢复与反馈测试、核心否决及有限样本界,在SQLite优化和虚拟催化剂控制中实现零恢复,提供统一证据语言。
2026-09-29 cs.AI cs.MA cs.SE
Same Predictions, Different Harms: Causal Auditing of Patient World Models
Imperial College London(帝国理工学院)
该研究审计患者世界模型在反事实伤害预测上的可靠性差距,提出两阶段共享响应SCM及敏感性边界方法,并在临床模拟器上验证,为安全信任提供协议。
2026-10-06 cs.AI stat.ME
GSAR: Typed Grounding for Hallucination Detection and Recovery in Multi-Agent LLMs
Agentic AI Oracle Corporation(Agentic AI Oracle公司)
GSAR 提出了一种 grounding 评估与规划框架,通过四类分类、证据权重分配、矛盾惩罚评分和三层决策函数,实现多智能体大语言模型中的 hallucination 检测与恢复。
2026-04-25 cs.AI cs.MA