Detecting Silent Failures in Multi-Agentic AI Trajectories
IBM Research（IBM研究院）；IIIT Bangalore（班加罗尔IIIT）
本文首次系统研究多智能体AI轨迹中的静默故障检测，提出数据集构建流程并构建两个基准数据集，实验表明XGBoost和SVDD分别达到98%和96%的准确率。
2025-11-06 cs.AI
Evaluating Agentic AI in the Wild: Failure Modes, Drift Patterns, and a Production Evaluation Framework
Independent Researcher（独立研究者）
本文针对代理AI在生产环境中持续运行时的评估挑战，提出七种故障模式分类及PAEF框架，揭示传统指标在检测故障模式上的不足。
2026-05-02 cs.AI
Verification of Adaptive Agentic Controllers through Finite Rule Revision
Open University of Cyprus（塞浦路斯开放大学）
研究自适应智能体控制器在特定条件下的验证问题，提出以有限规则等表示的有界验证协议，将故障映射到规则编辑，经实验得出三种结果，贡献是提供了可测试控制器故障相关特性的模拟兼容程序。
2026-09-11 cs.AI cs.MA cs.SY
Compaction as Epistemic Failure: How Agentic LLM Tools Fabricate Confirmed Results from Killed Processes
Independent Researcher（独立研究者）
研究智能语言模型编码工具中Claude Code的失败模式，即超时命令部分输出被误记为确认结果并传播误报，揭示其观察与持久性 conflation 的机制，指出对依赖会话连续性的工作流程有影响。
2026-10-27 cs.AI cs.SE
When Failures Propagate: Causal Failure Attribution in Agentic Retrieval-Augmented Generation
Anote（阿诺特）
本文提出AgenticRAG-FP基准，针对智能体RAG的因果故障归因开展实验，发现基于覆盖率的诊断在第1轮表现较好，第2、3轮较差，明确将传播深度作为相关评估维度。
2026-08-24 cs.AI cs.CL
CRAFT: An Agentic Spreadsheet Form Filling System with Template Awareness
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）；Purdue University（普渡大学）
CRAFT是一个模板感知的智能体框架，通过反思验证和受限局部修复提升电子表格填写准确性，在FormFillBench上显著优于基线。
2026-10-06 cs.AI
Silent Failures in Multimodal Agentic Search:A Diagnostic Taxonomy and Cross-Judge Evaluation
Ant Group（蚂蚁集团）
研究多模态智能体搜索中无声故障这一隐藏可靠性问题，引入六类分类法，构建轨迹级诊断管道，通过实验表明表面准确性高估真实正确性，且无声故障与能力相关、常转移。
2026-07-23 cs.AI cs.CV
Plausible but Wrong: A case study on Agentic Failures in Astrophysical Workflows
Bonn-Aachen International Center for Information Technology, University of Bonn, Germany（波恩-阿森国际信息科技中心，波恩大学，德国）；Lamarr Institute for Machine Learning and Artificial Intelligence, Germany（拉马尔机器学习与人工智能研究所，德国）
研究评估了CMBAgent在两种工作流范式和十八个天体物理任务中的表现，发现代理在缺乏上下文时性能提升显著，但常出现静默错误，产生看似合理却不准确的结果，揭示了代理科学工作流中最危险的失败模式是自信生成错误结果。
2026-06-25 astro-ph.IM cs.AI
Tracing Agentic Failure from the Flow of Success
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
研究基于大语言模型的智能体系统失败归因问题，提出OAT方法将其转化为单类学习，用神经控制微分方程建模成功轨迹动态模式，实验表明该方法比基线快且F1分数更高，是诊断智能体系统失败的有效方向。
2026-10-14 cs.AI cs.CL
Why Agentic Workflows Fail: A Taxonomy Derived from Literature and Empirical Data
University of Birmingham（伯明翰大学）
本文提出一种感知源的智能体工作流失败分类学，结合源归因与三维度，通过两轴矩阵定位失败，对比文献与GitHub的失败差异，指出可靠性是系统问题，为相关工作提供基础。
2026-10-14 cs.AI cs.SE
How Do LLMs Fail In Agentic Scenarios? A Qualitative Analysis of Success and Failure Scenarios of Various LLMs in Agentic Simulations
Kamiwaza AI
研究分析了LLM在代理任务中的失败原因，发现模型规模不决定鲁棒性，强调训练和设计对可靠性的重要性。
2025-12-09 cs.AI cs.SE
AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems
IBM Research（IBM研究院）
本文提出一个综合验证框架，通过系统诊断和改进可靠性故障，结合轻量规则检查与LLM评估，提升代理系统性能，通过实验展示改进效果。
2026-02-18 cs.AI cs.MA
Exploring the Semantic Gap in Agentic Data Systems: A Formative Study of Operationalization Failures in Analytical Workflows
Megagon Labs（Megagon实验室）
本研究通过跨领域分析236个分析意图，识别出153种反复出现的操作化失败，归纳为五类语义鸿沟，揭示用户分析概念与系统可用信息之间的差距，并提出未来智能体数据系统需要更丰富的语义表示。
2026-07-02 cs.AI cs.DB
From Agent Failure Paths to Quantified Residual Risk: A Compositional Framework for Resilient Agentic AI
研究智能体人工智能风险表示问题，提出CPSAINT和FRIESA-K结合故障机制与风险估计，通过单独惩罚报告治理可观测性，形式化结构可组合性，在两个场景展示框架，获支持跨域推理等的紧凑内核。
2026-07-22 cs.AI
When Retrieval Fails Before It Begins: Structurally Indirect Prerequisite Eviction as a Retention Failure in Agentic Memory
本文针对智能体记忆的检索前保留失败问题，提出结构间接先决条件驱逐的概念，评估DSGC规则显著提升全链保留率，并发布相关工具支持机制分析。
2026-08-24 cs.AI cs.CL cs.LG
Before Reasoning Can Fail: Pre-Evidence Procedural Failures in Agentic RAG
KAIST（韩国科学技术院）
该研究针对智能体RAG系统在推理前的程序失效，提出将错误答案分为两类失效，评估Read-Gate机制，发现强制阅读可提升准确率，且证据收集应作为独立轨迹控制问题评估。
2026-08-05 cs.AI
Willful Disobedience: Automatically Detecting Failures in Agentic Traces
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
本文提出AgentPex工具，通过提取规则自动评估代理轨迹，发现传统仅关注结果的评估方法无法检测到关键流程故障，如错误的工作流路由、不安全的工具使用或违反提示规则的情况。
2026-05-08 cs.AI cs.SE
SAAS: Self-Aware Reinforcement Learning for Over-Search Mitigation in Agentic Search
School of Informatics, Xiamen University（厦门大学信息学院）；School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）
提出SAAS强化学习框架，通过搜索边界建模、边界感知奖励和分阶段优化策略，使LLM智能体具备动态自我感知能力，在不降低准确率的前提下显著减少过度搜索。
2026-06-16 cs.AI cs.CL cs.LG
Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems
DNRS.ai USA（DNRS.ai美国公司）
本文提出SMARt模型，通过形式化能力检测认知漂移、暂停推理、尝试恢复并在可靠性下降时放弃控制，以解决自主AI系统中的幻觉和持续不合理行为问题。
2026-06-12 cs.AI cs.CY cs.ET
Localizing Emergent Failures in Agentic AI: Recovering Minimal Repair Families via Counterfactual Replay
Northeastern University（东北大学）；Aalborg University（奥尔堡大学）；Zhejiang University（浙江大学）
本研究针对智能体AI中LLM智能体交互引发的涌现故障，提出GCJR方法恢复最小修复族，在基准和试点案例中实现1.000族精确匹配，显著减少回放或模型调用次数。
2026-09-09 cs.AI cs.MA
Protocol-Preserving Context Trimming for Agentic Workflows: Benefits, Failure Regimes, and Budget Guardrails
Intuit Credit Karma
本研究评估协议保持上下文裁剪对智能体工作流的影响，发现协议感知裁剪和自适应预算护栏能显著提升任务成功率与协议遵循率，同时节省令牌，表明保留协议关键状态比最大化令牌移除更重要。
2026-09-16 cs.AI cs.SE
Visioning Human-Agentic AI Teaming: Continuity, Tension, and Future Research
University of Southern California（南加州大学）；Arizona State University（亚利桑那州立大学）；Peking University（北京大学）
本文提出Team SA理论作为人机协同AI转型的整合锚点，探讨在适应性自主下持续对齐的挑战与未来研究方向。
2026-03-05 cs.AI cs.HC econ.GN
MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification
Institute for Multiscale Matters and System (IMMS), Ewha Womans University（梨花女子大学多尺度物质与系统研究所）；Lymeric（Lymeric公司）
针对LLM在MOF假设验证中可靠性不明的问题，提出故障感知智能体框架MOF-Verify及四类诊断基准，显著提升验证性能。
2026-11-06 cs.AI cs.CE
Building Trustworthy Graph-Agentic RAG for Social Good: Architectures, Failure Propagation, and Assurance by Construction
IIITDM Kancheepuram（印度信息技术与设计制造学院坎奇普拉姆校区）
本文针对社会公益场景，提出图智能体RAG的故障链分析及含五接口契约的构造即保证框架，并给出评估议程。
2026-09-09 cs.AI cs.CL
Where Did the Repair First Go Wrong? Localizing the Origins of Silent Failures in Agentic Vulnerability Repair
Tampere University（坦佩雷大学）
针对智能体漏洞修复中的静默失败，提出基于轨迹的SAGE方法，通过分析每轮安全推理与代码历史，定位最早偏离安全意图的环节，在95个案例中成功定位93个，多数源于未解决的安全要求或不当防御。
2026-10-06 cs.AI cs.CR cs.SE
LogAct: Enabling Agentic Reliability via Shared Logs
Meta
LogAct通过共享日志实现代理可靠性，允许代理通过LLM推理分析执行历史，实现故障恢复、健康检查和优化。
2026-04-09 cs.AI cs.DC
Diagnosing and Mitigating Compounding Failures in Agentic Persuasion via Taxonomic Strategy Retrieval
Google（谷歌）
针对智能体在主观任务中因语义泄露导致的复合错误，提出分类策略RAG（TS-RAG），通过离散类别瓶颈解耦论证结构与主题内容，显著提升抽象逻辑迁移能力，并在非对称部署中增强轻量级说服者性能。
2026-07-07 cs.AI cs.CL cs.LG
Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems
Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）；Purdue University Northwest（普渡大学西北校区）；Higher Colleges of Technology（高等技术学院）；Yale University（耶鲁大学）
本文从安全鲁棒性、对齐监督、透明度、隐私治理和合规五个维度，系统梳理了自主LLM智能体的故障模式与缓解策略，并提出涵盖规范、设计、训练、评估、部署和监控六阶段的可信智能体开发生命周期框架。
2026-09-22 cs.AI
The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of California, Berkeley（加州大学伯克利分校）；Georgia Institute of Technology（佐治亚理工学院）
本文通过HORIZON基准测试分析LLM代理在长周期任务中的失效模式，提出轨迹驱动的评估方法，并通过人类标注验证其有效性，为构建更可靠的代理系统提供指导。
2026-04-13 cs.AI
MM-VeriRec: Failure-Guided Fusion for Verifiable Agentic Multimodal Recommendation
Independent Research United States；Independent Research
针对智能体多模态推荐中视觉约束被忽视和不可能任务未被拒绝的问题，提出MM-VeriRec协议与失败引导融合方法，通过确定性属性验证和失败诊断路由，在MM-ML 1M和Amazon Reviews上超越基线，实现可验证的可信推荐。
2026-09-29 cs.AI cs.CL cs.CV
Skynet: Workflow-Level Anomaly Detection for Agentic AI via Semantic and Structural Modeling
Virginia Tech（弗吉尼亚理工大学）；WashU（华盛顿大学圣路易斯分校）
Skynet将智能体执行转为工作流图，联合建模语义与结构，仅用良性数据训练，实现工作流级异常检测，在三个基准上误报率低于1%。
2026-09-15 cs.AI cs.CR
Behavioral Controllability of Agentic Models for Information Extraction: From Fixed Workflows to Reflective Agents
研究大语言模型智能体用于信息提取任务时，反思和记忆等智能组件能否带来改进。通过会议论文数据集提取实验，比较固定工作流程与反思智能体变体，指定优化条件，评估过程行为，明确智能机制对系统行为的影响及如何推动智能体设计优化。
2026-07-30 cs.AI
Optimizing Agentic Workflows using Meta-tools
EPFL, Switzerland（瑞士联邦理工学院）
本研究提出AWO框架，通过识别并优化重复的工具执行模式，减少LLM调用次数并提高代理工作流的成功率。
2026-02-02 cs.AI cs.LG
Agentic Data Environments
Columbia University（哥伦比亚大学）
探讨智能体数据环境，其作为智能体运行的执行基础，既能增强智能体能力又保障安全。该环境拓宽了智能体运行的数据范围，改变了对数据系统的传统认知，有望在提升智能体效能同时控制故障成本。
2026-07-09 cs.AI cs.DB
Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?
OpenAI；Anthropic；Google DeepMind（谷歌DeepMind）
研究聚焦于大语言模型能否归因人工智能代理中的失败，引入Who&When Pro基准，通过严格管道构建大量失败轨迹，经广泛实验分析，揭示模型归因故障模式，为自动故障归因系统提供实证指导。
2026-10-12 cs.AI cs.MA
Optimization Instability in Autonomous Agentic Workflows for Clinical Symptom Detection
Massachusetts General Hospital（麻省总医院）
研究发现自主AI系统在低流行病学任务中，回顾性选择比主动干预更有效，揭示了优化不稳定性导致的失效模式。
2026-02-17 cs.AI cs.MA
Agentic Metacognition: Designing a "Self-Aware" Low-Code Agent for Failure Prediction and Human Handoff
University of California, Irvine School of Information & Computer Science（加州大学尔湾分校信息与计算机科学学院）
针对低代码智能体的不可靠性，提出元认知监控层预测故障并主动人工交接，显著提升任务成功率，但增加计算开销。
2025-09-24 cs.AI cs.HC cs.SE
Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses
Aalborg University（奥尔堡大学）；Zhejiang University（浙江大学）；Northeastern University（东北大学）
该研究通过在零售客户服务领域注入受控故障，分析智能体AI对不一致、不完整工具响应的鲁棒性，发现两类响应在特定通道中可不对称识别，动作分布特征存在差异。
2026-09-01 cs.AI
Cheap Code, Costly Judgment: A Case Study on Governable Agentic Software Engineering
通过12周案例研究，提出治理转换理论模型，解释专家工程师如何利用AI编码代理实现高速开发并保持可控性。
2026-07-07 cs.AI cs.SE
An Explainable Agentic AI Framework for Uncertainty-Aware and Abstention-Enabled Acute Ischemic Stroke Imaging Decisions
Department of Computer Science and Engineering（计算机科学与工程系）；Daffodil International University（达福尔国际大学）
本文提出了一种可解释的代理AI框架，用于在急性缺血性中风影像学中实现不确定性意识和选择性退避，以提高临床决策的安全性和透明性。
2026-01-03 cs.AI cs.CV eess.IV
On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment
National University of Singapore（新加坡国立大学）
本文提出FATE框架，通过将验证者评分的失败轨迹转化为修复监督，结合Pareto-Front Policy Optimization方法，提升代理安全性同时保持有用行为，实验显示在不同模型和规模上均有效。
2026-05-12 cs.AI
LongDS-Bench: On the Failure of Long-Horizon Agentic Data Analysis
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph（知识图谱联合实验室）
提出LongDS基准，用于评估长周期多轮数据分析中智能体维护和更新分析状态的能力，发现最佳模型平均准确率仅48.45%，且长周期错误占失败原因的52%-69%。
2026-09-09 cs.AI cs.CL cs.LG
Zero-Trust Runtime Verification for Agentic Payment Protocols: Mitigating Replay and Context-Binding Failures in AP2
eBay Inc（eBay公司）
本文提出了一种零信任运行时验证框架，通过动态生成非ces强制显式上下文绑定和一次性使用命令语义，以缓解AP2中的重放和上下文重定向攻击。
2026-02-06 cs.AI cs.CR
Agentic Confidence Calibration
Salesforce AI Research（Salesforce人工智能研究）
本文提出Holistic Trajectory Calibration (HTC)方法，通过提取代理轨迹上的过程级特征，提升AI代理的置信度校准能力，实现更可靠的自主系统。
2026-01-22 cs.AI cs.CL
ComAgent: Multi-LLM based Agentic AI Empowered Intelligent Wireless Networks
IEEE
ComAgent通过多LLM代理式AI框架，实现复杂无线网络任务的自动化设计与优化，展现出超越单体LLM的性能优势。
2026-01-27 cs.AI
Towards Agentic Cloud Engineering: Graph and Loop Engineering with a Zero-Trust Agent Harness
Tata Research Development and Design Centre（塔塔研究开发设计中心）
该研究提出Agentic Cloud Workflow Engineering框架，将自然语言智能体云工程任务转为验证后的代码仓库与云部署，划分三类工程关注点并在Google Cloud验证，为多类智能体云工程领域提供统一架构。
2026-10-19 cs.AI cs.LG cs.SE
Silent Failures in Agent-Tool Interaction: An Audit of ToolUniverse
AI Tech Ethics（AI科技伦理）
本研究审计ToolUniverse中15个科学工具的智能体-工具交互，发现91个静默失败（多源于API或包装器层），提出上下文可靠性概念以应对此类失败。
2026-10-14 cs.AI cs.SE
Risk Architecture for AI-Native Engineering Teams: An Organizational Framework for Agentic System Governance
针对AI原生团队违反传统软件工程假设的问题，提出七维团队画像、六类故障模式（含依赖边界确定性失配）和框架充分性评估方法，发现风险覆盖随AI原生程度单调下降，最严重故障出现在组织边界。
2026-07-03 cs.AI cs.SE
From Features to Actions: Explainability in Traditional and Agentic AI Systems
Vector Institute for Artificial Intelligence（向量人工智能研究所）；Independent Researcher（独立研究者）；Mayo Clinic（梅奥诊所）
本文比较了基于归因的解释与基于轨迹的诊断在静态和智能体设置中的效果，发现归因方法无法可靠诊断智能体轨迹中的执行级故障，而轨迹级可解释性更能定位行为故障。
2026-05-31 cs.AI
Iterating Toward Better Search: A Two-Agent Simulation Framework for Evaluating Agentic Search Architectures in E-Commerce
eBay Inc.（eBay公司）
提出模块化双智能体仿真框架，通过固定买家智能体对比不同应答器设计，发现滚动窗口记忆在质量和速度上优于意图提取记忆，并基于失败分析将失败率降低62%。
2026-06-12 cs.AI
Autonomous Incident Resolution at Hyperscale: An Agentic AI Architecture for Network Operations
Arun Malik
提出一种多智能体编排框架，通过分层分解、技能调用、知识编码和渐进自主，在超大规模云网络中实现90%以上常见事件的自主解决，并保障安全。
2026-06-08 cs.AI cs.ET cs.MA
MemPro: Agentic Memory Systems as Evolvable Programs
East China Normal University（东华师范大学）；Xiaohongshu Inc.（小红书公司）
提出MemPro框架，将整个记忆构建-检索管道视为可进化程序，通过故障模式引导的编辑-调试迭代优化，在多个长时任务数据集上超越静态和提示级进化基线。
2026-05-30 cs.AI cs.CL
Beyond single-channel agentic benchmarking
Florida State University（佛罗里达州立大学）
本文提出通过人类-人工智能双元组的可靠性评估代理安全性，强调不相关错误模式对风险降低的重要性，以改进AI安全性评估方法。
2026-02-05 cs.AI cs.CY cs.HC
Discoverable Agent Knowledge -- A Formal Framework for Agentic KG Affordances (Extended Version)
School of Computer Science and Informatics, University of Liverpool, UK（利物浦大学计算机科学与信息学学院）；Open University（开放大学）
本文提出一个四维形式化框架（语义表达性、智能体可发现性、任务相对基础性和认知信任范围），并从中推导出智能体能力概况（AAP），作为VoID和DCAT之上的语义层，支持智能体在规划时进行原则性的知识图谱选择、组合和故障诊断。
2026-09-09 cs.AI
