Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training
Apodex
本文提出智能体错误数据集（AED），含50,228对错误诊断数据，并设计五阶段AET流程，通过错误诊断与修正显著提升验证器通过率及模型微调一致性。
2026-10-02 cs.AI cs.CL
Predicting Intermittent Job Failure Categories for Diagnosis Using Few-Shot Fine-Tuned Language Models
École de technologie supérieure（高等技术学院）；TELUS（TELUS公司）
本文提出FlaXifyer方法，通过预训练语言模型预测间歇性作业失败类别，实现84.3%的宏F1和92.0%的Top-2准确率，同时提出LogSift技术提升日志分析效率。
2026-04-04 cs.AI cs.CL cs.LG
Modeling Failure Priors and Persistence in Model-Based Diagnosis
Stanford University（斯坦福大学）
基于概率模型的诊断从元件故障的先验概率和系统行为的观测值计算元件故障的后验概率。这种方法的一个问题是，这种先验几乎从来没有直接可用。原因之一是先验概率估计包括一个隐含的时间间隔概念，在此期间它们被指定-例如，如果一个组件的故障概率是0.05，这是在一天的时间段内还是在一周内？基于概率模型的诊断面临的第二个问题是持久性建模。假设我们在t_1时刻观察到一个系统，然后在t_2时刻观察到另一个系统。为了计算考虑到两个观测值的后验概率，我们需要一些模型来描述系统状态从时间t_1到t_2的变化。在本文中，我们使用可靠性理论的技术来解决这些问题。我们展示了如何计算一个组件的故障前从经验的措施，其可靠性-平均故障间隔时间（MTBF）。我们还开发了一个计划，处理多个时间标记的观察时，模型的持久性。
2013-02-20 cs.AI
OpsMem: Dual-Memory Reasoning with Cross-Memory Resonance for Failure Diagnosis
Huawei（华为）
针对现代软件系统故障诊断中缺乏协调诊断状态与操作经验机制的问题，提出双内存框架OpsMem，通过跨内存共振等进行多智能体诊断，实验表明其在华为微服务故障诊断数据集上优于基线，提升了匹配度和相关性。
2026-07-14 cs.AI cs.SE
A platform for causal knowledge representation and inference in industrial fault diagnosis based on cubic DUCG
Tsinghua University（清华大学）
大型工业系统的工作条件非常复杂。一旦发生故障，将影响工业生产，造成财产损失，甚至危及工人的生命。因此，准确掌握系统的运行状态，及时发现故障，对控制系统的运行至关重要。系统故障的发生是一个渐进的过程，当前系统故障的发生可能取决于系统的前一个状态，这是顺序的。基于时间序列的故障诊断技术可以实时监测系统的运行状态，在允许的时间间隔内发现系统的异常运行，诊断故障的根本原因并预测状态趋势。为了指导技术人员对相关故障进行诊断和解决，本文基于立方DUCG理论实现了一个工业故障诊断系统。基于专家知识和经验建立了系统的诊断模型。同时，它可以进行基于时间序列的实时故障诊断，解决了没有样本数据的工业系统故障诊断问题。
2022-03-27 cs.AI
PrefixGuard: Online Failure Warning and Trace-Grounded Diagnosis for LLM Agents
University of Liverpool（利物浦大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
PrefixGuard通过离线StepView诱导和监督学习训练监控器，有效提升异构轨迹上的在线故障预警性能，实现0.900/0.710/0.533/0.557 AUPRC的高精度预警。
2026-09-29 cs.AI
Know the Shape, Find the Fault: Topology-Conditioned Diagnosis of Multi-Agent LLM Failures
Beihang University（北京航空航天大学）
提出MAScope两阶段框架，利用通信拓扑结构线索诊断多智能体LLM故障，通过轨迹结构提取器恢复拓扑并条件化分类，显著提升诊断性能并降低部署成本。
2026-10-08 cs.AI cs.MA
A Multi-Dataset Benchmark for Evaluating LLM Agents in Microservice Failure Diagnosis
提出基于推理过程评估的基准，包含两个大规模数据集（AIOps2025和RCA100），从定位、识别和原因三个维度评估智能体诊断能力，覆盖500多个专家标注的故障案例。
2026-06-28 cs.AI cs.SE
Diagnosing with Insights: Structured Analysis of Agent Failures via Behavioral Abstractions
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；Microsoft（微软公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出神经符号方法AGENTSCOPE，通过将智能体轨迹行为抽象为结构化表示并结合LLM引导推理，在Who&When、AgentErrata数据集上显著提升智能体失败的故障定位与归因准确率。
2026-09-03 cs.AI
Debugging the Debuggers: Failure-Anchored Structured Recovery for Software Engineering Agents
Nankai University（南开大学）；Tsinghua University（清华大学）；Microsoft（微软）
提出PROBE框架，通过遥测层、诊断层和指导门将运行时证据转化为结构化恢复指导，在代码修复、工作流恢复等场景中诊断准确率65.37%，恢复率21.79%。
2026-06-05 cs.AI cs.SE
LLM-Based Automated Diagnosis Of Integration Test Failures At Google
GoogleUSA（美国谷歌）
本文提出Auto-Diagnose工具，利用LLM高效诊断集成测试故障，通过分析日志生成摘要并集成至代码审查系统，实验证明其高准确率和用户认可。
2026-04-13 cs.AI cs.SE
Auditing Evidence Use in Medical LLM Diagnosis
University of Electronic Science and Technology of China（电子科技大学）
研究医学大语言模型诊断时证据使用情况，通过分解患者信息为证据单元等方法审计，在多个数据集上评估五个模型，发现准确性可能掩盖证据使用问题，结果促使对医学大语言模型评估进行角色感知审计。
2026-07-24 cs.AI
AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Toronto（多伦多大学）；Google（谷歌公司）；Stanford University（斯坦福大学）
研究大语言模型代理故障调试难题，提出开源框架AgentDebugX，其核心DeepDebug通过多轮诊断定位根源，在基准测试中表现出色，能修复更多失败任务，还通过多种方式公开工作流程并提供错误中心。
2026-07-22 cs.AI cs.CL
SkillMentor: LLM Agent Self-Evolution via Learning Blind-Spot Diagnosis
The Hong Kong Polytechnic University（香港理工大学）；Platform and Content Group, Tencent（腾讯平台与内容事业群）；Soochow University（苏州大学）
本文提出SkillMentor，将盲点诊断作为独立于执行的可学习智能体能力，通过强化学习训练导师策略，在AppWorld和BFCLv3上使执行器性能平均提升44.2%，实现无需更新执行器的智能体自我进化。
2026-07-31 cs.AI
GUITAR: Structured Failure Diagnosis of GUI Agents via State Transitions
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Laboratory（鹏城实验室）；Shanghai Jiao Tong University（上海交通大学）
GUITAR提出状态中心诊断框架，通过状态转换图分析GUI代理失败，定位瓶颈，提升成功率2.8%。
2026-09-30 cs.AI
RouteRepair: Instance-Level Failure Diagnosis and Targeted Repair in LLM-Based Automated Heuristic Design for Routing Optimization
Southeast University（东南大学）
RouteRepair通过实例级故障诊断和定向修复，在TSP和CVRP上显著提升LLM生成的启发式算法性能，同时不损害已有优势。
2026-09-11 cs.AI
Where MLLMs Fail and Why: Causal Task Decomposition for Capability Failure Diagnosis
Google Research（谷歌研究院）；Stanford University（斯坦福大学）
本文提出因果分解框架CADET，通过受控干预前置依赖诊断MLLM失败源于内在缺陷还是级联错误，实验发现提供正确前置可消除认知任务54%错误，单一关键前置贡献占全部收益的84%。
2026-10-01 cs.AI cs.CL cs.CV
Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability
University of Science and Technology of China（中国科学技术大学）
提出一种故障感知的可观测性框架，通过在线轨迹信号诊断多智能体LLM系统中的浪费计算，并在GAIA验证集上评估，揭示不同故障机制及其与资源消耗的关系。
2026-06-16 cs.AI
ToolRobustBench: Stage-Wise Perturbation Evaluation and Failure Diagnosis for Tool-Calling Agents
本研究推出ToolRobustBench，这一工具调用智能体的分阶段诊断基准，通过四类扰动族评估7个模型等的15456个实例，发现工具输出/观测扰动是主要瓶颈，可诊断工具调用故障来源与传播。
2026-08-26 cs.AI cs.SE
Holistic Evaluation of State-of-the-Art LLMs for Code Generation
本研究评估了六个最新大型语言模型在代码生成中的表现，发现DeepSeek-R1和GPT-4.1在正确性、效率和鲁棒性方面表现最佳，强调了提示工程和人类监督的重要性。
2025-12-19 cs.AI cs.SE
TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis?
该研究推出TelemetrySuffBench基准，评估五个前沿语言模型的故障起源诊断能力，发现检测与定位存在差距，安全弃权（不执行）具强模型依赖性，需决策-来源链接与弃权保障。
2026-08-11 cs.AI
DAAF: From Failure Localization to Editable System Assets in LLM Agents
针对LLM智能体故障修复的决策缺口，提出DAAF框架，通过组件属性归因学习干预效果，无需反事实重放，在电信任务上实现高命中率并提升任务成功率。
2026-09-29 cs.AI
SANEval: Open-Vocabulary Compositional Benchmarks with Failure-mode Diagnosis
Stony Brook University（石溪大学）；nd Set AI Corp.（第二集AI公司）；Rowan University（罗文大学）
SANEval提出一种开放词汇组合评估基准，结合大型语言模型和增强对象检测器，通过实验展示其在属性绑定、空间关系和数值任务上的评估效果优于现有基准。
2026-11-10 cs.AI cs.CV
Few-shot fault diagnosis based on multi-scale graph convolution filtering for industry
针对工业故障数据稀缺问题，提出多尺度图卷积滤波（MSGCF）方法，通过融合局部与全局信息缓解过平滑并降低过拟合风险，在PU数据集上准确率优于其他方法。
2024-05-30 cs.AI
A Temporal Neuro-Fuzzy Monitoring System to Manufacturing Systems
Université de Batna（巴特纳大学）；Centre universitaire Khenchela（肯切拉大学中心）；Laboratoire d’Automatique et Productique (LAP)（自动化与生产实验室）
故障诊断和故障预测是提高制造系统安全性的关键技术。因此，在线故障检测和隔离是安全关键和智能控制系统中最重要的任务之一。计算智能技术作为传统故障诊断方法的延伸正在被研究。本文讨论了时间神经模糊系统（TNFS）的故障诊断中的应用研究的制造系统。找到一个合适的结构检测和隔离十个现实的执行器故障的关键问题进行了说明。在此框架下，开发了模拟洗礼的NEFDIAG（神经模糊诊断）1.0版数据处理交互软件。该软件主要用于工业过程故障的分类神经模糊系统的创建，训练和测试。NEFDIAG可以表示为一种特殊类型的模糊感知器，有三层用于分类模式和故障。本系统选用阿尔及利亚SCIMAT水泥厂熟料车间。
2011-07-17 cs.AI
Diagnosability of Fuzzy Discrete Event Systems
为了更有效地处理现实世界中的不确定性问题，近年来提出了{ \it模糊离散事件系统}（FDES），并发展了FDES的监督控制理论。鉴于故障诊断的重要性，本文提出了一种在故障诊断系统框架下进行故障诊断的方法。更具体地说：（1）给出了故障可诊断性的形式化定义，其中事件的可观测集和故障集是{ \it fuzzy}的，即每个事件都有一定的可观测度和不可观测度，并且每个事件都有不同的故障发生概率。(2)通过构造FDES的基于可观性的诊断器，我们研究了它的一些基本性质。特别是，我们提出了一个必要和充分条件的可诊断的FDES。(3)一些例子来说明FDES的可诊断性的应用。最后，提出了一些相关问题供进一步考虑。
2006-12-18 cs.AI
Trace-to-Architecture: Capability Bottleneck Diagnosis for Harness Revision
University of Pennsylvania（宾夕法尼亚大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；DP Technology（第四范式（北京）技术有限公司）
针对LLM智能体harness修订的问题，提出Trace-to-Architecture框架，利用执行轨迹诊断能力瓶颈并修订harness组件，在多个任务上实现最高综合得分，还可集成到Meta-Harness提升性能。
2026-10-14 cs.AI
DiagEval: Trajectory-Conditioned Diagnosis for Reliable Software Evaluation with GUI Agents
DeepWisdom（深智科技）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
该研究提出DiagEval，一种基于轨迹的诊断评估协议，用于在GUI代理评估交互式软件后失败时进行诊断。通过重用失败轨迹选择针对性的诊断探针，并将结果聚合为内部归因信号，从而提高准确性，优于基于重试的基线方法。
2026-05-19 cs.AI cs.SE
Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing
Data Science & Artificial Intelligence Research Institute, China Unicom（中国联通数据科学与人工智能研究院）；Unicom Data Intelligence, China Unicom（中国联通数据智能）；China Unicom Group Co.,Ltd（中国联通集团有限公司）
研究针对T2I模型评估的问题，提出QC-T2I-Bench框架，结合DSG实现细粒度诊断，评估显示多能力组件联合完成率随能力数增加下降，成本感知路由器可在减少算力的同时达到ERNIE的估计精度。
2026-08-26 cs.AI
ResonAct: Streaming Metrics for Runtime Diagnosis and Self-Healing in Multi-Agent Systems
IBM
ResonAct通过流式指标实现多智能体系统的运行时诊断与自愈，无需修改应用即可提升任务完成率最多10个百分点。
2026-09-29 cs.AI cs.LG
Scalable, Technology-Agnostic Diagnosis and Predictive Maintenance for Point Machine using Deep Learning
本文提出一种仅使用功率信号和深度学习的转辙机诊断方法，实现技术无关、可扩展的预测性维护，并通过共形预测提供输出置信度，符合ISO-17359标准。
2025-08-12 cs.AI cs.LG eess.SP
DERM-3R: A Resource-Efficient Multimodal Agents Framework for Dermatologic Diagnosis and Treatment in Real-World Clinical Settings
School of Pharmacy, Nanjing University of Chinese Medicine（南京中医药大学药学院）；Department of Dermatology, the Gulou Hospital of Traditional Chinese Medicine of Beijing（北京鼓楼中医医院皮肤科）；Infectious disease department, Dongfang Hospital, Beijing University of Chinese Medicine（北京中医药大学东方医院感染科）；College of Art and Science, university of Washington（华盛顿大学文理学院）；Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）；Fudan Unversity（复旦大学）；Zhejiang Lab（之江实验室）；University College London（伦敦大学学院）；Department of Dermatology, Inner Mongolia Hospital of Traditional Chinese Medicine（内蒙古自治区中医医院皮肤科）；International Campus of Zhejiang University（浙江大学国际校区）
本文提出DERM-3R框架，通过三个协作代理解决皮肤病诊断中的细粒度病变识别、多视角病变表示和综合推理问题，展示了其在资源受限下的高效性能。
2026-10-06 cs.AI cs.MA
EvalLoop: A Methodology for Evaluation-Driven Iterative Improvement of Business AI Systems
Robert Half（罗伯特·哈夫公司）
研究针对商业AI系统评估忽视迭代改进价值的问题，提出EvalLoop方法，通过维度指标分组、故障模式分类和结构化迭代工作流程，实现评估驱动的迭代改进，经案例研究验证有效，还能助力模型选择与部署权衡，且被打包为可重用工件。
2026-07-08 cs.AI cs.SE
An Explainable GNN Framework for Component-Level Anomaly Diagnosis
该研究提出一种可解释GNN框架，将异常诊断视角从传感器级转向组件级，通过识别传感器间相互作用改变来定位故障组件，实验验证了其有效性。
2026-09-15 cs.AI
CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models
Hunan University（湖南大学）；University of Hong Kong（香港大学）
针对医学视觉语言模型中的仲裁失败和刹车失败，提出CRAFT方法，通过因果头定位与干预，实现精准识别和纠正，提升诊断安全性。
2026-10-30 cs.AI cs.CV
