GraphCert: Bootstrap Agentic Graph Reasoning with Certified Evidence Rubrics
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Hangzhou City University（杭州城市大学）
GraphCert提出一种自认证方法，通过生成并认证证据准则，在训练后阶段引导图智能体推理，无需人工标注或外部LLM，且在多个图推理领域上优于更大模型。
2026-10-01 cs.AI
ComplexConstraints and Beyond: Expert Rubrics for RLVR
Surge AI
提出专家设计的评分标准作为评估和训练信号，通过复杂指令遵循和企业智能体任务验证，在RL训练中显著提升模型性能。
2026-07-07 cs.AI
A Survey on Rubric-Guided Reinforcement Learning for Language Models
WeChat, Tencent（腾讯微信）
该综述针对传统RLHF的缺陷，提出贝叶斯框架并沿先验-后验轴分类准则引导强化学习，分析语言学相关对齐问题，明确未来研究方向。
2026-09-01 cs.AI cs.CL
StitchCUDA: An Automated Multi-Agents End-to-End GPU Programing Framework with Rubric-based Agentic Reinforcement Learning
Department of Computer Science\&Engineering, University of Minnesota-Twin Cities, Minnesota, USA；Department of Electrical Engineering, University of Minnesota-Twin Cities, Minnesota, USA
StitchCUDA通过基于规则的多智能体强化学习，实现了端到端GPU编程的高效生成与验证，显著提升了性能和准确性。
2026-08-11 cs.CL cs.MA cs.PL
Agentic systems for breast cancer treatment recommendations
Spesia（斯佩西亚）；Faculdade de Medicina, Universidade de São Paulo（圣保罗大学医学院）；Laboratory of Artificial Intelligence Applied to Bioinformatics, SEPT, Universidade Federal do Paraná (UFPR)（巴拉那联邦大学人工智能应用于生物信息学实验室，SEPT）；Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主大学）
研究评估用于乳腺癌治疗建议的智能体LLM系统，用72个真实临床病例和1147个特定病例量表，比较七种流程，最佳配置全局得分为0.594±0.025，工具使用和智能体自主性影响各异，虽能生成相关建议，但用于无监督临床使用仍不足。
2026-07-15 cs.CL
AgenticASR: Refining Speech Recognition in Real-World Scenarios via an Agentic Approach
该研究提出AgenticASR智能体语音识别框架，通过ASR-Refiner架构实现语音流的持续输出与修正，推出AASR-Bench双语基准，在多ASR前端上取得最优性能，可用于保留意图的实时干净转录。
2026-07-31 cs.AI
ExecRubrics: Executable Tool-Augmented Rubrics for Verifiable and Efficient Long-Form Evaluation
Emory University（埃默里大学）；University of Waterloo（滑铁卢大学）
ExecRubrics是将评分标准转化为可执行Python程序的框架，可替代黑盒LLM评判者，在三个长文本基准上实现与自然语言评分标准相当或更优的偏好准确率，且评估延迟降低最多320倍，提升了评估的可解释性与效率。
2026-09-01 cs.AI cs.CL cs.IR
APRES: An Agentic Paper Revision and Evaluation System
Meta Superintelligence Labs（Meta 超智能实验室）；University of Edinburgh（爱丁堡大学）
APRES利用大型语言模型改进论文质量，通过评估标准提升引用预测，79%的专家更喜欢修订后的论文。
2026-03-03 cs.AI cs.CL
FORCE-Bench: A Benchmark, Dataset, and Evaluation Harness for Agentic AI in Enterprise Finance
Microsoft Corporation（微软公司）
研究针对智能代理在企业金融领域应用，提出FORCE-Bench基准测试，含251个专家注释查询，从八个维度评估三种任务类型，在特定设置下评估通用和专用代理，结果显示专用代理更可靠，相关资源开源助力企业金融环境应用。
2026-07-23 cs.AI
ARISE: Adapting to Evolving Capability Gaps in Agentic Reinforcement Learning
ARISE提出自适应评分标准-技能协同进化框架，利用展开证据动态调整评估与训练，以应对智能体能力缺口演变，在SkillsBench和Terminal-Bench上提升任务性能与训练效率。
2026-09-29 cs.AI
AgenticGen: Reward-Guided Agentic Video Generation for Advertising
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
AgenticGen提出奖励引导的智能体框架，将广告视频生成分解为策略选择和草稿生成两阶段，利用在线反馈训练奖励模型，经DPO和GRPO优化，在TikTok广告系统中显著提升CTR、CVR和Advv。
2026-09-10 cs.AI cs.CL cs.CV
UpBench: A Dynamically Evolving Real-World Labor-Market Agentic Benchmark Framework Built for Human-Centric AI
Upwork
UpBench是一个动态演化的现实劳动力市场代理基准框架，通过真实工作和财务结果评估AI与人类协作的能力，推动人机协作的发展。
2025-12-12 cs.AI cs.CY
RUBAS: Rubric-Based Reinforcement Learning for Agent Safety
The Conversational AI (CoAI) group, DCST, Tsinghua University（清华大学对话人工智能（CoAI）组，DCST，清华大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
提出RUBAS框架，通过将智能体行为分解为四个维度的评分标准提供细粒度奖励，利用强化学习在保证任务完成的同时提升工具使用安全性。
2026-06-02 cs.AI cs.CR cs.LG
Lightweight, Rubric-Guided Trajectory Evaluation for Production AI Agents
Huawei Ireland Research Center（华为爱尔兰研究中心）；Huawei Shenzhen R&D Center（华为深圳研发中心）
针对生产环境智能体轨迹评估成本高的问题，提出轻量级架构LiteTrajEval，通过离线规则配置和在线预处理，结合单一评分标准LLM评判器，在显著降低成本和评估时间的同时，大幅提升失败定位与人工标注的一致性，并已部署于企业平台。
2026-10-05 cs.AI
Agentic AI for Human Resources: LLM-Driven Candidate Assessment
aiXplain, Inc.（aiXplain公司）
本文提出一个模块化且可解释的框架，利用大语言模型自动化招聘中的候选人评估。系统整合多种来源生成结构化评估报告，采用LLM生成的评分标准和多代理架构进行细粒度评估，输出透明、可审计的评估报告和推荐。
2026-03-17 cs.AI cs.CL cs.IR
Information-seeking failures of large language models in agentic clinical reasoning
研究大语言模型在临床推理中信息获取失败问题，开发血液肿瘤学代理评估框架，发现信息利用率是诊断准确性关键指标，推理痕迹与准确性不相关，主要失败模式为搜索满足等，指出模型主要限制是不确定性下信息获取失败。
2026-07-14 cs.AI cs.CL
FaithMed: Training LLMs For Faithful Evidence-Based Medical Reasoning
Carnegie Mellon University（卡内基梅隆大学）；Stanford University School of Medicine（斯坦福大学医学院）；Xlue
提出FaithMed框架，通过过程级奖励和优势分组强化学习，监督LLM在医学推理中忠实评估和应用检索证据，在7个基准上平均提升9%。
2026-07-03 cs.CL
Mind2Web 2: Evaluating Agentic Search with Agent-as-a-Judge
The Ohio State University（俄亥俄州立大学）；Amazon AGI（亚马逊AGI）
本文提出 Mind2Web 2 基准及 Agent-as-a-Judge 框架，通过 130 个长视野任务和树状评分裁判智能体，系统评估智能体搜索系统的答案正确性与来源归因，并揭示 OpenAI Deep Research 已达人类表现 50-70%。
2025-07-03 cs.AI cs.CL
A Cost-Aware Agentic Architecture for NL-to-SQL over Nested Enterprise Schemas, with a New Benchmark
University of Texas at Austin（德克萨斯大学奥斯汀分校）；DevRev
本文针对现有NL-to-SQL基准未覆盖的企业模式嵌套结构问题，构建新基准并提出成本感知智能体架构，在新基准上正确率大幅领先，在公开数据集上性能与领先系统相当。
2026-09-07 cs.AI
VERA: Scaling Verifiable Environments for Agentic co-Evolution
Nvidia（英伟达）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；Xian Jiaotong University（西安交通大学）；University of Pennsylvania（宾夕法尼亚大学）
提出VERA框架，通过可验证沙箱环境规模化构建与协同进化更新，使智能体在长时程任务中显著超越基线，并保持通用能力。
2026-10-06 cs.AI
POLARIS: Typed Planning and Governed Execution for Agentic AI in Back-Office Automation
University of California, Irvine（加州大学尔湾分校）；Center for Advanced AI, Accenture（Accenture高级人工智能中心）；University of California, San Diego（加州大学圣地亚哥分校）
POLARIS通过类型化规划和受控执行框架，提升后台自动化中代理AI的政策一致性与可预测性，实现高精度任务处理与审计追踪。
2026-01-16 cs.AI
AgentEval: DAG-Structured Step-Level Evaluation for Agentic Workflows with Error Propagation Tracking
The University of Hong Kong（香港大学）；Stellaris AI Limited（Stellaris AI有限公司）
AgentEval通过构建评估有向无环图，实现对代理工作流中错误传播的精准追踪，提升故障检测召回率和根本原因准确性，适用于生产环境中的代理系统评估。
2026-04-26 cs.CL cs.SE
Orchard: An Open-Source Agentic Modeling Framework
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）；UIUC（伊利诺伊大学香槟分校）
本文提出Orchard，一个开源的智能体建模框架，通过轻量级环境服务和三种智能体建模食谱，实现了跨领域可重用的智能体数据、训练和评估。
2026-07-31 cs.AI cs.CL
From Features to Actions: Explainability in Traditional and Agentic AI Systems
Vector Institute for Artificial Intelligence（向量人工智能研究所）；Independent Researcher（独立研究者）；Mayo Clinic（梅奥诊所）
本文比较了基于归因的解释与基于轨迹的诊断在静态和智能体设置中的效果，发现归因方法无法可靠诊断智能体轨迹中的执行级故障，而轨迹级可解释性更能定位行为故障。
2026-05-31 cs.AI
SoK: Measuring What Matters for Closed-Loop Security Agents
IEEE
针对网络安全领域闭环安全智能体研究缺乏统一评估框架与基准的问题，提出CLASP框架与CLC分数，梳理现有研究的能力缺口，为闭环安全智能体评估提供通用标准与测量手段。
2025-10-02 cs.AI cs.CL
Build, Judge, Optimize: A Blueprint for Continuous Improvement of Multi-Agent Consumer Assistants
Metis；DoorDash
本文提出评估和优化对话购物助手的实用蓝图，通过生产级AI杂货助手示例，介绍多维评估标准和校准的LLM评判流程，并提出两种互补的提示优化策略。
2026-04-30 cs.AI cs.CL cs.LG
AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts
SII Open Source（SII开源）
本文提出AgencyBench，通过138个现实场景评估6种核心代理能力，揭示闭源模型在资源效率和反馈修正上的优势，为下一代自主代理的发展提供测试平台。
2026-04-23 cs.AI
SCOUT: Synergizing Reasoning and Tool-Use for Computer-Use Safety
Columbia University（哥伦比亚大学）
SCOUT是一个两阶段智能体安全验证器，通过推理密集的规则生成与工具密集的证据收集协同，提升计算机操作智能体的安全检测性能，并在多个基准上取得领先结果。
2026-09-30 cs.AI cs.CL cs.SE
A Framework for Evaluating Agentic Skills at Scale
Tessl London United Kingdom（伦敦英国Tessl）
提出一个评估框架，通过构建真实任务和评分标准，大规模评估500个真实技能在19种智能体模型上的表现，发现模型对技能指令的遵循程度差异显著，且技能显著改变模型行为。
2026-06-17 cs.AI cs.CL cs.SE
Scaling Agentic Capabilities, Not Context: Efficient Reinforcement Finetuning for Large Toolspaces
Microsoft Research（微软研究院）
ATLAS通过强化微调框架使小型语言模型在大规模工具空间中更高效地执行任务，通过学习上下文获取和动作执行，提升长周期工作流程的稳定性与效率。
2026-03-05 cs.AI cs.LG
Evaluating Deep Research Agents on Expert Consulting Work: A Benchmark with Verifiers, Rubrics, and Cognitive Traps
Deccan AI Research（德克南人工智能研究所）
本文提出一个基准，通过42个专家编写的任务，使用确定性验证器和五维度评分标准评估三个前沿深度研究代理（Claude、OpenAI o3、Gemini）在管理咨询类结构化分析交付物上的表现，并嵌入认知陷阱，发现所有代理的联合接受率均较低（最高21.4%），且各有独特失败模式。
2026-06-26 cs.AI cs.LG
Beyond Correctness: Enhancing Architectural Reasoning in Code LLMs via Scalable Labeling with Agentic Judgment
Centre for Software Excellence, Huawei Canada（华为加拿大软件卓越中心）；Department of Computer Science, University of Manitoba, Canada（曼尼托巴大学计算机科学系）；School of Computing, Queen’s University, Canada（皇后大学计算科学学院）
针对代码大模型缺乏架构理解的问题，提出智能体判断流水线，利用强LLM作为专家架构评估的代理，通过两个判断器（ACJ和AQJ）实现可扩展标注，微调模型在SWE-bench上提升高达540%，并展现跨语言泛化能力。
2026-07-08 cs.AI cs.SE
Taming Scylla: Understanding the multi-headed agentic daemon of the coding seas
本文提出Scylla框架，用于评估代理编码工具，通过结构化消融研究量化复杂性和效率的权衡，表明架构复杂性不总是提升质量。
2026-02-09 cs.AI cs.SE
Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews
National University of Singapore（新加坡国立大学）
研究大语言模型评审员与人类评审员对同行评审评估的差异，将卡尼曼双过程理论转化为评分标准并发布Kahneman4Review基准，通过多方面发现揭示问题，强调可靠基准应区分分析形式与认知功能并给出设计选择。
2026-07-14 cs.CL
HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following
Surge AI
该研究提出HANDBOOK.md基准测试，模拟企业员工遵循公司手册，含65个代理任务跨越多领域多公司。任务修改基础手册防记忆，评分具确定性。测试发现模型配置通过率低，代理常违背策略，还发布了所有任务、环境及评估工具。
2026-08-05 cs.AI cs.CL
From Governance Norms to Enforceable Controls: A Layered Translation Method for Runtime Guardrails in Agentic AI
Independent Researcher（独立研究员）
本文提出一种分层翻译方法，将治理标准转化为四层控制机制，通过采购代理案例展示如何将治理目标转化为可执行的运行时防护措施。
2026-04-06 cs.AI cs.HC cs.LG
Automated Transcript Analysis for Detecting Flaws in Agentic Benchmarks
UK AI Security Institute（英国人工智能安全研究所）；Poznan University of Technology（波兹南理工大学）；Generality Labs（Generality实验室）
本研究开发AI扫描器检测智能体基准中四类有效性问题，在Inspect Evals基准测试中识别出五个常用基准的多项质量问题，为自动审计基准质量提供了概念验证。
2026-07-31 cs.AI
Mind the Gap: Can Frontier LLMs Pass a Standardized Office Proficiency Exam?
Microsoft Research（微软研究院）
基于中国计算机等级考试（NCRE）的200个综合操作任务，评估7个前沿LLM在Word、Excel和PowerPoint自动化中的表现，发现单轮模型最高得分率36.6%，带执行反馈的智能体系统达68.8%，仍低于95.5%的社区参考分，表明可靠细粒度办公自动化仍是重大挑战。
2026-06-09 cs.AI cs.CL
Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits
Alibaba Group（阿里巴巴集团）；Alibaba Token Hub（阿里巴巴令牌中心）；HKUST (Guangzhou)（香港科技大学（广州））；Amap（高德地图）
该研究针对智能体强化学习的同策略推理瓶颈，提出Rollout-Time Intervention技术，经五基准实验验证，其性能优于RL基线，可使策略超越原始能力边界。
2026-10-12 cs.AI
VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks
Google Cloud AI Research（谷歌云人工智能研究院）；University of Cambridge（剑桥大学）
针对长时程任务中LLM智能体输出验证难题，提出VeriHarness方法，将底层LLM转化为智能体验证器，通过分歧解决与共识挑战机制，在五个基准上取得最优选择分数，并实现自我改进。
2026-10-02 cs.AI cs.MA
Q-Mirror: Unlocking the Multi-Modal Potential of Scientific Text-Only QA Pairs
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
本文提出Q-Mirror框架与智能体系统，将纯文本科学问答对转化为多模态问答对，并通过生成—评估闭环把平均分提升至85.22、通过率提升至95%。
2025-09-30 cs.AI cs.CL
GUI Agents for Continual Game Generation
Fudan University（复旦大学）；Xiaohongshu Inc.（小红书公司）；Tongji University（同济大学）；University of California, Santa Barbara（加州大学圣芭芭拉分校）
提出利用GUI智能体作为客观评估者和主观测试者，通过PlaytestArena和Play2Code框架实现持续游戏生成，显著提升可玩性。
2026-10-05 cs.AI cs.CV cs.HC
SocialCoach: Personalized Social Skill Learning with Agentic Tutoring and Practice
HKUST (GZ)（香港科技大学（广州））；Duke University（杜克大学）；MSRA Beijing（微软研究院北京）；Microsoft Beijing（微软北京）
提出SocialCoach系统，利用多智能体管道构建知识语料库、强化学习优化自适应练习调度，并结合沉浸式实践与反思辅导，以解决社交技能学习中专家辅导稀缺和知行差距问题。
2026-08-18 cs.CL cs.CY cs.HC
AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling
ServiceNow AI（ServiceNow人工智能部门）
该研究提出AgentJudgeBench基准，评估LLM评判在智能体工具调用工作流上的可靠性，发现其对齐度随难度下降，真实值并非总有益，还给出了实用评估指南。
2026-08-28 cs.AI
Risky-Bench: Probing Agentic Safety Risks under Real-World Deployment
National University of Singapore（国立新加坡大学）；University of Science and Technology of China（中国科学技术大学）；Southern University of Science and Technology（南方科技大学）；University of Electronic Science and Technology of China（电子科技大学）；Nanyang Technological University（南洋理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Risky-Bench通过基于现实部署的安全原则，系统评估智能体在复杂任务中的安全风险，适用于多种部署场景。
2026-02-03 cs.AI
A Self-Evolving Agentic System for Automated Generation and Execution of Biological Protocols
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Genoria AI
提出自演化多智能体系统ProtoPilot，结合专家基准与评估框架，将生物协议自动转化为可执行代码，并通过湿实验反馈迭代优化，实现高通过率的自主实验。
2026-07-03 cs.AI
RefGrader: Automated Grading of Mathematical Competition Proofs using Agentic Workflows
Pennsylvania State University（宾夕法尼亚州立大学）；City University of New York（纽约市立大学）；New York University（纽约大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；Autodesk（欧特克公司）；Carnegie Mellon University（卡内基梅隆大学）
针对LLM在数学竞赛证明评分中部分分数分配校准不足的问题，提出基于智能体工作流的RefGrader方法，通过提取分析参考解并自动生成评分标准，实现更公平、与人类评分更一致的自动评分。
2025-10-10 cs.AI cs.LG
CARGO: Context-Aware Retrieval-Gated Evaluation of Agentic AI in Production
Dell Technologies（戴尔科技）
针对智能体系统评估中参考实例发散问题，提出CARGO框架，通过上下文接地和检索置信度门控，消除错误惩罚并提高区分性，同时暴露了宽容性带来的检测盲点。
2026-09-28 cs.AI cs.CL cs.LG
Quality-Driven Agentic Reasoning for LLM-Assisted Software Design: Questions-of-Thoughts (QoT) as a Time-Series Self-QA Chain
本文提出QoT框架，通过时间序列自我QA链提升大语言模型辅助软件设计的质量，通过多领域实验验证其在不同模型规模和复杂度下的效果。
2026-03-10 cs.AI cs.SE
TechRAG: Evidence-Gated Multimodal Agentic RAG for Technical Literature Reasoning
Global Tire Intelligence and Solutions (GTIS)（全球轮胎智能与解决方案（GTIS））；The Goodyear Tire & Rubber Company（固特异轮胎与橡胶公司）
提出一种13步自主流水线的智能检索增强生成框架，通过证据充分性评分、知识图谱遍历和自校正生成，支持领域特定技术文献推理。
2026-06-16 cs.AI cs.IR cs.MA
Terminus-4B: Can a Smaller Model Replace Frontier LLMs at Agentic Execution Tasks?
Microsoft USA（微软公司）
研究智能体终端执行任务中较小模型能否取代前沿大语言模型。提出经监督微调及强化学习训练的Terminus-4B模型，评估发现其能减少主智能体令牌使用量约30%，不影响性能，还缩小与前沿模型差距甚至超越其性能。
2026-07-09 cs.AI cs.SE
SIGMA: Self-Improving Alignment Generalization from a Model Spec
Apple（苹果公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出SIGMA流水线，利用模型自身推理能力，基于模型规范生成任务并自我评判训练，实现安全对齐自我改进，在多轮智能体环境中显著降低有害性并保持通用能力。
2026-10-07 cs.AI
JADE: Expert-Grounded Dynamic Evaluation for Open-Ended Professional Tasks
Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团）；Zhejiang University（浙江大学）；Peking University（北京大学）
提出JADE双层评估框架，结合专家知识与动态声明级评估，解决开放式专业任务中严格性与灵活性的矛盾，在BizBench等基准上提升稳定性并揭示关键失败模式。
2026-07-15 cs.AI
Agentic Skill Optimization over Lie Algebroids
Adobe Research（Adobe研究院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
研究智能体技能优化问题，提出LASKO框架，将技能建模为李代数胚截面，利用李括号筛选测试替代昂贵验证，在自然语言任务因果提取中实现近15倍加速，提升技能优化速度。
2026-07-14 cs.AI cs.LG math.CT
