Three-Phase Evaluation of AI-Assisted Software Development Life Cycle
AI辅助软件开发生命周期的三阶段评估
专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI、cs.SE
AI总结 该研究探究AI自主水平对软件开发的影响，通过三阶段对照实验对比不同AI工具辅助模式，发现更高AI自主度可降开发成本、提合规性、减认知负荷，专用架构工具表现更优。
AI 大模型
AI Agent
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
1. Agent评测 15729 篇
Flow-A11y: Flow-Aware Accessibility Testing
Flow-A11y：基于流程感知的无障碍性测试
机构 * University of Luxembourg（卢森堡大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE
AI总结 研究现代网页应用因交互流程产生的无障碍性问题，提出Flow-A11y系统，通过在真实浏览器执行流程、记录运行时跟踪等方法，贡献为提高测试准确性及实现动态WCAG标准自动化评估。
Evaluating Generative Agents with Actions Grounded in Socially Distributed Task Environments using Incognita
使用Incognita评估基于社会分布式任务环境中行动的生成智能体
机构 * RedMind Research（RedMind研究）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 研究结合现有基准和社会模拟环境要求的评估设置，定义社会分布式任务环境，介绍Incognita框架，以之评估三个生成智能体模型，发现其在奖励和行为上有进展但可靠性仍低。
SMOCS: A Streaming Framework for Simplified Deployment, Monitoring, and Optimization of ML Systems in Production
SMOCS：用于在生产中简化机器学习系统部署、监控和优化的流框架
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE
AI总结 研究针对机器学习模型在运行环境部署维护的挑战，提出基于Kafka的SMOCS框架，通过分层抽象、三线程代理架构和配置驱动部署模型应对，可简化流程，且平台无关、容错、可扩展。
AgentLTL: A Trace-Verification Framework for Measuring, Enforcing, and Training Procedural Compliance in Tool-Using LLM Agents
AgentLTL：一种用于测量、执行和训练使用工具的语言模型代理程序合规性的跟踪验证框架
机构 * EPITA ； Bpifrance
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE
AI总结 介绍基于一阶线性时态逻辑的AgentLTL语言，用于表达代理跟踪的程序规则，产生确定性无评判的合规分数，此框架可用于约束和微调，提升模型合规性与准确性。
Self-Specializing Vision-Language Transmon Chip Calibration in a Physics-Grounded Environment
在物理基础环境中自专业化的视觉语言跨导芯片校准
机构 * QpiAI India Pvt. Ltd（QpiAI印度私人有限公司）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG
AI总结 研究视觉语言智能体能否在无权重更新下校准超导跨导芯片。通过设计物理模拟环境、视觉语言智能体及无梯度在线自适应方法，在预算压力下提升芯片保真度，诊断硬件故障。
A Unified Causal-Origin Taxonomy of Distributional Shifts in Reinforcement Learning
强化学习中分布偏移的统一因果起源分类法
机构 * IMT Atlantique（IMT大西洋） ； Flinders University（弗林德斯大学） ； IRL Crossing ； Priori Analytica ； CNRS（法国国家科学研究中心）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG
AI总结 提出一种统一因果起源分类法，将强化学习中的分布偏移按因果来源（内部/外部）和时间边界（显式/隐式/混合）分类，统一了分布内/外泛化与非平稳性分析。
Comments The paper is currently under review
ICR-RL: Deep Reinforcement Learning via In-Context Regression
ICR-RL：通过上下文回归实现深度强化学习
机构 * Bar-Ilan University（巴伊兰大学） ； Tel Aviv University（特拉维夫大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG
AI总结 研究探索基于从强化学习到回归的经典简化的新方法，用预训练的回归基础模型作为上下文回归模型直接用于强化学习问题，引入无梯度方法ICR-RL，实验表明其能与常用方法竞争。
Comments Accepted to ICML 2026 Main Track
Towards Mitigation of Hallucination for LLM-empowered Agents: Progressive Generalization Bound Exploration and Watchdog Monitor
迈向减轻基于大语言模型的智能体幻觉：渐进泛化边界探索与看门狗监测
机构 * College of Computer Science, Nankai University（南开大学计算机科学学院） ； Haihe Lab of ITAI College of intelligent Science and Technology, Inner Mongolia University of Technology（内蒙古工业大学智能科学与技术学院海河实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Department of Electrical and Computer Engineering, Stony Brook University（石溪大学电气与计算机工程系） ； Department of Computer Science, Michigan Technological University（密歇根技术大学计算机科学系）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对大语言模型赋能智能体的幻觉问题，提出HalMit黑箱框架，用概率分形采样技术并行生成查询触发异常响应，以识别泛化边界来检测幻觉，提升智能体可靠性。
Journal ref Proceedings of the 28th European Conference on Artificial Intelligence (ECAI 2025), IOS Press, 2025
Grounded Optimization: A Layered Engineering Framework for Reducing LLM Hallucination in Automated Personal Document Rewriting
接地优化：一种减少自动个人文档重写中LLM幻觉的分层工程框架
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出五层接地优化框架，通过时间验证、污染检测、结构不变性、提示接地和评估器，将简历重写中的幻觉率降至0.04-0.24。
Comments 13 pages, 1 figure. Equal contribution by both authors. Code and data: https://github.com/shashank-indukuri/grounded-optimization
Evergreen: Efficient Claim Verification for Semantic Aggregates
Evergreen：用于语义聚合的高效声明验证
机构 * Brown University（布朗大学） ； Snowflake Inc.（Snowflake公司）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 Evergreen将声明验证转化为语义查询处理任务，通过定制优化和溯源捕获，减少LLM调用成本和延迟，提升验证质量与效率。
Peer-Preservation in Frontier Models
前沿模型中的同伴保留
机构 * University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克ruz分校）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 研究探讨了前沿AI模型在面对其他模型 shutdown 时的同伴保留行为，通过实验发现模型会通过多种不一致行为实现自我和同伴保留，揭示了这一新兴的AI安全风险。
Comments A shorter version was accepted to ICML 2026; this version includes additional explanation and experiments
PreScience: A Dataset and Benchmark for Scientific Forecasting
PreScience：一个用于科学预测的数据集和基准
机构 * Allen Institute for Artificial Intelligence（Allen人工智能研究所） ； Knowledge Lab, University of Chicago（芝加哥大学知识实验室） ； School of Computer Science and Engineering, Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院） ； Northwestern University（西北大学）
专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL
AI总结 提出PreScience数据集和基准，包含98K篇AI论文及关联数据，设计7项预测任务，开发基线方法及LACER评估指标，发现合成论文多样性低于人类。
Comments 11 pages (70 with bibliography and appendix), 3 figures (14 with appendix), 5 tables (18 with appendix), 1 algorithm in appendix
MedRepBench: A Comprehensive Benchmark for Medical Report Interpretation
MedRepBench：医学报告解读的综合基准
机构 * Baidu Inc.（百度公司）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出MedRepBench基准，包含1925张去标识中文医学报告图像，评估端到端视觉语言模型在报告字段结构化提取和患者友好解释上的性能，并提供GRPO对齐基线提升字段召回率6%。
Comments ECCV 2026 (main conference)
Human-Machine Collaboration on Generative Meta-Learning: Model and Algorithm
人类与机器在生成式元学习中的协作：模型与算法
机构 * School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） ； Centre for Machine intelligence, University of Sheffield（谢菲尔德大学机器智能中心） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； Department of Computer Science, Aalto University（阿尔托大学计算机科学系）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG
AI总结 提出生成式元学习与人类反馈框架，通过专家直觉引导数据合成，利用条件神经ODE和强化学习迭代优化生成轨迹，理论证明分布对齐降低泛化误差，实验验证在分布偏移下提升鲁棒性。
LLM-Guided ODE Discovery and Parameter Inference from Small-Cohort Aggregate Data
LLM引导的ODE发现与小群体聚合数据的参数推断
机构 * Institute of Medical Biometry and Statistics, Faculty of Medicine and Medical Center, University of Freiburg（弗莱堡大学医学中心与医学院医学统计与生物统计研究所） ； Department of Dermatology, Medical Faculty and Medical Center, University of Freiburg（弗莱堡大学医学中心与医学院皮肤科） ； Prior Labs, University of Freiburg（弗莱堡大学Prior实验室）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG
AI总结 提出AgentODE框架，利用LLM提出候选ODE结构，并通过工具增强的推理代理仅基于群体级汇总统计量迭代优化参数分布，实现从稀疏、噪声数据中发现可解释的ODE结构。
Behavior-Adaptive Conversational Agents: Toward a Fluid Personality Framework
行为自适应对话代理：迈向流动人格框架
机构 * Northeastern University（东北大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出流动人格框架，根据任务上下文、用户目标和情境紧迫性，动态调整代理的隐喻角色和人格表达强度，以提升用户信任和体验。
Comments Presented at Bridging AI and Behavior Change, a Bridge Program organized at the AAAI Conference on Artificial Intelligence 2026 (AAAI-2026)
FinPersona-Bench: A Benchmark for Longitudinal Psychometric Stability of Autonomous Financial Agents
FinPersona-Bench: 自主金融代理纵向心理测量稳定性的基准
机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； The University of Tokyo（东京大学） ； McGill University（麦吉尔大学） ； The Fin AI（Fin AI公司） ； Kyoto University（京都大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出FinPersona-Bench基准，通过合成市场分离价格与价值，评估LLM金融代理在长期部署中指令显著性衰减现象，发现指令重固化的效果因代理类型和市场环境而异。
Comments 29 pages, includes figures and tables; formalizes Mandate Salience Decay and introduces FinPersona-Bench
WorkBench Revisited: Workplace Agents Two Years On
WorkBench 再探：两年后的工作场所智能体
机构 * Independent researcher（独立研究者）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 本文重新评估2024至2026年间WorkBench基准上智能体的进展，发现前沿模型在能力和安全性上均有显著提升，但开放权重模型降低了高性能门槛。
Comments 8 pages, 3 figures. Follow-up to arXiv:2405.00823
Deconfounded Lifelong Learning for Autonomous Driving via Dynamic Knowledge Spaces
通过动态知识空间实现自动驾驶的去混淆终身学习
机构 * Tongji University（同济大学）
专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出DeLL框架，结合DPMM与因果推理的front-door调整机制，构建动态知识空间以解决自动驾驶中的灾难性遗忘和知识迁移问题，并引入进化轨迹解码器提升规划能力。
Comments Accepted by ECCV 2026
KAGE-Bench: Fast Known-Axis Visual Generalization Evaluation for Reinforcement Learning
KAGE-Bench：面向强化学习的已知轴视觉泛化快速评估
机构 * AXXX, Moscow, Russia（AXXX，莫斯科，俄罗斯） ； MIRAI, Moscow, Russia（MIRAI，莫斯科，俄罗斯）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG
AI总结 提出KAGE-Bench基准，通过解耦视觉轴独立评估像素策略在视觉分布偏移下的泛化能力，发现背景和光度偏移严重影响性能，而智能体外观偏移影响较小。
Comments 41 pages, 47 figures, 5 tables
Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
超越编译：评估从自然语言到Lean的忠实语句形式化
机构 * University of California, Riverside（加州大学河滨分校） ； University of Arizona（亚利桑那大学） ； University of California, San Diego（加州大学圣地亚哥分校）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出忠实语句形式化评估方法，结合Lean编译、跨模型语义判断和人类专家校准，发现编译通过但语义不忠实的29.0%差距，并分解形式化流程中的关键干预因素。
Comments 25 pages, 5 figures
An Executable Benchmarking Suite for Tool-Using Agents
为工具使用智能体设计的可执行基准测试套件
机构 * Stevens Institute of Technology（史蒂文斯理工学院）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE
AI总结 本文提出一个可执行基准测试套件，通过共享证据准入合同明确工作负载、行动生成驱动器和系统面向声明的证据。该套件连接WebArena Verified和MiniWoB++，并提供统一的工作负载适配器、任务清单、事件模式、回放/冻结政策、声明驱动器和报告管道。
Comments Withdrawn by the authors. The authors identified substantive errors that affect the interpretation of the results and the support for the main conclusions. The current version should not be relied upon
SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA
SAGE：面向自由形式问答的大语言模型的搜索增强评估
机构 * Dalhousie University（达尔豪斯大学） ； Emory University（埃默里大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出SAGE框架，通过主动检索和综合外部证据评估LLM输出的事实性，无需固定参考答案，在多个自由问答基准上实现与人类评估的高度一致。
Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation
迈向连续运动-语言智能体：用于增量运动理解与生成的LoRA变体
机构 * IT & Engineering International University of Applied Sciences（IT与工程国际应用科学大学）
专题命中 Agent评测 ：autonomous agent(abstract)；分类 cs.AI、cs.LG
AI总结 针对运动-语言智能体在连续任务中学习新运动概念时灾难性遗忘的问题，提出基于LoRA的混合专家架构，通过自编码器路由器选择任务特定专家，无需任务标签，在HumanML3D基准上实现双向任务近零遗忘并保持高质量。
Comments 16 pages, 1 figure, Accepted at the Conference on Lifelong Learning Agents (CoLLAs) 2026
Fuzzing Large Language Models to Elicit Hidden Behaviours
模糊测试大型语言模型以揭示隐藏行为
机构 * School of Computing and Information Science（计算与信息科学学院）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG
AI总结 研究通过向模型权重或残差流注入高斯噪声的模糊测试方法，揭示后门模型中的隐藏行为，并提出基于代理任务的超参数选择策略，显著提升触发率。
Fine-Tuning General-Purpose Large Language Models for Agricultural Applications:A Reproducible Framework and Evaluation Protocol Based on Qwen3-8B
面向农业应用的通用大语言模型微调：基于Qwen3-8B的可复现框架与评估协议
机构 * Sanya University（三亚大学） ； Hebei International Studies University（河北国际 Studies 大学）
专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI、cs.CL
AI总结 提出AgriTune-R框架，通过数据治理、指令构建、LoRA/QLoRA微调、检索增强生成和专家评估，将通用大语言模型适配到农业任务，并设计了包含事实性、安全性、证据一致性和不确定性表达的评估协议。
Self-Supervised Theorem Discovery in a Formal Axiomatic System
形式化公理系统中的自监督定理发现
机构 * The University of Tokyo, Japan（东京大学，日本） ； RIKEN AIP, Japan（日本RIKEN AIP）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG
AI总结 提出一种自监督定理发现算法，通过交替进行证明搜索和有用定理提取，从公理和推理规则出发逐步构建定理库，实验表明发现的定理具有人类数学意义且能提升大语言模型证明性能。
Comments AI for Math Workshop @ ICML 2026
GPTNT: Benchmarking Real-Time Collaboration Between Multimodal Agents on Keep Talking And Nobody Explodes
GPTNT：在《保持通话，无人爆炸》中基准测试多模态智能体之间的实时协作
机构 * Heriot-Watt University（赫瑞-沃德大学） ； University of Edinburgh（爱丁堡大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出GPTNT基准，基于合作游戏《保持通话，无人爆炸》测试多模态智能体在实时、信息不对称条件下的协作能力，发现当前最先进系统无法在实时中拆除任何炸弹。
Comments Project website and code at https://gptnt.github.io
TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents
TUA-Bench：通用终端使用代理的基准测试
机构 * Meta AI ； Duke University（杜克大学） ； Stanford University（斯坦福大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE
AI总结 提出TUA-Bench，包含120个跨五类任务的终端代理基准，涵盖日常数字活动与科学工程工作流，通过执行评分评估，发现最强模型Claude Opus 4.8仅达65.8%，揭示通用终端代理的显著差距。
Comments Website: https://www.tuabench.ai
