AI Agent

LLM-Guided Heuristic Design from Simulation Traces: A Case Study in Dynamic Production and AGV Scheduling

基于模拟轨迹的大语言模型引导式启发式设计：动态生产与自动导引车调度的案例研究

Jinbo Li, Chuanhao Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究提出LLM引导的启发式设计框架，通过模拟轨迹诊断优化AGV与生产调度策略，在多组实验中优于多种基线方法，证实模拟轨迹可指导代码层面的策略改进。

Comments 33 pages, 8 figures

From Relevance to Execution Utility: Reward-Aware Dynamic Execution Gating for Skill-Based LLM Agents

从相关性到执行效用：面向基于技能的大语言模型智能体的奖励感知动态执行门控

Liang He, Jingbo Wen, Hongyu Gu, Hao Li, Haoyu Wang, Yixiong Chen, Kangning Cui, Xilu Wang

机构 * Tongji University（同济大学） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） ； Nankai University（南开大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； City University of Hong Kong（香港城市大学） ； University of Surrey（萨里大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对基于技能的LLM智能体执行决策难题，提出RADEG轻量型决策层，通过学习代理模型预测执行效用，在288个rollout的评估中减少不必要执行并优于基线方法

ELICITED: EHR-grounded Longitudinal Interactive Conversations for Information-seeking Triage Evaluation and Decision-making

ELICITED：基于电子健康记录（EHR）的纵向交互式对话，用于信息获取类分诊评估与决策

Haohao Zhu, Xiaolin Shi, Jiayu Zhou

专题命中 Agent评测 ：agentic(abstract)；分类 cs.CL

AI总结 该研究针对现有ED分诊基准未捕捉交互式证据引出过程的问题，提出基于MIMIC-IV-ED的EHR2Dial-Triage智能对话框架与基准，支持对信息引出等任务的受控评估，为对话式分诊研究提供结构化环境。

Same Question, Different Answer? Measuring and Mitigating Prompt Privilege for Equitable AI Access

相同问题，不同答案？衡量与缓解提示特权以实现公平的AI访问

Lier Jin, Lan Hu, Binqi Shen, Hanyu Cai, Yuting Xin

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 该研究提出统一框架，引入PES指标与PET智能体，在MedQA基准上验证了提示特权的存在，PET可消除该差异，提升AI访问公平性。

Task-to-Model Optimization for Enterprise LLM Coding Assistants: A Data-Driven Framework for Cost-Optimal Routing

面向企业大语言模型代码助手的任务到模型优化：一种成本最优路由的数据驱动框架

Srinivasan Manoharan, Junhua Zhao, Fangbo Tu, Haifeng Wu, Jian Wan, Maliah Rajan M, Ashwin Hegde, Mithun Sasidharan, Kalyan Chakravarthi Podamekala

机构 * PayPal（贝宝（PayPal）） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.LG

AI总结 本研究针对企业LLM代码助手的推理成本问题，提出T2MO数据驱动框架，通过任务分级与两级路由机制实现成本最优，可降低端到端成本并支持从静态策略到智能路由器的过渡。

Comments 11 pages, 1 figure, 2 tables

Back to the Future: A workbook time machine for spread sheet creation benchmarks

回到未来：用于电子表格创建基准测试的工作簿时光机

Mansi Uniyal, Agamdeep Singh, Ananya Singha, Priyanshu Gupta, Mukul Singh, Gust Verbruggen, Vu Le, Sumit Gulwani

机构 * Microsoft（微软公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究提出workbook time machine流水线，构建了含150个任务的电子表格创建评估基准wtmbench，揭示了查询特异性等因素对大语言模型Excel任务性能的关键影响。

Comments COLM 2026

From Benchmark Performance to Tool Deployment: Human-in-the-Loop Anomaly Detection

从基准性能到工具部署：人机协同的异常检测

Mike Szklarzewski, CJ George, Gavin Smithson, Christopher Stokes, Dakota Fulp, William M. Jones, Benjamin Wynn, Alexander Ur, Agit Yesiloz, Clint Kallenbach, Mark Swartz, Nathan DeBardeleben, Sharmistha Chakrabarti

机构 * Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） ； Triad National Security, LLC（Triad国家安全有限责任公司） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.LG

AI总结 本研究通过评估19种无监督异常检测模型在BowTie制造数据集上的表现，揭示了基准性能与工业部署的差距，开发并部署了人机协同的制造部件检测框架。

Comments 8 pages, 8 figures, 6 tables. Accepted as a regular paper at the 25th International Conference on Machine Learning and Applications (ICMLA 2026)

Cross-Model Humor Preference Modeling with Cards Against Humanity

基于《反人类牌》的跨模型幽默偏好建模

Victor Winter, Farhan Lakhany

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究以《反人类牌》风格任务开展实验，发现大语言模型可通过裁判的先前选择及理由，提升近似另一模型幽默偏好的准确率，为跨模型偏好建模提供操作层面的证据。

Comments 11 pages, 2 figures, 1 table

Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing

Fisher-R1：训练用于可靠假设检验的大语言模型智能体

Jiacheng Miao, Jin Mu, Guanhua Chen, James Zou

机构 * Stanford University（斯坦福大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究构建了含425项多领域假设检验任务的P-Bench基准，训练出Fisher-R1智能体，其在P-Bench上较DeepSeek-V4-Pro单试验成功率平均提升21%，证明强化学习可提升LLM的统计推理可靠性。

SkillAligner: Treating Retrieved Skills as Adaptable Drafts at Execution Time

SkillAligner：在执行时将检索到的技能视为可调整的草稿

Qinfeng Li, Dalin He, Yuntai Bao, Ying Yang, Ruoxi Chen, Xinyan Yu, Lizhou Liang, Ge Su, Wenqi Zhang, Xuhong Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 SkillAligner是无训练的执行时技能适配框架，将检索技能视为可调整草稿，经联合适配整合为执行指南，在多基准实验中提升任务性能、降低退化与推理成本。

Comments 21 pages, 5 figures

An Exploratory Evaluation of LLM-Assisted Rewriting of Moderate-Complexity Financial Sentences for DisCoCat-Based Sentiment Analysis

基于DisCoCat的情感分析中，大语言模型辅助改写中等复杂度金融句子的探索性评估

Brian Llinas, Nikos Chrisochoides

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 本研究提出LLM辅助的预处理工作流，通过改写优化中等复杂度金融句子以适配DisCoCat情感分析，经对比实验验证其可降低电路资源消耗并提升准确率，为可扩展QNLP金融情感分析提供探索性依据。

FinEvo-Bench: A Longitudinal Benchmark for Self-Evolving Agents in Professional Financial Workflows

FinEvo-Bench：面向专业金融工作流中自进化智能体的纵向基准

Bo Deng, Kang Zhou, Lifan Guo, Chongyang Tao, Xuanren Chen, Chenggang Xie, Renzhao Liang, Feng Chen, Chi Zhang

机构 * Alibaba Cloud Computing（阿里云） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究推出面向金融工作流的FinEvo-Bench基准，对比4种自进化智能体框架，发现进化可提升性能、减少合规问题，且评分规则反馈效果优于参考答案反馈。

Comments 22 pages, 4 figures; includes appendices

EpiBench: Can LLMs Understand Epitopes for Antibody Drug Discovery?

EpiBench：大型语言模型能否为抗体药物发现表位？

Zirui Wang, Jiaqi Wang, Qinghan Wang, Yuzhi Xu, Gang Du, Tingjun Hou, Odin Zhang

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 本研究提出用于评估大型语言模型表位推理能力的基准EpiBench，发现现有通用LLMs在抗体药物发现相关表位推理上仍存局限，为改进序列感知型生物医学LLMs提供了测试平台。

HERALD: Counterfactual Audits and Minimal Repairs for Proof-of-Retrieval Rewards

HERALD：检索证明奖励的反事实审计与最小修复

Zhuowen Liu, Bohan Cui, YinShang Guo, Yuting Wang, Hao Li

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 HERALD是一种离线审计方法，可对搜索智能体的检索证明奖励进行反事实审计与最小修复，能有效抵御引用清洗攻击，提升引用精度等指标并分离稳健评分与策略迁移。

Comments 9 pages, 3 figures, and 4 tables

Search2Skill: Skill Distillation Beyond Knowledge Boundaries Via Rubric-Based Reinforcement Learning

Search2Skill：基于 rubric 强化学习的、突破知识边界的技能蒸馏

Muyang Ye, Tian Lan, Feihu Jiang, Yongshi Ye, Wuyunsiqin, Bin Zhu, Qianghuai Jia, Zhao Xu, Weihua Luo, Ye Wang, Jinyang Zhang, Longyue Wang, Lingfeng Bao

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究针对现有技能构建受限于模型已有知识的问题，提出Search2Skill框架，通过基于rubric的强化学习实现外部证据蒸馏为可复用技能，在多领域实验中优于基线且技能可跨模型规模迁移。

When Shared Rollouts Fail in Defensive Driving Evaluation: A NAVSIM Score Basis Audit

防御性驾驶评估中共享回退的失效：NAVSIM评分依据审计

Ziang Wei, Minjun Yu, Zheyuan Lai, Mingjie Pang, Wei Li

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究审计NAVSIM v2.2评分中共享回退的失效风险，发现数值不稳定性会使参考条件式容错传播参考失败，贡献含多环节的审计协议以规范防御性驾驶评分使用。

Comments 17 pages, 1 figure

Towards a satellite image manipulation and deepfake localization benchmark dataset

面向卫星图像篡改与深度伪造定位的基准数据集

Jacob Arndt, Debvrat Varshney, Philipe Dias, Nivedita Nukavarapu

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI

AI总结 针对遥感领域缺乏合适卫星图像篡改定位基准数据集的问题，构建含60张图像的原型数据集，支持像素级定位等分析，以推动相关研究。

Comments Accepted at IEEE IGARSS 2026

SONAR: Task-Aware Code Summary Evaluation for LLM Consumers Without References

SONAR：面向LLM使用者的任务感知型代码摘要评估框架（无需参考摘要）

Simantika Bhattacharjee Dristi, Matthew B. Dwyer

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 该研究提出无需参考摘要的SONAR框架，从四个维度评估代码摘要，发现正确性、抽象性对LLM性能影响显著，简洁性、流畅性影响微弱，还明确了不同LLM在各维度的优劣。

AgentAntibody: An Adaptive Immune System for Defending LLM Agents against Prompt Injection

AgentAntibody：一种用于防御大语言模型（LLM）智能体提示注入的自适应免疫系统

Shihao Weng, Yang Feng, Xiaofei Xie, Jiongchi Yu

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对LLM智能体的提示注入威胁，受自适应免疫启发提出AgentAntibody，通过持久抗体库识别威胁并进化增强防御，实验显示其在防有害行为同时保留合法任务完成上优于现有防御。

Comments 7 pages

When Agents Learn to Be You: Benchmarking Privacy Leakage, Impersonation Risk, and Defenses in Persona Skills

当智能体学会成为你：对角色技能中的隐私泄露、冒充风险及防御措施进行基准测试

Yongli Xiang, Zhifang Zhang, Bojun Yang, Ziming Hong, Lei Feng, Miao Xu, Tongliang Liu

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 该研究推出AntiSkillBench基准，评估角色技能流程的隐私泄露、冒充风险及防御，发现风险持续存在，现有防御效果有限，为相关技能开发提供基准。

Comments Project page: https://yonglixiang.github.io/AntiSkillBench

DataSpace: Benchmarking Data Agents for Verifiable Analytics over Heterogeneous Workspaces

DataSpace：针对异构工作空间可验证分析的数据智能体基准测试

Boyan Li, Zhuowen Liang, Yupeng Xie, Xiaotian Lin, Tianqi Luo, Xinyu Liu, Yizhang Zhu, Zhangyang Peng, Yuan Li, Zhengxuan Zhang, Jiayi Zhang, Nan Tang, Guoliang Li, Yuyu Luo

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究推出DataSpace基准，用于评估异构工作空间下数据智能体的可验证分析能力，包含多类型任务与数据，实验揭示了智能体框架、多模态集成等对准确率的影响，为提升数据智能体可靠性指明了方向。

Comments 8 pages of main text, 7 figures, with a supplementary appendix

TimeRLM: Recursive Language Models Enable Precise Anomaly Localization in Long-Context Time-Series

TimeRLM：递归语言模型可实现长时序数据中的精准异常定位

Nicolas Zumarraga, Lorenzo Steno, Ning Wang, Max Rosenblattl, Thomas Kaar, Maxwell A. Xu, Kevin O'Sullivan, Markus Kreft, Elgar Fleisch, Paul Schmiedmayer, Patrick Langer, Robert Jakob

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 提出TimeRLM（基于递归语言模型的时序异常定位框架），结合强化学习后训练后，在合成基准AnomalyXL及真实世界数据上，均优于现有时序语言模型，可实现长时序数据的精准异常定位。

Comments Open source code and datasets: https://github.com/OpenTSLM/TimeRLM

Adaptive Sampling for Automated Post-Disaster Rapid Damage Assessment via Level-Set Cost-Aware Bayesian Optimization

基于水平集成本感知贝叶斯优化的灾后自动化快速损伤评估自适应采样

Boyang Xu, Mostafa Reisi Gahrooei, Mohammad Ilbeigi, Hao Yan

机构 * School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） ； University of Florida（佛罗里达大学） ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 针对灾后损伤评估的传统方法成本高且难以适应动态条件，本研究提出结合水平集估计的成本感知贝叶斯优化框架，引导自主数据采集器流向高信息区域，经模拟和R2D数据验证可高效评估损伤以支持应急响应。

Comments 11 pages, 7 figures, 1 table. Accepted at the SIAM International Conference on Data Mining (SDM) 2026

Abduction Without a Body? Representational Grounding and the Abduction Loop for Scientific Hypothesis Generation

无实体的溯因推理？科学假说生成的表征奠基与溯因循环

Michael Farmer

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本文提出无需实体的科学溯因推理，构建含弃权机制的溯因循环架构，以惯例空间解决跨领域检索难题，通过案例抽象架构并提出DAB-30基准作为评估方案。

Comments 20 pages, 4 figures. DAB-30 execution reported in companion paper

Why Large Language Models Fail at Tabular Prediction

为什么大型语言模型在表格预测任务中表现不佳

Marta Garnelo, Wojciech M. Czarnecki

机构 * Fundamental Technologies（基础技术） ； Voylab 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.LG

AI总结 该研究探究通用大型语言模型（LLM）在表格预测任务中表现不佳的原因，通过控制实验排除了数据噪声、CSV格式等因素，发现维度是关键，LLM准确率随维度增长下降，而经典基线方法不受影响。

PredAct-Bench: Benchmarking Tool-Augmented Dialogue under Controlled Tool Noise

PredAct-Bench：可控工具噪声下的工具增强对话基准

Abdulrahman AlRabah, Xiaocheng Yang, Dilek Hakkani-Tür, Abdussalam Alawini

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 该研究推出PredAct-Bench基准，以教育为测试平台评估带噪声工具的对话智能体，扩展信任校准指标并评估13种LLMs，发现当前模型无法在工具噪声下为教师提供足够可见性，助力构建更优AI决策支持系统。

SKT: Skill-Use Training at Scale via Verified Synthetic Data Generation

SKT：通过经过验证的合成数据生成实现规模化的技能使用训练

Zelin Tan, Yiqun Zhang, Hao Li, Zhiyao Cui, Hejia Geng, Shao Zhang, Hangfan Zhang, Yang Chen, Xiaosong Wang, Lilong Wang, Zhenfei Yin, Shuyue Hu, Chen Zhang, Lei Bai

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究提出SKT这一经过验证的规模化技能使用训练合成数据生成流程，构建SkillEval基准，实验证实其生成轨迹的监督微调可提升多模型技能使用性能，验证了方法的有效性与可扩展性。

Comments 24 pages,8 figures, Version 1

Doc2CI: A Multi-Service Study of CI Configuration Generation Using Large Language Models

Doc2CI：基于大语言模型的CI配置生成多服务研究

Taher A. Ghaleb

专题命中 Agent评测 ：workflow(abstract)；分类 cs.SE

AI总结 本文通过构建DOC2CI基准评估LLM生成CI配置的能力，发现其结构有效性不足，提出无需训练的模式引导修复方法提升有效性，为相关工具开发提供依据。

Large language models improve physician accuracy but lead to false reliance

大型语言模型可提高医师准确率，但会导致错误依赖

Tirtha Chanda, Christoph Wies, Franziska Schramm, Carina Nogueira Garcia, Nicolas B. Merl, Martin J. Hetz, Jochen S. Utikal, Phillip Tschandl, Cristian Navarrete-Dechent, Alexander Thiem, Jakob N. Kather, Consortium, Titus J. Brinker

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 本研究开发智能体式检索增强型LLM CORA，发现其可将46名医师的诊断准确率从70.8%提升至82.6%，但存在错误答案获引用支持时医师抵抗大幅下降的安全风险。

Slides2MindMap: Reconstructing Cognitively Efficient Knowledge Hierarchies from Lecture Slides

Slides2MindMap：从课程幻灯片重建认知高效的知识层次结构

Yuzhi Wang, Rongjun Ye, Shengyuan Chen, Huachi Zhou, Jiaqi Bai, Chuang Zhou, Zhicong Hong, Xiao Huang

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 本研究提出Slides2MindMap任务，引入含12774张幻灯片的S2M-Bench基准，提出AutoMindMap智能体框架，实验证明其在基准上优于基线且鲁棒性强，具备教学应用价值。