AI Agent

Task-to-Model Optimization for Enterprise LLM Coding Assistants: A Data-Driven Framework for Cost-Optimal Routing

面向企业大语言模型代码助手的任务到模型优化：一种成本最优路由的数据驱动框架

Srinivasan Manoharan, Junhua Zhao, Fangbo Tu, Haifeng Wu, Jian Wan, Maliah Rajan M, Ashwin Hegde, Mithun Sasidharan, Kalyan Chakravarthi Podamekala

机构 * PayPal（贝宝（PayPal）） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.LG

AI总结 本研究针对企业LLM代码助手的推理成本问题，提出T2MO数据驱动框架，通过任务分级与两级路由机制实现成本最优，可降低端到端成本并支持从静态策略到智能路由器的过渡。

Comments 11 pages, 1 figure, 2 tables

Back to the Future: A workbook time machine for spread sheet creation benchmarks

回到未来：用于电子表格创建基准测试的工作簿时光机

Mansi Uniyal, Agamdeep Singh, Ananya Singha, Priyanshu Gupta, Mukul Singh, Gust Verbruggen, Vu Le, Sumit Gulwani

机构 * Microsoft（微软公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究提出workbook time machine流水线，构建了含150个任务的电子表格创建评估基准wtmbench，揭示了查询特异性等因素对大语言模型Excel任务性能的关键影响。

Comments COLM 2026

From Benchmark Performance to Tool Deployment: Human-in-the-Loop Anomaly Detection

从基准性能到工具部署：人机协同的异常检测

Mike Szklarzewski, CJ George, Gavin Smithson, Christopher Stokes, Dakota Fulp, William M. Jones, Benjamin Wynn, Alexander Ur, Agit Yesiloz, Clint Kallenbach, Mark Swartz, Nathan DeBardeleben, Sharmistha Chakrabarti

机构 * Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） ； Triad National Security, LLC（Triad国家安全有限责任公司） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.LG

AI总结 本研究通过评估19种无监督异常检测模型在BowTie制造数据集上的表现，揭示了基准性能与工业部署的差距，开发并部署了人机协同的制造部件检测框架。

Comments 8 pages, 8 figures, 6 tables. Accepted as a regular paper at the 25th International Conference on Machine Learning and Applications (ICMLA 2026)

Cross-Model Humor Preference Modeling with Cards Against Humanity

基于《反人类牌》的跨模型幽默偏好建模

Victor Winter, Farhan Lakhany

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究以《反人类牌》风格任务开展实验，发现大语言模型可通过裁判的先前选择及理由，提升近似另一模型幽默偏好的准确率，为跨模型偏好建模提供操作层面的证据。

Comments 11 pages, 2 figures, 1 table

TRAPS: Treatment-Assignment Prediction via Pathway-informed Stratification

TRAPS: 基于通路信息分层的治疗反应分析

Sujoy Banik, Sayantan Chakraborty, Boishakhi Das Toma, Zainab Ghafoor, Ushashi Bhattacharjee, Koushik Howlader, Tirtho Roy

机构 * Rajshahi University of Engineering \& Technology Bangladesh ； University of Dhaka Bangladesh ； American International University of Bangladesh Bangladesh ； Sonoma State University United States ； Iowa State University United States ； Rajshahi University of Engineering \& Technology ； University of Dhaka ； American International University of Bangladesh ； Sonoma State University ； Iowa State University 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.LG

AI总结 提出首个统一基准，评估三种通路引导的深度学习模型在联合预测癌症治疗反应和生存率上的表现，发现不同模型在不同任务上各有优劣。

Contemporary AI lacks the imagination to diverge or negate in science

当代人工智能缺乏在科学中发散或否定的想象力

Honglin Bao, Siyang Wu, Xiao Liu, Sida Li, Shiyun Cao, James A. Evans

机构 * Data Science Institute, University of Chicago（芝加哥大学数据科学研究所） ； Knowledge Lab, University of Chicago（芝加哥大学知识实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 通过大规模科学家评估，发现当前AI在科学假设生成中缺乏多样性，无法自发提出零假设，且自动评估与专家判断一致性低，但微调奖励模型可缩小差距。

Hybrid Quantum-Classical PINNs for Scientific Computing: A Multi-GPU Open-Source Framework

PINNACLE：一种用于经典和量子PINN的开源计算框架

Ziv Chen, Hemanth Chandravamsi, Shimon Pisnoy, Aaron Goldgewert, Gal Shaviner, Boris Shragner, Steven H. Frankel

机构 * Faculty of Mechanical Engineering, Technion Israel Institute of Technology, Haifa, Israel（技术学院机械工程系，以色列技术学院，海法，以色列） ； Andrew and Erna Viterbi Faculty of Electrical & Computer Engineering, Technion Israel Institute of Technology, Haifa, Israel（安德鲁和伊尔纳·维特比电气与计算机工程学院，技术学院，海法，以色列） ； Helen Diller Quantum Center, Technion Israel Institute of Technology, Haifa, Israel（海伦·迪尔量子中心，技术学院，海法，以色列） ； Faculty of Electrical and Computer Engineering, Cornell University, Ithaca, NY, USA（电气与计算机工程学院，康奈尔大学，纽约州伊萨克，美国） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.LG

AI总结 PINNACLE框架整合了现代训练策略和混合量子经典架构，通过统一模块化工作流系统评估PINN在不同基准问题中的性能，支持多种增强方法并提供全面的基准研究。

Autonomy Reshapes How Personalization Affects Privacy Concerns and Trust in LLM Agents

自主性重塑个性化对隐私担忧和对LLM代理信任的影响

Zhiping Zhang, Yi Evie Zhang, Freda Shi, Tianshi Li

机构 * Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究探讨了LLM代理自主性如何影响个性化对用户隐私担忧和信任的影响，发现风险驱动的自主性可缓解个性化带来的负面影响。

Comments Accepted to COLM 2026

BibTeX Citation Errors in Scientific Publishing Agents: Evaluation and Mitigation

科学出版代理中的BibTeX引用幻觉：评估与缓解

Delip Rao, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 本文评估并缓解了科学出版代理中BibTeX引用的字段级错误，通过构建包含931篇论文的基准测试，发现模型依赖参数记忆，提出clibib工具提升准确性。

Comments 35 pages; COLM 2026 camera ready version

SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents

SciVisAgentBench：用于评估科学数据分析和可视化代理的基准测试

Kuangshi Ai, Haichao Miao, Kaiyuan Tang, Nathaniel Gorski, Jianxin Sun, Guoxi Liu, Helgi I. Ingolfsson, David Lenz, Hanqi Guo, Hongfeng Yu, Teja Leburu, Michael Molash, Bei Wang, Tom Peterka, Chaoli Wang, Shusen Liu

机构 * University of Notre Dame（圣母大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； University of Utah（犹他大学） ； University of Nebraska–Lincoln（内布拉斯加大学林肯分校） ； The Ohio State University（俄亥俄州立大学） ； Argonne National Laboratory（阿贡国家实验室） ； Anthropic PBC 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 本文提出SciVisAgentBench，一个用于评估科学数据可视化代理的基准测试，涵盖四个维度，包含108个案例，结合LLM和确定性评估器进行多模态评估，揭示代理能力差距。

Comments IEEE Transactions on Visualization and Computer Graphics (IEEE VIS '26)

Bridging the Evaluation Gap: Standardized Benchmarks for Multi-Objective Search

弥合评估差距：多目标搜索的标准化基准

Hadar Peer, Carlos Hernandez, Sven Koenig, Ariel Felner, Oren Salzman

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI

AI总结 本文提出首个标准化多目标搜索基准，涵盖四个结构各异的领域，通过固定实例和标准查询确保评估的鲁棒性和全面性。

Benchmarking In-context Experiential Learning Through Repeated Product Recommendations

通过重复产品推荐评估上下文经验学习

Gilbert Yang, Yaqin Chen, Thomson Yen, Hongseok Namkoong

专题命中 Agent评测 ：agentic(abstract)；分类 cs.LG

AI总结 本文提出BELA基准，通过重复产品推荐场景评估智能体在动态环境中的经验学习与主动探索能力。

Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing

Fisher-R1：训练用于可靠假设检验的大语言模型智能体

Jiacheng Miao, Jin Mu, Guanhua Chen, James Zou

机构 * Stanford University（斯坦福大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究构建了含425项多领域假设检验任务的P-Bench基准，训练出Fisher-R1智能体，其在P-Bench上较DeepSeek-V4-Pro单试验成功率平均提升21%，证明强化学习可提升LLM的统计推理可靠性。

SkillAligner: Treating Retrieved Skills as Adaptable Drafts at Execution Time

SkillAligner：在执行时将检索到的技能视为可调整的草稿

Qinfeng Li, Dalin He, Yuntai Bao, Ying Yang, Ruoxi Chen, Xinyan Yu, Lizhou Liang, Ge Su, Wenqi Zhang, Xuhong Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 SkillAligner是无训练的执行时技能适配框架，将检索技能视为可调整草稿，经联合适配整合为执行指南，在多基准实验中提升任务性能、降低退化与推理成本。

Comments 21 pages, 5 figures

An Exploratory Evaluation of LLM-Assisted Rewriting of Moderate-Complexity Financial Sentences for DisCoCat-Based Sentiment Analysis

基于DisCoCat的情感分析中，大语言模型辅助改写中等复杂度金融句子的探索性评估

Brian Llinas, Nikos Chrisochoides

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 本研究提出LLM辅助的预处理工作流，通过改写优化中等复杂度金融句子以适配DisCoCat情感分析，经对比实验验证其可降低电路资源消耗并提升准确率，为可扩展QNLP金融情感分析提供探索性依据。

ForesightSafety-SAGE:A Fully Automated Scenario Generation and Safety Evaluation Framework for LLM Agents

VESTA: 一种全自动的LLM智能体场景生成与安全评估框架

Lu Jia, Haibo Tong, Feifei Zhao, Jindong Li, Dongqi Liang, Ping Wu, Qian Zhang, Yi Zeng

机构 * BrainCog AI Lab, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所类脑人工智能实验室） ； Beijing Institute of AI Safety and Governance (Beijing-AISI)（北京人工智能安全与治理研究院） ； Beijing Key Laboratory of Safe AI and Superalignment（北京市安全人工智能与超级对齐重点实验室） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Long-term AI（长期人工智能） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出VESTA框架，基于五个风险维度自动生成1072个可执行场景，评估12个LLM智能体在任务执行中的行为安全风险，平均攻击成功率达47.1%。

Using Reinforcement Learning to Optimize the Global and Local Crossing Number

使用强化学习优化全局和局部交叉数

Timo Brand, Henry Förster, Stephen Kobourov, Daniel Kohrt, Robin Schukrafft, Markus Wallinger, Johannes Zink

机构 * Technical University of Munich, Heilbronn, Germany（慕尼黑技术大学（海因斯贝格）） ； John Cabot University, Rome, Italy（约翰·卡博特大学） ； Technical University of Munich, Garching, Germany（慕尼黑技术大学（戈林根）） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 将图绘制视为单玩家优化游戏，利用强化学习通过移动顶点减少边交叉，提出一种优化全局或局部交叉数的策略，在局部交叉数最小化上具有竞争力。

Comments Appears in the Proceedings of the 34th International Symposium on Graph Drawing and Network Visualization (GD 2026)

FinEvo-Bench: A Longitudinal Benchmark for Self-Evolving Agents in Professional Financial Workflows

FinEvo-Bench：面向专业金融工作流中自进化智能体的纵向基准

Bo Deng, Kang Zhou, Lifan Guo, Chongyang Tao, Xuanren Chen, Chenggang Xie, Renzhao Liang, Feng Chen, Chi Zhang

机构 * Alibaba Cloud Computing（阿里云） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究推出面向金融工作流的FinEvo-Bench基准，对比4种自进化智能体框架，发现进化可提升性能、减少合规问题，且评分规则反馈效果优于参考答案反馈。

Comments 22 pages, 4 figures; includes appendices

EpiBench: Can LLMs Understand Epitopes for Antibody Drug Discovery?

EpiBench：大型语言模型能否为抗体药物发现表位？

Zirui Wang, Jiaqi Wang, Qinghan Wang, Yuzhi Xu, Gang Du, Tingjun Hou, Odin Zhang

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 本研究提出用于评估大型语言模型表位推理能力的基准EpiBench，发现现有通用LLMs在抗体药物发现相关表位推理上仍存局限，为改进序列感知型生物医学LLMs提供了测试平台。

HERALD: Counterfactual Audits and Minimal Repairs for Proof-of-Retrieval Rewards

HERALD：检索证明奖励的反事实审计与最小修复

Zhuowen Liu, Bohan Cui, YinShang Guo, Yuting Wang, Hao Li

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 HERALD是一种离线审计方法，可对搜索智能体的检索证明奖励进行反事实审计与最小修复，能有效抵御引用清洗攻击，提升引用精度等指标并分离稳健评分与策略迁移。

Comments 9 pages, 3 figures, and 4 tables

Search2Skill: Skill Distillation Beyond Knowledge Boundaries Via Rubric-Based Reinforcement Learning

Search2Skill：基于 rubric 强化学习的、突破知识边界的技能蒸馏

Muyang Ye, Tian Lan, Feihu Jiang, Yongshi Ye, Wuyunsiqin, Bin Zhu, Qianghuai Jia, Zhao Xu, Weihua Luo, Ye Wang, Jinyang Zhang, Longyue Wang, Lingfeng Bao

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究针对现有技能构建受限于模型已有知识的问题，提出Search2Skill框架，通过基于rubric的强化学习实现外部证据蒸馏为可复用技能，在多领域实验中优于基线且技能可跨模型规模迁移。

Can Deep Research Agents Retrieve and Organize? Evaluating the Synthesis Gap with Expert Taxonomies

深度研究代理能否检索和组织？通过专家分类法评估合成差距

Ming Zhang, Jiabao Zhuang, Wenqing Jing, Kexin Tan, Ziyu Kong, Jingyi Deng, Yujiong Shen, Yuhui Wang, Zhenghao Xiang, Qiyuan Peng, Yuhang Zhao, Ning Luo, Renzhe Zheng, Jiahui Lin, Mingqi Wu, Long Ma, Shihan Dou, Maxm Pan, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Hunyuan Team, Tencent（腾讯 Hunyuan 团队） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 本文提出TaxoBench基准，评估深度研究代理在检索和组织论文方面的能力，发现两者在能力与对齐方面均存在瓶颈。

When Shared Rollouts Fail in Defensive Driving Evaluation: A NAVSIM Score Basis Audit

防御性驾驶评估中共享回退的失效：NAVSIM评分依据审计

Ziang Wei, Minjun Yu, Zheyuan Lai, Mingjie Pang, Wei Li

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究审计NAVSIM v2.2评分中共享回退的失效风险，发现数值不稳定性会使参考条件式容错传播参考失败，贡献含多环节的审计协议以规范防御性驾驶评分使用。

Comments 17 pages, 1 figure

Towards a satellite image manipulation and deepfake localization benchmark dataset

面向卫星图像篡改与深度伪造定位的基准数据集

Jacob Arndt, Debvrat Varshney, Philipe Dias, Nivedita Nukavarapu

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI

AI总结 针对遥感领域缺乏合适卫星图像篡改定位基准数据集的问题，构建含60张图像的原型数据集，支持像素级定位等分析，以推动相关研究。

Comments Accepted at IEEE IGARSS 2026

SONAR: Task-Aware Code Summary Evaluation for LLM Consumers Without References

SONAR：面向LLM使用者的任务感知型代码摘要评估框架（无需参考摘要）

Simantika Bhattacharjee Dristi, Matthew B. Dwyer

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 该研究提出无需参考摘要的SONAR框架，从四个维度评估代码摘要，发现正确性、抽象性对LLM性能影响显著，简洁性、流畅性影响微弱，还明确了不同LLM在各维度的优劣。

AgentAntibody: An Adaptive Immune System for Defending LLM Agents against Prompt Injection

AgentAntibody：一种用于防御大语言模型（LLM）智能体提示注入的自适应免疫系统

Shihao Weng, Yang Feng, Xiaofei Xie, Jiongchi Yu

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对LLM智能体的提示注入威胁，受自适应免疫启发提出AgentAntibody，通过持久抗体库识别威胁并进化增强防御，实验显示其在防有害行为同时保留合法任务完成上优于现有防御。

Comments 7 pages

CardioBench: A Real-World Data Benchmark for Evaluating Large Language Models in Clinically Authentic Cardiovascular Care Scenarios

MyoCardBench：用于评估临床真实心血管护理场景中大型语言模型的真实世界数据基准

Xiao Li, Mouxiao Bian, Zhaodi Wu, Sijie Ren, Juechen Chen, Lu Lu, Jingru Ding, Yun Zhong, Jie Xu, Yixiu Liang, Junbo Ge

机构 * Shanghai Institute of Cardiovascular Diseases（上海市心血管病研究所） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Minhang Hospital, Fudan University（复旦大学附属闵行医院） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 该研究开发MyoCardBench真实世界基准评估大语言模型在心血管护理场景的性能，涵盖多任务数据集，经专家注释审核。7个模型在零样本设置下输出，GPT-5.4表现最佳。此基准为评估模型提供框架，助于发现优势与不足。

Text2GraphQuery-Bench: A Text to Graph Query Benchmark

Text2GQL-Bench: 一个文本到图查询语言基准 [实验、分析与基准]

Songlin Lyu, Lujie Ban, Zihang Wu, Tianqi Luo, Jirong Liu, Ayoub Moussaid, Oskar van Rest, Heng Lin, Chenhao Ma, Nan Tang, Shipeng Qi, Yongchao Liu, Zhan Qiu, Juelu Zhang, Jiajun Zheng

机构 * Ant Group（蚂蚁集团） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Xi'an Polytechnic University（西安理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 Text2GQL-Bench是一个统一的文本到图查询语言基准，通过多领域数据集和评估方法，揭示了ISO-GQL生成中的方言差距，并展示了通过充足示例提升模型性能的潜力。

When Agents Learn to Be You: Benchmarking Privacy Leakage, Impersonation Risk, and Defenses in Persona Skills

当智能体学会成为你：对角色技能中的隐私泄露、冒充风险及防御措施进行基准测试

Yongli Xiang, Zhifang Zhang, Bojun Yang, Ziming Hong, Lei Feng, Miao Xu, Tongliang Liu

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 该研究推出AntiSkillBench基准，评估角色技能流程的隐私泄露、冒充风险及防御，发现风险持续存在，现有防御效果有限，为相关技能开发提供基准。

Comments Project page: https://yonglixiang.github.io/AntiSkillBench

DataSpace: Benchmarking Data Agents for Verifiable Analytics over Heterogeneous Workspaces

DataSpace：针对异构工作空间可验证分析的数据智能体基准测试

Boyan Li, Zhuowen Liang, Yupeng Xie, Xiaotian Lin, Tianqi Luo, Xinyu Liu, Yizhang Zhu, Zhangyang Peng, Yuan Li, Zhengxuan Zhang, Jiayi Zhang, Nan Tang, Guoliang Li, Yuyu Luo

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究推出DataSpace基准，用于评估异构工作空间下数据智能体的可验证分析能力，包含多类型任务与数据，实验揭示了智能体框架、多模态集成等对准确率的影响，为提升数据智能体可靠性指明了方向。

Comments 8 pages of main text, 7 figures, with a supplementary appendix