语言大模型 / LLM

AgentSentry: Mitigating Indirect Prompt Injection in LLM Agents via Temporal Causal Diagnostics and Context Purification

AgentSentry: 通过时间因果诊断和上下文净化缓解LLM代理中的间接提示注入

Tian Zhang, Yiwei Xu, Juan Wang, Keyan Guo, Xiaoyang Xu, Bowen Xiao, Quanlong Guan, Jinlin Fan, Jiawei Liu, Zhiquan Liu, Hongxin Hu

机构 * Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University（航空信息安全与可信计算重点实验室、教育部、网络安全科学与工程学院、武汉大学） ； Department of Computer Science and Engineering, University at Buffalo, SUNY（计算机科学与工程系、布法罗大学、纽约州立大学） ； Department of Computer Science, College of Information Science and Technology, Jinan University（计算机科学系、信息科学与技术学院、济南大学） ； College of Cyber Security, Jinan University（网络安全学院、济南大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AgentSentry通过时间因果诊断和上下文净化缓解LLM代理中的间接提示注入，有效消除攻击并保持实用性。

Comments 23 pages, 8 figures. Under review

Toward Automated Validation of Language Model Synthesized Test Cases using Semantic Entropy

迈向利用语义熵自动验证语言模型合成测试用例

Hamed Taherkhani, Jiho Shin, Muhammad Ammar Tahir, Md Rakib Hossain Misu, Vineet Sunil Gattani, Hadi Hemmati

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出VALTEST框架，利用语义熵自动验证LLM生成的测试用例，提升测试有效性与代码生成性能。

Tool-R0: Self-Evolving LLM Agents for Tool-Learning from Zero Data

Tool-R0：从零数据自我进化的大语言模型代理用于工具学习

Emre Can Acikgoz, Cheng Qian, Jonas Hübotter, Heng Ji, Dilek Hakkani-Tür, Gokhan Tur

机构 * UIUC（伊利诺伊大学香槟分校） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Tool-R0通过自我对抗强化学习从零数据训练通用工具调用代理，实现92.5%的性能提升并超越完全监督基线。

EpidemIQs: Prompt-to-Paper LLM Agents for Epidemic Modeling and Analysis

EpidemIQs: 用于流行病建模与分析的提示到论文LLM代理

Mohammad Hossein Samaei, Faryad Darabi Sahneh, Lee W. Cohnstaedt, Caterina Scoglio

机构 * Department of Electrical and Computer Engineering, Kansas State University（电气与计算机工程系，堪萨斯州立大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 EpidemIQs是一种多代理LLM框架，通过五个阶段实现流行病建模与分析的自动化，利用科学家代理和任务专家代理提高效率和准确性。

AutoEDA: Enabling EDA Flow Automation through Microservice-Based LLM Agents

AutoEDA：通过基于微服务的LLM代理实现EDA流程自动化

Yiyi Lu, Hoi Ian Au, Junyao Zhang, Jingyu Pan, Guanglei Zhou, Yiting Wang, Jingwei Sun, Ang Li, Jianyi Zhang, Hai Li, Yiran Chen

机构 * Duke University（杜克大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； University of Florida（佛罗里达大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AutoEDA通过基于微服务的LLM代理实现EDA流程自动化，利用MCP协议提升交互可靠性，并通过本地微调模型和定制评估方法提高准确性与保密性。

KGHaluBench: A Knowledge Graph-Based Hallucination Benchmark for Evaluating the Breadth and Depth of LLM Knowledge

KGHaluBench: 一种基于知识图谱的幻觉基准测试，用于评估大语言模型知识的广度和深度

Alex Robertson, Huizhi Liang, Mahbub Gani, Rohit Kumar, Srijith Rajamohan

机构 * School of Computing, Newcastle University（计算学院，新castle大学） ； Sage Ai, Sage Group PLC（Sage Ai，Sage集团） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 KGHaluBench通过基于知识图谱的基准测试，评估大语言模型在知识广度和深度上的表现，提供更全面的真相评估方法。

Comments EACL 2026 Findings

Orchestrating LLM Agents for Scientific Research: A Pilot Study of Multiple Choice Question (MCQ) Generation and Evaluation

协调大型语言模型代理进行科学研究：多选题生成与评估的试点研究

Yuan An

机构 * College of Computing and Informatics（计算与信息学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了通过协调多个LLM代理生成和评估多选题，发现生成的题目在质量上存在与专家审核题目不完全可比的问题，同时揭示了科学研究中劳动力向AI研究操作技能转变的趋势。

AgentCAT: An LLM Agent for Extracting and Analyzing Catalytic Reaction Data from Chemical Engineering Literature

AgentCAT: 一种用于从化学工程文献中提取和分析催化反应数据的LLM代理

Wei Yang, Zihao Liu, Tao Tan, Xiao Hu, Hong Xie, Lulu Li Xin Li, Jianyu Han, Defu Lian, Mao Ye

机构 * University of Science and Technology of China（科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； National Engineering Research Center of Lower-Carbon Catalysis Technology（低碳催化技术国家工程研究中心） ； Dalian Institute of Chemical Physics, Chinese Academy of Sciences（化学物理研究所，中国科学院） ； IFLYTEK CO.LTD（IFLYTEK有限公司） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AgentCAT是一种用于从化学工程文献中提取和分析催化反应数据的LLM代理，通过形式化抽象和挑战分析，解决了复杂依赖结构下的数据提取问题。

"How Do I ...?": Procedural Questions Predominate Student-LLM Chatbot Conversations

如何做到？

Alexandra Neagu, Marcus Messer, Peter Johnson, Rhodri Nelson

机构 * Imperial College London, London, United Kingdom（伦敦帝国学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了学生与LLM聊天机器人对话中程序性问题的主导地位，发现其在总结性评估中更为突出，但现有分类方案存在局限性。

Comments 14 pages, 2 figures

DistillNote: Toward a Functional Evaluation Framework of LLM-Generated Clinical Note Summaries

DistillNote：一种评估大语言模型生成临床笔记摘要功能性的框架

Heloisa Oss Boll, Antonio Oss Boll, Leticia Puttlitz Boll, Ameen Abu Hanna, Iacer Calixto

机构 * Department of Medical Informatics, Amsterdam UMC, University of Amsterdam（医学信息学系，阿姆斯特丹大学） ； Amsterdam Public Health, Methodology（阿姆斯特丹公共健康与方法学） ； Institute of Mathematics and Statistics, University of São Paulo（数学与统计学研究所，圣保罗大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DistillNote提出了一种评估大语言模型生成临床摘要功能性的新方法，通过下游任务验证摘要的诊断信号保留，揭示压缩与性能的权衡。

Mind the GAP: Text Safety Does Not Transfer to Tool-Call Safety in LLM Agents

注意GAP：在LLM代理中，文本安全不转移到工具调用安全

Arnold Cartagena, Ariane Teixeira

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究发现LLM代理中文本安全不等同于工具调用安全，引入GAP基准测试揭示两者差异，强调需专门评估工具调用安全。

Comments 23 pages, 5 figures, 4 tables, code and data at https://github.com/acartag7/gap-benchmark

Empirical Cumulative Distribution Function Clustering for LLM-based Agent System Analysis

基于经验累积分布函数的LLM代理系统分析聚类

Chihiro Watanabe, Jingyu Sun

机构 * NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出基于经验累积分布函数的LLM代理系统评估方法，通过聚类分析揭示不同配置下的响应质量分布差异。

How Uncertain Is the Grade? A Benchmark of Uncertainty Metrics for LLM-Based Automatic Assessment

评分的不确定性有多大？基于大语言模型的自动评估中不确定性度量的基准测试

Hang Li, Kaiqi Yang, Xianxuan Long, Fedor Filippov, Yucheng Chu, Yasemin Copur-Gencturk, Peng He, Cory Miller, Namsoo Shin, Joseph Krajcik, Hui Liu, Jiliang Tang

机构 * Michigan State University（密歇根州立大学） ； University of Southern California（南加州大学） ； Washington State University（华盛顿州立大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了基于大语言模型的自动评估中不确定性度量的基准测试，分析了不同方法的优劣及影响因素，旨在提升评分系统的可靠性。

AgentNoiseBench: Benchmarking Robustness of Tool-Using LLM Agents Under Noisy Condition

AgentNoiseBench: 在噪声条件下评估工具使用LLM代理的鲁棒性基准测试

Ruipeng Wang, Yuxin Chen, Yukai Wang, Chang Wu, Junfeng Fang, Xiaodong Cai, Qi Gu, Hui Su, An Zhang, Xiang Wang, Xunliang Cai, Tat-Seng Chua

机构 * University of Science（科学大学） ； National University of Singapore, Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AgentNoiseBench通过在噪声环境中评估LLM代理的鲁棒性，揭示了现有模型对现实扰动的敏感性。

A Meta-Knowledge-Augmented LLM Framework for Hyperparameter Optimization in Time-Series Forecasting

一种增强元知识的LLM框架用于时间序列预测中的超参数优化

Ons Saadallah, Mátyás andó, Tamás Gábor Orosz

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LLM-AutoOpt通过结合贝叶斯优化与大型语言模型的上下文推理，提升时间序列预测中超参数优化的性能和可解释性。

Foundation Models in Autonomous Driving: A Survey on Scenario Generation and Scenario Analysis

自动驾驶中的基础模型：场景生成与场景分析的综述

Yuan Gao, Mattia Piccinini, Yuchen Zhang, Dingrui Wang, Korbinian Moller, Roberto Brusnicki, Baha Zarrouki, Alessio Gambi, Jan Frederik Totz, Kai Storms, Steven Peters, Andrea Stocco, Bassam Alrifaee, Marco Pavone, Johannes Betz

专题命中 评测与基准 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文综述了基础模型在自动驾驶场景生成与分析中的应用，探讨了相关模型、方法及挑战。

Comments IEEE Open Journal of Intelligent Transportation Systems

Journal ref IEEE Open Journal of Intelligent Transportation Systems, 03 February 2026

Key Considerations for Domain Expert Involvement in LLM Design and Evaluation: An Ethnographic Study

在LLM设计与评估中涉及领域专家的关键考虑因素：一项民族志研究

Annalisa Szymanski, Oghenemaro Anuyah, Toby Jia-Jun Li, Ronald A. Metoyer

机构 * University of Notre Dame（诺丁汉大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过民族志研究，探讨了在LLM设计与评估中涉及领域专家的关键挑战与实践，提出强调AI素养和透明同意的未来开发框架。

Comments 14 pages

MAS-on-the-Fly: Dynamic Adaptation of LLM-based Multi-Agent Systems at Test Time

MAS-on-the-Fly: 在测试时动态适应基于大语言模型的多智能体系统

Guangyi Liu, Haojun Lin, Huan Zeng, Heng Wang, Quanming Yao

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Ant Group（蚂蚁集团） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MASFly通过动态适应机制在测试时优化多智能体系统，利用检索增强和经验引导机制提升任务适应性和性能。

BotzoneBench: Scalable LLM Evaluation via Graded AI Anchors

BotzoneBench: 通过分级AI锚点实现可扩展的LLM评估

Lingfeng Li, Yunlong Lu, Yuefei Zhang, Jingyu Yao, Yixin Zhu, KeYuan Cheng, Yongyi Wang, Qirui Zheng, Xionghui Yang, Wenxin Li

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Software Engineering, South China University of Technology（华南理工大学软件学院） ； Department of Computer Science, Yale University（耶鲁大学计算机科学系） ； School of Psychological and Cognitive Sciences, Peking University（北京大学心理学与认知科学学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 BotzoneBench通过分级AI锚点实现LLM战略能力的可扩展评估，评估八个多样化游戏中的177,047个状态-动作对，揭示性能差异并识别战略行为。

GPTZero: Robust Detection of LLM-Generated Texts

GPTZero：鲁棒的LLM生成文本检测

George Alexandru Adam, Alexander Cui, Edwin Thomas, Emily Napier, Nazar Shmatko, Jacob Schnell, Jacob Junqi Tian, Alekhya Dronavalli, Edward Tian, Dongwon Lee

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 GPTZero通过分层多任务架构实现鲁棒的LLM生成文本检测，提供准确可解释的检测方法和负责任的使用教育。

EvoGPT: Leveraging LLM-Driven Seed Diversity to Improve Search-Based Test Suite Generation

EvoGPT：利用LLM驱动的种子多样性改进基于搜索的测试套件生成

Lior Broide, Roni Stern, Argaman Mordoch

机构 * Faculty of Computer and Information Science（计算机与信息科学系） ； Ben-Gurion University of the Negev（内盖夫本·古里安大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 EvoGPT结合LLM生成与进化算法优化，通过强制多样性提升测试套件生成的覆盖率和突变分数。

Bi-Level Prompt Optimization for Multimodal LLM-as-a-Judge

双层提示优化用于多模态LLM作为裁判

Bo Pan, Xuan Kan, Kaitai Zhang, Yan Yan, Shunwen Tan, Zihao He, Zixin Ding, Junjie Wu, Liang Zhao

机构 * Meta AI ； Emory University（埃默里大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出BLPO框架，通过双层优化提升多模态LLM在评估AI生成图像时的提示效果，解决上下文限制导致的优化瓶颈问题。

Parallelism Meets Adaptiveness: Scalable Documents Understanding in Multi-Agent LLM Systems

并行与适应性：多智能体大语言模型系统中的可扩展文档理解

Chengxuan Xia, Qianye Wu, Sixuan Tian, Yilun Hao

机构 * University of California, Santa Cruz（加州大学圣克ruz分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种多智能体大语言模型系统协调框架，通过动态任务路由、双向反馈和并行评估机制，提升文档理解的适应性和效率。

Comments Accepted at AAAI 2026 Workshop on WoMAPF, Camera ready version

Does Localization Inform Unlearning? A Rigorous Examination of Local Parameter Attribution for Knowledge Unlearning in Language Models

定位信息是否有助于去学习？对语言模型中知识去学习的局部参数归因的严格检验

Hwiyeong Lee, Uiji Hwang, Hyelim Lim, Taeuk Kim

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文通过实验验证局部参数更新对语言模型知识去学习的有效性，发现参数局部性并不必然指示有效知识去除。

Comments The 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025)

ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents

ISD-Agent-Bench: 一个用于评估基于大语言模型的教学系统设计代理的全面基准

YoungHoon Jeon, Suwan Kim, Haein Son, Sookbun Lee, Yeil Jeong, Unggi Lee

机构 * Upstage ； Opentutorials ； Indiana University Bloomington（印第安纳大学布卢明顿分校） ； Korea University Sejong Campus（韩国大学世宗校区） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ISD-Agent-Bench通过结合经典ISD理论与现代推理方法，为评估基于LLM的教学系统设计代理提供了全面的基准。

Gauss-Newton Unlearning for the LLM Era

大语言模型时代的Gauss-Newton反学习

Lev McKinney, Anvith Thudi, Juhan Bae, Tara Rezaei, Nicolas Papernot, Sheila A. McIlraith, Roger Grosse

机构 * University of Toronto（多伦多大学） ； MIT（麻省理工学院） ； Vector Institute for Artificial Intelligence（人工智能向量研究所） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 K-FADE通过K-FAC近似实现大语言模型的高效反学习，减少遗忘集影响的同时保留保留集行为。

Comments 18 pages

The Landscape of Prompt Injection Threats in LLM Agents: From Taxonomy to Analysis

大语言模型代理中提示注入威胁的图景：从分类到分析

Peiran Wang, Xinfeng Li, Chong Xiang, Jinghuai Zhang, Ying Li, Lixia Zhang, Xiaofeng Wang, Yuan Tian

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文综述了大语言模型代理中提示注入威胁的分类与分析，提出AgentPI基准以评估依赖上下文交互的代理行为，揭示现有防御的局限性并提出未来研究方向。

EvoCodeBench: A Human-Performance Benchmark for Self-Evolving LLM-Driven Coding Systems

EvoCodeBench：用于自演化LLM驱动编码系统的性能基准

Wentao Zhang, Jianfeng Wang, Liheng Liang, Yilei Zhao, HaiBin Wen, Zhe Zhao

机构 * Nanyang Technological University（南洋理工大学） ； East China University of Science and Technology（东华大学） ； Guangdong Ocean University（广东海洋大学） ； City University of Hong Kong（香港城市大学） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 EvoCodeBench通过跨语言对比和人类表现评估，评估自演化LLM驱动编码系统的性能提升与效率改进。

SCORE: Specificity, Context Utilization, Robustness, and Relevance for Reference-Free LLM Evaluation

SCORE：特定性、上下文利用、鲁棒性与相关性用于无参考LLM评估

Homaira Huda Shomee, Rochana Chaturvedi, Yangxinyu Xie, Tanwi Mallick

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Argonne National Laboratory（阿贡国家实验室） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种无参考评估框架，用于评估LLM在高风险领域任务中的特定性、鲁棒性、相关性和上下文利用，通过精心编纂的数据集和人工评估验证了多指标评估的必要性。

MILE-RefHumEval: A Reference-Free, Multi-Independent LLM Framework for Human-Aligned Evaluation

MILE-RefHumEval: 一种无需参考的、多独立LLM评估框架用于人类对齐评估

Nalin Srun, Parisa Rastin, Guénaël Cabanes, Lydia Boudjeloud Assala

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MILE-RefHumEval是一种无需参考的多独立LLM评估框架，通过人类对齐方案和任务特定提示，实现高效、稳健的LLM评估。