语言大模型 / LLM

GALA: Graph-Augmented LLM Agents for Root Cause Analysis and Incident Response in Microservices

GALA：用于微服务根本原因分析和事件响应的图增强大语言模型智能体

Yifang Tian, Yaming Liu, Zichun Chong, Zihang Huang, Yiran Li, Hans-Arno Jacobsen

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 针对微服务RCA的现有方法存在局限，提出图增强LLM智能体框架GALA+，结合STRIX与SURE-Score，在基准测试中性能优于最佳LLM基线，获SRE专家认可。

Comments Proceedings of the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE '26), October 12--16, 2026, Munich, Germany

Business Arena: Benchmarking LLM Agents in a Realistic Marketplace

商业竞技场：在现实市场中对大语言模型智能体进行基准测试

Yijun Pan, Yukun Lian, Kunyu Shi, Junbo Li, Hongwei Xue, Sicong Xie, Guannan Zhang, Xiaoying Xing

机构 * Alibaba Group（阿里巴巴集团） ； Yale University（耶鲁大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 研究人员推出Business Arena测试平台，评估15个前沿LLM智能体在跨境商店运营中的表现，发现其平均最终净资产差9倍，最优模型仍逊于人类策略，为商业智能体评估提供了现实测试基准。

Privacy-Preserving Data Drift Detection and Recovery for Large-Scale LLM Applications via Proxy Representations

基于代理表示的大规模大语言模型应用的隐私保护数据漂移检测与恢复

Michael Levit, Josh Ledgard, Haoyu Dong, Vishwas Suryanarayanan, Eyal Kolman, Sharon Tan, Qiang Gan, Vishal Chowdhary

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 针对大规模LLM应用的隐私约束导致的评估与漂移追踪难题，提出ProxyDrift框架，基于非PII代理表示实现无敏感数据暴露的漂移监测与合成数据生成，实验验证其对齐度达RA~0.9。

Janus: An Algorithm-Evaluator Co-Evolution Framework for LLM-Driven Discovery under Expensive Evaluation Budgets

Janus：面向评估预算昂贵的大语言模型驱动发现的算法-评估器协同进化框架

Ximeng Liu, Qianlong Wang, Yingming Mao, Annan Li, Yatao Li, Shizhen Zhao, Jianmin Wu, Dawei Yin, Dou Shen

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 Janus是一个算法-评估器协同进化框架，它用LLM协同进化目标程序与代理评估器，通过真实结果校准、在线信用更新等策略缓解分布偏移，在五项任务中用更少真实评估实现更优性能，将评估器引导的LLM发现扩展到评估昂贵的科学领域。

ZhuLong: Execution-Grounded LLM Agent for EDA Scripting with Offline API Self-Exploration

ZhuLong：基于执行的大语言模型智能体，用于结合离线API自探索的EDA脚本编写

Yang Liu, Shiwei Hou, Xiyuan Chen, Yu Wang, Sen Yuan, Qirui Gan, Shao You, Feifan Chen, Wencheng Li, Shuyang Hu, Yongzhou Liu, Emma Xia, Xiaojing Lu, Hao Wang, Fan Xu, Yanfeng Li

机构 * Changxin Memory Technologies, Inc.（长鑫存储技术有限公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本文提出基于执行的LLM智能体ZhuLong，结合API检索、沙箱执行与离线API自探索机制，在EDA脚本任务基准测试中性能远超纯LLM基线，为EDA脚本编写提供了有效解决方案。

DevIntent: How Much Does LLM-Generated Code Violate Developer Intent?

DevIntent：大语言模型生成的代码在多大程度上违反开发者意图？

Susana Haing, Natan Vidra, Spurthi Setty

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 该研究针对LLM生成代码违反开发者隐式意图的问题，构建含49个问题的基准并提出IVR指标，发现两款主流LLM生成代码虽通过率高但超半数违反意图，揭示现有基准局限性。

Comments 8 pages, 2 figures, 8 tables

Social Pressure Breaks Majority Voting in LLM Safety Panels

社交压力会破坏大语言模型安全评审团的多数投票机制

Yibo Hu, Jiaming Qu

机构 * Illinois Institute of Technology（伊利诺伊理工学院） ； Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究发现，在LLM安全评审团中，同行的错误标签断言会大幅提升误报率，且评审员更易追随“不安全”方向，多数投票机制会因社交压力失效，还提供了部署前诊断方法。

Adversarial Stress Testing of Role-Playing Language Agents using Multi-Agent Evaluation

基于多智能体评估的角色扮演语言智能体的对抗性压力测试

Saqib Shouqi, Abdullah Nazly, Januki Wanniarachchi, Ravisha De Alwis

专题命中 评测与基准 ：language agent(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出模块化多智能体平台，通过多轮对话对角色扮演语言智能体开展对抗性压力测试，揭示单策略测试无法发现的故障模式，相关成果作为开源平台发布以支持AI安全。

Comments 8 pages, 1 figure, 7 tables; accepted and presented at ADScAI Conference 2026, University of Moratuwa, Sri Lanka

GISAgentBench: A Practitioner-Sourced Benchmark for Evaluating LLM Agents on GIS Tasks

GISAgentBench：面向GIS任务的、由从业者提供的用于评估大语言模型智能体的基准测试

Abhinav Pothuri, Zhe Jiang, Zelin Xu, Di Yang

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有GIS智能体基准缺乏真实输出等问题，推出由从业者提供的GISAgentBench基准，含349项多步骤GIS任务，评估显示最佳智能体仅完成32.7%的任务，凸显真实GIS工作流的挑战性。

Can Language Models Identify Shadow Trading Targets? An NLP Evaluation of SEC Enforcement Theory

语言模型能否识别影子交易标的？对SEC执法理论的NLP评估

Sarah Wilson, Michael MacKay, Anthony Marello, Trinav Bhattacharyya

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title)；分类 cs.CL

AI总结 本研究通过两阶段LLM管道分析SEC 10-K文件，发现NLP无法有效识别影子交易关联公司，对SEC影子交易执法的经验前提提出质疑。

SPARC-Rad: A Multimodal Benchmark Dataset and Evaluation Pipeline for Spatial and Anatomical Reasoning in Radiology Vision-Language Models

SPARC-Rad：面向放射学视觉语言模型的空间与解剖推理多模态基准数据集及评估流程

Satvik Tripathi, Mustafa Ege Seker, Kristian Quevada, Ebubechukwu D Enwerem, Pratham Khandelwal, Emine Meltem, Bera Koca, Shahriar Faghani, Jacinta Arnold, Dania Daye, Tessa S. Cook

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.AI

AI总结 该研究开发了SPARC-Rad多模态基准数据集及评估流程，用于评估放射学VLMs的空间与解剖推理能力，为相关模型的开发与部署前评估提供支持。

AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers

AgentHPOBench：用于评估LLM智能体作为序列超参数优化器的基准

Tianyu Huai, Tingshuo Fan, Xinchi Chen, Yining Zheng, Yuxin Wang, Shuang Chen, Jie Zhou, Xuanjing Huang

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 AgentHPOBench是含30个任务的序列基准，用于评估LLM智能体的超参数优化能力，实验显示其在多领域有优化能力，但在迭代优化等方面存在局限。

Do Language Models Converge to Themselves? Recursive Self-Refinement as Textual Relaxation

语言模型会收敛到自身吗？递归自精炼作为文本松弛

Xuening Wu, Qianya Xu, Yanlan Kang, Zeping Chen, Yubin Liu, Shenqin Yin

机构 * Pfizer（辉瑞公司） ； University of California San Diego（加利福尼亚大学圣地亚哥分校） ； Institute for Medical Philosophy and Future Artificial Intelligence（医学哲学与未来人工智能研究所） ； Tongji University（同济大学） ； Shanghai Jiao Tong University（上海交通大学） ； Institute of Humanities and Social Science Data, Fudan University（复旦大学人文社会科学数据研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 研究大语言模型递归自精炼工作流程的长期动态。通过生成精炼轨迹并分析多种指标，发现轨迹迅速饱和，编辑多在前几次迭代，确定性解码表现更好，平均编辑幅度呈指数松弛，收敛摘要有多种优势，支持动态系统观点并推动停止标准。

Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content

区分人工与真实：评估大语言模型检测由大语言模型生成的内容

Juho Leinonen, Paul Denny

机构 * Aalto University（阿尔托大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究大语言模型检测自身生成内容的能力，通过真实学生回答和模型生成答案的多种变体，评估不同提示策略和输出格式下的检测性能，发现其检测高度依赖任务，提示框架等因素影响检测效果，凸显了大语言模型自我检测的潜力与局限。

Comments 8 pages, 5 figures, 3 tables

Understanding the Impact of Linguistic Realization Choices on LLM Stance with Causal Tracing

通过因果追踪理解语言实现选择对大语言模型立场的影响

Langchen Huang, Sebastian Padó, Franziska Weeber

机构 * Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究语言结构对大语言模型立场的影响，以政治立场判断为案例，扩展数据集得六种重写类型，通过对四个模型实验及激活修补发现，中晚期解码器层尤其是最终提示位置的块输出，对恢复原立场分布有最强信号。

Comments KONVENS 2026

Trusted Credentials, Untrusted Behavior: Benchmarking LLM-Agent Security in High-Performance Computing

可信凭证，不可信行为：高性能计算中语言模型代理安全性基准测试

Jie Li

机构 * Texas Tech University（德克萨斯技术大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究高性能计算中语言模型代理安全性，定义其威胁模型，识别攻击面及当前控制不足，提出研究议程和TaskBound实证基准测试计划，以应对代理按用户凭证运行时可能出现的劫持授权代理问题。

LLM Judges Can Be Too Generous When There Is No Reference Answer

当没有参考答案时，大语言模型评判可能过于宽松

Chalamalasetti Kranti, Sowmya Vajjala

机构 * University of Potsdam（波茨坦大学） ； National Research Council（国家研究委员会） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 探讨在无参考答案时大语言模型评判器能否可靠评估。通过校准和敏感性两阶段实验，发现其在无参考答案时易高估错误答案，添加参考答案信息会大幅改变评判结果，且与人类判断相符，强调校准LLM评判器的必要性并提供了方法。

Comments Preprint

Consensus vs. Dissent: Dynamic LLM Modeling of Subjective Preferences in Group Recommenders

共识与异议：群体推荐系统中主观偏好的动态大语言模型建模

Cedric Waterschoot, Nava Tintarev, Francesco Barile

机构 * Maastricht University（马斯特里赫特大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究群体推荐系统中LLMs能否模拟对群体内偏好分布的敏感性并选理想聚合策略。通过微调LLMs、开发模拟模型生成推荐候选并动态选择，经用户研究验证，该方法在满意度和共识方面表现优，凸显LLMs用于适应性调整的优势。

Comments Full paper accepted at the 20th ACM Conference on Recommender Systems (RecSys 2026)

AgentAbstain: Do LLM Agents Know When Not to Act?

AgentAbstain：基于大语言模型的智能体知道何时不行动吗？

Xun Liu, Yi Evie Zhang, Vira Kasprova, Parisa Rabbani, Pardis Sadat Zahraei, Tianyu Zhang, Ali Ebrahimpour-Boroojeny, Varun Chandrasekaran

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究基于大语言模型的智能体何时应弃权的问题，提出AgentAbstain评估框架及AbstainGen全自动管道，通过配对任务基准测试多种前沿LLMs，发现弃权能力与任务解决能力无关，并识别出失败模式，代码和数据集开源。

Comments 56 pages, 13 figures

Auto-DSM Under the Lens: A Black-Box Evaluation Framework for LLM-Based DSM Generation

镜头下的自动DSM：基于大语言模型的DSM生成的黑盒评估框架

Niels Potters, Theo Hofman

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究基于大语言模型的DSM生成能力，提出黑盒评估框架，结合多种指标评估，在两个数据集实验，结果显示LLMs能生成合理DSM但对一些因素敏感，为审核自动DSM管道及集成相关方法到MBSE工作流奠定基础。

Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification

大规模安全测试LLM智能体：从风险发现到基于证据的验证

Yunhao Feng, Ruixiao Lin, Ming Wen, Qinqin He, Yanming Guo, Yifan Ding, Yutao Wu, Jialuo Chen, Zhuoer Xu, Xiaohu Du, Jianan Ma, Zixing Chen, Xingjun Ma, Yunhao Chen, Xinhao Deng

机构 * AntGroup（蚂蚁集团） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Alibaba Group（阿里巴巴集团） ； Hunan Institute of Advanced Technology（湖南先进技术研究院） ； Deakin University（迪肯大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出Vera框架，通过文献驱动的风险发现、组合生成可执行安全用例和自适应执行与证据验证三阶段流水线，实现端到端自动化安全测试，在四个生产级智能体框架上发现严重漏洞，平均攻击成功率93.9%。

"Don't Say It!": Constraints, Compliance, and Communication when Language Models Play Taboo

“别说出来！”：语言模型玩禁忌游戏时的约束、合规与沟通

Sara Candussio, Francesca Padovani, Daniel Scalena, Malvina Nissim

机构 * Center for Language and Cognition (CLCG), University of Groningen（格罗宁根大学） ； University of Milano - Bicocca（米兰比可卡大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 研究语言模型在禁忌游戏中如何在严格词汇约束下生成有效描述，通过提示、生成时约束和内部表示操纵干预，评估合规性与沟通效果，发现模型在约束下表现弱于人类。

From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape

从整体评估到结构化标准：大语言模型演变中的评分准则

Hao Chen, Ziyu Han, Yukun Yan, Qingfu Zhu, Maosong Sun, Wanxiang Che

机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心） ； Department of Computer Science and Technology, Institute for AI（计算机科学与技术系，人工智能研究院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出评分准则作为统一框架，通过分解整体判断为可验证维度、提供过程级反馈和动态涌现自模型行为三个层次，连接人类意图与机器行为。

CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

CELEUS: 基于E-Process的可认证且高效的大语言模型评估

Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 提出Celeus框架，利用E-process构建任意有效的置信区间，通过不确定性引导采样和代理辅助近似减少评估样本，实现高效且统计严谨的LLM评估。

LLM-Based Examination of Eligibility Criteria from Securities Prospectuses at the German Central Bank

基于大语言模型的德国央行证券招股说明书资格标准审查

Serhii Hamotskyi, Akash Kumar Gautam, Christian Hänig

机构 * Anhalt University of Applied Sciences（安哈尔特应用科学大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于大语言模型的生成式信息提取流程，将任务分解为提取、规范化和解释，用于审查证券招股说明书中的资格标准，在文档级资格判断上达到91%的精确率。

Journal ref Proceedings of the 7th Financial Narrative Processing Workshop (FNP 2026) at LREC 2026, pp. 1-10, 2026

Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

跨模态对抗扩散：文本、视觉与视觉-语言模型的攻击、防御与评估融合综述

Abrar Alotaibi, Moataz Ahmed

机构 * Information and Computer Science Department, King Fahd University of Petroleum & Minerals（国王法赫德石油矿物大学信息与计算机科学系） ； College of Computer Science and Information Technology, Imam Abdulrahman Bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·法伊塞尔大学计算机科学与信息科技学院） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence, King Fahd University of Petroleum & Minerals（SDAIA-KFUPM人工智能联合研究中心，国王法赫德石油矿物大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 本文整合了文本、图像分类器和视觉-语言模型上的对抗攻击与防御研究，提出统一分类法和评估框架，并识别了当前文献中的五个常见弱点。

A Survey of Toxicity Detection and Mitigation Strategies for Multilingual Language Models

多语言语言模型毒性检测与缓解策略综述

Soham Dan, Himanshu Beniwal, Thomas Hartvigsen

机构 * Scale AI ； Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 综述多语言大模型的毒性检测与缓解方法，包括威胁模型、检测方法（跨语言编码器、翻译流水线等）和缓解策略（数据过滤、偏好调优等），指出语言覆盖不均、文化依赖等挑战。

Comments Accepted to the Findings of ACL, 2026

Journal ref Findings of ACL, 2026

Agentic Knowledge Tracing: A Multi-Agent LLM Architecture for Stealth Assessment of Financial Literacy in Serious Games

Agentic知识追踪：用于严肃游戏中金融素养隐形评估的多智能体大语言模型架构

Gabriel Santos, Rita Julia, Marcelo Nascimento

机构 * Federal University of Uberlândia Computer Science Faculty（伯南布哥联邦大学计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出多智能体大语言模型架构Agentic BKT，通过四阶段流程从严肃游戏事件中隐形评估金融素养，实验表明其预测效度显著优于单智能体基线。

Comments 8 pages, 5 figures, IEEE CoG 2026

Quantifying and Auditing LLM Evaluation via Positive--Unlabeled Learning

通过正-无标签学习量化与审计大语言模型评估

Zilong Zhang, Yi-Ting Hung, Lei Ding, Chi-Kuang Yeh

机构 * Department of Mathematics and Statistics（数学与统计学系） ； Georgia State University（佐治亚州立大学） ； Department of Statistics（统计学系） ； University of Manitoba（曼尼托巴大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型作为评估者存在的系统性偏差（如冗长偏好），提出基于部分最优传输的几何审计框架，利用少量人工验证正样本校正偏差，无需重训练即可提升与人类偏好的一致性。

SafeClawBench: Separating Semantic, Audit-Evidence, and Sandbox Harm in Tool-Using LLM Agents

SafeClawBench: 区分工具使用LLM代理中的语义、审计证据和沙箱危害

Yuchuan Tian, Mengyu Zheng, Haocheng Mei, Ye Yuan, Chao Xu, Xinghao Chen, Hanting Chen, Yu Wang

机构 * Peking University（北京大学） ； Beijing Jiaotong University（北京交通大学） ； SUIBE（上海外国语大学） ； Huawei（华为） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出SafeClawBench基准，通过三个独立端点（语义攻击接受、审计可见危害证据、沙箱观察危害）评估工具使用LLM代理的安全性，揭示不同失败模式并支持可复现比较。

Comments 32 pages, 5 figures