语言大模型 / LLM

Cutting LLM Evaluation Costs with SySRs: A Bandit Algorithm that Provably Exploits Model Similarity

利用SySRs降低LLM评估成本：一种可证明利用模型相似性的Bandit算法

Zifan Lyu, Chahine Nejma, Tobias Wegel, Fanny Yang, Florian E. Dorner

机构 * ETH Zurich（苏黎世联邦理工学院） ； Centrale Supélec（中央理工-高等电力学院） ； ENS de Cachan（卡尚高等师范学校） ； MPI for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，图宾根） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出SySRs算法，通过配对比较和自适应分配评估预算，利用模型相似性降低LLM评估成本，在15个基准上平均错误率最低。

Comments Published at ICML 2026

Nonparametric LLM Evaluation from Preference Data

基于偏好数据的非参数化LLM评估

Dennis Frauen, Athiya Deviyani, Mihaela van der Schaar, Stefan Feuerriegel

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出非参数统计框架DMLRank，通过去偏机器学习从偏好数据中比较和排名大语言模型，引入广义平均排名分数，具有统计高效、兼容黑箱方法、结合预训练评估器和优化数据收集策略等优势。

Comments Accepted at ICML 2026

Self-evolving LLM agents with in-distribution Optimization

自演化分布内优化的LLM智能体

Yudi Zhang, Meng Fang, Zhenfang Chen, Mykola Pechenizkiy

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出Q-Evolve框架，通过分布内强化学习统一过程奖励标注与策略学习，利用加权隐式Q学习稳定贝尔曼更新，实现智能体自演化，在AlfWorld等任务上优于基线。

Comments ICML 2026

LLM Agent-Assisted Reverse Engineering with Quantitative Readability Metrics

LLM 代理辅助逆向工程与定量可读性指标

Neil Archibald, Ruben Thijssen

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出定量可读性分数（QRS）框架，结合结构相似性门控与三个可读性子指标，指导 LLM 代理提升反编译代码可读性，同时保持功能正确性。

Agent Planning Benchmark: A Diagnostic Framework for Planning Capabilities in LLM Agents

Agent规划基准：LLM Agent规划能力的诊断框架

Haoyu Sun, Wenxuan Wang, Mingyang Song, Jujie He, Weinan Zhang, Yang Liu, Yang Yang, Yu Cheng

机构 * Tongji University（同济大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； Skywork AI ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出Agent规划基准(APB)，通过4209个多模态案例和五个设置，诊断LLM Agent在长程规划、工具噪声鲁棒性、校准拒绝和推理时改进方面的系统弱点。

Diagnosing LLM Arbitration Behavior over Pre-evidence Epistemic States in RAG-based Fact-Checking

诊断基于RAG的事实核查中LLM对证据前认知状态的仲裁行为

Yuxi Sun, Wenbo Shang, Wei Gao, Xin Huang, Jing Ma

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Singapore Management University（新加坡 Management 大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出PAVE测试平台，通过将LLM验证器分为四种认知状态，评估其在检索增强生成事实核查中仲裁参数知识与检索证据的能力，发现不可靠且高度依赖模型的仲裁行为，并提出轻量级JSD测试时仲裁方法。

Comments Accepted to ACL-2026 Findings (voluntarily withdraw)

LLM as a Meta-Judge: Synthetic Data for NLP Evaluation Metric Validation

LLM作为元评判者：用于NLP评估指标验证的合成数据

Lukáš Eigler, Jindřich Libovický, David Hurych

机构 * Faculty of Mathematics and Physics, Charles University（数学与物理系，查尔斯大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出LLM作为元评判者框架，通过控制语义退化生成合成数据替代人工判断，验证NLG评估指标，在多语言问答中元相关性超过0.9。

Comments 16 pages, 1 figure, 14 tables

ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer

ADK Arena: 通过LLM即开发者评估智能体开发工具包

Jintao Huang, Xiaomin Li, Gaurav Mittal, Yu Hu

机构 * The Ohio State University（俄亥俄州立大学） ； Microsoft（微软） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出LLM-as-a-Developer方法，通过自动化流水线ADK Arena评估51个Python ADK框架，发现框架间生成成本差异达5.6倍，但无单一框架占优，且文档、源码和参数知识可相互替代。

Comments Work in Progress

ForeSci: Evaluating LLM Agents for Forward-Looking AI Research Judgment

ForeSci: 评估LLM智能体在前瞻性AI研究判断中的能力

Qiuyu Tian, Haojie Yin, Yingce Xia, Youyong Kong, Zequn Liu

机构 * Southeast University（东南大学） ； Beijing Zhongguancun Academy（北京中关村学院） ； Duke Kunshan University（杜克昆山大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出ForeSci基准，通过时间控制的500个任务评估LLM智能体基于历史证据做出前瞻性研究判断的能力，发现证据与决策脱节问题。

The Saturation Trap and the Subjectivity of Intervention Timing: Why Affect-Based Triggers and LLM Judges Fail to Time Interventions on Autonomous Agents

饱和陷阱与干预时机的主观性：为什么基于情感的触发器和LLM评判者无法在自主智能体上把握干预时机

Manvendra Modgil

机构 * manvendramodgil.ai 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本研究通过18维情感动力学引擎HEART诊断自主智能体干预时机问题，发现状态饱和陷阱、LLM评判者的能力与上下文门槛，以及人类标注者之间极低的干预时机一致性，表明干预时机是一个低可靠性构念。

Comments 11 pages, 5 tables. Code and data:https://github.com/2025eb1100268-tech/intervention-timing-saturation-trap

Traceable by Design: An LLM Pipeline and Dashboard for EU Regulatory Consultation Analysis

可追溯性设计：用于欧盟监管咨询分析的LLM流程与仪表板

Thales Bertaglia, Haoyang Gui, Catalina Goanta, Gerasimos Spanakis

机构 * Utrecht University（乌特勒支大学） ； Maastricht University（马斯特里赫特大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出基于LLM的端到端流程与交互式仪表板，从监管咨询提交中提取结构化主题，确保逐字引用、完全可追溯和透明性，并以欧盟数字公平法案为例验证。

Comments This research has been supported by funding from the ERC Starting Grant HUMANads (ERC-2021-StG No 101041824)

Talk is (Not) Cheap: A Taxonomy and Benchmark Coverage Audit for LLM Attacks

谈话（不）廉价：LLM攻击的分类法与基准覆盖审计

Karthik Raghu Iyer, Yazdan Jamshidi, Nicholas Bray, Alexey A. Shvets

机构 * Palo Alto Networks（帕洛阿尔托网络） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出一个基于STRIDE的4×6目标×技术矩阵框架，用于审计LLM攻击基准的集体覆盖，发现现有基准仅覆盖最多25%的威胁面，且存在命名碎片化和评估空白。

TriEval: A Resource-Efficient Pipeline for LLM Bias, Toxicity, and Truthfulness Assessment

TriEval: 一种资源高效的LLM偏见、毒性和真实性评估流水线

Akshatha Srikantha, Manpreet Singh, Yash Jajoo, Shyamal Lakhanpal

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出TriEval流水线，通过同时评估LLM输出的偏见、毒性和真实性，在标准笔记本电脑上高效运行，并揭示开源与闭源模型在毒性和真实性上的差异。

WildRoadBench: A Wild Aerial Road-Damage Grounding Benchmark for Vision-Language Models and Autonomous Agents

WildRoadBench: 面向视觉语言模型与自主智能体的野外航拍道路损伤定位基准

Bingnan Liu, Chenhang Cui, Rui Huang, Jiani Luo, Zhirong Shen, Tinghao Wang, Xiande Huang, Lingbei Meng, Fei Shen, An Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； National University of Singapore（新加坡国立大学） ； De Artificial Intelligence Lab（德人工智能实验室） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.LG

AI总结 提出WildRoadBench基准，通过VLM直接定位和LLM驱动智能体自主研究两种协议，评估模型在航拍道路损伤定位上的性能，发现现有方法在野外场景下仍不可靠。

Comments Preprint. Under review. 4 figures, 6 tables

Evaluating and Calibrating LLM Confidence on Questions with Multiple Correct Answers

评估和校准LLM在多个正确答案问题上的置信度

Yuhan Wang, Shiyu Ni, Zhikai Ding, Zihang Zhan, Yuanzi Li, Keping Bi

机构 * State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多正确答案问题导致现有置信度校准方法失效的问题，提出语义置信度聚合（SCA）方法，通过聚合多个高概率采样响应的置信度，在混合答案设置下实现最优校准性能。

ParliaBench: An Evaluation and Benchmarking Framework for LLM-Generated Parliamentary Speech

ParliaBench: 面向大语言模型生成的议会演讲的评估与基准框架

Marios Koniaris, Argyro Tsipi, Panayiotis Tsanakas

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ParliaBench基准框架，通过构建英国议会数据集、结合计算指标与LLM评判的评估方法以及两种新型嵌入指标（政治光谱对齐和政党对齐），系统评估LLM生成议会演讲的语言质量、语义连贯性和政治真实性，实验表明微调显著提升多数指标且新指标对政治维度具有强区分力。

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pp. 4797-4818, European Language Resources Association (ELRA), Palma, Mallorca, Spain, May 2026

Do Gender Cues Affect LLM Value Trade-offs? Evidence from a Controlled Decision Benchmark

性别线索是否影响LLM价值权衡？来自受控决策基准的证据

Yangyang Liu, Dong Yu, Pengyuan Liu

机构 * Beijing Language and Culture University（北京语言大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过构建受控基准RVDB，研究性别线索是否导致大语言模型在价值决策中产生系统性翻转，并发现性别效应集中在价值边界模糊和决策严重性高的情境下，且模型自我归因常掩盖性别影响。

Algorithmic algorithm development with LLMs: A Case Study on LLM-Usage for Contraction Order Optimization in Tensor Networks

基于LLM的算法开发：以张量网络收缩顺序优化中LLM使用为例

Fabian Hoppe, Melven Röhrig-Zöllner, Philipp Knechtges

机构 * German Aerospace Center (DLR), Institute of Software Technology, department High-Performance Computing（德国航空航天中心（DLR）软件技术研究所高性能计算部门） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 通过OpenEvolve对张量网络收缩顺序优化的案例研究，探讨了基于LLM的算法开发，重点分析了LLM选择、评估指标和测试实例等设计因素，强调了验证引导的进化编码代理的潜力以及人类科学家在评估、验证和解释方面的重要性与挑战。

Comments Submitted to the proceedings of the deRSE26 conference

CRAB-Bench: Evaluating LLM Agents under Complex Task Dependencies and Human-aligned User Simulation

CRAB-Bench：在复杂任务依赖和人类对齐用户模拟下评估LLM智能体

Danqing Wang, Akshay Sivaraman, Lei Li

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出CRAB-Bench和RUSE框架，通过约束图生成复杂任务依赖和基于人类行为研究的用户模拟，评估LLM智能体在真实服务场景中的表现，发现最佳模型仅达61%通过率，用户模拟导致性能下降高达57%。

LLM-Driven Co-Evolutionary Automated Heuristic Design for Bi-Component Coupled Combinatorial Optimization

LLM驱动的双组件耦合组合优化的协同进化自动启发式设计

Mingen Kuang, Xudong Deng, Xi Lin, Ye Fan, Jianyong Sun, Jialong Shi

机构 * Xi’an Jiao Tong University（西安交通大学） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CoEvo-AHD框架，利用大语言模型协同进化两个算子种群，通过合作评估和联合交叉发现互补逻辑，解决旅行窃贼问题等耦合组合优化问题。

LISTEN to Your Preferences: An LLM Framework for Multi-Objective Selection

LISTEN 你的偏好：面向多目标选择的LLM框架

Adam S. Jovine, Tinghan Ye, Francis Bahk, Jingjing Wang, Matthew Ford, David B. Shmoys, Peter I. Frazier

机构 * Cornell University（康奈尔大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出LISTEN框架，利用LLM作为决策代理，通过迭代优化内部偏好模型（LISTEN-U参数法或LISTEN-T非参数法）从自然语言中学习用户隐含偏好，实现多目标选择。

Comments Accepted at IJCAI-ECAI 2026 (the 35th International Joint Conference on Artificial Intelligence)

Beyond the Crowd: LLM-Augmented Community Notes for Governing Health Misinformation

超越众包：基于LLM增强的社区笔记治理健康错误信息

Jiaying Wu, Zihang Fu, Haonan Wang, Fanxiao Li, Jiafeng Guo, Preslav Nakov, Min-Yen Kan

机构 * National University of Singapore（新加坡国立大学） ； Yunnan University（云南大学） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全国家重点实验室，计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 针对X平台社区笔记在健康错误信息治理中延迟高的问题，提出CrowdNotes+框架，通过LLM增强笔记生成与评估，显著提升正确性、有用性和证据效用。

Comments ACL 2026

OpenHospital: A Thing-in-itself Arena for Evolving and Benchmarking LLM-based Collective Intelligence

OpenHospital: 一个用于进化和基准测试基于LLM的集体智能的物自体竞技场

Peigen Liu, Rui Ding, Yuren Mao, Ziyan Jiang, Yuxiang Ye, Yunjun Gao, Ying Zhang, Renjie Sun, Longbin Lai, Zhengping Qian

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； Laboratory for Statistical Monitoring and Intelligent Governance of Common Prosperity, Zhejiang Gongshang University（浙江工商大学共同富裕统计监测与智能治理实验室） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） ； Alibaba Cloud（阿里云） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出OpenHospital交互式竞技场，通过医生代理与患者代理的互动进化集体智能，采用数据在代理自身范式快速提升能力并提供医学熟练度和系统效率的基准测试。

Ev-Trust: An Evolutionarily Stable Trust Mechanism for Decentralized LLM-Based Multi-Agent Service Economies

Ev-Trust: 一种面向去中心化基于LLM的多智能体服务经济的演化稳定信任机制

Jiye Wang, Shiduo Yang, Ting Qiao, Jiayu Qin, Jianbin Li, Yu Wang, Yuanhe Zhao

机构 * School of Control and Computer Engineering, North China Electric Power University（控制与计算机工程学院，华北电力大学） ； State Grid Corporation of China（国家电网公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对去中心化LLM多智能体服务经济中欺诈成本降低、服务质量评估困难和服务内容不稳定三大脆弱性，提出Ev-Trust信任机制，通过交叉验证门、方差标准化漂移度量和信任信号嵌入收益函数，实现合作策略的演化稳定，实验表明恶意参与减少约60%，欺诈率降低约50%。

Comments 19 pages, 9 figures

Simulating Macroeconomic Expectations in Survey Experiments with LLM-based Economic Agents

基于LLM的经济主体在调查实验中模拟宏观经济预期

Jianhao Lin, Lexuan Sun, Yixin Yan

机构 * Lingnan College, Sun Yat-sen University（中山大学岭南学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一个利用基于大语言模型的经济主体（LLM Agents）模拟调查实验中宏观经济预期的框架，通过复现三种代表性调查设计验证其有效性，发现LLM Agents能生成与人类高度相似的预期分布并捕捉定性模式，其中先验信息对匹配分布至关重要。

Make a Video Call with LLM: A Measurement Campaign over Six Mainstream Apps

用LLM进行视频通话：对六个主流应用的测量活动

Jiayang Xu, Xiangjie Huang, Zijie Li, Antariksh Verma, Zili Meng

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过自定义测试平台和在线平台，从质量、延迟、内部机制和系统开销四个维度对六个主流AI视频聊天应用进行基准测试，发现AI视频通话的网络延迟影响小于人类视频通话，AI代理能力对用户体验影响最大。

Neuro-Symbolic Verification of LLM Outputs for Data-Sensitive Domains (extended preprint)

面向数据敏感领域的LLM输出的神经符号验证（扩展预印本）

Paul Sigloch, Christoph Benzmüller

机构 * University of Bamberg（巴姆堡大学） ； Free University of Berlin（柏林自由大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种结合形式符号方法与神经语义分析的混合验证架构，用于检测LLM输出中的幻觉、不一致和隐私漏洞，在医疗设备损伤评估系统中实现83%的结构化实体幻觉检测率和72%的语义虚构检测率。

Comments Extended preprint version of accepted technical communication at KI 2026. 22 pages, 3 figures

Diagnosing the Reliability of LLM-as-a-Judge via Item Response Theory

通过项目反应理论诊断LLM作为评判者的可靠性

Junhyuk Choi, Sohhyung Park, Chanhee Cho, Hyeonchu Park, Bugeun Kim

机构 * Department of Artificial Intelligence, Chung-Ang University, Seoul, Republic of Korea（Chung-Ang 大学人工智能系） ； Department of Industrial Engineering, Seoul National University, Seoul, Republic of Korea（首尔国立大学工业工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出基于项目反应理论（IRT）的两阶段诊断框架，通过内在一致性和人类对齐两个维度评估LLM作为评判者的可靠性，并提供可解释的诊断信号。

Comments Accepted ICML 2026

Go-UT-Bench: A Fine-Tuning Dataset for LLM-Based Unit Test Generation in Go

Go-UT-Bench：用于基于LLM的Go语言单元测试生成的微调数据集

Yashshi Pipalani, Hritik Raj, Rajat Ghosh, Vaishnavi Bhargava, Debojyoti Dutta

机构 * Nutanix 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对代码LLM训练数据不平衡问题，提出Go-UT-Bench数据集（5264对代码与单元测试），通过微调提升模型在Go语言单元测试生成任务上的性能，在超过75%的基准任务上优于基础模型。

Comments 9 pages, 5 figures

SEAL: Can Saturated Benchmarks Be Revived by LLM-as-a-Meta-Judge?

SEAL: 饱和基准能否通过LLM作为元裁判得以复兴？

Jiamin Chen, Yidi Wu, Qiexiang Wang, Qianben Chen, Yuchen Li, Yansen Zhang, Xiaokun Zhang, Wangchunshu Zhou, Chen Ma

机构 * ByteDance Inc.（字节跳动公司） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出SEAL协议，通过自适应LLM元裁判从饱和基准中提取潜在排名信号，在代码生成、数学推理等任务上以更少调用实现高排名准确率。