语言大模型 / LLM

Same Question, Different Answer? Measuring and Mitigating Prompt Privilege for Equitable AI Access

相同问题，不同答案？衡量与缓解提示特权以实现公平的AI访问

Lier Jin, Lan Hu, Binqi Shen, Hanyu Cai, Yuting Xin

机构 * Fuqua School of Business Duke University（杜克大学福库商学院） ； Department of Engineering Carnegie Mellon University（卡内基梅隆大学工程学院） ； Department of Industrial Engineering and Management Sciences Northwestern University（西北大学工业工程与管理科学系） ； Department of Information and Decision Sciences University of Minnesota（明尼苏达大学信息与决策科学学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 该研究提出统一框架，引入PES指标与PET智能体，在MedQA基准上验证了提示特权的存在，PET可消除该差异，提升AI访问公平性。

PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling

PluginEval：用于函数调用细粒度错误归因的诊断基准

Dongjie Xu, Julius, Hanchi Dong, Minghua Tang, Yuxuan Sun, Ziwei Nie, Zicheng Liu, Dujun Qing, Jiajie Xu

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 PluginEval是缓解现有函数调用基准局限的两阶段诊断基准，可细粒度归因错误，评估显示不同模型在难度级别和错误类别中存在性能差异，且其LLM判断器与人类标注一致性良好。

SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators

SurveyReview：面向综述评估者的审稿人对齐基准

Yuheng Zhang, Yuanchun Wang, Fanjin Zhang, Ruyu Zhao, Juanzi Li, Jie Tang, Jing Zhang

机构 * Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有LLM评估综述未与人类审稿人对齐的问题，提出SurveyReview基准及SurveyAlign基线，大幅提升自动评估与人类审稿人的对齐程度，为该领域提供参考。

Can LLMs Rank? A Tale of Triads and Triage

LLM能排序吗？三元组与分诊的故事

Gaurab Pokharel, Shafkat Farabi, Patrick J. Fowler, Sanmay Das

机构 * Virginia Tech（弗吉尼亚理工大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.AI

AI总结 研究LLM作为排序裁判的可靠性，提出用循环三元组计数和排序距离度量一致性，并在无家可归者住房分配和急诊分诊任务中验证。

Comments Accepted to the Ninth AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)

SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents

SciVisAgentBench：用于评估科学数据分析和可视化代理的基准测试

Kuangshi Ai, Haichao Miao, Kaiyuan Tang, Nathaniel Gorski, Jianxin Sun, Guoxi Liu, Helgi I. Ingolfsson, David Lenz, Hanqi Guo, Hongfeng Yu, Teja Leburu, Michael Molash, Bei Wang, Tom Peterka, Chaoli Wang, Shusen Liu

机构 * University of Notre Dame（圣母大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； University of Utah（犹他大学） ； University of Nebraska–Lincoln（内布拉斯加大学林肯分校） ； The Ohio State University（俄亥俄州立大学） ； Argonne National Laboratory（阿贡国家实验室） ； Anthropic PBC 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SciVisAgentBench，一个用于评估科学数据可视化代理的基准测试，涵盖四个维度，包含108个案例，结合LLM和确定性评估器进行多模态评估，揭示代理能力差距。

Comments IEEE Transactions on Visualization and Computer Graphics (IEEE VIS '26)

ACEvo: Adversarial Co-Evolution of Problem Distributions and Solvers for Combinatorial Optimization

ACEvo：面向组合优化的问题分布与求解器的对抗协同进化

Ruibo Duan, Yuxin Liu, Haoran Ye, Xinyao Dong, Zhiqiang Xu, Chenglin Fan

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出ACEvo框架，通过LLM迭代协同进化启发式求解器与问题生成器，在TSP等组合优化问题上生成更具挑战性的实例分布，所得求解器在分布偏移下性能优于静态训练基线。

CEDAR: Agent-Orchestrated Tree Search for Goal-Directed Optimization of Complex Systems

CEDAR：面向复杂系统目标导向优化的智能体编排树搜索算法

Yingtao Tian

机构 * Sakana AI 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对复杂系统目标导向设计的难题，提出基于LLM智能体的CEDAR方法，通过LLM驱动的MCTS实现复杂系统的目标导向发现，减少人力投入并促进其跨领域应用。

Comments Accepted as Talk in ALIFE 2026: The 2026 Conference on Artificial Life

Evolving Parallel Algorithm Portfolios via Potential-Aware Instance Generation with LLMs

基于大语言模型的潜在感知实例生成的进化并行算法组合

Shaofeng Zhang, Shengcai Liu, Zhiyuan Wang, Ke Tang

机构 * Southern University of Science and Technology（南方科技大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对LLM-ACP在少样本组合优化问题中泛化差的问题，提出PIAC框架，通过无需参考解的潜在增益指标和大语言模型生成多样实例，在TSP、CVRP上较基线实现显著性能提升。

Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents

面向规则密集型国家标准文档评审的大语言模型基准测试与增强

Tao Wang, Qihao Yang, Rongjiao Liang, Lianghong Lin, Haitao Wang, Xinyu Cao, Tianyong Hao

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对规则密集型国家标准文档评审推出首个基准GB/T-Bench，提出多智能体框架GB/T-Reviewer，实验显示其大幅缩小了LLM与专家在该任务上的能力差距，为高风险文档领域可信AI奠定基础。

EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning

EnvACE：通过世界预演内化环境动态以实现智能体强化学习

Zishan Xu, Zhiyuan Yao, Yuxin Chen, Yifu Guo, Zhengxi Lu, Yuquan Lu, Jinyang Huang, Yan Xu, Yasheng Wang, Weinan Zhang, Xingshan Zeng, Weiwen Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； Sun Yat-sen University（中山大学） ； Central South University（中南大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tencent Inc.（腾讯公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出 EnvACE 方法，以世界预演替代外部环境交互训练 LLM 智能体，在多基准测试中性能优于基线，可突破外部环境约束扩展 LLM 智能体训练。

$S^3$: Improving Agent Safety through Multi-Stage Defense

$S^3$：通过多阶段防御提升智能体安全性

Zibo Xiao, Haoyu Wang, Jun Sun

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对LLM智能体工作流的跨阶段安全风险问题，提出多阶段防御框架$S^3$，引入阶段特定安全技能，构建MSRB基准，实验显示其安全有效性和效用保留均优于现有基线。

Enhancing LLMs with Context-Specific Knowledge for Mitigating Misinformation in SMEs: A RAG-based Modeling and Analysis

用特定上下文知识增强大语言模型以缓解中小企业的错误信息：一种基于RAG的建模与分析

Md. Samiul Islam, Iqbal H. Sarker, Chadni Islam, Ahmad Mohsin, Ahmed Ibrahim, Helge Janicke

机构 * School of Science, Edith Cowan University（伊迪斯科文大学理学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对中小企业使用LLM时面临的错误信息问题，提出VectorRAG与GraphRAG方法，在LLaMA等模型上验证RAG可提升响应质量，助力可靠决策。

A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization

面向对话摘要的大规模多维度LLM实证研究

Weixiao Zhou, Gengyao Li, Junnan Zhu, Xianfu Cheng, Feifei Zhai, Zhoujun Li

机构 * CCSE, Beihang University（北京航空航天大学CCSE） ； MAIS, CASIA（中国科学院自动化研究所MAIS） ； Fanyu AI Laboratory（帆禹AI实验室） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 提出OmniCSEval基准，包含1800个跨六场景的对话，评估28个LLM在对话摘要中的完整性、简洁性和忠实性，揭示推理能力与模型规模的影响。

Comments 21 pages, 18 figures

SoM-1K: A Thousand-Problem Benchmark Dataset for Strength of Materials

SoM-1K：用于材料力学能力的千题基准数据集

Qixin Wan, Zilong Wang, Jingwen Zhou, Wanting Wang, Ziheng Geng, Jiachen Liu, Ran Cao, Lu Cheng

机构 * College of Civil Engineering, Hunan University（湖南大学土木工程学院） ； Department of Civil & Architectural Engineering, University of Miami（迈阿密大学土木与建筑工程系） ； Department of Electrical and Computer Engineering, University of Miami（迈阿密大学电气与计算机工程系） ； School of Architecture, University of Miami（迈阿密大学建筑学院） ； Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系） 纠错

专题命中 评测与基准 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；foundation model(abstract)；prompting(abstract)

AI总结 该研究推出含1065道题的SoM-1K多模态基准，评估8种基础模型的材料力学能力，提出DoI提示策略，发现当前模型表现差，LLMs配DoI优于VLMs配图像，为工程AI提供基准并强调多模态推理需求。

WebCoderBench: Benchmarking Web Application Generation with Comprehensive and Interpretable Evaluation Metrics

WebCoderBench: 用全面且可解释的评估指标对Web应用生成进行基准测试

Chenxu Liu, Yingjie Fu, Wei Yang, Ying Zhang, Tao Xie

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出WebCoderBench，首个基于真实用户需求的Web应用生成基准，包含1572个真实用户需求及24个细粒度评估指标，结合规则和LLM评估方法，提供可解释的评估结果，实验显示无单一最优模型，为模型优化提供方向。

FAVA: Formal Authorization for Verified Agents with Evidence-Backed Permission Graphs

FAVA：基于证据支持的权限图的经验证智能体的形式化授权

Yifan Zhang, Xinkui Zhao, Sai Liu, Hengxuan Lou, Guanjie Cheng, Chang Liu

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 FAVA是一种用于智能体执行的带权限授权框架，通过LLM引导的权限IR、证据支持的权限图和SMT授权器保障安全，在多场景评估中达90.5%决策合规率，可拦截动态违规迹。

Linking Heterogeneous Data with Coordinated Agent Flows for Social Media Analysis

通过协调智能体流关联异构数据以开展社交媒体分析

Shifu Chen, Dazhen Deng, Zhihong Xu, Sijia Xu, Linyu Qin, Tai-Quan Peng, Yingcai Wu

机构 * Zhejiang University（浙江大学） ； Department of Communication, Michigan State University（密歇根州立大学通讯系） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出LLM智能体系统SIA，通过协调智能体流关联社交媒体异构多模态数据，采用阶段同步策略挖掘洞见，经评估可发现多样有意义的洞见，为社交媒体分析提供新方法。

PowerAtlas: Towards Electricity-Computing Co-Scheduling for Power Systems

PowerAtlas：面向电力系统的电-计算协同调度

Kaiwen Jiang, Siya Xu, Ziyue Zhu, Chao Yang, Anh Tuan Luu, Haoran Luo

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； State Grid Liaoning Electric Power Co., Ltd.（国网辽宁省电力有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 PowerAtlas是用于电-计算协同调度的LLM智能体框架，整合多类约束生成可行方案，构建含2000个实例的ECBench基准，在11种LLM上验证了有效性。

Comments 17 pages, 9 figures, 5 tables. Code: https://github.com/JAVA-Jiang/PowerAtlas

StealthBench: Measuring Operational Stealth in Autonomous Offensive-Security Agents

StealthBench：衡量自主进攻性安全智能体的操作隐蔽性

Ads Dawson, Adrian Wood

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究人员推出StealthBench基准，通过含三个LLM的评判小组评估自主进攻性安全智能体的OPSEC表现，发现无模型安全成功率超54%，证实OPSEC失败具系统性，该基准用于支持相关智能体开发与监控。

Comments 29 pages, 9 tables, 1 figure, 2 appendices. Code: https://github.com/GangGreenTemperTatum/stealthbench Dataset: https://huggingface.co/datasets/0xmoose/stealthbench Website: https://stealthbench.com

Multi-Agent Debate Strategies: Survey, Taxonomy, and Challenges

多智能体辩论策略：综述、分类与挑战

Quim Motger, Marc Oriol, Jordi Marco, Xavier Franch

机构 * Universitat Politècnica de Catalunya（加泰罗尼亚理工大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文通过对141项多智能体辩论研究的系统综述，提出三维分类法，揭示领域默认采用狭窄设计模式的问题，将分类法定位为研究图谱与基准框架，未来拟形式化为可执行规范以优化辩论配置。

Comments Under review at ACM Computing Surveys

The Easy Trap: Why LLMs Underestimate Misconception-Driven Difficulty

易陷阱：为何大语言模型低估由误解驱动的难度

Amanda La Hadi, Muhammad Johan Alibasa, Guanliang Chen, A. Taufiq Asyhari

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究发现，用于教育评估难度估计的LLM会系统性低估由学习者误解驱动的数学题难度，提出“易陷阱”现象，其仅能捕捉难度大致排序，无法反映学生实际认知难度。

Comments This paper poster presented on 19th Educational Data Mining Conference 2026

Agentic Evaluation of Copyright Law Compliance

版权法合规性的智能体评估

Zheng Hui, Doni Bloomfield, Noam Kolt

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究LLM智能体版权法合规性评估问题，通过引入Copyright - Bench基准，由网站开发等商业任务组成，含提示变化与时间压力，对比智能体与人类基线，发现智能体存在选择版权作品及违规率受偏好和压力影响等情况。

Comments ICML 2026 Spotlight

MineValiCoder: Reliable Code Generation with Test Case Quality Mining and Bipartite Graph-Based Mutual Validation

MineValiCoder：通过测试用例质量挖掘和基于二分图的相互验证实现可靠的代码生成

Zhen Zhao, Qihang Yang, Feifei Dai, Xiangfang Li, Bo Li

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对基于大语言模型的测试驱动开发中现有方法的不足，提出MineValiCoder框架，通过测试用例质量挖掘、并行TDD优化和二分图代码-测试相互验证三个模块，有效减轻LLM随机性，提升自动代码生成可靠性，在多基准测试中表现优异。

Comments 12 pages, 3 figures, 7 tables

surprisal is Not a Theory

惊奇值并非一种理论

Andrés Buxó-Lugo, Aniello De Santo, Morgan Grobol, Ryan J. Hubbard, Cassandra L. Jacobs

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究指出惊奇值理论虽被视为计算层面解释，但大语言模型的发展未免除建模者相关表征决策，不加批判使用LLM - 惊奇值会模糊模型承诺，通过分析表明算法和架构选择影响语言模型概率计算，建议相关研究者重新评估概率互换做法。

From Heuristic Selection to Automated Algorithm Design: LLMs Benefit from Strong Priors

从启发式选择到自动化算法设计：LLMs受益于强先验

Qi Huang, Furong Ye, Ananta Shahane, Thomas Bäck, Niki van Stein

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出利用基准算法引导LLM优化，提升黑箱优化在pbo和bbob基准上的性能。

Evaluating Large Language Models on Misconceptions in Multi-Turn Medical Conversations

在多轮医疗对话中的误解上评估大语言模型

Monica Munnangi, Saiph Savage

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

AI总结 研究多轮医疗对话中模型对误解的处理，引入ThReadMed-QA数据集，用基于准则的框架评估五个大语言模型，发现前沿模型在后续轮次表现大幅下降，错误传播致性能降，强调需捕捉多轮行为的评估框架。

Comments Accepted to MLHC 2026

Can Agentic Trading Systems Pay for Their Own Intelligence?

智能交易系统能否为自身智能付费？

Qiqi Duan, Changlun Li, Chen Wang, Fan Zhang, Mengxiang Wang, Dayi Miao, Peixian Ma, Jiangpeng Yan, Liyuan Chen, Shuoling Liu, Preslav Nakov, Yuyu Luo, Nan Tang

机构 * HKUST(GZ)（香港科技大学（广州）） ； Paradoox AI（悖论人工智能公司） ； E Fund Management Co., Ltd（易方达基金管理有限公司） ； MBZUAI（Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）） ； The University of Tokyo（东京大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究基于LLM的交易系统中智能体能否为自身智能付费的问题，引入TradeLens工具包进行评估，通过多方面分析发现可行性取决于智能到利润的转化，不同模型有不同失败模式，重构了此类交易智能体的评估方式。

A safety-oriented hypothetico-deductive framework for AI-assisted differential diagnosis

一种用于人工智能辅助鉴别诊断的面向安全的假设-演绎框架

Fan Ma, Mauro Giuffrè, Donald Wright, Kent McCann, Mark Iscoe, Lingfei Qian, Mingyang Jiang, Chi Wing Ng, Na Hong, Huan He, Cathy Shyr, Qingyu Chen, Lee Schwamm, Lucila Ohno-Machado, Hua Xu

机构 * Yale School of Medicine, Yale University（耶鲁大学医学院，耶鲁大学） ； Università degli Studi di Trieste（的里雅斯特大学） ； Vanderbilt University（范德堡大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对诊断错误威胁，提出AegisDx框架，通过协调LLM组件进行鉴别诊断、筛查危险情况、验证推理等。经多层面评估，该框架在诊断准确率及安全评分等方面表现优于独立LLM，为急性护理提供更优床边决策支持

LEMUR 2: Unlocking Neural Network Diversity for AI

LEMUR 2：释放人工智能的神经网络多样性

Tolgay Atinc Uzun, Waleed Khalid, Saif U Din, Sai Revanth Mulukuledu, Akashdeep Singh, Chandini Vysyaraju, Raghuvir Duvvuri, Avi Goyal, Yashkumar Rajeshbhai Lukhi, Muhammad A. Hussain, Krunal Jesani, Usha Shrestha, Yash Mittal, Roman Kochnev, Pritam Kadam, Mohsin Ikram, Harsh R. Moradiya, Alice Arslanian, Dmitry Ignatov, Radu Timofte

机构 * University of Würzburg（维尔茨堡大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LEMUR 2旨在释放神经网络多样性，通过统一生成、评估和部署管道，利用多种方式生成超14000个不同架构及大量训练记录，采用特定管道进行自动部署和延迟基准测试，涵盖多模态任务，为LLM微调提供数据基础，推动相关新兴范式发展。

Comments 10 pages, 9 figures, 1 table

Counterfactual Modeling with Fine-Tuned LLMs for Health Intervention Design and Sensor Data Augmentation

基于微调大语言模型的反事实建模用于健康干预设计与传感器数据增强

Shovito Barua Soumma, Asiful Arefeen, Stephanie M. Carpenter, Melanie Hingle, Hassan Ghasemzadeh

机构 * College of Health Solutions, Arizona State University（亚利桑那州立大学健康解决方案学院） ； School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） ； School of Nutritional Sciences and Wellness, University of Arizona（亚利桑那大学营养科学与健康学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究利用微调后的大型语言模型生成高质量反事实解释，用于健康干预设计和传感器数据增强，实验表明LLM生成的反事实能有效提升模型性能，具有临床应用价值。

Comments IEEE Open Journal of Engineering in Medicine and Biology (Volume: 7), Date of Publication: 28 May 2026. Page(s): 232-240

Journal ref IEEE Open Journal of Engineering in Medicine and Biology (Volume: 7), Date of Publication: 28 May 2026. Page(s): 232-240; Electronic ISSN: 2644-1276