语言大模型 / LLM

When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

当探测精度饱和时，脆弱性揭示问题：LLM预训练分析的互补度量

Orion Reblitz-Richardson

机构 * Distiller Labs 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对线性探测在预训练中精度快速饱和的问题，提出脆弱性度量，通过激活噪声水平衡量探测鲁棒性，揭示精度无法捕捉的表示结构演化。

Comments 22 pages, 5 figures. Code and datasets at https://github.com/deepsteer/deepsteer

Porting Declarative UI to HarmonyOS: A Heuristic-guided LLM Approach

将声明式UI移植到鸿蒙：一种启发式引导的LLM方法

Kunwu Zheng, Pengyu Xue, Zhen Yang, Xiran Lyu, Peishi Lai, Mengying Zhao, Yutian Tang, Huizhi Zhang, Xianhang Li, Linhao Wu, Chengyi Wang

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)

AI总结 针对鸿蒙系统从Android/iOS迁移声明式UI的需求，提出ArkTrans方法，通过启发式构建骨架和模式匹配修复语法错误，实现高编译成功率和视觉保真度。

Can Scientific Claims Be Removed from Large Language Models? A Systematic Evaluation of Claim-Level Unlearning

能否从大型语言模型中移除科学主张？主张级遗忘的系统评估

Snigdha Paul, Manasi Patwardhan, Arman Cohan

机构 * TCS Research（塔塔咨询服务研究部） ； Yale University（耶鲁大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；分类 cs.AI

AI总结 本文针对大型语言模型中过时科学主张的传播风险，提出科学主张遗忘任务并构建基准SciUnlearn，发现现有遗忘方法无法有效消除主张级知识，需专门的结构化知识移除方法。

Comments EMNLP 2026 Main Conference

VortexChat: An agentic framework for autonomous multi-objective integrated photonic design

VortexChat：面向自主多目标集成光子设计的智能体框架

Faqian Chong, Yulun Wu, Shilong Li, Andrew Forbes, Hongsheng Chen, Song Han

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 VortexChat是结合LLM决策智能体与电磁仿真的自主设计框架，可从自然语言规格端到端设计集成光子器件，在Vortex100基准测试中无需人工介入即可生成达标器件，成功设计制备出高性能太赫兹涡旋光束复用器。

LLMs for Zero-Shot Threat Detection via Structured Risk Indicators

基于结构化风险指标的零样本威胁检测大语言模型

Abdullah Alghamdi, Siamak Layeghy, Marius Portmann

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出两阶段LLM框架，结合RAG从异构安全日志零样本检测内部威胁与APT，在两个基准数据集上优于现有模型，风险指标质量是性能关键驱动因素

Clause Encounters of the Third Kind: Can LLMs Replace Language Teachers?

条款式的第三类接触：大型语言模型能否替代语言教师？

Kristina Šekrst, Ana Kovačić

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究评估了LLM替代语言教师提供教学反馈与解释的能力，发现其纠错能力出色但教学解释不足，AI辅助语言学习热情或超出对其教学能力的认知。

Journal ref Oxford Intersections: AI in Society (Oxford, online edn, Oxford Academic, 20 Mar. 2025 - )

Beyond Asking: A Pipeline for Personalized Game Generation that Reads Players from Behavior

超越询问：一种从玩家行为读取数据的个性化游戏生成流水线

Yifan Lu, Xiaopeng Yuan, Haohan Wang

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究构建了带真实特质的合成玩家基准，提出机会感知决策时刻表示，对比了LLM等方法的推断效果，将推断画像用于游戏难度自适应并开展人类研究验证。

Comments 16 pages, 3 figures, 6 tables. Includes technical appendix

TAHB: A Comprehensive Benchmark for Text-Attributed Hypergraph Learning

TAHB：面向文本属性超图学习的综合基准

David Yoon Suk Kang, JungHyun Kim, Juhyun Jeon, Sang-Wook Kim

机构 * Chungbuk National University（忠北国立大学） ； Hanyang University（汉阳大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出首个整合超图结构与文本属性的公开基准TAHB，含10个跨领域数据集，证实LLM增强文本语义可提升超图学习性能，为交叉领域研究提供基础。

SysEvolve: An AI-native, safe, autonomous adversarial attack-defense co-evolutionary system

SysEvolve：一种原生AI、安全且自主的对抗攻防协同进化系统

Yuhan Meng, Shaofei Li, Jionghao Huang, Jiandong Jin, Puyi Wang, Hanlin Jiang, Anis Yusof, Peng Jiang, Zhenkai Liang, Yao Guo, Ding Li

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对网络安全攻防不对称问题，提出SysEvolve协同进化系统，含三个组件，实验验证其攻防性能，还揭示了LLM智能体能力的三项关键发现。

Comments Technical Report For SysEvolve System

BiasTrace: Linking Reasoning Behaviours to Biased Outputs in LLMs

BiasTrace：将大语言模型（LLM）中的推理行为与有偏输出关联起来

Varsha Ramineni, Hossein A. Rahmani, Jerome Ramos, Karin Sevegnani, Emine Yilmaz

机构 * University College London（伦敦大学学院） ； NVIDIA（英伟达） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.AI

AI总结 本研究提出BiasTrace标注方案，将LLM的推理行为与有偏输出关联，构建大型标注数据集，发现有偏输出多源于微妙推理行为，且该方案可提升偏见检测与推理时缓解效果。

BavGround: A Benchmark for Regional Cultural Grounding and Dialect Competence in Bavarian

BavGround：巴伐利亚区域文化接地与方言能力基准

Jophin John, Michael Hoffmann, Jan Fillies, Michael A. Hedderich, Barbara Plank

机构 * Stanford University（斯坦福大学） ； Freie Universität Berlin（柏林自由大学） ； Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Leibniz Supercomputing Centre (LRZ)（莱布尼茨超级计算中心） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 该研究推出BavGround基准，评估LLM的巴伐利亚区域文化接地与方言能力，发现多语言模型在巴伐利亚语及源接地问题上表现欠佳，且评估协议会显著影响结论。

Class-Structure Preservation Beats Diversity: A Comprehensive Benchmark of Text Augmentation Methods for Imbalanced Text Classification

类结构保留优于多样性：不平衡文本分类的文本增强方法综合基准测试

Keito Inoshita

机构 * Faculty of Business and Commerce, Kansai University（关西大学商学部） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究构建含11种增强方法的基准，在7个数据集上测试后发现，基于LLM的增强性能不优于经典的EmbSMOTE，类结构保真度而非表面多样性是关键，建议检索式过采样作为不平衡多分类默认方法。

RealisticTritonBench: A Benchmark for Triton-Kernel Generation in Real-World AI Frameworks

RealisticTritonBench：面向真实世界AI框架的Triton内核生成基准测试

Jinjun Huang, Zhongzhen Wen, Tongtong Xu, Meng Yan, Xin Xia, Zhongxin Liu

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出RealisticTritonBench基准，解决现有Triton内核生成基准的局限，评估发现领先LLM在真实世界Triton内核生成任务上仍表现不佳。

Comments Accepted by ASE 2026

Workflow Cards: Structured Summaries of Workflow Executions Using Provenance Data

工作流卡片：利用溯源数据生成工作流执行的结构化摘要

Nicola Giuseppe Marchioro, Gabriele Padovani, Amal Gueroudji, Rafael Ferreira da Silva, Wesley Brewer, Valentine Anantharaj, Sandro Fiore, Renan Souza

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出工作流卡片，将工作流执行的溯源数据转化为可读的结构化摘要，填补了现有模型、数据卡片缺失执行级信息的空白，使LLM回答质量较传统查询提升近一倍。

Comments Accepted at eScience2026

Same Question, Different Answer? Measuring and Mitigating Prompt Privilege for Equitable AI Access

相同问题，不同答案？衡量与缓解提示特权以实现公平的AI访问

Lier Jin, Lan Hu, Binqi Shen, Hanyu Cai, Yuting Xin

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 该研究提出统一框架，引入PES指标与PET智能体，在MedQA基准上验证了提示特权的存在，PET可消除该差异，提升AI访问公平性。

PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling

PluginEval：用于函数调用细粒度错误归因的诊断基准

Dongjie Xu, Julius, Hanchi Dong, Minghua Tang, Yuxuan Sun, Ziwei Nie, Zicheng Liu, Dujun Qing, Jiajie Xu

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 PluginEval是缓解现有函数调用基准局限的两阶段诊断基准，可细粒度归因错误，评估显示不同模型在难度级别和错误类别中存在性能差异，且其LLM判断器与人类标注一致性良好。

SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators

SurveyReview：面向综述评估者的审稿人对齐基准

Yuheng Zhang, Yuanchun Wang, Fanjin Zhang, Ruyu Zhao, Juanzi Li, Jie Tang, Jing Zhang

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有LLM评估综述未与人类审稿人对齐的问题，提出SurveyReview基准及SurveyAlign基线，大幅提升自动评估与人类审稿人的对齐程度，为该领域提供参考。

CEDAR: Agent-Orchestrated Tree Search for Goal-Directed Optimization of Complex Systems

CEDAR：面向复杂系统目标导向优化的智能体编排树搜索算法

Yingtao Tian

机构 * Sakana AI 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对复杂系统目标导向设计的难题，提出基于LLM智能体的CEDAR方法，通过LLM驱动的MCTS实现复杂系统的目标导向发现，减少人力投入并促进其跨领域应用。

Comments Accepted as Talk in ALIFE 2026: The 2026 Conference on Artificial Life

Evolving Parallel Algorithm Portfolios via Potential-Aware Instance Generation with LLMs

基于大语言模型的潜在感知实例生成的进化并行算法组合

Shaofeng Zhang, Shengcai Liu, Zhiyuan Wang, Ke Tang

机构 * Southern University of Science and Technology（南方科技大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对LLM-ACP在少样本组合优化问题中泛化差的问题，提出PIAC框架，通过无需参考解的潜在增益指标和大语言模型生成多样实例，在TSP、CVRP上较基线实现显著性能提升。

Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents

面向规则密集型国家标准文档评审的大语言模型基准测试与增强

Tao Wang, Qihao Yang, Rongjiao Liang, Lianghong Lin, Haitao Wang, Xinyu Cao, Tianyong Hao

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对规则密集型国家标准文档评审推出首个基准GB/T-Bench，提出多智能体框架GB/T-Reviewer，实验显示其大幅缩小了LLM与专家在该任务上的能力差距，为高风险文档领域可信AI奠定基础。

EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning

EnvACE：通过世界预演内化环境动态以实现智能体强化学习

Zishan Xu, Zhiyuan Yao, Yuxin Chen, Yifu Guo, Zhengxi Lu, Yuquan Lu, Jinyang Huang, Yan Xu, Yasheng Wang, Weinan Zhang, Xingshan Zeng, Weiwen Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； Sun Yat-sen University（中山大学） ； Central South University（中南大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tencent Inc.（腾讯公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出 EnvACE 方法，以世界预演替代外部环境交互训练 LLM 智能体，在多基准测试中性能优于基线，可突破外部环境约束扩展 LLM 智能体训练。

$S^3$: Improving Agent Safety through Multi-Stage Defense

$S^3$：通过多阶段防御提升智能体安全性

Zibo Xiao, Haoyu Wang, Jun Sun

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对LLM智能体工作流的跨阶段安全风险问题，提出多阶段防御框架$S^3$，引入阶段特定安全技能，构建MSRB基准，实验显示其安全有效性和效用保留均优于现有基线。

Enhancing LLMs with Context-Specific Knowledge for Mitigating Misinformation in SMEs: A RAG-based Modeling and Analysis

用特定上下文知识增强大语言模型以缓解中小企业的错误信息：一种基于RAG的建模与分析

Md. Samiul Islam, Iqbal H. Sarker, Chadni Islam, Ahmad Mohsin, Ahmed Ibrahim, Helge Janicke

机构 * School of Science, Edith Cowan University（伊迪斯科文大学理学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对中小企业使用LLM时面临的错误信息问题，提出VectorRAG与GraphRAG方法，在LLaMA等模型上验证RAG可提升响应质量，助力可靠决策。

FAVA: Formal Authorization for Verified Agents with Evidence-Backed Permission Graphs

FAVA：基于证据支持的权限图的经验证智能体的形式化授权

Yifan Zhang, Xinkui Zhao, Sai Liu, Hengxuan Lou, Guanjie Cheng, Chang Liu

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 FAVA是一种用于智能体执行的带权限授权框架，通过LLM引导的权限IR、证据支持的权限图和SMT授权器保障安全，在多场景评估中达90.5%决策合规率，可拦截动态违规迹。

PowerAtlas: Towards Electricity-Computing Co-Scheduling for Power Systems

PowerAtlas：面向电力系统的电-计算协同调度

Kaiwen Jiang, Siya Xu, Ziyue Zhu, Chao Yang, Anh Tuan Luu, Haoran Luo

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； State Grid Liaoning Electric Power Co., Ltd.（国网辽宁省电力有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 PowerAtlas是用于电-计算协同调度的LLM智能体框架，整合多类约束生成可行方案，构建含2000个实例的ECBench基准，在11种LLM上验证了有效性。

Comments 17 pages, 9 figures, 5 tables. Code: https://github.com/JAVA-Jiang/PowerAtlas

StealthBench: Measuring Operational Stealth in Autonomous Offensive-Security Agents

StealthBench：衡量自主进攻性安全智能体的操作隐蔽性

Ads Dawson, Adrian Wood

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究人员推出StealthBench基准，通过含三个LLM的评判小组评估自主进攻性安全智能体的OPSEC表现，发现无模型安全成功率超54%，证实OPSEC失败具系统性，该基准用于支持相关智能体开发与监控。

Comments 29 pages, 9 tables, 1 figure, 2 appendices. Code: https://github.com/GangGreenTemperTatum/stealthbench Dataset: https://huggingface.co/datasets/0xmoose/stealthbench Website: https://stealthbench.com

Multi-Agent Debate Strategies: Survey, Taxonomy, and Challenges

多智能体辩论策略：综述、分类与挑战

Quim Motger, Marc Oriol, Jordi Marco, Xavier Franch

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文通过对141项多智能体辩论研究的系统综述，提出三维分类法，揭示领域默认采用狭窄设计模式的问题，将分类法定位为研究图谱与基准框架，未来拟形式化为可执行规范以优化辩论配置。

Comments Under review at ACM Computing Surveys

The Easy Trap: Why LLMs Underestimate Misconception-Driven Difficulty

易陷阱：为何大语言模型低估由误解驱动的难度

Amanda La Hadi, Muhammad Johan Alibasa, Guanliang Chen, A. Taufiq Asyhari

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究发现，用于教育评估难度估计的LLM会系统性低估由学习者误解驱动的数学题难度，提出“易陷阱”现象，其仅能捕捉难度大致排序，无法反映学生实际认知难度。

Comments This paper poster presented on 19th Educational Data Mining Conference 2026

MineValiCoder: Reliable Code Generation with Test Case Quality Mining and Bipartite Graph-Based Mutual Validation

MineValiCoder：通过测试用例质量挖掘和基于二分图的相互验证实现可靠的代码生成

Zhen Zhao, Qihang Yang, Feifei Dai, Xiangfang Li, Bo Li

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对基于大语言模型的测试驱动开发中现有方法的不足，提出MineValiCoder框架，通过测试用例质量挖掘、并行TDD优化和二分图代码-测试相互验证三个模块，有效减轻LLM随机性，提升自动代码生成可靠性，在多基准测试中表现优异。

Comments 12 pages, 3 figures, 7 tables

surprisal is Not a Theory

惊奇值并非一种理论

Andrés Buxó-Lugo, Aniello De Santo, Morgan Grobol, Ryan J. Hubbard, Cassandra L. Jacobs

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究指出惊奇值理论虽被视为计算层面解释，但大语言模型的发展未免除建模者相关表征决策，不加批判使用LLM - 惊奇值会模糊模型承诺，通过分析表明算法和架构选择影响语言模型概率计算，建议相关研究者重新评估概率互换做法。