语言大模型 / LLM

Bigger Isn't Always Better: A Comparative Evaluation of LLMs for Automated Code Review

更大未必更好：大型语言模型在自动化代码审查中的比较评估

Shivam Pankaj Kumar, Swati Bararia, Kislay Raj

专题命中 评测与基准 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)

AI总结 评估五个LLM在代码审查中的表现，发现较小模型Claude Haiku 4.5以更低成本超越较大模型，并揭示合成数据高估能力、差异大小主导质量等关键发现。

Comments 7 pages, 4 figures, 13 tables, 13 references

Improving Capstone Team Outcomes through Dynamic Skill Matching and Preference Alignment

通过动态技能匹配和偏好对齐改进顶点项目团队成果

Brandon Pardi, Garret Castro, Michael Pisman, Avash Adhikari, Santosh Chandrasekhar

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出三阶段方法，结合学生偏好与项目技能需求，利用大语言模型提取技能要求，通过动态分配算法优化团队组成，提升技能覆盖和偏好满意度。

Comments 15 pages, 3 figures, Accepted to the 12th International Conference on Computational Science and Computational Intelligence (CSCI 2025)

The Hitchhiker's Guide to Program Analysis, Part III: Mostly Harmless LLMs

程序分析漫游指南，第三部分：基本无害的LLMs

Haonan Li, Tianyang Zhou, Manu Sridharan, Hang Zhang, Zhiyun Qian

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 提出Evident系统，将LLM用于构建分析框架，后端形式化验证错误状态不可达，在151个真实警告中正确分类，未漏报任何确认漏洞。

WikiKV: Schema-Evolving Path-Indexed Storage for Hierarchical Knowledge Navigation

WikiKV: 面向层次知识导航的架构演化路径索引存储

Feifei Li, Haoliang Ming, Zihan Li, Hang Liao, Xingyu Fan, Xiaoqing Wu, Chenggong Wang, Wenhui Que

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 提出WikiKV，一种专为LLM策展层次知识库设计的路径索引键值存储模型，通过数据驱动架构、一致性协议和预算导航算子，实现低延迟查询和渐进式答案优化。

Comments 14 pages, 5 figures

Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

评估LLMs在Android应用中的混淆检测与分类能力

Luca Ferrari, Marco Alecci, Jordan Samhi, Tegawende' F. Bissyande', Jacques Klein, Mariano Ceccato, Luca Verderame

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究通过大规模实验评估大型语言模型（LLMs）在无需手工规则或训练的情况下，通过语义推理检测Android应用中的代码混淆，并与现有SAST方法对比。

Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

重新思考LLMs的心理测量评估：自我报告何时以及为何能预测行为

Rafal Kocielnik, Pengrui Han, Peiyang Song, Myrl G. Marmarelis, Ramit Debnath, Dean Mobbs, Anima Anandkumar, R. Michael Alvarez

机构 * Caltech（加州理工学院） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究对比大五人格与计划行为理论，发现LLMs的自我报告-行为一致性存在选择性：在共享对话中TPB达到人类水平，跨对话仅对锚定于训练的行为保持一致性，且角色提示不能使行为对齐。

Comments Accepted as an Oral (Contributed Talk) at the ICML 2026 Workshop on Combining Theory and Benchmarks (CTB)

ECHO: Explainable Co-editing with Human-in-the-loop Operations for Presentation Refinement

ECHO: 基于人在环操作的可解释协同编辑用于演示文稿优化

Yu Fu, Yongqi Kang, Yujia Zhou, Yong Zhao

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；language model(abstract)；foundation model(abstract)

AI总结 针对演示文稿创作中用户缺乏细粒度控制的问题，提出ECHO系统，通过多模态意图理解和可解释操作计划，结合“自然语言+视觉选择”范式和解耦的“计划-确认-执行”循环，实现可控的局部编辑，显著降低认知负荷并提升意图映射与空间定位准确率。

Empirical Study for Structured Output Control in LLMs for Software Engineering

软件工程中大语言模型结构化输出控制的实证研究

Yewei Song, Prateek Rajput, Tiezhu Sun, Saad Ezzini, Tegawendé F. Bissyandé, Jacques Klein

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 针对LLM在软件工程中输出格式不匹配问题，提出TTMG方法消除语法错误，但结构性和语义错误仍存在，表明核心瓶颈超越语法格式化。

Comments 35 pages

ATTAIN: Automated Exploit Failure Analysis through Trace-Driven Diff Analysis

ATTAIN: 通过轨迹驱动的差异分析实现自动化漏洞利用失败分析

Xinwei Mao, Zirui Chen, Xing Hu, Xin Xia

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 提出ATTAIN框架，通过轨迹驱动差异分析自动评估库版本中的漏洞存在性，结合LLM搜索相关变更，F1达93.24%，优于现有方法。

Comments Accepted by Internetware2026

Identifying unique developers in OSS projects: A family of models

识别OSS项目中的唯一开发者：一系列模型

Ruoyu Su, Alexander Bakhtin, Matteo Esposito, Davide Taibi, Valentina Lenarduzzi

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 针对开源项目中开发者别名导致耦合度量失真问题，提出基于Indel相似度和LLM辅助匹配的流水线，训练并比较多种机器学习模型，以平衡精度与计算开销。

Comments ACCEPTED REGISTERED REPORT AT ESEM (CORE A*) 2026

Empirical Study on the Characteristics and Evolution of AI-usage in GitHub Repositories: Evidence from Code Comments

GitHub仓库中AI使用特征与演化的实证研究：来自代码注释的证据

Abdullah Al Mujahid, Preetha Chatterjee, Mia Mohammad Imran

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 通过分析35,361条提及AI的GitHub代码注释及后续提交，发现开发者主要用LLM实现代码，随后频繁重构、集成和修复，AI引用从代码生成转向知识支持和代码增强。

Comments Preprint version

Natural Language Access Control (NLAC): From Help Desk Requests to Structured Policies

自然语言访问控制（NLAC）：从帮助台请求到结构化策略

Jonas Wessner, Tobias Meuser, Janek Schoffit, Dennis Eisermann, Johannes Deger, Björn Scheuermann, Frank Kargl

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 提出基于LLM的自然语言访问控制架构NLAC，通过嵌入相似度提取子图将策略翻译准确率提升至98.7%，并降低推理成本。

Cross-Dialect Generalization Without Retraining: Benchmarks and Evaluation of Schema-Derived Constrained Decoding for MLIR

无需重新训练的跨方言泛化：MLIR 的模式派生约束解码基准测试与评估

Plawan Kumar Rath

机构 * Meta 纠错

专题命中 评测与基准 ：SLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究在 MLIR 中能否用从方言操作定义规范派生的推理时先验替代梯度适应，发布跨三种方言的基准测试集，构建三层模式派生约束栈，实验表明在部分方言上新模式能让模型在速度和验证有效率上超越其他模型，并发布相关资源。

Comments 27 pages (9 main + bibliography + appendix), 9 figures, 9 tables. Code, benchmarks, and reproducibility Docker image at https://github.com/plawanrath/slm-to-mlir-constrained-emitter

LiveHouse-TS: An Open-world Living Benchmark for Time Series Foundation Models

LiveHouse-TS：面向时间序列基础模型的开放世界动态基准

Haomin Wen, Ziyu Zhou, Qingxiang Liu, Siru Zhong, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出首个面向时间序列基础模型（TSFMs）的开放世界动态基准LiveHouse-TS，通过序贯评估发现静态基准的模型排名在动态环境下会剧烈变化，为评估TSFMs的长期鲁棒性提供了新框架。

Which Source Wins? Task-Dependent Reliance in Vision-Language Models

哪个来源更胜一筹？视觉-语言模型中依赖关系的任务依赖性

Rodela Ghosh, Aviral Gupta, Guangjing Wang

机构 * University of South Florida（南佛罗里达大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究探究视觉-语言模型的模态依赖，通过构建算术与图表冲突基准，发现其依赖关系随任务、证据结构等变化，不同模型在对应基准中呈现相反的模态依赖模式。

Comments 20 pages. Under review

Diagnosing Dense Same-Class Attribute Misbinding in Large Vision-Language Models

诊断大视觉语言模型中的密集同类属性绑定错误

Yuanzhi Xu, Qian Gao, Jun Fan, Guohui Ding, Zhenyu Yang, Yuteng Xiao, Sixue Lin

机构 * Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）） ； China Telecom Digital Intelligence Technology Co., Ltd.（中国电信数字智能科技有限公司） ； Shenyang Aerospace University（沈阳航空航天大学） ； University of Nottingham Ningbo China（宁波诺丁汉大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究提出InstaBind-Lite基准，量化大视觉语言模型的密集同类属性绑定错误（DSCAM），发现其错误率被总准确率掩盖，多数转移来自相邻实例，该基准可评估模型对属性所属实例的认知。

ARENA: Automated Red-Teaming for Large Audio Language Models

ARENA：大型音频语言模型的自动化红队测试

Jiaming He, Zhicong Huang, Tian Jin, Zhen Sun, Cheng Hong, Yi Yu, Wenbo Jiang, Xudong Jiang

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出ARENA闭环框架，基于2000个文本-音频数据集训练控制器，在520个AdvBench目标上对多个LALMs实现高FDR/PSR，验证了其在音频红队测试中的有效性。

NumerosityVLM: A Cognitively Inspired Benchmark for Interpreting Numerosity Representations in Vision-Language Models

NumerosityVLM：一种受认知启发的、用于解释视觉-语言模型中数量表征的基准测试

Yiming Fu, Fangjun Li, Xiujin Liu, Ruidong Ma, Hang Yu, Zhichen Lu, Kanwei He, Alessandro Di Nuovo, Angelo Cangelosi, Zhegong Shangguan

机构 * The University of Manchester（曼彻斯特大学） ； University of Michigan（密歇根大学） ； Sheffield Hallam University（谢菲尔德哈勒姆大学） ； Tufts University（塔夫茨大学） ； ENSTA, Institut Polytechnique de Paris（巴黎综合理工学院国立高等先进技术学校） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 研究针对视觉-语言模型数量感知研究的基准缺陷，提出受认知启发的NumerosityVLM基准，评估7个模型发现架构对性能影响最大，数量信号出现在视觉编码器早期，差异主要来自语言模型组件。

Local and Global Regimes of Geometric Complexity in Language Model Representations

语言模型表示中几何复杂度的局部与全局 regime

Arwa Osman, Marco Baroni, Iuri Macocco

机构 * Universitat Pompeu Fabra (UPF)（庞培法布拉大学（UPF）） ； ICREA（加泰罗尼亚研究与高级研究所（ICREA）） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究探讨词汇多样性对语言模型本征维度（ID）估计的影响，发现其存在尺度依赖的局部与全局 regime 转变，推导了反转点公式，为LLMs内部流形结构研究提供了新视角。

Comments 12 pages, 9 figures

Measuring Cross-Task Behavioral Consistency in Language Model Agents

测量语言模型智能体的跨任务行为一致性

Amritesh Banerjee, Pranil Raichura

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Mantis AI Research（螳螂人工智能研究院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出行为一致性指标（BCM），通过约9000条软件工程任务轨迹发现语言模型智能体的跨任务与任务内一致性是可分化的不同维度，且一致性与成功率无关，BCM可补充结果指标评估智能体。

SkillShapley: Boundary-Adaptive Shapley Valuation for Skill Step Attribution in LLM Agents

SkillShapley：面向大语言模型智能体技能步骤归因的边界自适应夏普利值评估方法

Chang Liu, Yuqi Zhang, Yiman Zhong, Boyi Liu, Hengjun Wang, Shuyue Wei

机构 * Beihang University（北京航空航天大学） ； Shandong University（山东大学） 纠错

专题命中 评测与基准 ：LLM(title)；language agent(abstract)；分类 cs.AI

AI总结 SkillShapley是面向大语言模型智能体技能步骤归因的框架，将技能步骤归因建模为夏普利值估计问题，经SkillsBench实验可高效识别技能步骤价值，为智能体技能构建提供启示。

Comments 15 pages, 4 figures

Orientation, not magnitude: the causal structure of task-vector interference in merged language models

方向，而非幅度：合并语言模型中任务向量干扰的因果结构

Chencheng Zhu

机构 * UNSW Sydney（新南威尔士大学悉尼分校） 纠错

专题命中 评测与基准 ：language model(title)；LLM(abstract_cn)；分类 cs.LG

AI总结 该研究发现合并语言模型的任务向量干扰核心是方向而非幅度，沿该因果方向擦除可剂量依赖性消除干扰，且预先注册了所有46项预测并如实报告证伪结果。

CT-$Δ$Bench: A Benchmark for Longitudinal 3D Medical Imaging Difference Reporting with Vision-Language Models

CT-ΔBench：基于视觉语言模型的纵向3D医学影像差异报告基准

Kegeng Tang, Jingbo Wang, Shaogang Ren, Zihao Wang

机构 * University of Tennessee at Chattanooga（田纳西大学查塔努加分校） 纠错

专题命中 评测与基准 ：language model(title)；foundation model(abstract)；分类 cs.CL

AI总结 本文针对现有医学基础模型缺乏纵向影像差异处理能力的问题，构建了专用基准CT-ΔBench，开发感知变化指标与医师验证流程，对比不同推理方式并提出基线模型DeltaMed，为时间感知医学基础模型奠定基础。

Comments Accepted by COLM 2026

Optimal Stopping of Self-Refining Foundation Models

自优化基础模型的最优停止

Kim Hammar, Tansu Alpcan, Emil C. Lupu

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文将基础模型的自优化过程形式化为最优停止问题，推导可高效计算的最优停止策略，实验表明该策略在编码基准上比现有方法成本效益更高。

Comments Accepted at 65th IEEE Conference on Decision and Control (CDC 2026)

RLMOpt: Adaptive Prompt Optimization via Recursive Language Models

RLMOpt：基于递归语言模型的自适应提示优化器

Subhash Bangalore Satheesha, Nirvik Pande, Deepthi Duddempudi, Bharath Dandala

机构 * Autonomize AI ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究提出基于递归语言模型（RLM）的自适应提示优化器RLMOpt，在四个基准上相比GEPA表现更优，效率更高且提示更小。

VisEditBench: Can Vision-Language Models Edit Visualization Code from Multimodal Feedback?

VisEditBench：视觉语言模型能否基于多模态反馈编辑可视化代码？

Mizanur Rahman, Arshia Azimlu, Shadikur Rahman, Md Tahmid Rahman Laskar, Amran Bhuiyan, Shafiq Joty, Enamul Hoque Prince

机构 * York University（约克大学） ； Nanyang Technological University（南洋理工大学） ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究推出可视化代码编辑基准VisEditBench，评估20种VLMs的编辑能力，提出基于渲染的VisEditAgent框架，显著提升了编辑任务的通过率。

RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance

RynnValue：基于时间距离扩展机器人价值基础模型

Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

机构 * DAMO Academy, Alibaba Group（达摩院（阿里巴巴集团）） ； Hupan Lab（湖畔实验室） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 该研究提出开源机器人价值基础模型 RynnValue，以时间距离为监督目标，在多维度超越现有方法，可提升机器人策略的真实世界任务成功率并实现零样本泛化。

Comments 23 pages, 5 figures

The Scaffolding Matters More Than the Interface: A Controlled Comparison of MCP and CLI Tool Use Across Seven Agent Scaffoldings, Five Language Models, and One Software Task

脚手架比接口更重要：在七种智能体脚手架、五种语言模型和一项软件任务中对MCP与CLI工具使用的对照比较

Marc Alier Forment, María José Casañ Guerrero, Francisco José García-Peñalvo, Juanan Pereira

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 该研究通过对照实验发现，智能体脚手架对AI编码智能体的工具使用成本影响远大于接口，MCP并非必要，且智能体常忽略分配的接口，相关数据已开源。

Comments 29 pages, 4 figures, 8 tables. Companion methodology paper: arXiv:2606.11869. Dataset and measurement harness (open source, GPL-3.0): https://doi.org/10.5281/zenodo.21851992

FemWear: A Specialized Wearable Foundation Model for Women's Health

FemWear：面向女性健康的专用可穿戴设备基础模型

Yifan Wang, Chenzhong Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出面向女性健康的专用可穿戴基础模型FemWear，通过参数高效方式改造预训练主干，在女性健康相关指标上取得性能提升，但未确立普遍优势与临床有效性。

Comments 11 pages, 4 figures

TeXFix-Bench: An Empirically Grounded Multi-Format Benchmark for LLM-Based Document Source Repair

TeXFix-Bench：面向基于大语言模型的文档源代码修复的经验驱动多格式基准

Prajwal S. Venkateshmurthy

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 该研究构建了基于经验故障分类法的多格式文档修复基准TeXFix-Bench，通过实验发现仅编译成功率会高估修复质量，Typst修复难度高于LaTeX和Markdown，并发布了相关分类法与工具。

Comments 9 pages, 4 figures, 9 tables. Artifacts: https://doi.org/10.5281/zenodo.21831797