语言大模型 / LLM

FeatureBench: Benchmarking Agentic Coding for Complex Feature Development

FeatureBench: 评估代理编码在复杂特性开发中的性能

Qixing Zhou, Jiacheng Zhang, Haiyang Wang, Rui Hao, Jiahe Wang, Minghao Han, Yuxue Yang, Shuzhe Wu, Feiyang Pan, Lue Fan, Dandan Tu, Zhaoxiang Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 FeatureBench通过基于执行的评估协议和自动化任务收集方法，评估代理在复杂特征开发中的性能，发现先进模型在该基准上表现有限，为提升代理编码能力提供新机会。

Comments Accepted by ICLR 2026

Copyright Detective: A Forensic System to Evidence LLMs Flickering Copyright Leakage Risks

版权侦探：一种用于证据LLM闪烁版权泄露风险的取证系统

Guangwei Zhang, Jianing Zhu, Cheng Qian, Neil Gong, Rada Mihalcea, Zhaozhuo Xu, Jingrui He, Jiaqi Ma, Yun Huang, Chaowei Xiao, Bo Li, Ahmed Abbasi, Dongwon Lee, Heng Ji, Denghui Zhang

机构 * Pine AI ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Duke University（杜克大学） ； University of Michigan（密歇根大学） ； Stevens Institute of Technology（史蒂文斯理工学院） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Notre Dame（圣母大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；prompting(abstract)；分类 cs.CL

AI总结 Copyright Detective 是一种交互式系统，用于检测和可视化LLM输出中的版权风险，通过整合多种检测方法实现系统性审计。

World of Workflows: A Benchmark for Bringing World Models to Enterprise Systems

世界工作流：一个将世界模型引入企业系统的基准

Lakshya Gupta, Litao Li, Yizhe Liu, Sriram Ganapathi Subramanian, Kaheer Suleman, Zichen Zhang, Haoye Lu, Sumit Pasupalak

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 World of Workflows提出一个基于ServiceNow的企业系统基准，揭示前沿LLMs在动态建模中的盲区，并强调基于现实世界建模的可靠性需求。

A Multimodal Manufacturing Safety Chatbot: Knowledge Base Design, Benchmark Development, and Evaluation of Multiple RAG Approaches

多模态制造安全聊天机器人：知识库设计、基准开发及多种RAG方法的评估

Ryan Singh, Austin Hamilton, Amanda White, Michael Wise, Ibrahim Yousif, Arthur Carvalho, Zhe Shan, Reza Abrisham Baf, Mohammad Mayyas, Lora A. Cavuoto, Fadel M. Megahed

机构 * Farmer School of Business, Miami University（Miami大学农业商学院） ； Department of Computer Science and Software Engineering, Miami University（Miami大学计算机科学与软件工程系） ； Department of Engineering Technology, Miami University（Miami大学工程技术系） ； Department of Mechanical and Manufacturing Engineering, Miami University（Miami大学机械与制造工程系） ； Department of Industrial and Systems Engineering, University at Buffalo（University at Buffalo工业与系统工程系） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种多模态制造安全聊天机器人，通过RAG方法实现高准确率、低延迟和低成本的安全培训，展示了其在工业5.0环境中的应用价值。

Comments 25 pages, 5 figures

PhysUniBench: A Multi-Modal Physics Reasoning Benchmark at Undergraduate Level

PhysUniBench: 一个面向本科生层面的多模态物理推理基准测试

Lintao Wang, Encheng Su, Jiaqi Liu, Pengze Li, Jiabei Xiao, Wenlong Zhang, Xinnan Dai, Xi Chen, Yuan Meng, Lei Bai, Wanli Ouyang, Shixiang Tang, Aoran Wang, Xinzhu Ma

机构 * The University of Sydney（悉尼大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Michigan State University（密歇根州立大学） ； Tsinghua University（清华大学） ； Beihang University（北航大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 PhysUniBench是一个面向本科生层面的多模态物理推理基准测试，旨在评估和提升多模态大语言模型在物理问题上的推理能力。

LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks

大语言模型作为黑客：自主Linux提权攻击

Andreas Happe, Aaron Kaplan, Juergen Cito

机构 * TU Wien（维也纳技术大学） ； Deep-Insight AI（深洞察AI） 纠错

专题命中 评测与基准 ：LLM(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出hackingBuddyGPT，通过LLM实现自主Linux提权攻击，评估不同模型在提权任务中的性能，发现GPT-4-Turbo表现优异，接近人类渗透测试员水平。

MapVerse: A Benchmark for Geospatial Question Answering on Diverse Real-World Maps

MapVerse：一个用于在多样化真实世界地图上进行地理问答的基准测试

Sharat Bhat, Harshita Khandelwal, Tushar Kataria, Vivek Gupta

机构 * University of Southern California（南加州大学） ； University of California Los Angeles（加州大学洛杉矶分校） ； University of Utah（犹他大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 MapVerse是一个基于真实世界地图的大规模基准测试，用于评估地理问答任务中的多模态推理能力，揭示了当前VLMs在复杂空间推理任务上的不足。

Following Dragons: Code Review-Guided Fuzzing

跟随龙：基于代码审查的模糊测试

Viet Hoang Luu, Amirmohammad Pasdar, Wachiraphan Charoenwet, Toby Murray, Shaanan Cohney, Van-Thuan Pham

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 EyeQ通过利用代码审查中的开发者智能，指导模糊测试以发现更多安全关键的漏洞。

Multimodal-Wireless: A Large-Scale Dataset for Sensing and Communication

多模态无线：一种大规模数据集用于传感与通信

Tianhao Mao, Le Liang, Jie Yang, Hao Ye, Shi Jin, Geoffrey Ye Li

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文提出多模态无线数据集，用于多模态传感与通信研究，包含高分辨率CSI与多种传感器数据，支持通信与协同感知应用。

OmniDiff: A Comprehensive Benchmark for Fine-grained Image Difference Captioning

OmniDiff: 一个全面的细粒度图像差异描述基准

Yuan Liu, Saihui Hou, Saijie Hou, Jiabao Du, Shibei Meng, Yongzhen Huang

机构 * School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 OmniDiff提出一个全面的细粒度图像差异描述基准，结合多模态大语言模型与插拔式多尺度差异感知模块，提升跨场景差异识别性能。

Algorithmically Establishing Trust in Evaluators

算法上建立评估者的信任

Adrian de Wynter

机构 * Microsoft（微软公司） ； The University of York（约克大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出无数据算法，通过连续挑战建立评估者信任，无需标注数据，适用于低资源语言标注场景。

See, Plan, Snap: Evaluating Multimodal GUI Agents in Scratch

见、计划、快照：评估Scratch中的多模态GUI代理

Xingyi Zhang, Yulei Ye, Kaifeng Huang, Wenhao Li, Xiangfeng Wang

机构 * Tongji University（同济大学） ； East China Normal University（华东师范大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 本文提出ScratchWorld基准，用于评估多模态GUI代理在Scratch中的程序构建能力，揭示了推理与执行之间的显著差距。

PELLI: Framework to effectively integrate LLMs for quality software generation

PELLI：一种有效整合LLMs进行高质量软件生成的框架

Rasmus Krebs, Somnath Mazumdar

机构 * Department of Digitalization, Copenhagen Business School（数字化部门，哥本哈根商学院） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 PELLI框架通过迭代分析提升LLMs在软件生成中的质量，评估五个LLMs在可维护性、性能和可靠性上的表现，揭示提示设计对代码质量的影响。

Comments 15 pages

CIC-Trap4Phish: A Unified Multi-Format Dataset for Phishing and Quishing Attachment Detection

CIC-Trap4Phish: 一种统一的多格式数据集用于钓鱼和Quishing附件检测

Fatemeh Nejati, Mahdi Rabbani, Morteza Eskandarian, Mansur Mirani, Gunjan Piya, Igor Opushnyev, Ali A. Ghorbani, Sajjad Dadkhah

机构 * Canadian Institute for Cybersecurity, Faculty of Computer Science, University of New Brunswick（加拿大网络安全研究所，计算机科学学院，新不伦瑞克大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 CIC-Trap4Phish 提出了一种统一的多格式数据集，用于提升钓鱼和Quishing附件检测的准确性和鲁棒性。

Benchmarks Are Not That Out of Distribution: Word Overlap Predicts Performance

基准不是那么分布外：词重叠预测性能

Woojin Chung, Jeonghoon Kim

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 本研究发现词重叠程度与基准性能呈反比关系，表明基准性能受预训练数据与测试数据之间的词重叠影响，词频统计在其中起重要作用。

ContextBench: A Benchmark for Context Retrieval in Coding Agents

ContextBench: 一种用于编码代理代码上下文检索的基准测试

Han Li, Letian Zhu, Bohan Zhang, Rili Feng, Jiaming Wang, Yue Pan, Earl T. Barr, Federica Sarro, Zhaoyang Chu, He Ye

机构 * Nanjing University（南京大学） ； University College London（伦敦大学学院） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.LG

AI总结 ContextBench通过评估编码代理在问题解决过程中代码上下文的检索能力，揭示了代理在上下文利用上的不足，为改进LLM在软件任务中的推理提供了新的研究方向。

Comments 36 pages, 6 figures, 4 tables

Speech-Audio Compositional Attacks on Multimodal LLMs and Their Mitigation with SALMONN-Guard

针对多模态大语言模型的语音音频组合攻击及其通过SALMONN-Guard的缓解

Yudong Yang, Xuezhen Zhang, Zhifeng Han, Siyin Wang, Jimin Zhuang, Zengrui Jin, Jing Shao, Guangzhi Sun, Chao Zhang

机构 * Tsinghua University（清华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 针对多模态LLMs的安全性，提出SACRED-Bench评估语音音频组合攻击，并通过SALMONN-Guard将攻击成功率降低至20%。

VeriSciQA: An Auto-Verified Dataset for Scientific Visual Question Answering

VeriSciQA：一个用于科学视觉问答的自动验证数据集

Yuyi Li, Daoyuan Chen, Zhen Wang, Yutong Lu, Yaliang Li

机构 * Sun Yat-sen University（中山大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 评测与基准 ：language model(abstract)

AI总结 VeriSciQA通过跨模态验证框架生成并验证高质量科学视觉问答数据集，显著提升开源模型在科学图表问答任务上的表现。

Device-Level Optimization Techniques for Solid-State Drives: A Survey

固态驱动器的设备级优化技术：综述

Tianyu Ren, Yajuan Du, Jinhua Cui, Yina Lv, Qiao Li, Chun Jason Xue

专题命中 评测与基准 ：LLM(abstract)

AI总结 本文综述了固态驱动器的设备级优化技术，涵盖SSD架构、关键挑战及优化方法，旨在推动下一代SSD在性能、耐久性和安全性之间的平衡。

From Pixels to Images: A Structural Survey of Deep Learning Paradigms in Remote Sensing Image Semantic Segmentation

从像素到图像：深度学习在遥感图像语义分割中的结构调查

Quanwei Liu, Tao Huang, Jiaqi Yang, Wei Xiang

机构 * College of Science and Engineering and Centre for AI and Data Science Innovation, James Cook University（科学与工程学院和人工智能与数据科学创新中心，詹姆斯库克大学） ； Department of Forest and Wildlife Ecology, University of Wisconsin-Madison（森林与野生动物生态学系，威斯康星大学麦迪逊分校） ； School of Computing, Engineering and Mathematical Sciences, La Trobe University（计算、工程与数学科学学院，拉特罗布大学） 纠错

专题命中 评测与基准 ：foundation model(abstract)

AI总结 本文系统回顾了深度学习在遥感图像语义分割中的结构演变，从像素到图像的层次化方法，涵盖多种技术并提供可复现的代码库。

Comments 34 pages, 9 figures, 5 tables

Accelerating Streaming Video Large Language Models via Hierarchical Token Compression

通过分层令牌压缩加速流式视频大型语言模型

Yiyu Wang, Xuyang Liu, Xiyan Gui, Xinying Lin, Boxue Yang, Chenfei Liao, Tailai Chen, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； Sichuan University（四川大学） ； Huazhong University of Science and Technology（华中科技大学） ； Sun Yat-sen University（中山大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 STC通过分层令牌压缩技术，显著降低流式视频大语言模型的处理延迟，同时保持高精度。

Comments Code is avaliable at \url{https://github.com/lern-to-write/STC}

On the Use of a Large Language Model to Support the Conduction of a Systematic Mapping Study: A Brief Report from a Practitioner's View

在系统映射研究中使用大型语言模型以支持其开展：一名实践者视角的简要报告

Cauã Ferreira Barros, Marcos Kalinowski, Mohamad Kassab, Valdemar Vicente Graciano Neto

机构 * Federal University of Goiás\ Institute Goiânia Goiás Brazil ； Pontifical Catholic University of Rio de Janeiro\ of Informatics Rio de Janeiro Rio de Janeiro Brazil ； Boston University\ of Computer Science Boston Massachusetts USA ； Federal University of Goiás\ Institute ； Pontifical Catholic University of Rio de Janeiro\ of Informatics ； Boston University\ of Computer Science 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文从实践者视角报告了使用大型语言模型开展系统映射研究的经验，讨论了其在时间节省和数据标准化方面的优势，以及构建提示、幻觉和手动验证等挑战。

Comments 6 pages, includes 2 tables. Submitted and Accepted to the WSESE 2026 ICSE Workshop

Agentic Knowledge Distillation: Autonomous Training of Small Language Models for SMS Threat Detection

代理知识蒸馏：自主训练小型语言模型用于短信威胁检测

Adel ElZemity, Joshua Sylvester, Budi Arief, Rogério De Lemos

专题命中 效率与部署 ：language model(title)；small language model(title)；LLM(abstract)；SLM(abstract)

AI总结 本研究提出代理知识蒸馏方法，通过自主训练小型语言模型实现高效的短信威胁检测，实验显示教师LLM的选择对性能影响显著。

Unveiling Super Experts in Mixture-of-Experts Large Language Models

揭示混合专家大语言模型中的超级专家

Zunhai Su, Qingyuan Li, Hao Zhang, Weihao Ye, Qibo Xue, YuLei Qian, Yuchen Xie, Ngai Wong, Kehong Yuan

机构 * Tsinghua University（清华大学） ； Meituan（美团） ； Xiamen University（厦门大学） ； Nanjing University（南京大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；post-training(abstract)；分类 cs.CL

AI总结 研究揭示了混合专家大语言模型中起关键作用的超级专家，通过分析其影响发现其在数学推理中的重要性，并探讨了压缩这些专家对模型性能的显著影响。

Comments Published as a conference paper at ICLR 2026

Deep Learning-based Method for Expressing Knowledge Boundary of Black-Box LLM

基于深度学习的知识边界表达方法：黑盒大语言模型

Haotian Sheng, Heyong Wang, Ming Hong, Hongman He, Junqiu Liu

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LSCL方法，通过深度学习模型帮助黑盒LLMs准确表达其知识边界，显著提升准确率和召回率。

LLM-Mediated Guidance of MARL Systems

基于大语言模型的多智能体强化学习系统引导

Philipp D. Siedler, Ian Gemp

机构 * Aleph Alpha Research（Aleph Alpha研究机构） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用大语言模型介导的干预，通过自然语言和规则控制器提升多智能体强化学习系统的训练效率和性能。

Evaluating Kubernetes Performance for GenAI Inference: From Automatic Speech Recognition to LLM Summarization

评估Kubernetes性能用于生成式AI推理：从自动语音识别到LLM摘要

Sai Sindhur Malleni, Raúl Sevilla, Aleksei Vasilevskii, José Castillo Lema, André Bauer

机构 * Red Hat（红帽公司） ； NVIDIA（英伟达公司） ； Illinois Institute of Technology（伊利诺伊理工学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了Kubernetes在生成式AI推理中的性能，通过结合Kueue、DAS和GAIE等技术，提升多阶段AI工作流的效率与性能。

Comments A accepted at the 17th International Conference on Performance Engineering

LATA: A Tool for LLM-Assisted Translation Annotation

LATA：一个辅助翻译标注的工具

Baorong Huang, Ali Asiri

机构 * School of Foreign Languages, Huaihua University（怀化大学外语学院） ； Alith University College, Umm al-Qura University（乌姆·阿尔·库拉大学阿利思大学学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 LATA是一个利用大语言模型辅助的翻译标注工具，旨在提高标注效率的同时保持语言学精度，适用于结构差异大的语言对。

ButterflyQuant: Ultra-low-bit LLM Quantization through Learnable Orthogonal Butterfly Transforms

ButterflyQuant: 通过可学习的正交蝴蝶变换实现超低比特LLM量化

Bingxin Xu, Zhen Dong, Oussama Elachqar, Yuzhang Shang

机构 * Bingxin Xu ； Zhen Dong ； Oussama Elachqar ； Yuzhang Shang 纠错

专题命中 效率与部署 ：LLM(title,comments)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ButterflyQuant通过可学习的正交蝴蝶变换实现超低比特LLM量化，有效抑制异常值并提升量化性能。

Comments Replace discrete Hadamard transforms with continuous Butterfly transforms to facilitate the learning of rotation matrices in LLM quantization

BOute: Cost-Efficient LLM Serving with Heterogeneous LLMs and GPUs via Multi-Objective Bayesian Optimization

BOute: 通过多目标贝叶斯优化实现高效的LLM服务

Youhe Jiang, Fangcheng Fu, Eiko Yoneki

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 BOute通过多目标贝叶斯优化实现高效LLM服务，优化路由和部署策略以提升成本效率。

Comments MLSys 2026