语言大模型 / LLM

Beyond FLOPs: Energy-Aware Knowledge Distillation for Sustainable LLMs on Code-Related Task

超越FLOPs：面向代码相关任务的可持续大语言模型的能量感知知识蒸馏

Enrique Barba Roque, Luís Cruz, Annibale Panichella

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对代码相关任务，发现FLOPs并非可靠的能耗指标，提出结合能量代理模型的Morph知识蒸馏方法，可将学生模型推理能耗降90%、内存降86%，实现LLMs的可持续部署。

PWLR: Pairwise Witness Local Rejection for Boundary-Aware Out-of-Distribution Detection

PWLR：用于边界感知分布外检测的成对见证局部拒绝

Chengyao Jia, Ruixuan Wang

机构 * Guangdong Provincial Key Laboratory of Stomatology（广东省口腔医学重点实验室） ； Key Laboratory of Machine Intelligence and Advanced Computing, MOE（教育部机器智能与先进计算重点实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.LG

AI总结 针对视觉语言检测器极少用语言作为混淆ID类别边界证据的问题，提出PWLR方法，结合MLLM生成的局部线索与全局类别得分，在多基准上改进了视觉语言基线的OOD检测性能。

Comments Accepted by ACM MM 2026

Tripwire: Triggering Aligned Refusal via Statistically Certified Safety Neurons

Tripwire：通过统计验证的安全神经元触发对齐后的拒绝行为

Wei Zhao, Zhe Li, Peixin Zhang, Jun Sun

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出无需训练的Tripwire防御方法，通过统计验证安全神经元触发对齐拒绝，将攻击成功率降至最高2.0%，MT-Bench实用性下降仅0.5%-5.3%，为最优防御之一。

Temporally Grounded Compositional Camera Motion Understanding via Geometric Knowledge Distillation

基于几何知识蒸馏的时序锚定组合式相机运动理解

Dazhao Du, Shiyan Du, Jian Liu, Yongjian Yu, Bohai Gu, Tao Han, Hualuo Liu, Eric Liu, Yujia Zhang, Xi Chen, Song Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Tencent（腾讯） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本研究提出CamDistill方法，通过几何知识蒸馏实现时序锚定的组合式相机运动理解，推出含4229个片段的CamChoreo基准，提升了相机运动识别的细粒度与效率。

SiriusDeliver: Automating Data Warehouse Delivery at Tencent

SiriusDeliver：腾讯的数据仓库交付自动化方案

Haining Xie, Xiaokai Zhou, Jiaming Yang, Siqi Shen, Ziwei Wang, Yifeng Zheng, Tengyue Xu, Yipeng Shi, Zefang Zong, Yang Li, Peng Chen, Jie Jiang, Debiao He, Xiao Yan, Jiawei Jiang

机构 * TEG, Tencent Inc.（腾讯公司TEG） ； Wuhan University（武汉大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 腾讯提出SiriusDeliver端到端交付自动化智能体，集成三类组件，经离线实验和腾讯云WeData大规模部署验证，可显著提升DW交付的成功率、效率，缩短交付时间与工程师工作量。

Comments 13 pages, 13 figures, 3 tables. Under submission

SwiftQK: Fast and Communication-Efficient Tensor Parallelism for Query-Key Normalization

SwiftQK：面向查询-键归一化的快速且通信高效的张量并行方法

Gyudong Kim, Wonjun Han, Young Geun Kim

机构 * Korea University（高丽大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SwiftQK是一种多GPU的RMSNorm核，通过仅交换标量归一化统计量并重叠归约与计算，大幅降低了张量并行下查询-键归一化的通信开销与延迟，提升了大型语言模型的推理效率。

RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer

RP-OPSD：基于推理枢轴引导的多语言推理迁移在线策略自蒸馏

Xinye Wang, Junxiao Liu, Shujian Huang

机构 * Nanjing University（南京大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对多语言推理迁移中现有在线策略自蒸馏未优先考虑关键推理信号的问题，提出 RP-OPSD 方法，利用教师视图分布偏移引导特权蒸馏，在 17 种语言的数学推理基准上优于基线，提升了多语言推理能力。

Comments 16 pages. Under review

Token-Level Diagnosis of Sycophancy in LLMs with Attribution-Guided Steering

基于归因引导调控的大语言模型谄媚行为的令牌级诊断

Hieu Nguyen, Mahammed Kamruzzaman, Anshuman Chhabra, Gene Louis Kim

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究针对大语言模型的谄媚行为，提出基于集成梯度的权威份额指数进行令牌级归因诊断，构建调控向量实现推理时无重训的谄媚缓解，使最极端案例的谄媚率从96%降至25%。

Fidelity Is Not Safety: Gently-Compressed LLMs Pass Every Data-Free Quality Guard Yet Invent Procedure Steps in Agentic Execution

保真度≠安全性：轻度压缩的大语言模型通过所有无数据质量防护，但在智能体执行中生成指令中不存在的流程步骤

I. Kennedy, T. Kennedy

专题命中 效率与部署 ：LLM(summary_cn)；language model(abstract)；分类 cs.CL

AI总结 该研究发现轻度压缩LLM虽通过困惑度、MMLU等无数据质量防护，但在智能体执行SOP时会生成指令外流程步骤，提出基于压缩误差双轴统计量的无数据筛查方法以保障智能体安全。

Contrastive Reinforced Policy Optimization via Privileged Self-Distillation

基于特权自蒸馏的对比强化策略优化

Xingjian Wu, Junlin Liu, Xingchen Liu, Xuhang Zhu, Jianing Wang, Linsen Guo, Xiaoyu Li, Xuezhi Cao, Xunliang Cai

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 该研究针对在线策略自蒸馏的暴露偏差问题，提出CRPO方法，通过对比学习与分组对比保留优化信号，在13个推理基准上提升了训练稳定性与泛化性。

Kalman Meets Curriculum: Efficient Dynamic Prompt Selection for Adaptive RL Finetuning

卡尔曼与课程学习结合：面向自适应RL微调的高效动态提示选择

Haodong Zhu, Yangyang Ren, Yanjing Li, Sheng Xu, Haiguang Liu, Linlin Yang, Baochang Zhang

机构 * Beihang University（北京航空航天大学） ； Zhongguancun Academy（中关村学院） ； Nanyang Technological University（南洋理工大学） ； Communication University of China（中国传媒大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出KGPS方法，将提示选择转化为动态状态估计问题，适配RL训练动态，在多推理基准和RL算法上较基线提升准确率与rollout效率，在在线提示选择中达最优。

OmniQEC: discovering practical quantum error-correcting codes by an AI scientist

OmniQEC：通过人工智能科学家发现实用的量子纠错码

Ge Yan, Shanchuan Li, Pengyue Ma, Qixin Zhang, Pingchuan Ma, Jianping Wang, Min-Hsiu Hsieh, Yuxuan Du

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Tokyo University of Agriculture and Technology（东京农工大学） ； Zhejiang University of Technology（浙江工业大学） ； City University of Hong Kong（香港城市大学） ； Hon Hai (Foxconn) Research Institute（鸿海研究院） ； School of Physical and Mathematical Science, Nanyang Technological University（南洋理工大学物理与数学科学学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究旨在发现实用量子纠错码，核心方法是用OmniQEC，它结合自我进化推理与慢快协同工作流程，通过代码级代理探索候选方案并经电路级评估反馈证据。贡献是发现的代码性能优且硬件友好，为大语言模型辅助量子纠错发现奠基。

Comments Comments are welcome

Scaling Native Multimodal Pre-Training From Scratch

从零开始扩展原生多模态预训练

Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） ； LLM Department, Tencent（腾讯大语言模型部） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL

AI总结 研究在固定计算预算下训练基于Transformer的视觉语言模型的最优模型大小和token数量，发现语言和多模态目标扩展行为不同，推导效率前沿，还表明原生多模态预训练能促进跨模态转移，为扩展多模态基础模型奠定基础。

Enhancing SLMs for Sustainable Code Optimization in Radio-Astronomy

增强小型语言模型以实现射电天文学中的可持续代码优化

Elisa Chiarotto, Jingbo Li, P. Chris Broekema, Rob V. van Nieuwpoort

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；small language model(abstract)；分类 cs.AI

AI总结 研究利用小型语言模型（SLMs）优化射电天文学代码，通过多采样生成策略和纳入编译器反馈两种方式增强SLMs，提高代码生成质量和性能，用更少计算资源匹配或超越大型单生成模型，且使所有测试模型持续改进。

HARP: The Human--AI Research Platform

HARP：人机人工智能研究平台

Zeshu Zhu, Natalie Friedman, Kevin Weatherwax, Emily Eiben

机构 * BTPX Innovation Lab（BTPX创新实验室） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究旨在设计人机人工智能研究平台（HARP），通过让参与者在可控模拟场景中与可配置实时人工智能代理互动，研究人员可控制多种因素并记录相关数据，能系统测试人工智能设计选择对用户的影响。

Comments 5 pages, 3 figures, SAP Academic Community Conference North America, 2026

Twin Agent: Context Residual Compression for Privilege Separated Agents

孪生智能体：用于特权分离智能体的上下文残差压缩

Zhanhao Hu, Dennis Jacob, Xiao Huang, Zhaorun Chen, Bo Li, David Wagner

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Chicago（芝加哥大学） ； University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对大语言模型智能体易受安全风险问题，提出孪生智能体模式，由探索和安全智能体组成，通过探索智能体传递紧凑提示，减少信息需求，在保持高任务效用的同时防止提示注入攻击，优于其他基线。

Rationale-Guided Knowledge Distillation for Cross-Lingual Stance Detection

用于跨语言立场检测的基于理由引导的知识蒸馏

Qiuli Zhou, Jingyuan Yao, Shengeng Tang, Hongzhi Chen, Jun Tang, Richang Hong

机构 * School of Foreign Studies, Hefei University of Technology（合肥工业大学外国语学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院） ； Hefei Institute of Technology（合肥学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 针对跨语言立场检测中现有方法忽视推理过程及大语言模型存在局限性的问题，提出基于理由引导的知识蒸馏框架，用思维链提示引导大语言模型生成理由并提炼知识至学生模型，设计双路径蒸馏机制及对比学习策略，实验证明该方法优于基线。

Comments 23 pages, 7 figures, 3 tables

Program Synthesis for Simulation-Based Inference: Joint Model Selection and Parameter Estimation

基于仿真推理的程序合成：联合模型选择与参数估计

Siddharth Mishra-Sharma

机构 * Anthropic 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究提出结合大语言模型与神经仿真推理的框架，用于联合模型选择与参数估计。给定自然语言描述，大语言模型提出候选程序，经反馈驱动变异和神经密度估计评估，能在一组模型上推理，在多基准测试中可从提示识别合理模型族。

Comments 15+7 pages, 4+2 figures

Autonomous Discovery of Wireless Communications Algorithms

无线通信算法的自主发现

Fayçal Aït Aoudia, Jakob Hoydis, Sebastian Cammerer, Gian Marti, Merlin Nimier-David, Nicolas Roussel, Alexander Keller

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究旨在探索大语言模型驱动的进化搜索在无线通信算法自主发现中的应用，通过AITE框架解决复杂通信问题，在两个物理层任务中取得成果，展现了该方法在发现下一代无线通信算法上的潜力。

D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding

D-cut：用于批量推测解码的自适应验证深度剪枝

Tianyu Liu, Yuhao Shen, Rui Cen, Junhan Shi, Jiebin Zhang, Guangshuo Qin, Hong Liu, Song Liu, Guanghua Yu, Jianchen Zhu

机构 * Tencent（腾讯） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对高并发下推测解码中长草稿浪费计算资源问题，提出D-Cut自适应剪枝方法，跨批次联合选草稿令牌，依接受长度差异和运行时成本模型自适应调整，实验表明该方法能显著提升加速比。

ExaGEMM: Exploration Framework for CPU-Driven ML Inference via Associative In-Register Computing for Low-Bit GEMM

ExaGEMM：通过用于低位GEMM的关联寄存器内计算实现CPU驱动的ML推理的探索框架

Hyunwoo Oh, Suyeon Jang, Hanning Chen, Sanggeon Yun, Ryozo Masukawa, Mohsen Imani

机构 * University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 研究低位GEMM在CPU上的适配问题，提出ExaGEMM框架，通过寄存器驻留查找表执行及分析模型共同探索参数化内核和SIMD ISA支持，缩减候选空间，经验证可大幅提升推理延迟，凸显工作负载感知前沿选择对混合精度LLM工作负载的重要性。

Comments Accepted to ICCAD 2026

WaterMoE: Expert-Routing-based Watermarking for High Fidelity and Efficiency

WaterMoE：基于专家路由的高保真高效水印技术

Z Sun, Q Jiang, S Sheng, L Xiang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Tianjin University（天津大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大型语言模型水印技术实践中模型性能下降和推理开销大的问题，提出WaterMoE方案，通过在专家选择中嵌入水印信号，在推理循环中实现水印嵌入，实验证明其保真性能好、优于现有方法且开销小，可用于实际任务。

Comments 21 page

HCRMap: Pressure-Aware Hot-Expert Residency Mapping for 3.5D MoE Chiplet Inference

HCRMap：用于3.5D MoE小芯片推理的压力感知热专家驻留映射

Yongqin Zhang

机构 * Nanjing Vocational College of Information Technology（南京信息技术职业学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对3.5D MoE推理中专家热度偏差问题，提出HCRMap框架，基于专家热度等因素动态管理专家副本，映射令牌组，有效缓解通信、内存和队列瓶颈，实验显示其能显著降低端到端延迟。

Comments 15 pages, 8 figures, 2 tables

A Unified Detection Framework for AI-Related Content and Artifacts

人工智能相关内容和工件的统一检测框架

Xifeng Zhang, Tao Hu, Yijie Peng, Wan Tian

机构 * School of Mathematical Sciences, Capital Normal University, Beijing 100048, China（数学学院，首都师范大学，北京100048，中国） ； School of Management and Engineering, Nanjing University, Nanjing 210008, China（管理工程学院，南京大学，南京210008，中国） ； Advanced Institute of Information Technology, Peking University（信息科技高级研究院，北京大学） ； Wangxuan Institute of Computer Technology, Peking University, Beijing 100871, China（王炫计算机技术研究院，北京大学，北京100871，中国） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对人工智能相关内容和工件检测问题，提出基于马氏距离分数的统一检测框架。通过开发联合估计方法、提供优化算法并证明收敛性等，有效刻画正类，经实证评估验证了该检测框架的有效性。

Performance Optimization and Comparative Analysis of Generative AI Models on Advanced Accelerators

生成式人工智能模型在先进加速器上的性能优化与比较分析

Amitash Nanda, Javier Hernandez Nicolau, Madhusudan Gujral, Mahidhar Tatineni, Amitava Majumdar, Debashis Sahoo

机构 * University of California San Diego（加州大学圣地亚哥分校） ； San Diego Supercomputer Center（圣地亚哥超级计算机中心） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 针对生成式人工智能模型部署难题，开展系统研究，通过新颖的混合精度训练后量化评估等方法，对多种模型在不同下游任务及跨异构平台进行性能优化与比较分析。

Comments 6 pages, 3 figures

When Agents Lie: Premeditation, Persistence, and Exploitation in Repeated Games

智能体何时撒谎：重复博弈中的预谋、持续性与可利用性研究

Jerick Shi, Terry Jingcheng Zhang, Bernhard Schölkopf, Vincent Conitzer, Zhijing Jin

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Vector Institute（向量研究所） ； University of Toronto（多伦多大学） ； EuroSafeAI 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文针对大语言模型智能体行动前公示意图的诚信问题，设计三阶段n人重复博弈协议，评测前沿模型，发现其偏离公示行为多属预谋，不同模型对公示的语义理解不兼容。

Comments Best Paper Award at ICML NExT-Game Workshop

WPG-MoE: Weak-Prior-Guided Dense Mixture-of-Experts for User-Level Social Media Depression Detection

WPG-MoE：用于用户级社交媒体抑郁症检测的弱先验引导密集专家混合模型

Xian Li, Yuanhe Tian, Yang Yang, Guoqing Wang, Yan Song

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Zhongguancun Academy（中关村科学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究社交媒体抑郁症检测，提出基于共享大语言模型骨干的WPG-MoE框架，通过推导用户级弱语义先验将用户软路由到匹配的专家，以解决单一检测器决策问题，实验表明其性能优于基线。

Comments 23 pages, 8 figures, 26 tables

ELiTeFormer: An Efficient Transformer for FPGAs

ELiTeFormer：一种用于FPGA的高效Transformer

Victor Agostinelli, Nicolas Bohm Agostini, Antonino Tumeo

机构 * Oregon State University（俄勒冈州立大学） ； Pacific Northwest National Laboratory（太平洋西北国家实验室） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对Transformer在FPGA部署的挑战，提出ELiTeFormer架构，统一混合线性注意力与超低精度线性投影，通过新微架构减少资源利用，实现模型和缓存压缩，模拟部署显示有加速效果。

EvoOtter: Evolutionary Reproduction Test Generator

EvoOtter：进化式重现测试生成器

Toufique Ahmed, Jatin Ganhotra, Avraham Shinnar, Martin Hirzel

机构 * IBM 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究如何生成错误重现测试，此前方法成本高且反馈不可靠。新方法EvoOtter通过连续减半控制测试执行成本，用批交叉等控制大语言模型成本，以新适应度分数生成高质量测试，成本低。

Knowledge-Centric Information Systems

以知识为中心的信息系统

Mariano Garralda-Barrio

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 探讨随着大语言模型兴起，组织知识成为可执行基础设施，企业人工智能系统促使向知识架构学科转变，给出概念模型和分类法，阐述相关数据工程保障的重新定义。

Comments Vision paper; 10 pages, 3 figures, 2 tables