语言大模型 / LLM

Beyond FLOPs: Benchmarking Real Inference Acceleration of LLM Pruning under a GEMM-Centric Taxonomy

超越FLOPs：基于GEMM中心分类法的LLM剪枝真实推理加速基准测试

Haozhe Hu, Hao Wu, Anhao Zhao, Longwei Ding, Peiran Yin, Yunpu Ma, Xiaoyu Shen

机构 * Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo（宁波数字孪生研究院，东方理工大学（宁波）） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系） ； Munich Center for Machine Learning, LMU Munich（慕尼黑大学机器学习慕尼黑中心） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种基于GEMM维度的剪枝方法分类法，通过统一基准框架系统评估不同剪枝方法在加速-质量帕累托前沿上的表现，发现静态深度剪枝在低质量损失下最优，为LLM剪枝加速提供统一视角。

Comments 22 pages, 14 figures

Locality-Aware Redundancy Pruning for LLM Depth Compression

面向LLM深度压缩的局部感知冗余剪枝

Vincent-Daniel Yun, Youngrae Kim, Woosang Lim, YoungJin Heo, Minkyu Kim, Sunwoo Lee

机构 * University of Southern California（美国南加州大学） ； Neural Superintelligence Lab, MODULABS（MODULABS神经超级智能实验室） ； Seoul National University（首尔国立大学） ； Inha University（釜山大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LoRP，一种基于表示局部性的无训练单次深度剪枝框架，通过引入表示局部性分数（RLS）来识别和剪除冗余层，在多种LLM上提升了困惑度和下游任务准确率。

SecureClaw: Clawing Back Control of LLM Agents

SecureClaw: 夺回对LLM智能体的控制

Yuhan Ma, Stefan Schmid

机构 * TU Berlin（柏林技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对工具使用型LLM智能体的双重安全漏洞，提出双边界架构SecureClaw，在效果汇点实施授权、在读边界实施明文隔离，通过预览-提交协议和可信网关实现安全控制，在多个基准上保持可用性的同时将攻击成功率降至接近零。

Distilling Safe LLM Systems via Soft Prompts for On Device Settings

通过软提示蒸馏安全的设备端LLM系统

Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

机构 * Qualcomm AI Research（高通人工智能研究院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对资源受限设备上部署安全大语言模型（LLM）的挑战，提出基于软提示与蒸馏训练的安全对齐方法，在最小化额外计算开销的同时实现优越的安全-有用性权衡。

Comments Accepted to UAI 2026

Journal ref 42nd Conference on Uncertainty in Artificial Intelligence 2026

Bridging the Agent-World Gap: Text World Models for LLM-based Agents

弥合智能体-世界鸿沟：面向基于LLM的智能体的文本世界模型

Yixia Li, Hongru Wang, Peng Lai, Zhiwen Ruan, He Zhu, Youxin Zhu, Ganlong Zhao, Minda Hu, Yun Chen, Sibei Yang, Peng Li, Jeff Z. Pan, Jia Pan, Guanhua Chen, Yang Liu, Guanbin Li

机构 * Southern University of Science and Technology（南方科技大学） ； University of Edinburgh（爱丁堡大学） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai University of Finance and Economics（上海财经大学） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文系统综述了面向基于LLM的智能体的文本世界模型，围绕形式化框架和智能体生命周期，涵盖基础定义、构建范式、应用（训练时经验合成与推理时规划、验证、适应）及评估，旨在整合该领域并明确设计空间与开放挑战。

Comments Code: https://github.com/sustech-nlp/awesome-text-world-models

STaR-Quant: State-Time Consistent Post-Training Quantization for Diffusion Large Language Models

STaR-Quant：扩散大语言模型的状态-时间一致训练后量化

Xin Yan, Aqiang Wang, Zhenglin Wan, Xingrui Yu, Ivor Tsang

机构 * School of Artificial Intelligence, Beijing Normal University, Beijing, China（北京师范大学人工智能学院） ； Department of Computer Science, National University of Singapore, Singapore（新加坡国立大学计算机科学系） ； Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR), Singapore（科技研究局前沿人工智能研究中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；分类 cs.LG

AI总结 针对扩散大语言模型低比特量化中的状态相关激活差异和时间误差累积问题，提出STaR-Quant框架，通过状态引导激活变换和时间注意力补偿实现高效量化。

Cross-Layer Subspace Coupling for LLM Compression: A Unifying Framework and Its Empirical Limits

跨层子空间耦合用于LLM压缩：一个统一框架及其经验极限

Snigdha Chandan Khilar

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一个统一框架将SVD LLM和Basis Sharing等基于SVD的压缩方法纳入同一优化问题，但实验发现跨层耦合在实用任务中失败，原因是残差流在正向传播中解耦了相邻层，因此逐层优化优于联合优化。

SPECTRA: Revealing the Full Spectrum of User Preferences via Distributional LLM Inference

SPECTRA：通过分布化LLM推理揭示用户偏好的全频谱

Luyang Zhang, Jialu Wang, Shichao Zhu, Beibei Li, Zhongcun Wang, Guangmou Pan, Yang Song

机构 * Carnegie Mellon University（卡内基梅隆大学） ； TikTok Inc.（TikTok公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出SPECTRA方法，将微调后的LLM视为隐式概率模型，通过探测softmax层推断用户偏好的概率分布，有效恢复长尾偏好并提升公平性。

Fairness-Aware and Latency-Controllable Scheduling for Chunked-Prefill LLM Serving

面向分块预填充LLM服务的公平感知与延迟可控调度

Haoxin Liu, Jiayi Wang, Yueshen Xu, Rui Li

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对分块预填充LLM服务中的调度公平性与延迟稳定性问题，提出基于老化策略的动态优先级调度、延迟预测请求调度和主动预填充控制，在NVIDIA GPU和Ascend加速器上实验表明，相比FCFS，平均端到端延迟降低10%以上，P99尾延迟显著减少。

Comments 19 pages, 6 figures

FlexNPU: Transparent NPU Virtualization for Dynamic LLM Prefill-Decode Co-location

FlexNPU: 用于动态LLM预填充-解码共置的透明NPU虚拟化

Jiongjiong Gu, Jianfeng Wang, Zidong Han, Yongqiao Wang, Pengfei Xia, Mingjie Zhang, Hong Liu, Yuanyi Xia, Jiajia Chu, Yifeng Tang, Hui Zang, Xin Yao, Qijie Qiu, Yuzhao Wang, Chuanfei Xu, Lin Zhang, Zhuonan Lai, Hongming Huang, Jiawei Qiu, Gong Zhang, Weipeng Cao, Zhong Ming

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM服务中预填充与解码阶段资源需求互补的问题，提出FlexNPU，一种透明用户空间虚拟化层，通过动态共置调度提升吞吐量并降低TTFT。

Efficient and Stealthy Jailbreak Attacks via Adversarial Prompt Distillation from LLMs to SLMs

通过从大语言模型到小语言模型的对抗性提示蒸馏实现高效且隐蔽的越狱攻击

Xiang Li, Chong Zhang, Jia Wang, Fangyu Wu, Yushi Li, Xiaobo Jin

机构 * Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；SLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出对抗性提示蒸馏（APD）框架，将LLM的越狱能力迁移到SLM，实现高效低资源攻击，在GPT-4上达到96.4%攻击成功率，速度提升3.7倍，参数减少11.3倍。

Comments 24 pages, 3 figures

LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models

LEAP：可学习的端到端无结构剪枝大型语言模型

Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi

机构 * University of Maryland（马里兰大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI、cs.LG

AI总结 本文提出LEAP，一种可学习的端到端无结构剪枝方法，通过伯努利-戈姆贝茨松弛替代传统参数化，提高了无结构剪枝的端到端准确率，实验表明在多个LLM家族上平均提升了零样本准确率。

Comments Accepted at the ICML 2026 Workshop on Resource-Adaptive Foundation Model Inference (AdaptFM)

AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments

AlignFed: 异构边缘环境中大语言模型的对齐感知异步联邦微调

Yan Wang, Ziyi Gao, Rui Wang

机构 * University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出AlignFed框架，通过多阶段语义对齐机制（版本感知更新分组、跨版本语义对齐、公平性感知聚合）解决异步联邦微调中大语言模型在异构边缘环境中的模型漂移、客户端漂移和聚合不公平问题。

Model Multiplicity for Adversarial Detection in Small Language Model Training on Edge Devices

边缘设备上小语言模型训练中对抗检测的模型多重性

Stefan Behfar, Richard Mortier

机构 * Computer Lab, University of Cambridge（剑桥大学计算机实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对边缘设备上分布式微调语言模型易受投毒攻击的问题，提出基于模型多重性的系统级防御，通过旋转或并行训练多个小语言模型并量化其差异来检测异常，实验表明比经典单模型防御更早更可靠地检测投毒。

Beyond Linear Activation Steering: Invertible Latent Transformations for Controlling LLM Behavior

超越线性激活引导：用于控制大语言模型行为的可逆潜在变换

Tuc Nguyen, Thai Le

机构 * Indiana University Bloomington（印第安纳大学伯明顿分校） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出INNSteer框架，通过可逆神经网络将LLM激活映射到潜在空间进行线性控制，再逆变换回原空间，实现非线性、输入依赖的激活引导，在多个模型和基准上优于现有方法。

Comments 36 pages, 7 figures

Efficient Onboard Vision-Language Inference in UAV-Enabled Low-Altitude Economy Networks via LLM-Enhanced Optimization

基于LLM增强优化的无人机低空经济网络高效机载视觉-语言推理

Yang Li, Ruichen Zhang, Yinqiu Liu, Guangyuan Liu, Abbas Jamalipour, Xianbin Wang, Dong In Kim

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院、新加坡国立科技大学） ； The University of Sydney, Sydney, Australia（悉尼大学、澳大利亚悉尼） ； Department of Electrical and Computer Engineering, Western University, London, Canada（电气与计算机工程系、西方大学、加拿大伦敦） ； Department of Electrical and Computer Engineering, Sungkyunkwan University, South Korea（电气与计算机工程系、全州大学、韩国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对无人机低空经济网络中机载视觉-语言模型推理的准确性与通信效率挑战，提出分层优化框架，包括交替分辨率与功率优化算法及大语言模型增强的强化学习轨迹优化方法，有效提升推理性能与通信效率。

FuseFSS: Efficient Secure LLM Inference with Function Secret Sharing

FuseFSS：基于函数秘密共享的高效安全LLM推理

Yuhan Ma, Yong Li, Stefan Schmid

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出FuseFSS编译器，通过统一编译流水线替代逐算子协议设计，实现安全推理中非线性与辅助操作的高效处理，在BERT和GPT模型上取得1.24-1.50倍加速并减少通信与预处理开销。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Context-Fractured Decomposition Attacks on Tool-Using LLM Agents: Exploiting Artifact Provenance Gaps

上下文碎片化解构攻击：利用工具使用LLM代理的工件来源鸿沟

Xiaofeng Lin, Yukai Yang, Daniel Guo, Sahil Arun Nale, Charles Fleming, Guang Cheng

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对工具使用LLM代理，提出上下文碎片化解构（CFD）攻击，利用跨上下文工件来源鸿沟实现多步越狱，成功率提升高达28.3个百分点。

Cost-Aware Speculative Execution for LLM-Agent Workflows: An Integrated Five-Dimension Method

成本感知的LLM-Agent工作流投机执行：一种综合五维方法

Faisal Fareed

机构 * AWS（亚马逊网络服务） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种五维投机执行方法，通过贝叶斯概率估计和成本定价，在LLM-Agent工作流中平衡延迟与成本，并确保无副作用回滚。

Bit-Flip Vulnerability of Shared KV-Cache Blocks in LLM Serving Systems

LLM服务系统中共享KV缓存块的位翻转漏洞

Yuji Yamamoto, Satoshi Matsuura

机构 * Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 研究揭示LLM服务系统中共享KV缓存块的位翻转漏洞，指出其具有静默分歧、选择性传播和持久累积特性，提出基于校验和的防护措施以限制累积损害。

Comments 12 pages, 4 figures. Accepted at SECRYPT 2026 (23rd International Conference on Security and Cryptography). Conference: https://secrypt.scitevents.org/

Efficient Scaling of LLM Training with Flexible Context Parallelism

利用灵活上下文并行实现LLM训练的高效扩展

Yifan Niu, Han Xiao, Dongyi Liu, Wei Zhou, Jia Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对数据异构导致负载不均和通信冗余问题，提出自适应重配置通信组和上下文并行度的FCP策略，实现近线性加速比，最高达1.46倍吞吐提升。

Meeting SLOs, Slashing Hours: Automated Enterprise LLM Optimization with OptiKIT

满足SLO，节省时间：使用OptiKIT实现企业级LLM自动化优化

Nicholas Santavas, Kareem Eissa, Patrycja Cieplicka, Piotr Florek, Matteo Nulli, Stefan Vasilev, Seyyed Hadi Hashemi, Antonios Gasteratos, Shahram Khadivi

机构 * Anonymous Authors（匿名作者） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出OptiKIT分布式LLM优化框架，通过自动化复杂优化流程，为非专家团队提供动态资源分配和流水线执行，实现GPU吞吐量提升2倍以上，降低优化门槛。

Comments Accepted in MLSys 2026

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

Ghosted Layers: 无约束激活对齐用于恢复层剪枝的LLM

Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

机构 * University of Southern California（南加州大学） ； Inha University（inha大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Ghosted Layers方法，通过无约束优化解决层剪枝后激活分布不匹配问题，提升LLM准确性和 perplexity 而不牺牲效率。

Understanding How Enterprises Adopt the Model Context Protocol for LLM-Driven Software Engineering

理解企业如何采用模型上下文协议进行基于LLM的软件工程

Kehui Chen, Yicheng Sun, Jacky Keung, Zhenyu Mao, Xiaoxue Ma

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 通过对20名从业者的访谈，研究企业采用模型上下文协议（MCP）的现状，发现MCP支持跨系统协作和任务解耦，但面临生态系统碎片化、协调困难等问题，并提出标准化和低代码等改进需求。

Comments 12pages, preliminary version accepted at the 26th International Conference on Quality, Reliability, and Security (QRS 2026)

PALUTE: Processing-In-Memory Acceleration via Lookup Table for Edge LLM Inference

PALUTE: 基于查找表的处理-内存加速用于边缘LLM推理

Runyang Tian, Yanru Chen, Weihong Xu, Tajana Šimunić Rosing

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出PALUTE，一种基于查找表的3D DRAM处理-内存加速器，通过垂直组织实现高并行度，降低面积开销，在0.16W功耗下达到1264 TPS吞吐量，能效比CHIME提升12.8倍。

Comments ISLPED 2026 IEEE/ACM International Symposium on Low Power Electronics and Design

SparseX: Efficient Segment-Level KV Cache Sharing for Interleaved LLM Serving

SparseX: 面向交错式LLM服务的高效段级KV缓存共享

Quqing Zhang, Kai Chen, Ning Liao, Zehao Lin, Bo Tang, Feiyu Xiong, Zhiyu Li, Xiaoxing Wang

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 针对长上下文LLM服务中非前缀重复内容导致的缓存效率低问题，提出SparseX，一种基于稀疏Q索引的段级KV缓存共享方法，通过单次前向传播中的稀疏KV重计算恢复跨段上下文交互，实现无额外模型或预处理的缓存复用。

Comments Corrected author metadata only; no changes to the paper content

Topology-Aware LLM-Driven Social Simulation: A Unified Framework for Efficient and Realistic Agent Dynamics

基于拓扑的LLM驱动社交模拟：一种统一框架用于高效且真实的代理动态

Yuwei Xu, Shulun Zhang, Yingli Zhou, Shipei Zeng, Laks V. S. Lakshmanan, Chenhao Ma

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出TopoSim框架，通过整合拓扑结构推理提升社交模拟的效率和真实性，实验显示其在多个框架和数据集上均表现出更优的模拟精度和更低的资源消耗。

dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching

dLLM-Cache：基于自适应缓存的扩散大语言模型加速

Zhiyuan Liu, Yicun Yang, Yaojie Zhang, Junjie Chen, Chang Zou, Qingyan Wei, Shaobo Wang, Yichen Zhu, Linfeng Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对扩散大语言模型推理延迟高的问题，提出一种无需训练的自适应缓存框架dLLM-Cache，通过长间隔提示缓存和基于特征相似性的部分响应更新，实现高效中间计算复用，在保持输出质量的同时大幅降低FLOPs。

Comments Accepted by ICML 2026

Cross-LLM Consistency in Inference: Evidence from Shared Interactions

推理中的跨LLM一致性：来自共享交互的证据

Siyu Lou, Yao Yan, Yuntian Chen, Quanshi Zhang

机构 * School of Computer Science Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Ningbo Key Laboratory of Advanced Manufacturing Simulation Eastern Institute of Technology, Ningbo（宁波市先进制造仿真重点实验室，宁波东方理工大学） ； College of Computer and Information Science Chongqing Normal University（重庆师范大学计算机与信息科学学院） ； SymtrustAI.com ； Eastern Institute of Technology, Ningbo（宁波东方理工大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究发现，不同大型语言模型在相同提示下预测相同目标词时，常共享交互模式，且高级模型一致性更强，共享交互通常阶数更低、正负抵消更弱。

Comments 20 pages, 8 figures

Swift-SVD: Theoretical Optimality Meets Practical Efficiency in Low-Rank LLM Compression

Swift-SVD：在低秩LLM压缩中理论最优与实用效率的结合

Ruoling Qi, Yirui Liu, Xuaner Wu, Xiangyu Wang, Ming Li, Chen Chen, Jian Chen, Yin Chen, Qizhen Weng

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Swift-SVD框架，通过激活感知和闭式压缩方法，在保证理论最优的同时提升实用效率和数值稳定性，实验显示其在压缩精度和端到端压缩时间上有显著优势。

Comments Accepted to ICML 2026