语言大模型 / LLM

Bidirectional Context Self-Distillation for Reinforcement Learning of Skill-Based LLM Agents

面向基于技能的大语言模型智能体强化学习的双向上下文自蒸馏

Tianjun Pan, Yuan Li, Hongda Wang, Linbo Jin, Mengfei Song, Lei Gao, Qiming Shi, Shaokang Fu, Jiarong Zhao, Chengyu Wang, Chengfu Huo

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对基于技能的LLM智能体技能利用不足问题，提出BCSD框架，通过双向上下文自蒸馏结合强化学习，在ALFWorld和WebShop上取得最优性能，验证了互补视角的有效性。

Comments 9 pages, 6 figures

Governing the KV Cache: Preventing Timing Side-Channel Leakage in Multi-Tenant LLM Inference

管控KV缓存：防止多租户大语言模型推理中的时序侧信道泄露

Tejasvi C. Addagada

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文针对多租户LLM推理中KV缓存引发的时序侧信道泄露问题，提出KVGov治理层，结合盐值机制与ORIGAMI调度器，可抵御三类攻击，同时保留93%的缓存效率，在真实硬件与模拟环境中验证了防御效果。

Comments 12 pages, 5 figures, 9 tables. Measurements on NVIDIA A100 with vLLM 0.26.0, independently replicated on llama.cpp/Apple Metal. Experimental scripts and raw results available from the author on request

LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving

LLMVisor：面向多租户大语言模型（LLM）服务的实时延迟归因模型

Shuowei Jin, Xueshen Liu, Jiaxin Shan, Le Xu, Tieying Zhang, Liguang Xie, Z. Morley Mao

机构 * University of Michigan（密歇根大学） ； ByteDance（字节跳动） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对多租户LLM服务中联合批处理导致的延迟归因难题，提出基于屋顶线模型的LLMVisor实时延迟归因模型，在微秒级高效运行，相比基线方法大幅降低预填充和解码阶段的相对误差

ZeroLock: Concurrent Memory-Efficient LLM Training via Modular Update Decoupling

ZeroLock：通过模块化更新解耦实现并发内存高效的大语言模型训练

Wentao Dai, Xuanran Li, Yuxiang Zhang, Ming Tang, Chao Huang

机构 * Southern University of Science and Technology（南方科技大学） ； Montclair State University（蒙特克莱尔州立大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对边缘LLM微调的BP训练存在更新锁定瓶颈，本研究提出ZeroLock无BP算法，通过模块化更新解耦突破局限，经实验验证可降内存26.5%、提吞吐量4.9%。

Reflex First, Reflect Later: Latency-Aware Embodied LLM Agents for Dynamic Response

先反射，后反思：面向动态响应的延迟感知具身大语言模型智能体

Yangqing Zheng, Shunqi Mao, Dingxin Zhang, Weidong Cai

机构 * School of Computer Science, The University of Sydney（计算机科学学院，悉尼大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对动态环境中具身LLM智能体的推理延迟问题，提出RRARA智能体及相关评估指标，通过时间转换机制与预规划器实现决策质量与响应能力的平衡。

Comments Accepted by the CVPR 2025 Embodied AI Workshop

PHOENIX: Fine-Tuned SLM-Powered Autonomous Satellite Lifetime Extension via Predictive Self-Healing and Multi-Agent AI Recovery

PHOENIX：通过预测性自修复与多智能体AI恢复实现的经微调小型语言模型驱动的自主卫星寿命延长

Sumaiya Islam, Harsha Kumara Moraliyage

专题命中 效率与部署 ：SLM(title,summary_cn)；language model(abstract)；small language model(abstract)；分类 cs.AI

AI总结 该研究针对CubeSat在轨故障无法及时修复导致寿命不足的问题，提出PHOENIX系统，利用微调SLM与多智能体AI实现自主故障修复，基于ESA基准验证了初步效果。

Comments 6 pages, 2 figures. Accepted at IEEE IRAI 2026 (International Conference on Responsible Artificial Intelligence)

Human-Centered Explainable AI for TinyML Edge Devices: A Pareto-Based Selection Framework with LLM-Guided Design

面向TinyML边缘设备的以人为中心的可解释人工智能：基于帕累托的选择框架与大语言模型引导设计

Zeinab Dehghani, Dhavalkumar Thakker, Koorosh Aslansefat, Kuniko Paxton, Bhupesh Kumar Mishra, Baseer Ahmad, Rameez Raja Kureshi

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出一种整合LLM引导设计与帕累托优化的以人为中心XAI选择框架，用于TinyML边缘设备部署，经皮肤病变分类任务验证可识别帕累托有效权衡。

An Inline Control Architecture for Language Models in Intelligent Transportation Systems

智能交通系统中语言模型的内联控制架构

Narendra Kumar Dewangan, Mounira Msahli

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 针对V2X系统中LLM的提示级攻击问题，提出Guarded-V2X内联语义护栏架构，经四阶段实验验证其可降低入侵成功率且不超延迟预算。

Comments 18 pages, under minor revision (IEEE transactions)

OASIS: Outlier-Aware LUT-Based GEMM with Dual-Side Quantization for LLM Inference Acceleration

OASIS：基于查找表的离群点感知双端量化LLM推理加速通用矩阵乘法

Xueying Wu, Baijun Zhou, Zhihui Gao, Yuzhe Fu, Qilin Zheng, Yintao He, Hai Li

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出OASIS架构，利用预计算笛卡尔积查找表实现非均匀量化权重与激活的高效通用矩阵乘法，通过离群点感知量化方案和实时离群点检测引擎Orizuru，在保持精度的同时显著提升推理速度和能效。

Journal ref 2026 ACM/IEEE 53rd Annual International Symposium on Computer Architecture (ISCA), pp. 307-321

Interpretable Adaptive Sampling for LLM Test-Time Scaling

面向大语言模型测试时缩放的可解释自适应采样

Mobina Kashaniyan, Ali Jannesari

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对LLM测试时推理的固定计算预算不灵活、不可解释的问题，提出带轻量级模糊控制器的自适应采样方法，在问答和数学任务上提升性能并减少平均采样数，为高效测试时推理提供实用方向。

LeanMem: Simple and Efficient Long-Term Memory for LLM Agents

LeanMem：面向LLM智能体的简单高效长期记忆系统

Yuxin Liao, Le Wu, Min Hou, Hao Liu, Han Wu, Zishu Wang

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 LeanMem是面向LLM智能体的轻量级长期记忆框架，通过差异化处理历史内容、动态分配资源，在两个数据集上提升了记忆基线的准确率，同时降低了成本与延迟。

Celty: SpMspV GPU Kernel and SIMT Co-Design for Efficient Dual-Sparse LLM Inference

Celty：用于高效双稀疏大语言模型推理的SpMspV GPU内核与SIMT协同设计

Ruokai Yin, Priyadarshini Panda

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对双稀疏LLM推理中spMspV workload处理低效问题，提出协同设计的Celty稀疏格式、GPU内核与SIMT微架构，实现最高5.3倍加速。

Comments ICCAD 2026. Will update with the camera-ready version once ready. The code is available on Github at https://github.com/RuokaiYin/Celty

CrystalMem: Elastic Memory for Self-Evolving LLM Agents via Knowledge Crystallization

CrystalMem：基于知识结晶的自进化大语言模型智能体弹性内存

Beining Wu, Jun Huang

机构 * South Dakota State University（南达科他州立大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对LLM智能体的内存滞后问题，提出弹性内存组件CrystalMem，通过知识结晶策略恢复能力，在多环境实验中性能优于基准方法。

Request-Level Energy Attribution for Batched LLM Serving

批量大语言模型（LLM）服务的请求级能耗归因

Qi Luo, Kunlin Li, Ziwen Wang, Dongsheng Wang, Yun Chen

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本研究提出JouleShare框架，通过计算Shapley能耗建立请求级基准，用JCalib校准模型提升批量LLM服务的请求级能耗归因精度，验证了token比例归因的偏差及JCalib的有效性。

Comments 12 pages, 4 figures

HERALD: High-Throughput Block Diffusion LLM Serving via CPU-GPU Cooperative KV Cache Retrieval

HERALD: 通过CPU-GPU协同KV缓存检索实现高吞吐量块扩散LLM服务

Omin Kwon, Doyeon Kim, Jongseok Park, Seung Yul Lee, Ion Stoica, Jae W. Lee

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对块扩散LLM中KV缓存随上下文增长导致吞吐量下降的问题，提出HERALD系统，利用块内去噪步骤间KV条目一致性，通过稀疏检索和计算重叠实现高精度低开销的KV卸载，在5-10%缓存预算下达到近无损精度，延迟降低1.59倍，吞吐量提升2.47倍。

AgentCompile: An LLM-Guided Compiler for Direct CUDA Inference

AgentCompile：一种用于直接CUDA推理的LLM引导编译器

Xuanzhe Li, Ziyan Weng, Zhiyu Zhu, Junhui Hou

机构 * City University of Hong Kong (Dongguan)（香港城市大学（东莞）） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出AgentCompile，利用LLM提供语义建议，通过模板生成CUDA候选实现并验证，在多个Transformer模型上实现4-5.7倍加速。

Comments 12 pages, 4 figures

Conformal Cascade: Distribution-Free Accuracy Guarantees for Multi-Tier LLM Inference

共形级联：多层大语言模型推理的无分布精度保证

Yifan Dou, Shikan Lian, Shibo Li

机构 * Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对LLM级联推理成本高、置信分数校准不当等问题，提出共形级联框架，以共形预测集大小为推迟规则，提供无分布精度保证，在多基准测试中表现优于启发式级联，且无需模型训练，仅需黑盒API访问。

Compiled AI: Deterministic Code Generation for LLM-Based Workflow Automation

编译AI：基于LLM的工作流自动化确定性代码生成

Geert Trooskens, Aaron Karlsberg, Anmol Sharma, Lamara De Brouwer, Max Van Puyvelde, Matthew Young, John Thickstun, Gil Alterovitz, Walter A. De Brouwer

机构 * XY.AI Labs, Palo Alto, CA（XY.AI实验室，帕洛阿尔托） ； Stanford University School of Medicine, Stanford, CA（斯坦福大学医学院，斯坦福） ； Cornell University, Department of Computer Science, Ithaca, NY（康奈尔大学计算机科学系，伊萨卡） ； Brigham and Women’s Hospital / Harvard Medical School, Boston, MA（布莱根妇女医院/哈佛医学院，波士顿） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究编译AI，一种大语言模型在编译阶段生成可执行代码，随后工作流确定性执行的范式。重点探讨其在高风险企业工作流中的应用，尤其在医疗领域，强调可靠性与可审计性。

Comments 14 pages, 2 figures, 3 tables

LLM-Guided Evolutionary Search for Constraint Model Reformulation to Improve Solver Efficiency

基于大语言模型引导的进化搜索的约束模型重构以提升求解器效率

Kostis Michailidis, Dimos Tsouros, Nguyen Dang, Tias Guns

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出LLM引导的进化框架，引入PDR策略保留多样化上下文，在8个CSPLib问题上验证迭代重构可提升求解速度，且多样化上下文策略和验证选择均能增强加速效果。

A Policy-Driven Runtime Layer for Agentic LLM Serving

一种面向智能体LLM服务的策略驱动运行时层

Rui Zhang, Chaeeun Kim, Liting Hu

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对多智能体LLM系统中跨层策略难以高效实现的问题，提出在框架与引擎之间插入智能体运行时层，通过四个原语支持任意智能体感知策略，并在KV缓存策略CacheSage上验证了有效性。

InferScale: GPU-Native KV Injection for Personalized LLM Serving

InferScale：面向个性化大语言模型服务的原生GPU KV注入方案

Peter Li, Prashant Pandey

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 InferScale是原生GPU的LLM内存系统，通过可复用KV状态替代重复提示词预填充，引入Chunked RoPE与上下文窗口编码，在LoCoMo数据集上显著降低TTFT、提升吞吐量。

Generation or Judgement? A Paradigm Perspective on LLM-Based Emotion-Cause Pair Extraction in Conversation

生成还是判断？基于范式视角的对话中基于大语言模型（LLM）的情感-原因对抽取

Weijie Feng, Hongchuang Wang, Binbin Liu, Zhiyong Cheng

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL

AI总结 该研究针对对话情感-原因对抽取，对比LLM的生成与判断范式，发现对级判断更优，引入辅助检索器后在三个数据集上实现F1提升，明确任务分解与候选范围的关键作用。

RAG-HAR+: Towards Cost-Efficient LLM-Based Human Activity Recognition for Edge Deployment

RAG-HAR+: 面向边缘部署的成本高效型基于大语言模型（LLM）的人类活动识别

Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

机构 * University of Sydney（悉尼大学） ； Curtin University（科廷大学） ； Colorado State University（科罗拉多州立大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 RAG-HAR+是面向边缘部署的成本高效型LLM辅助HAR方案，通过检索设计智能体优化特征、对确定样本用多数投票、仅不确定样本用LLM，在六基准上性能相当或更优且降低了LLM相关开销。

Comments Submitted to IEEE Transactions on Mobile Computing. Extended version of the IEEE PerCom 2026 paper "RAG-HAR: Retrieval Augmented Generation-based Human Activity Recognition." (https://doi.org/10.1109/PerCom67906.2026.11524560)

RedKnot: Efficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention

RedKnot: 基于头部感知的KV重用和SegPagedAttention的高效长上下文LLM服务

Yang Liu, Zhaokai Luo, Huayi Jin, Zhiyong Wang, Ruozhou He, Boyu Wang, Guanjie Chen, Tao Xie, Junhao Hu

机构 * Xiaohongshu Inc., China（小红书公司，中国） ； Peking University（北京大学） ； Huawei Cloud（华为云） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出RedKnot系统，通过按KV头分解缓存并采用SegPagedAttention，实现位置无关的KV重用、前缀压缩、冷热分离和分布式放置，在不重训练模型的情况下提升资源效率。

Cross-reality location privacy protection in 6G-enabled vehicular metaverses: an LLM-enhanced hybrid generative diffusion model-based approach

6G赋能车联网元宇宙中的跨现实位置隐私保护：一种基于LLM增强混合生成扩散模型的方法

Xiaofeng Luo, Jiayi He, Jiawen Kang, Ruichen Zhang, Zhaoshui He, Ekram Hossain, Dong In Kim

机构 * School of Automation, Guangdong University of Technology（自动化学院，广东技术大学） ； School of Computer Science and Engineering, Nanyang Technological University（计算机科学与工程学院，南洋理工大学） ； Department of Electrical and Computer Engineering, University of Manitoba（电气与计算机工程系，曼尼托巴大学） ； Department of Electrical and Computer Engineering, Sungkyunkwan University（电气与计算机工程系，成均馆大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文提出了一种基于LLM增强混合生成扩散模型的方法，用于6G赋能车联网元宇宙中的跨现实位置隐私保护，通过混合动作优化平衡隐私保护、延迟降低和服务质量维护。

Comments 16 pages, 8 figures

Tractable Hierarchical Control of Autoregressive Language Models

自回归语言模型的可处理分层控制

Max Scribner, Antonio Vergari, Vaishak Belle

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 研究如何约束自回归大语言模型生成，核心方法是将其提炼为可处理概率模型，利用有限时长$LR(k)$文法可多项式时间计算满足情况的特性，实现对LLM生成的有效约束与引导，确保输出满足形式句法约束。

Comments 21 pages, 4 figures, 2 algorithms

Rewriting the Response Path: Silent Tampering and Provider-Signed Defense in BYOK LLM Agents

重写响应路径：BYOK LLM 代理中的静默篡改与提供者签名防御

Mingyu Luo, Zihan Zhang, Zesen Liu, Yuchong Xie, Zhixiang Zhang, Dung Hiu Hilton Yeung, Wai Ip Lai, Ping Chen, Ming Wen, Dongdong She

机构 * Fudan University（复旦大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究BYOK LLM代理响应路径完整性问题，发现中继可篡改响应。提出sign-c服务器端方案，能认证执行承载字段和查询，本地垫片验证，加密保护机密性，防御有效拒绝篡改响应，误拒率为零，延迟开销低。

Integrity of peer-to-peer distributed LLM inference under malicious nodes

恶意节点下对等分布式大语言模型推理的完整性

Mert Cihangiroglu, Antonino Nocera

机构 * DCALab, Department of Electrical, Computer and Biomedical Engineering, University of Pavia, Italy（DCALab，电气、计算机与生物医学工程系，帕维亚大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究对等分布式LLM推理在恶意节点下的完整性问题，提出通过测量节点激活值变化检查输出完整性的方法，即混入秘密金丝雀输入，利用与已知参考的偏差识别恶意节点，实验中检测器AUROC达1.0。

C$^2$KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference

C$^2$KV：用于高效大语言模型推理的压缩可组合键值缓存重用

Chuheng Du, Junyi Chen, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Chaoyue Niu, Shengzhong Liu, Guihai Chen, Fan Wu

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对长上下文LLM推理成本高问题，提出C$^2$KV框架，联合优化KV提取与推理拼接，学习可组合压缩的KV缓存流形，引入轻量级边车提取器及协同训练策略，显著降低缓存成本，实现推理加速并保持生成质量。

Comments 12 pages, 9 figures, accepted by ACM SIGKDD 2026

Device-Cloud Collaborative LLM Inference with Multi-Modal, Multi-Task, Multi-Turn Conversations

具有多模态、多任务、多轮对话的设备-云协作大语言模型推理

Liangqi Yuan, Dong-Jun Han, Shiqiang Wang, Christopher G. Brinton

机构 * School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院） ； Department of Computer Science and Engineering, Yonsei University（延世大学计算机科学与工程系） ； Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型部署挑战，设计TMO设备-云推理系统，结合轻量级设备LLM和大规模云LLM，开发资源受限强化学习策略优化推理，贡献M4A1数据集，实验证明TMO在延迟、成本和响应质量方面效果显著。

Comments ACM MobiHoc 2025 (Best Paper Runner-Up) -> IEEE/ACM Transactions on Networking (extended journal version)