语言大模型 / LLM

Conformalized Large Language Models under Configuration Shift

配置偏移下的共形大语言模型

Yuqicheng Zhu, Jialin Yu, Lin Li, Gengyuan Zhang, Zhen Yang, Steffen Staab, Puneet Dokania, Philip Torr, Jie Tang, Evgeny Kharlamov

机构 * University of Stuttgart（斯图加特大学） ； Robert Bosch GmbH（罗伯特·博世有限公司） ； University of Oxford（牛津大学） ； LMU Munich（慕尼黑大学） ； Tsinghua University（清华大学） ； University of Southampton（南安普顿大学） ； University of Oslo（奥斯陆大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 该研究针对配置偏移对共形大语言模型有效性的影响展开系统分析，通过多维度实证研究揭示其削弱覆盖率的问题，提出两种实用缓解措施以恢复覆盖率并保留效率。

Comments Under Review

TELLER: Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference

TELLER：面向大语言模型推理的非侵入式跨层根因分析

Ruilin Xu, Junyi Li, Pengfei Chen, Zongxuan Xie

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 TELLER是面向LLM推理的非侵入式跨层根因分析框架，通过跟踪与日志结合实现异常定位与自然语言解释，在多节点GPU工作负载上兼具高效压缩与诊断性能，为LLM推理RCA提供实用支撑。

Comments 12 pages, 1 figure, 9 tables. Accepted to the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

Bole: Efficient Tree Speculation for Hybrid-Attention Language Models

Bole：面向混合注意力语言模型的高效树推测解码

Li Wang, Yi Su, Xiabao Wu, Chiran You, Yongchao Liu, Zhan Qiu, Juelu Zhang, Jiajun Zheng, Fangxin Liu, Jie Zhang, Chen Tian, Chengying Huan

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 Bole是内核-运行时协同设计方案，通过优化树推测解码的线性注意力树验证与瞬态内存管理，显著提升混合注意力LLM的离线解码吞吐量与在线智能体工作负载的延迟性能。

Comments 14 pages, 12 figures, 7 tables

Celty: SpMspV GPU Kernel and SIMT Co-Design for Efficient Dual-Sparse LLM Inference

Celty：用于高效双稀疏大语言模型推理的SpMspV GPU内核与SIMT协同设计

Ruokai Yin, Priyadarshini Panda

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对双稀疏LLM推理中spMspV workload处理低效问题，提出协同设计的Celty稀疏格式、GPU内核与SIMT微架构，实现最高5.3倍加速。

Comments ICCAD 2026. Will update with the camera-ready version once ready. The code is available on Github at https://github.com/RuokaiYin/Celty

CrystalMem: Elastic Memory for Self-Evolving LLM Agents via Knowledge Crystallization

CrystalMem：基于知识结晶的自进化大语言模型智能体弹性内存

Beining Wu, Jun Huang

机构 * South Dakota State University（南达科他州立大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对LLM智能体的内存滞后问题，提出弹性内存组件CrystalMem，通过知识结晶策略恢复能力，在多环境实验中性能优于基准方法。

Request-Level Energy Attribution for Batched LLM Serving

批量大语言模型（LLM）服务的请求级能耗归因

Qi Luo, Kunlin Li, Ziwen Wang, Dongsheng Wang, Yun Chen

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本研究提出JouleShare框架，通过计算Shapley能耗建立请求级基准，用JCalib校准模型提升批量LLM服务的请求级能耗归因精度，验证了token比例归因的偏差及JCalib的有效性。

Comments 12 pages, 4 figures

HERALD: High-Throughput Block Diffusion LLM Serving via CPU-GPU Cooperative KV Cache Retrieval

HERALD: 通过CPU-GPU协同KV缓存检索实现高吞吐量块扩散LLM服务

Omin Kwon, Doyeon Kim, Jongseok Park, Seung Yul Lee, Ion Stoica, Jae W. Lee

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对块扩散LLM中KV缓存随上下文增长导致吞吐量下降的问题，提出HERALD系统，利用块内去噪步骤间KV条目一致性，通过稀疏检索和计算重叠实现高精度低开销的KV卸载，在5-10%缓存预算下达到近无损精度，延迟降低1.59倍，吞吐量提升2.47倍。

AgentCompile: An LLM-Guided Compiler for Direct CUDA Inference

AgentCompile：一种用于直接CUDA推理的LLM引导编译器

Xuanzhe Li, Ziyan Weng, Zhiyu Zhu, Junhui Hou

机构 * City University of Hong Kong (Dongguan)（香港城市大学（东莞）） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出AgentCompile，利用LLM提供语义建议，通过模板生成CUDA候选实现并验证，在多个Transformer模型上实现4-5.7倍加速。

Comments 12 pages, 4 figures

Uncertainty-Aware Simulation-Based Inference for Operations Research with Large Language Models

面向运筹学的基于模拟的不确定性感知大语言模型推理

Liang Guo, Lin Shaochong, Shen Zuo-Jun Max, Zhang Kun

机构 * Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院） ； The University of Hong Kong（香港大学） ； School of Information, Renmin University of China（中国人民大学信息学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文针对大语言模型用于运筹学建模时的短视策略易引发下游错误的问题，提出一种不确定性感知无训练推理框架，通过短前瞻模拟与重要性重采样提升OR公式生成的可靠性，在多基准上表现优于基线。

Broadcast Rate Limits in Wi-Fi: A Forgotten Bottleneck for Collaborative Edge LLM Inference

Wi-Fi中的广播速率限制：协作式边缘大语言模型（LLM）推理被遗忘的瓶颈

Liujianfu Wang, Yuyang Du, Shiqi Xu, Soung Chang Liew

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 该研究针对协作式边缘LLM推理的通信瓶颈，提出适配UDP广播的MoE推理方法，发现Wi-Fi广播速率限制的遗留问题并通过仿真验证，推动Wi-Fi标准将广播纳入高吞吐量数据平面。

CASPER-Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems

CASPER——面向基于大语言模型（LLM）系统高效回归测试的感知变更的切片优先级排序

Biruk Asmare Muse, Lionel Briand, Yiwei Lu, Keheliya Gallaba

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 针对基于LLM系统回归测试的独特挑战，提出CASPER框架，通过进化切片识别与基于执行日志行为信息的优先级排序，实现更优的回归切片处理效果。

Spatial Prefix Caching for Wireless Edge LLM Inference: A Stochastic-Geometry and Queueing Framework

面向无线边缘大语言模型推理的空间前缀缓存：一种随机几何与排队框架

Le Yang, Zhouyong Liu

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文构建随机几何与排队框架，针对无线边缘LLM推理的空间通信-缓存-计算权衡优化，揭示延迟最优节点非最近节点、TTFT随缓存前缀深度非单调变化的规律。

Token-Efficient Change Detection in LLM APIs

LLM API中的令牌高效变化检测

Timothée Chauvin, Clément Lalanne, Erwan Le Merrer, Jean-Michel Loubes, François Taïani, Gilles Tredan

机构 * Université de Rennes, Inria, CNRS/IRISA（里昂大学、法国国家信息与自动化技术研究院、法国国家科学研究中心/IRISA） ； Equipe Regalia, Inria（Regalia团队、法国国家信息与自动化技术研究院） ； LAAS, CNRS（拉劳斯研究中心、法国国家科学研究中心） ； Univ Toulouse, INUC, UT2J, INSA Toulouse, TSE, CNRS, IMT（图卢兹大学、INUC、UT2J、图卢兹国家高等工业学院、TSE、法国国家科学研究中心、IMT） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出基于边界输入的黑盒变化检测方案B3IT，在仅观察输出令牌的条件下实现低成本、高性能的LLM变化检测。

Comments ICML 2026

DiffPrune: differentiable information throttling for token pruning in vision-language models

DiffPrune：用于视觉-语言模型中 token 剪枝的可微信息节流方法

Landi He, Mingde Yao, Shawn Young, Lijian Xu

机构 * Shenzhen University of Advanced Technology（深圳先进技术大学） ； CUHK MMLab, CPII under InnoHK（香港中文大学MMLab，InnoHK下属CPII） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)

AI总结 DiffPrune 是一种用于视觉-语言模型的可微 token 剪枝方法，通过信息节流器避免松弛选择的不稳定性，在保留 96.5% 准确率的同时实现 2.85 倍 LLM 预填充加速，推理开销仅 0.69 毫秒。

OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models

OmniScope：用于全模态大语言模型的模态解耦令牌压缩

Jinsen Su, Yongdong Luo, Yuexiao Ma, Yibo Hu, Meiguang Jin, Xiawu Zheng

机构 * Media Analytics and Computing Lab, Xiamen University（厦门大学媒体分析与计算实验室） ； Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究所） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究针对全模态大语言模型令牌压缩问题，提出无需训练的OmniScope框架，以查询为语义锚点分别估计音频和视频相关性，分配特定模态预算并采用相应策略处理，在多基准和模型规模上效果佳，实现加速和内存减少，提出跨模态推理设计原则。

Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging

用扩散张量成像可视化词嵌入中的信息流

Thomas Fabian

机构 * Technical University Darmstadt（达姆斯塔特技术大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出利用扩散张量成像技术可视化词嵌入中的信息流，揭示LLM中自然语言表达的信息流动机制，提升NLP模型的可解释性。

Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling

通过解耦注意力机制与前馈网络及灵活频率缩放实现高能效大语言模型服务

Cunchen Hu, Liangliang Xu, Tian Liu, Min Lyu, Yongkun Li, Sa Wang, Shuo Quan, Yanan Yang, Wenda Tang, Yiduo Wang, Fu Yu, Jie Wu

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AFlex框架通过全局调度器、局部DVFS控制器及交错A/F流水线，优化解耦A/F服务的资源配置与GPU频率，在满足SLO的同时将每token能耗降低最高49%

Diagnose Before You Compress: Prediction-Independent Bottleneck Witness Refinement for LLM Serving Traces

压缩前诊断：面向大语言模型服务轨迹的预测独立瓶颈见证优化

Liming Liu, Chao Hu, Mingfei Lu, Cong Tan, Yiwei Ge, Chijin Zhou, Yongjun Xie, Runzhe Wang, Xiaohai Shi, Heyuan Shi

机构 * Central South University（中南大学） ； University of Technology Sydney（悉尼科技大学） ； Chongqing Normal University（重庆师范大学） ； East China Normal University（华东师范大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 针对LLM服务轨迹重放成本高及现有方法的局限，提出BPW框架，通过三阶段流程构建紧凑可靠的重放套件，在三个数据集上优于16种策略，获两项指标提升

Cross-Lingual Token Arbitrage: Optimizing Code Agent Context Windows via Local LLM Preprocessing

跨语言令牌套利：通过本地LLM预处理优化代码智能体上下文窗口

Mehmet Utku Colak

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种预处理的边缘端提示重写中间件，利用本地Llama 3.2模型进行跨语言翻译和结构重写，在保持或提升任务准确率的同时减少34-47%的提示令牌和最高18.8%的总令牌消耗。

Comments Updated References

Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

云到边缘：在硬件加速的单板计算机上评估大语言模型推理

Harri Renney, Fouad Trad, Michael Mattarock, Jayden Evetts, Zena Wood

机构 * Kaze Technologies（凯兹技术） ； Kaze Consulting（凯兹咨询） ； Electrical and Computer Engineering（电气与计算机工程） ； Lebanese American University（黎巴嫩美国大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Exeter（埃克塞特大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种多维评估方法，评估四种物联网适用的边缘平台配置，测试最新硬件加速器的单板计算机，揭示硬件加速器在隐私敏感和连接受限环境中的优势。

CARE: Context-Aware Ranking Evolution with Executable Scoring Programs for Budgeted Reaction Optimization

CARE：通过科学实验中的可审计证据审查控制LLM生成的策略

Guanyu Liu, Weiyi Kong, Chao Tang, Zeyu Wang, Boer Zhang, Baiqing Li, Peiyu Zhang, Tianyu Shi

机构 * University of Macau（澳门大学） ； University of Toronto（多伦多大学） ； UCLA（加州大学洛杉矶分校） ； Harvard University（哈佛大学） ； XtalPi（晶泰科技） ； McGill University（麦吉尔大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；分类 cs.AI、cs.LG

AI总结 提出CARE框架，通过可审计的干预门控机制，在保留非LLM优化器作为默认路径的同时，利用LLM修正挑战者排序策略，显著提升高通量实验优化性能。

Comments 27 pages, 5 figures. Code: https://github.com/SHITIANYU-hue/care

LLM-Assisted Coalition Formation for Cooperative Perception in Autonomous Driving

大语言模型辅助的自动驾驶协同感知联盟形成

Ahmad Sarlak, Hao Wang, Rahul Amin, Abolfazl Razi

专题命中 效率与部署 ：LLM(title,summary_cn)

AI总结 该研究针对现有协同感知方法未优化车辆选择的问题，提出LLM辅助的联盟形成框架，结合DPP与ADMM优化，在OPV2V等数据集上实现更优性能与网络效率。

Comments Accepted for presentation at IEEE Global Communications Conference (GLOBECOM 2026), Cognitive Radio and AI-Enabled Networks Symposium

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling

FOCUS：通过耦合松弛与双粒度缩放实现FP4优化

Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

机构 * Tencent（腾讯） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 FOCUS是一种后训练量化框架，通过耦合松弛与双粒度缩放优化FP4，在不增加推理开销的情况下，于MXFP4和NVFP4格式下实现了LLM的最优FP4精度。

RefactorAssist: Agentic Refinement for Reliable Code Refactoring

RefactorAssist：用于可靠代码重构的智能体式优化工具

Jonathan Cordeiro, Shayan Noei, Ying Zou

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对LLM生成代码重构的错误问题，开发了RefactorAssist智能体，通过静态修复结合测试引导的智能体修复，将重构累计通过率提升至94.2%，提高了LLM重构代码的可靠性。

Comments 27 pages, 10 figures, submitting to ACM TOSEM

AIC-VDS: Attention-Based In-Context Learning for Joint Velocity Control and Data Collection Scheduling in Multi-UAV-Assisted Pipeline Monitoring

AIC-VDS：面向多无人机辅助管道监测的联合速度控制与数据采集调度的基于注意力的上下文学习

Yousef Emami, Miguel Gutierrez Gaitan, Atefeh Hajijamali Arani, Jingjing Zheng, Hao Zhou

机构 * IEEE 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多无人机辅助管道监测中丢包率高的问题，提出AIC-VDS框架，通过注意力模块压缩输入后利用LLM生成调度与速度决策，可将平均提示长度降50%并稳定丢包率。

Breaking the Rounding Trap: Securing LLMs against Quantization-Conditioned Backdoors

打破舍入陷阱：保护LLM免受量化条件后门攻击

Aoying Zheng, Anqi Du, Zizhuang Deng, Yuxuan Chen

专题命中 效率与部署 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出QuantGuard方法，通过可微舍入控制变量和误差引导的舍入反转约束等机制，在仅使用少量校准数据且不修改量化算法的情况下，阻断后门激活路径，有效降低攻击成功率至接近干净模型水平。

Enhancing Regime Shift Detection Using Unstructured Data: A Study on the Treasury Market

利用非结构化数据增强制度转换检测：国债市场研究

Mingxuan Yi, Vidal Mehra, Jing Chen, John Cartlidge

机构 * School of Engineering Mathematics and Technology, University of Bristol, UK（布里斯托大学工程数学与技术学院） ； Propellant Digital B.V., Amsterdam, Netherlands（荷兰阿姆斯特丹Propellant Digital公司） ； School of Mathematics, Cardiff University, UK（卡迪夫大学数学学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract,comments)；language model(abstract,comments)；分类 cs.AI、cs.LG

AI总结 提出一种结合大语言模型推理与统计检验的文本增强型制度转换检测框架，在国债市场数据上实现F1=0.82，优于纯数据驱动方法。

Comments 9 pages, 4 figures. Selected for Long Oral presentation at the International Symposium on Large Language Models for Financial Services (FinLLM@IJCAI 2026), Bremen, Germany, 15 August 2026 (non-archival). Code available at: https://github.com/mingxuan-yi/regime_shift

Orchestrating Dual-Boundaries: An Arithmetic Intensity Inspired Acceleration Framework for Diffusion Language Models

协调双边界：一种受算术强度启发的加速框架用于扩散语言模型

Linye Wei, Wenjue Chen, Pingzhi Tang, Xiaotian Guo, Le Ye, Runsheng Wang, Meng Li

机构 * Peking University（北京大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 ODB-dLLM通过协调双边界，利用算术强度差异优化扩散语言模型的推理速度，显著提升效率并减少准确性损失。

Comments Accepted by DAC 2026

LaCache: Robust Semantic Caching for LLM Serving

LaCache：面向大语言模型服务的鲁棒语义缓存

Jiacheng Liang, Yuhui Wang, Tanqiu Jiang, Ting Wang

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 LaCache是一种新型语义缓存方案，通过检查查询及其前k个解码标记的缓存命中，可抵御缓存碰撞攻击，提升响应相关性，经多种大语言模型及基准验证了其安全性与效率优势。

Comments 10 pages

TEAM: Temporal-Spatial Consistency Guided Expert Activation for MoE Diffusion Language Model Acceleration

TEAM: 时空一致性引导的专家激活用于MoE扩散语言模型加速

Linye Wei, Zixiang Luo, Pingzhi Tang, Meng Li

机构 * Institute for Artificial Intelligence（人工智能研究院） ； School of Integrated Circuits（集成电路学院） ； Yuanpei College（元培学院） ； Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路先进创新中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 针对MoE扩散语言模型中专家激活过多导致推理开销大的问题，提出TEAM框架，利用路由决策的时空一致性，通过保守激活和激进推测解码实现加速，最高提速2.2倍且性能损失极小。

Comments Accepted by ICML 2026