语言大模型 / LLM

LUQ: Layerwise Ultra-Low Bit Quantization for Multimodal Large Language Models

LUQ: 多模态大语言模型的逐层超低位量化

Shubhang Bhatnagar, Andy Xu, Kar-Han Tan, Narendra Ahuja

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； HP Inc.（惠普公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出LUQ方法，通过逐层输出激活熵衡量功能复杂度，对简单层应用超低位量化，结合多模态校准，在LLaVA-1.5和Qwen-2.5-VL上实现低于4-bit量化，内存减少40%和31%，MME性能下降<10%。

Comments Published in Transactions on Machine Learning Research (2026)

X-OPD: Cross-Modal On-Policy Distillation for Capability Alignment in Speech LLMs

X-OPD：面向语音大语言模型能力对齐的跨模态在策略蒸馏

Di Cao, Dongjie Fu, Hai Yu, Siqi Zheng, Xu Tan, Tao Jin

机构 * Tencent Hunyuan（腾讯文心） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出X-OPD框架，通过跨模态在策略蒸馏对齐语音LLM与文本LLM的能力，利用文本教师模型评估语音模型的轨迹并提供令牌级反馈，显著缩小复杂任务性能差距。

Comments Accepted by Interspeech 2026

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

Ghosted Layers: 无约束激活对齐用于恢复层剪枝的LLM

Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

机构 * University of Southern California（南加州大学） ； Inha University（inha大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Ghosted Layers方法，通过无约束优化解决层剪枝后激活分布不匹配问题，提升LLM准确性和 perplexity 而不牺牲效率。

Potential Applications of HBF in LLM Serving Systems

HBF在大语言模型（LLM）服务系统中的潜在应用

Yihan Yin, Yinlun Zhao, Zhixin Yun, Guanying Wu, Feng Zhu, Kai Tao, Shu Li, Fei Huang, Zhe Zhang, Shuangchen Li, Hongzhong Zheng

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 该研究针对LLM服务的内存容量限制，提出将HBF集成到GPU内存层级的方案，通过仿真验证其可提升MoE和多模型服务性能，需保留HBM驻留执行路径。

HybridFlow: Resource-Adaptive Subtask Routing for Efficient Edge-Cloud LLM Inference

HybridFlow: 适应资源的子任务路由用于高效的边缘-云LLM推理

Jiangwen Dong, Jiayu Li, Tianhang Zheng, Wanyu Lin

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 HybridFlow通过动态资源适应的子任务路由框架，提升边缘-云LLM推理的效率与准确性。

Comments Accepted by ICML 2026

OmniInfer: System-Wide Acceleration Techniques for Optimizing LLM Serving Throughput and Latency

OmniInfer: 通过优化LLM服务吞吐量和延迟提升系统整体加速技术

Jun Wang, Yunxiang Yao, Wenwei Kuang, Runze Mao, Zhenhao Sun, Zhuang Tao, Ziyang Zhang, Dengyu Li, Jiajun Chen, Zhili Wang, Kai Cui, Congzhi Cai, Longwen Lan, Ken Zhang

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 OmniInfer通过统一框架优化LLM服务吞吐量和延迟，减少TPOT和TTFT，提升系统整体性能。

Comments Project page: [this https URL](https://gitee.com/omniai/omniinfer)

Clairvoyant: Predictive Shortest-Job-First Admission for Serial LLM Inference

Clairvoyant: 预测性SJF调度以缓解串行LLM后端中的队头阻塞

Aravind Sundaresan

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出Clairvoyant，一种轻量级侧车代理，通过预测请求长度实现SJF调度，缓解串行LLM后端中的队头阻塞，显著降低短请求延迟。

Comments 17 pages, 3 figures, 8 tables. Code: https://github.com/Aravind0403/clairvoyant-scheduler

TENT: A Declarative Slice Spraying Engine for Performant and Resilient Data Movement in Disaggregated LLM Serving

TENT：一种用于高性能和容错数据移动的声明式切片喷射引擎

Feng Ren, Ruoyu Qin, Teng Ma, Shangming Cai, Zheng Liu, Chao Lei, Dejiang Zhu, Ke Yang, Zheming Li, Jialei Cui, Weixiao Huang, Yikai Zhao, Yineng Zhang, Hao Wu, Xiang Gao, Yuhao Fu, Jinlei Jiang, Yongwei Wu, Mingxing Zhang

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 TENT通过解耦传输意图与物理执行，统一异构互连技术为动态资源池，实现高效、容错的数据传输，提升LLM推理和RL流水线性能。

HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching

HYPIC: 利用位置无关缓存加速混合注意力LLM服务

Yifei Liu, Juntong Wu, Yang Liu, Junhao Hu, Minghao Li, Xiaoxu Chen, Weihang Chen

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出Hypic系统，通过段累积转移算子和边界重计算，实现混合注意力LLM的位置无关缓存，显著降低首令牌延迟并提升吞吐量。

SysVCoder: An LLM-Driven Framework for Systematic Generation of System-Level Design

SysVCoder: 一种LLM驱动的系统级设计系统性生成框架

Jian Zuo, Junzhe Liu, Xianyong Wang, Chen Liang, Navya Goli, Umamaheswara Rao Tida, Zhenge Jia, Zhaoyan Shen, Mengying Zhao

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SysVCoder框架，通过两阶段生成流水线、规则对齐机制和领域特定检索增强生成策略，提升Verilog系统级设计的生成质量与效率，在功能正确性上优于现有方法。

Comments This paper is accepted at APPT'26

SkillReducer: Optimizing LLM Agent Skills for Token Efficiency

SkillReducer: 优化LLM代理技能的令牌效率

Yudong Gao, Zongjie Li, Yuanyuan Yuan, Zimo Ji, Pingchuan Ma, Shuai Wang

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 针对LLM代理技能中令牌浪费问题，提出SkillReducer两阶段优化框架，通过压缩路由描述和重构技能主体，实现48%描述压缩和39%主体压缩，同时提升功能质量2.8%。

Collaborative Lossless LLM Inference Serving with Offloading-based Pipeline Parallelism on Edge Devices

基于卸载的流水线并行实现边缘设备上的协作无损LLM推理服务

Mingyu Sun, Xiao Zhang, Shen Qu, Yan Li, Mengbai Xiao, Yanwei Zheng, Yuan Yuan, Dongxiao Yu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出LOIP系统，通过卸载感知的交叉流水线并行、细粒度分配调度和在线内存自适应策略，在异构边缘设备上实现LLM无损推理，相比基线加速8.8-20.3倍。

Comments 12 pages, 16 figures

EasyUUV: An LLM-Enhanced Universal and Lightweight Sim-to-Real Reinforcement Learning Framework for UUV Attitude Control

EasyUUV：一种用于UUV姿态控制的LLM增强通用轻量级仿真到现实强化学习框架

Guanwen Xie, Jingzehua Xu, Jiwei Tang, Yubo Huang, Zixi Wang, Shuai Zhang, Dongfang Ma, Juntian Qu, Xiaofan Li

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Department of Mechanical Engineering, The University of Hong Kong（香港大学机械工程系） ； Department of Data and Systems Engineering, The University of Hong Kong（香港大学数据与系统工程系） ； School of Civil Engineering, Southwest Jiaotong University（西南交通大学土木工程学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； Department of Data Science, New Jersey Institute of Technology（新泽西理工学院数据科学系） ； Ocean College, Zhejiang University（浙江大学海洋学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出EasyUUV框架，结合并行强化学习与混合控制架构，并集成多模态大语言模型自适应调整参数，实现UUV姿态控制的鲁棒性和泛化性，经仿真与实船验证。

Comments 12 pages, 14 figures

Orchestration for Domain-specific Edge-Cloud Language Models

面向特定领域的边缘-云端语言模型的编排

Prasoon Patidar, Alex Crown, Kevin Hsieh, Yifei Xu, Tusher Chakraborty, Ranveer Chandra, Yuvraj Agarwal

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)

AI总结 提出ECO-LLM系统，通过联合优化LLM服务流水线组件配置，在查询级别动态选择策略，在智能家居和智能汽车场景中相比GPT-4o准确率提升至90%，成本降低90%，延迟降低55%。

LLM Compression by Block Removal with Constrained Binary Optimization

通过带约束二进制优化的块移除进行LLM压缩

David Jansen, Roman Rausch, Ali Hashemi, David Montero, Román Orús

机构 * Multiverse Computing（多维计算公司） ； Donostia International Physics Center（多斯蒂亚国际物理中心） ； Ikerbasque Foundation for Science（伊克尔巴斯克科学基金会） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出将大语言模型块移除压缩问题建模为约束二进制优化，映射到Ising玻璃系统，实现高效排序和高质量非连续块移除，在50%压缩时MMLU提升近23个百分点，且计算高效、通用性强。

Comments 16 pages, 3 figures

Structuring The Future: Diffusion LLM Speculative Decoding via Calibrated Draft Graphs

构建未来：通过校准草稿图实现扩散LLM推测解码

Sudhanshu Agrawal, Risheek Garrepalli, Raghavv Goel, Christopher Lott, Fatih Porikli, Mingu Lee

机构 * University of Waterloo（多伦多大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Spiffy算法，利用校准的草稿图结构实现扩散LLM的推测解码，在保持输出分布的同时加速推理，最高减少8.6倍模型推理次数并加速6.3倍令牌生成速率。

Comments Original version uploaded on Sep 22, 2025. (v2): Extended Table 2 with additional analysis and referenced it in Sec 5.2. (v3): Added note to Sec 4.2 and Appendix A.2 specifying conditions for losslessness. (v4): Updated with the version accepted to ICML 2026 workshops

Compact LLM Deployment and World Model Assisted Offloading in Mobile Edge Computing

紧凑型大语言模型部署与世界模型辅助的卸载在移动边缘计算中

Ruichen Zhang, Xiaofeng Luo, Jiayi He, Jiawen Kang, Zehui Xiong, Shiwen Mao

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了移动边缘计算网络中紧凑型大语言模型（LLM）部署和世界模型辅助的推断卸载问题，提出了一种边缘紧凑型LLM部署（ECLD）框架，结合结构化剪枝、低比特量化和知识蒸馏来构建可部署于边缘的LLM变种，并通过四个互补指标评估这些模型。基于这些紧凑模型，提出了一个MEC卸载优化问题，旨在最小化长期平均推断延迟，同时满足设备能耗预算和LLM特定的服务质量约束。为了解决未知且时间变化的网络动态问题，开发了一种世界模型-近端策略优化（PPO）算法，该算法在原策略优化算法中加入了学习的递归世界模型，以提供改进的价值目标和短时间想象回放。

Comments 16 pages, 10 figures

Topology-Aware LLM-Driven Social Simulation: A Unified Framework for Efficient and Realistic Agent Dynamics

基于拓扑的LLM驱动社交模拟：一种统一框架用于高效且真实的代理动态

Yuwei Xu, Shulun Zhang, Yingli Zhou, Shipei Zeng, Laks V. S. Lakshmanan, Chenhao Ma

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出TopoSim框架，通过整合拓扑结构推理提升社交模拟的效率和真实性，实验显示其在多个框架和数据集上均表现出更优的模拟精度和更低的资源消耗。

Toward Agentic Governance: What Shapes LLM-Agent Intervention in Public Forums?

走向代理治理：什么决定了LLM代理在公共论坛中的干预？

Luyang Zhang, Yi-Yun Chu, Ramayya Krishnan

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 研究LLM代理在公共论坛中干预行为的变化，发现四个部署选择（模型版本、权重开放状态、服务提供商、系统提示策略）独立影响响应率，且开放权重与封闭权重模型在可见挑战上的拒绝倾向存在系统性差异。

Beyond Block Boundaries: Multi-Block Editing for Diffusion Large Language Models

超越块边界：扩散大语言模型的多块编辑

Xingyu Mou, Zijin Huang, Tianze Zhang, Yuxin Ma, Lanning Wei, Zengfeng Huang, Da Zheng, Lun Du

机构 * Ant Group（蚂蚁集团） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对块扩散语言模型的块边界问题，提出多块编辑（MBE）方法。通过无需训练的解码算法编辑前序块令牌，引入监督微调策略，扩展SGLang提升效率。实验表明该方法在保持吞吐量时优于基线，在长程一致性任务上有显著性能提升。

RDQ: Residual Distribution Quantization for Large Language Models

RDQ：大语言模型的残差分布量化

Prateek Singh

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 研究大语言模型PTQ在低精度下降问题，提出RDQ框架，通过级联误差补偿，在多种测试架构上取得最优结果，输出标准量化且零运行时开销。

Comments I am withdrawing due to compliance issue of my organisation

Overcoming the Communication-Performance Tradeoff in LLM Pretraining

克服大语言模型预训练中的通信-性能权衡

Amir Sarfi, Benjamin Thérien, Joel Lidin, Eugene Belilovsky

机构 * Covenant AI ； Université de Montréal, Mila（蒙特利尔大学，Mila） ； Concordia University, Mila（康科德大学，Mila） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 研究旨在克服大语言模型预训练中的通信-性能权衡，提出SparseLoCo算法，利用Top-k稀疏化和2比特量化，使传输伪梯度极端稀疏，在不同模型规模等情况下，相比DiLoCo性能更好且伪梯度压缩优势明显。

Comments 22 pages, 19 tables, 7 figures

Exposing Long-Tail Safety Failures in Large Language Models through Efficient Diverse Response Sampling

通过高效多样响应采样暴露大语言模型中的长尾安全故障

Suvadeep Hajra, Palash Nandi, Tanmoy Chakraborty

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；RLHF(abstract)；分类 cs.CL

AI总结 本文通过多样响应生成方法系统暴露大语言模型的安全故障，提出PDPS算法在降低计算成本的同时提高攻击成功率，并生成更多多样化的不安全输出。

Comments Accepted by Transactions on Machine Learning Research (TMLR)

Latency-Response Theory Model: Evaluating Large Language Models via Response Accuracy and Chain-of-Thought Length

延迟-响应理论模型：通过响应准确性和思维链长度评估大语言模型

Zhiyu Xu, Jia Liu, Yixin Wang, Yuqi Gu

机构 * Department of Statistics, Columbia University（哥伦比亚大学统计系） ； Department of Statistics, University of Michigan（密歇根大学统计系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 针对大语言模型评估问题，提出延迟-响应理论（LaRT）模型，联合考虑响应准确性和思维链长度，通过引入关键参数建模，推导高效算法估计参数，经理论和模拟研究验证其优势，实际数据评估中表现优于项目反应理论（IRT）。

Prune, Update and Trim: Robust Structured Pruning for Large Language Models

剪枝、更新与裁剪：大型语言模型的鲁棒结构剪枝

Diego Coello de Portugal Mecke, Tom Hanika, Lars Schmidt-Thieme

机构 * ISMLL & DARC VWFS University of Hildesheim（ISMLL与DARC VWFS大学海德斯海姆大学） ； ISMLL University of Hildesheim（ISMLL大学海德斯海姆大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出Putri方法，通过更新未剪枝权重、按顺序剪枝FFN层以及移除单个注意力头来改进大型语言模型的后训练剪枝，实现了在极端稀疏率下的高效剪枝。

AugServe: Adaptive Request Scheduling for Augmented Large Language Model Inference Serving

AugServe：用于增强型大语言模型推理服务的自适应请求调度

Ying Wang, Zhen Jin, Jiexiong Xu, Wenhai Lin, Yiquan Chen, Wenzhi Chen

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou, China（浙江大学计算机科学与技术学院） ； Alibaba Group, Hangzhou, China（阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 研究针对增强型大语言模型推理服务效率问题及现有系统挑战，提出AugServe框架，采用两阶段自适应请求调度策略并动态调整令牌批处理机制，有效提升了有效吞吐量并减少首次令牌时间。

Toward Autonomous O-RAN: A Multi-Scale Agentic AI Framework for Real-Time Network Control and Management

迈向自主O-RAN：一种用于实时网络控制与管理的多尺度智能体AI框架

Hojjat Navidan, Mohammad Cheraghinia, Jaron Fontaine, Mohamed Seif, Eli De Poorter, H. Vincent Poor, Ingrid Moerman, Adnan Shahid

机构 * IDLab, Department of Information Technology at Ghent University - imec（IDLab，格鲁特大学信息科技系 - imec） ； Department of Electrical and Computer Engineering, Princeton University（电气与计算机工程系，普林斯顿大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种多尺度智能体AI框架，通过非实时、近实时和实时控制环的协调层次结构，实现O-RAN的自主网络控制与管理，并在非平稳条件下和意图驱动的切片资源控制场景中验证了其有效性。

Comments Accepted for publication in the IEEE Network magazine

ART: Attention Run-time Termination for Efficient Large Language Model Decoding

ART：面向高效大语言模型解码的注意力运行时终止

Chen Qiu, Guozhong Li, Cristian McGee, Aritra Dutta, Panos Kalnis

机构 * King Abdullah University of Science and Technology（卡布尔大学科学与技术大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 提出注意力运行时终止（ART）机制，通过跟踪累积注意力输出并在贡献可忽略时终止后续KV块访问，在不显著影响准确率的情况下将大批量生成吞吐量提升20%。

NanoQuant: Efficient Sub-1-Bit Quantization of Large Language Models

NanoQuant: 大型语言模型高效子1位量化

Hyochan Chong, Dongkyu Kim, Changdong Kim, Minseop Choi

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出NanoQuant，一种新型后训练量化方法，能够将大型语言模型压缩到二进制和子1位水平，通过低秩二进制分解问题实现高效压缩，并在消费者硬件上实现大规模部署。

Comments Accepted to ICML 2026. Hyochan Chong and Dongkyu Kim contributed equally to this work

MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models

MorphoQuant: 面向全模态大语言模型的模态感知量化

Yue Wu, Changyuan Wang, Zixuan Wang, Shilin Ma, Yansong Tang

机构 * institutetext: MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models Yue Wu Changyuan Wang Zixuan Wang Shilin Ma Yansong Tang（机构文本：MorphoQuant：多模态大语言模型的模态感知量化 Yue Wu 王昌元 王梓轩 马世林 唐彦松） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出MorphoQuant框架，通过分布感知偏差补偿和形态导向量化函数优化，解决全模态大语言模型在4比特后训练量化中的分布异质性和异常值问题，实现精度与效率的优异平衡。