SpecOffload: Unlocking Latent GPU Capacity for LLM Inference on Resource-Constrained Devices
Tsinghua University（清华大学）；Beijing Jiaotong University（北京交通大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对资源受限设备上LLM推理因权重卸载导致GPU利用率低的问题，提出嵌入投机解码的SpecOffload推理引擎，通过编排模型交错执行、规划张量放置，以近零额外成本大幅提升GPU利用率与推理吞吐量。
2025-05-21 cs.LG
The Synergy of Speculative Decoding and Batching in Serving Large Language Models
University of Toronto（多伦多大学）；CentML Inc（CentML公司）；Vector Institute（向量研究所）
本文研究大语言模型推理中批处理与投机解码的协同效应，通过定量建模发现最优投机长度取决于批大小，并提出自适应投机解码策略，在不同批大小下达到或超越固定长度方案。
2023-10-28 cs.DC cs.LG
FlashTrie: A GPU-Accelerated Constrained Beam Search for Generative Retrieval
Microsoft（微软）；Nvidia（英伟达）
研究针对生成式检索中约束解码的瓶颈问题，提出FlashTrie方法。通过优化GPU上的约束束搜索，采用整数感知简洁trie布局和协作CUDA内核等技术，显著降低解码延迟、提高吞吐量，在实验中取得良好效果并提升了收入。
2026-07-14 cs.LG
Inference-Cost-Aware Dynamic Tree Construction for Efficient Inference in Large Language Models
Beihang University（北航大学）；E Fund Management Co., Ltd.（E基金管理有限公司）
本文提出CAST方法，通过考虑推理成本优化动态树结构，显著提升大型语言模型的推理效率。
2026-02-26 cs.CL cs.LG
From Topology to Retrieval: Decoding Embedding Spaces with Unified Signatures
University of Tübingen（图宾根大学）；Fribourg University（弗里堡大学）；Boehringer Ingelheim GmbH, Biberach (Riss), Germany（勃林格殷格翰公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出统一拓扑签名框架，用于全面表征文本嵌入空间，揭示模型架构驱动的相似性，并通过拓扑结构与排序有效性关联，提升文档检索性能。
2026-10-14 cs.CL cs.IR cs.LG
TriForce: Lossless Acceleration of Long Sequence Generation with Hierarchical Speculative Decoding
Carnegie Mellon Univeristy（卡内基梅隆大学）；Meta AI (FAIR)（元人工智能研究院（FAIR））
针对长序列LLM推理中KV缓存导致的高延迟问题，本文提出分层推测解码系统TriForce，通过检索式动态稀疏KV缓存与小模型级联实现无损加速。
2024-08-04 cs.CL cs.LG
Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference
Imperial College London, UK（伦敦帝国学院）；Hong Kong Polytechnic University, Hong Kong（香港理工大学）；Samsung AI Center, Cambridge, UK（三星人工智能中心）
提出 PPD 并行提示解码与硬件感知动态稀疏树，以极低训练和内存开销提升 LLM 多 token 推理速度，并可正交结合现有推测解码。
2025-09-29 cs.CL cs.LG
FloatSOM: GPU-Accelerated, Distributed, Topology-Flexible Self-Organizing Maps
John Curtin School of Medical Research, Australian National University（澳大利亚国立大学约翰·库廷医学研究学院）；Department of Information Technology and Electrical Engineering, ETH Zürich（苏黎世联邦理工学院信息科技与电气工程系）；Mathematical Data Science Centre, Australian National University（澳大利亚国立大学数学数据科学中心）；Walter and Eliza Hall Institute（沃尔特和伊丽莎白·霍尔研究所）
FloatSOM通过多GPU执行、内存盘流式传输和新型拓扑结构，提升了大规模自组织映射的性能与效率，降低量化误差并实现高吞吐量分布式训练。
2026-04-29 cs.DC cs.LG
Where Activation Sparsity and KV-Cache Sparsity Cross in LLM Decoding
Korea University（高丽大学）；Yonsei University Mirae Campus（延世大学未来校区）
该研究推导出激活稀疏化与KV缓存稀疏化在LLM解码中的字节交叉点，并实验验证了组合策略在长上下文下的速度提升，最高达26%。
2026-09-29 cs.CL cs.LG cs.PF
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
LG Electronics（LG电子）；University of Toronto（多伦多大学）
针对卸载权重导致的LLM解码慢问题，提出SpAx方法，通过将权重读取分为保留、近似和省略三档，利用激活稀疏性，在CPU和闪存卸载下分别实现最高5.57倍和4.81倍加速，且困惑度增加不超过10%。
2026-10-05 cs.LG cs.PF
Learn from the Past: Fast Sparse Indexing for Large Language Model Decoding
Beijing University of Technology（北京理工大学）
针对长上下文LLM解码中KV缓存瓶颈，提出LFPS方法，利用历史注意力模式（垂直与斜线）预测Top-k索引，在RTX 4090上实现最高22.8倍加速，同时保持生成质量。
2025-05-30 cs.AI cs.CL cs.LG
PropNEAT -- Efficient GPU-Compatible Backpropagation over NeuroEvolutionary Augmenting Topology Networks
School of Computer Science（计算机学院）；University of Auckland（奥克兰大学）
PropNEAT通过双向基因组图到层架构映射，实现NEAT的高效GPU反向传播，在58个数据集上性能仅次于随机森林，训练时间随深度线性增长，可扩展至强化学习与卷积网络，并发现更稀疏的小网络。
2024-11-06 cs.AI cs.LG cs.NE
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University（卡内基梅隆大学）
本文提出Helix分布式系统，通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度，显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
Context-Aware Mixture-of-Experts Inference on CXL-Enabled GPU-NDP Systems
Rensselaer Polytechnic Institute（罗切斯特理工学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research Europe（IBM欧洲研究院）；IBM T. J. Watson Research Center（IBM托马斯·贾诺斯·沃森研究中心）
本文提出一种基于上下文的混合专家推理系统，利用CXL-NDP减少内存传输成本，提升解码吞吐量8.7倍，精度仅下降0.13%。
2025-12-04 cs.AR cs.LG
Vectorizing the Trie: Efficient Constrained Decoding for LLM-based Generative Retrieval on Accelerators
Yale University（耶鲁大学）；Google DeepMind（谷歌DeepMind）
STATIC通过矢量化技术实现高效受限解码，显著提升基于LLM的生成检索性能。
2026-10-08 cs.CL cs.IR cs.LG
Communication-Efficient Verifiable Attention for LLM Inference
Nanyang Technological University（南洋理工大学）；Zero Gravity Labs（零重力实验室）
提出VeriAttn，通过将注意力计算卸载到GPU并由TEE验证，结合两阶段流水线和分区策略，显著降低TEE计算和通信开销，实现LLM推理加速。
2026-06-16 cs.AI cs.LG
TopoEP: Topology-Aware Load Balancing for Expert-Parallel MoE Training
University of Science and Technology of China（中国科学技术大学）
针对专家并行MoE训练中的负载不均衡问题，提出GPU原生、拓扑感知的负载均衡系统TopoEP，通过确定性GPU求解器生成热门专家复制与令牌重路由计划，在32-GPU集群上提升训练吞吐量6.2%至11.4%。
2026-09-29 cs.DC cs.LG
NOSA: Native and Offloadable Sparse Attention
NLP Group, DCST, IAI, BNRIST, Tsinghua University, Beijing, China（清华大学）；OpenBMB, China（OpenBMB）；BUPT, Beijing, China（北京邮电大学）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学）
NOSA是一种专为KV缓存卸载设计的可训练稀疏注意力机制，通过限制CPU与GPU之间的KV传输量，实现了低通信开销和高解码吞吐量。
2026-09-29 cs.AI cs.CL cs.LG
LeanK: Learnable K Cache Channel Pruning for Efficient Decoding
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
LeanK通过可学习的两阶段训练剪枝K缓存通道，实现高达70%的K缓存和16%-18%的V缓存内存减少，并加速解码1.3倍，同时保持准确性。
2025-08-04 cs.AI cs.CL cs.LG
PulseInfer: I/O-Centric Sparse KV Cache Offloading for Efficient Long-Context LLM Decoding
Huazhong University of Science and Technology（华中科技大学）；UCloud Technology Co., Ltd.（优刻得科技股份有限公司）
PulseInfer提出以I/O为中心的稀疏KV缓存卸载系统，通过可中断逐层调度、IO自适应卸载准入和SoloHead稀疏选择等技术，解决长上下文解码的召回I/O瓶颈，将吞吐量提升至4.7倍并降低TPOT达76%。
2026-09-29 cs.LG
DraftExpert: Expansion-Aware Self-Speculative Decoding for End-Device MoE Inference
针对终端设备MoE推理中自推测解码的新瓶颈，提出DraftExpert框架，通过自蒸馏训练轻量级草稿专家，在不同卸载场景下，该框架有效提高了解码吞吐量、草稿接受率和预取命中率。
2026-07-28 cs.AI cs.LG
Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy
Umans AI research（Umans人工智能研究机构）
针对长上下文服务KV内存不足问题，提出自适应DHiSparse，支持层级稀疏KV上的推测解码，在多模型测试中显著提升输出吞吐量与并发度，减少主机内存获取开销。
2026-10-12 cs.AI cs.CL cs.DC
Topology-Aware Data Movement for Disaggregated GPU Inference
针对拆分式GPU推理中现有系统忽略GPU间带宽差异的问题，本文设计拓扑感知传输编排器，通过三项机制实现3至18倍传输延迟降低。
2026-08-10 cs.AI cs.LG cs.PF
GQLA: Group-Query Latent Attention for Hardware-Adaptive Decoding
Institute for Artificial Intelligence（人工智能研究院）
提出GQLA，一种对MLA的极小修改，通过暴露MQA和GQA两种等价解码路径，使单一权重集在不同硬件（如H100和H20）上达到最优性能，并支持零冗余张量并行，同时通过TransGQLA将预训练GQA检查点转换为GQLA模型，显著压缩KV缓存。
2026-10-15 cs.AI cs.LG
KVPR: Efficient LLM Inference with I/O-Aware KV Cache Partial Recomputation
University of Southern California（南加州大学）
KVPR提出一种I/O感知的LLM推理方法，通过CPU传输部分激活值使GPU重计算KV缓存并与剩余缓存传输重叠，实现解码延迟降低35.8%、吞吐量提升46.2%。
2025-06-04 cs.DC cs.LG cs.PF
Active-DiNTS: Active Differentiable Network Topology Search
XLIM, Université de Poitiers（普瓦捷大学XLIM实验室）；Université de Limoges, CNRS（利摩日大学，法国国家科学研究中心）
提出Active-DiNTS，将主动学习嵌入双层可微分拓扑搜索，联合优化架构与标注，在单GPU上以少量标注超越现有方法，显著提升3D分割精度与效率。
2026-10-06 cs.AI cs.CV cs.LG
When Scaling Fails: Network and Fabric Effects on Distributed GPU Training Performance
Institute of Information Technology (Postgraduate Researcher), Jahangirnagar University, Dhaka, Bangladesh（信息技术学院（研究生研究员），贾hangirnagar大学，达卡，孟加拉国）
本文研究了分布式GPU训练中网络和fabric效应导致扩展失效的原因，通过实证分析揭示了网络拓扑、拥堵动态等对训练性能的影响，并提出诊断原则以提高扩展性和可预测性。
2026-02-16 cs.LG cs.NI
Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures
Carnegie Mellon University, School of Computer Science（卡内基梅隆大学计算机科学学院）
本文针对跨GPU架构的连续批处理LLM服务，实现轻量级调度策略，通过多GPU、多模型的1152组实验，发现老化最短prompt优先是多数场景的实用基线，相关数据集已上传至Hugging Face。
2026-10-14 cs.DC cs.LG
QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache
Apple（苹果公司）
针对边缘设备长上下文LLM推理中KV缓存导致的内存和延迟瓶颈，以及现有推测解码方法加速不足的问题，提出QuantSpec框架，通过分层量化KV缓存和权重实现自推测解码，提升接受率和加速比，降低内存需求。
2025-02-05 cs.AI cs.LG
