DepCap: Adaptive Block-Wise Parallel Decoding for Efficient Diffusion LM Inference
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出DepCap框架，通过自适应分块解码提升扩散语言模型推理效率，实现生成质量与速度的平衡，实验表明在多个模型和任务中达到显著加速效果。
2026-04-17 cs.AI cs.LG
Speculative Decoding with CTC-based Draft Model for LLM Inference Acceleration
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of Al Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
针对推测解码中非自回归草稿接受率低的问题，提出基于CTC的草稿模型以增强草稿token相关性，从而提高接受率并加快LLM推理。
2024-11-25 cs.AI cs.CL cs.LG
BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation
Peking University（北京大学）；Tencent（腾讯）；BeiHang University（北京航空航天大学）
针对大语言模型长上下文推理的KV缓存内存瓶颈，提出BELT框架，通过学习型秩分配实现高效低秩压缩，在提升模型质量与吞吐量的同时实现显著缓存压缩效果。
2026-10-14 cs.AI cs.LG
A Theoretical Perspective for Speculative Decoding Algorithm
Princeton University（普林斯顿大学）；Northwestern University（西北大学）
针对大语言模型自回归采样推理慢且投机解码理论研究滞后的问题，本文通过马尔可夫链抽象概念化解码问题，从理论层面研究其输出质量与加速性能，分析了理论极限、批量算法及二者权衡，揭示了LLM组件间的联系及对解码效率的影响。
2024-10-30 cs.AI cs.CL cs.LG
Ultra-Efficient Decoding for End-to-End Neural Compression and Reconstruction
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对神经压缩中卷积解码器计算成本高的瓶颈问题，提出融合低秩表示与矢量量化自编码器的压缩重建框架，通过低秩操作高效解码，在保证图像高保真的同时大幅降低计算开销。
2025-10-03 cs.CV cs.LG
List-Level Distribution Coupling with Applications to Speculative Decoding and Lossy Compression
University of Toronto（多伦多大学）
本文提出了一种列表级分布耦合方法，用于改进推测解码和有损压缩，通过Gumbel-max采样扩展并提供了理论下限和实际应用效果。
2026-01-11 cs.LG
WIND: Accelerated RNN-T Decoding with Windowed Inference for Non-blank Detection
NVIDIA CorporationU.S.A.（NVIDIA公司）
该研究提出WIND加速策略，通过窗口内并行多帧处理定位非空白预测，适配多种解码方式，贪心模式下最高提速2.4倍且精度不变，束搜索精度更优且速度显著提升，将开源实现。
2025-05-19 cs.LG
Inference-friendly Graph Compression for Graph Neural Networks
针对GNN大规模推理成本高的问题，本文提出IFGC框架，通过推理等价关系构造可直接使用的压缩图，并给出SPGC、$(\alpha,r)$-压缩和锚定压缩三类方案及保证，实验验证其高效有效。
2025-05-09 cs.LG
Computationally-Efficient Neural Image Compression with Shallow Decoders
University of California, Irvine（加州大学尔湾分校）
本文提出使用浅层或线性解码器，配合更强编码器和迭代编码，在保持率失真性能的同时大幅降低神经图像压缩的解码复杂度，实现了解码FLOPs减少80%以上的新前沿。
2023-11-10 cs.CV cs.LG eess.IV
SPIRe: Boosting LLM Inference Throughput with Speculative Decoding
MatX
SPIRe通过结合静态稀疏注意力、剪枝初始化和反馈记忆构建草稿模型，在大批量推理场景下将推测解码吞吐量提升超100%，优于稀疏自推测基线35%以上。
2025-04-08 cs.LG
Mentored Decoding: Faster Inference meets Boosting
Google（谷歌）
本文提出导师解码，一种有损推测解码的正式方法，通过连接推理与提升理论，证明其能在加速推理的同时提升质量，并推广至所有f-散度，实现高效的最优参数查询与分布构造。
2026-09-28 cs.LG
Dystruct: Dynamically Structured Diffusion Language Model Decoding via Bayesian Inference
University of Central Florida（中央佛罗里达大学）
本文提出一种无需训练的贝叶斯结构解码框架，将灵活长度生成转化为动态结构推断问题，通过统一机制实现动态结构生成，提升生成质量和灵活性。
2026-11-03 cs.LG
CARD: A Cache-Assisted Parallel Speculative Decoding Framework via Query-and-Correct Paradigm for Accelerating LLM Inference
CARD通过查询-校正范式将草稿生成与验证解耦，利用共享缓存实现并行推测解码，无需微调即可将大语言模型推理加速高达4.83倍。
2025-09-19 cs.LG
Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）；AI Center Tübingen（图宾根人工智能中心）；University of Tübingen（图宾根大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；IMPRS-IS（图宾根IMPRS-IS）
本文提出Distinct Leaf Enumeration方法，通过系统性地枚举不同叶子节点提升解码效率，减少冗余生成，在数学、编码和通用推理任务中表现更优。
2026-04-22 cs.LG
Music2Latent2: Audio Compression with Summary Embeddings and Autoregressive Decoding
Queen Mary University London（伦敦玛丽女王大学）；Sony Computer Science Laboratories Paris（索尼计算机科学实验室巴黎分部）
提出Music2Latent2音频自编码器，利用一致性模型和摘要嵌入实现高压缩比与高保真度，并通过自回归解码处理任意长度音频，在质量和下游任务上优于现有方法。
2025-01-29 cs.AI cs.LG cs.SD
M2T: Masking Transformers Twice for Faster Decoding
Google Research（谷歌研究院）
本文提出M2T方法，将双向掩码Transformer用于神经图像压缩，采用预定义确定性调度并结合掩码注意力与激活缓存，在码率略增的情况下实现约4倍推理加速。
2023-04-14 cs.LG eess.IV
GeneFormer: Learned Gene Compression using Transformer-based Context Modeling
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Science and Technology of China（中国科学技术大学）
随着基因测序技术的发展，基因数据呈现爆炸式增长。基因数据的存储成为一个重要的问题。传统的基因数据压缩方法依赖于G-zip等通用软件，未能充分利用核苷酸序列间的相互关系。近年来，许多研究者开始研究基于深度学习的基因数据压缩方法。在本文中，我们提出了一种基于transformer的基因压缩方法命名为GeneFormer。具体来说，我们首先引入一个修改后的Transformer结构，以充分探索核苷酸序列依赖性。然后，我们提出了固定长度的并行分组，以加快我们的自回归模型的解码速度。在真实数据集上的实验结果表明，该方法比现有的基于学习的基因压缩方法节省了29.7%的比特率，解码速度明显快于现有的基于学习的基因压缩方法.
2023-01-31 cs.LG q-bio.GN
HARD-KV: Head-Adaptive Regularization for Decoding-time KV Compression
提出HARD-KV框架，通过级联缓存层次和对数校准机制，解决头自适应压缩算法与静态内存模式的不匹配，实现高效长上下文推理。
2026-06-27 cs.AI cs.LG
Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention
School of Information（信息学院）
本文提出熵-时间推断方法，通过自组织架构实现基于熵的解码优化，提升大语言模型推理效率与稳定性。
2026-02-08 cs.CL cs.LG
C3: High-performance and low-complexity neural compression from a single image or video
Google DeepMind（谷歌DeepMind）
提出 C3 单样本神经压缩方法，通过为每张图像或视频单独过拟合小模型并改进 COOL-CHIC，在 CLIC2020 和 UVG 上以极低解码 MACs 匹配 VTM 与 VCT 的 RD 性能。
2023-12-05 cs.CV cs.LG eess.IV
Mask-combine Decoding and Classification Approach for Punctuation Prediction with real-time Inference Constraints
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
在这项工作中，我们统一了几个现有的解码策略，标点符号预测在一个框架，并介绍了一种新的策略，利用多个预测在每个字在不同的窗口。我们表明，在训练模型后，通过优化这些策略可以实现显着的改进，只会导致推理时间的潜在增加，而不需要重新训练。我们进一步使用我们的解码策略框架，在实时的【形】设置中对标点符号预测的标记和分类方法进行第一次比较。我们的研究结果表明，分类方法的标点符号预测可以是有益的，当很少或没有右侧上下文。
2021-12-17 cs.CL cs.LG
SpecMoE: A Fast and Efficient Mixture-of-Experts Inference via Self-Assisted Speculative Decoding
KAIST（韩国科学技术院）；UNIST（蔚山科学技术院）
本文提出SpecMoE，一种基于自辅助推测解码算法的高效MoE推理系统，显著提升推理吞吐量并减少内存和互连带宽需求。
2026-04-11 cs.AI cs.LG
Break the Sequential Dependency of LLM Inference Using Lookahead Decoding
UCSD（加利福尼亚大学圣迭戈分校）；Google（谷歌）；UC Berkeley（加利福尼亚大学伯克利分校）
本文提出前瞻解码，一种无需辅助模型的精确并行解码算法，通过以每步log(FLOPs)换取减少解码步数，在MT-bench上实现1.8倍、多GPU代码补全上4倍的加速。
2024-02-03 cs.CL cs.LG
Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了浅侵略解码（SAD），以提高即时语法错误纠正（GEC）的Transformer的在线推理效率。SAD通过两个创新优化了GEC的在线推理效率：1）它并行地积极解码尽可能多的令牌，而不是总是在每个步骤中仅解码一个令牌，以提高计算并行性; 2）它使用浅解码器而不是具有平衡的编码器-解码器深度的传统Transformer架构，以降低推理期间的计算成本。在中英文GEC基准测试中的实验表明，积极解码可以产生与贪心解码相同的预测，但具有显着的在线推理速度。它与浅层解码器的结合可以在不损失质量的情况下提供比强大的Transformer基线更高的在线推理加速。我们的方法不仅允许单个模型在英语GEC基准测试中实现最先进的结果：CoNLL-14中的66.4 F0.5和ESTA-19测试集中的72.9 F0.5，在线推理速度比Transformer-big模型快近10倍，而且它很容易适应其他语言。我们的代码可在https://github.com/AutoTemp/Shallow-Aggressive-Decoding上获得。
2021-06-09 cs.CL cs.LG
VFold: Symmetry-Aware Cross-Layer Value Cache Compression
Johns Hopkins University（约翰斯·霍普金斯大学）；George Mason University（乔治梅森大学）
本研究提出感知对称性的值缓存合并策略，可在不损害性能和增加架构开销的前提下压缩LLM的值缓存，还能与其他压缩技术结合实现更高压缩比，为内存受限场景下扩展LLM上下文窗口提供了有效方案。
2026-10-09 cs.CL cs.LG
Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass
University of Washington（华盛顿大学）；Harvard University（哈佛大学）；University of Chicago（芝加哥大学）
针对语言模型多重草稿生成计算成本高的问题，提出叠加解码算法，通过输入最近词嵌入的叠加态，在单次自回归推理的计算成本下生成多份草稿，在保证连贯性与事实性的同时显著提升推理速度。
2024-10-30 cs.CL cs.LG
Sibling Neural Estimators: Improving Iterative Image Decoding with Gradient Communication
The Pennsylvania State University（宾夕法尼亚州立大学）；Rochester Institute of Technology（罗切斯特理工学院）
对于有损图像压缩，我们开发了一个基于神经元的系统，它学习一个非线性估计解码量化表示。该系统将两个递归网络连接起来，\help“使用通过梯度信号进行通信的空间背景的互补部分来重建相同的目标图像块。该双代理系统建立在先前的工作基础上，该工作提出了用于基于递归神经网络（RNN）的解码的迭代细化算法，与标准解码技术相比，该算法改进了图像重建。我们的方法适用于任何编码器，神经或非神经，该系统在固定数量的步骤中逐渐减少图像补丁重建误差。使用RNN存储单元的变体进行实验，无论是否有未来的信息，都可以发现，与其他方法相比，我们的模型始终可以创建更高感知质量的低失真图像。具体而言，在柯达无损真彩色图像套件上，我们观察到JPEG的1：64分贝（dB）增益，JPEG 2000的1：46 dB增益，GOOG神经基线的1：34 dB增益，E2E（现代竞争性神经压缩模型）的0：36增益，以及单个迭代神经解码器的0：37增益。
2019-11-20 cs.CV cs.LG
Leveraging progressive model and overfitting for efficient learned image compression
Nokia Technologies（诺基亚技术公司）
在过去的十年里，深度学习在计算机视觉和图像/视频处理领域占据压倒性优势。然而，对于图像和视频压缩，它落后于基于离散余弦变换（DCT）和线性滤波器的传统技术。建立在自动编码器架构之上的学习图像压缩（LIC）系统近年来引起了极大的关注。然而，所提出的LIC系统仍然劣于现有技术的传统技术，例如，通用视频编码（VVC/H.266）标准，由于其压缩性能或解码复杂度。虽然声称在有限的比特率范围内优于VVC/H.266，但一些提出的LIC系统需要超过40秒才能在GPU系统上解码2K图像。在本文中，我们介绍了一个强大的和灵活的LIC框架与多尺度渐进（MSP）概率模型和潜在表示过拟合（LOF）技术。利用不同的预定义配置文件，所提出的框架可以实现压缩效率和计算复杂性之间的各种平衡点。实验表明，在宽比特率范围内的三个基准数据集上，与VVC/H.266标准相比，该框架实现了2.5%、1.0%和1.3%的Bjontegaard delta比特率（BD速率）降低。更重要的是，与许多其他LIC系统相比，解码复杂度从O（n）降低到O（1），从而在解码2K图像时加速超过20倍。
2022-10-08 cs.CV cs.LG cs.MM
Structured Compression by Weight Encryption for Unstructured Pruning and Quantization
Samsung Research（三星研究院）；Harvard University（哈佛大学）
模型压缩技术，例如修剪和量化，对于减少存储器占用和计算量变得越来越重要。尽管模型尺寸减小，但是在设备上实现性能增强仍然具有挑战性，主要是由于稀疏矩阵格式的不规则表示。本文提出了一种新的稀疏量化神经网络权值表示方法，具体采用细粒度非结构化剪枝方法实现。该表示被加密在一个结构化的规则格式，它可以有效地解码通过异或门网络在推理过程中以并行的方式。我们展示了各种深度学习模型，这些模型可以通过我们提出的格式进行压缩和表示，具有固定和高压缩比。例如，对于ImageNet数据集上AlexNet的全连接层，我们可以在固定解码速率和完全内存带宽使用的情况下，仅用0.28位/权重表示1位量化和91%修剪率的稀疏权重。通过XOR门网络的解码可以在没有任何模型精度降级的情况下执行，而附加的补丁数据与小的开销相关联。
2020-03-05 cs.LG stat.ML
Fast Inference from Transformers via Speculative Decoding
Google Research（谷歌研究院）
本文提出推测解码算法，通过并行计算和高效小模型近似，在不改变输出分布的前提下加速大型自回归模型推理，在T5-XXL上实现2至3倍加速且无需重新训练。
2023-05-18 cs.CL cs.LG
Collaborative Large Language Model Inference via Resource-Aware Parallel Speculative Decoding
Seoul National University（首尔国立大学）
本文提出一种统一框架，通过多智能体深度强化学习优化用户关联和资源分配，实现高效的并行推测解码，减少端到端延迟28%以上，提升移动边缘计算中大语言模型服务的性能。
2025-11-27 cs.LG eess.SP
Exact Decoding on Latent Variable Conditional Models is NP-Hard
Peking University（北京大学）
隐变量条件模型，包括作为特殊情况的隐条件随机场，是许多自然语言处理和视觉处理任务的流行模型。潜条件随机场中精确解码/推断的计算复杂性尚不清楚。本文试图阐明精确译码的计算复杂性。我们分析的复杂性，并证明，这是一个NP-难的问题，即使在顺序标记设置。此外，我们提出了潜在的动态推理（LDI-Naive）方法及其有界版本（LDI-Bounded），这是能够执行精确推理或几乎精确推理，通过使用顶部$n$搜索和动态规划。
2014-06-18 cs.AI cs.CC cs.LG
Lossless Compression with Probabilistic Circuits
UCLA（加州大学洛杉矶分校）；University of California, Irvine（加州大学欧文分校）
尽管在图像生成方面取得了广泛的进展，但常见的深度生成模型架构并不容易应用于无损压缩。例如，VAE由于其潜在变量而遭受压缩成本开销。这种开销只能部分消除精心设计的方案，如比特回编码，往往导致单样本压缩率差。为了克服这些问题，我们建立了一类新的易处理的无损压缩模型，允许有效的编码和解码：概率电路（PC）。这些是涉及$|p|$计算单元的一类神经网络，其支持对$D$特征维度的任意子集的有效边缘化，从而实现有效的算术编码。我们得到有效的编码和解码方案，都具有时间复杂度$\mathcal{O} (\log(D) \cdot |p|)$，其中一个天真的计划将在$D$和$|p|$的线性成本，使该方法高度可扩展。根据经验，我们基于PC的（解）压缩算法比实现类似比特率的神经压缩算法快5-40倍。通过扩展传统的PC结构学习管道，我们在MNIST等图像数据集上获得了最先进的结果。此外，PC可以自然地与现有的神经压缩算法集成，以提高这些基础模型在自然图像数据集上的性能。我们的研究结果突出了非标准学习架构可能对神经数据压缩产生的潜在影响。
2022-03-16 cs.IT cs.LG math.IT
Improving Inference for Neural Image Compression
University of California, Irvine（加州大学欧文分校）
本文研究了基于深隐变量模型的有损图像压缩问题。最先进的方法建立在分层变分自编码器（VAE）的基础上，并学习推理网络来预测每个数据点的可压缩潜在表示。利用变分推理压缩的角度来看，我们确定了三个近似的差距，限制在传统的方法的性能：摊销差距，离散化差距，和边缘化差距。我们提出的补救措施，这三个限制的基础上的想法，迭代推理，离散优化的随机退火，和比特回编码，导致比特回编码的第一个应用程序的有损压缩。在我们的实验中，其中包括广泛的基线比较和消融研究，我们实现了新的国家的最先进的性能有损图像压缩使用一个既定的VAE架构，通过改变推理方法。
2021-01-08 cs.LG eess.IV stat.ML
Characterizing Prompt Compression Methods for Long Context Inference
UC Berkeley（加州大学伯克利分校）
针对长上下文推理的提示压缩方法缺乏统一对比、结论矛盾的问题，本文通过标准化分析评估三类压缩方法，发现抽取式压缩性能最优，可实现10倍压缩且精度损失极小，token剪枝方法表现不及抽取式压缩，仅在摘要任务有边际提升。
2024-07-11 cs.CL cs.LG
Learned Image Compression with Generalized Octave Convolution and Cross-Resolution Parameter Estimation
Xi'an Jiaotong University（西安交通大学）
上下文自适应熵模型的应用显着提高率失真（R-D）性能，其中超先验和自回归模型联合使用，以有效地捕获潜在表示的空间冗余。然而，潜在的表征仍然包含一些空间相关性。另外，这些基于上下文自适应熵模型的方法不能在解码过程中通过并行计算设备（例如FPGA或GPU）来加速。为了减轻这些限制，我们提出了一个学习的多分辨率图像压缩框架，它利用最近开发的倍频程卷积分解的潜在表示为高分辨率（HR）和低分辨率（LR）的部分，类似于小波变换，这进一步提高了R-D性能。为了加快解码速度，我们的方案不使用上下文自适应熵模型。相反，我们利用一个额外的超层，包括超编码器和超解码器，以进一步消除潜在表示的空间冗余。此外，交叉分辨率参数估计（CRPE）被引入到所提出的框架，以加强信息流，进一步提高率失真性能。提出了一个额外的信息保真度损失的总损失函数，以调整LR部分的最终比特流的贡献。实验结果表明，与现有的图像压缩方法相比，该方法的解码时间分别减少了约73.35%和93.44%，并且在较宽的比特率范围内，在PSNR和MS-SSIM指标上，R-D性能仍优于H. 266/VVC（4：2：0）和一些基于学习的方法。
2022-09-07 cs.LG eess.IV
MoE-Compression: How the Compression Error of Experts Affects the Inference Accuracy of MoE Model?
Department of Computing（计算系）；Hong Kong Polytechnic University（香港理工大学）；Mathematics and Computer Science Division（数学与计算机科学 division）；Argonne National Laboratory（阿贡国家实验室）；The University of Hong Kong（香港大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Department of Computer Science and Engineering（计算机科学与工程系）；University of California, Merced（加州大学默塞德分校）
针对MoE模型在有限GPU内存下服务效率问题，提出用有界误差有损压缩算法压缩未激活专家以减少传输开销，并分析发现浅层专家对误差不敏感、中层敏感、深层误差有时提升精度。
2025-09-09 cs.DC cs.LG
FDC: Fast KV Dimensionality Compression for Efficient LLM Inference
University of Virginia（弗吉尼亚大学）
本文提出快速 KV 维度压缩系统 FDC，通过免解压、自适应压缩率和优化注意力内核，在保持 99% 精度的同时显著降低 LLM 推理延迟并提升吞吐。
2025-06-08 cs.DC cs.LG
Quad Length Codes for Lossless Compression of e4m3
Google LLC（谷歌公司）
本文提出四长度编码，结合压缩效率与解码速度，适用于e4m3数据类型的无损压缩。
2026-02-25 cs.IT cs.LG math.IT
Accelerating Transformer Inference for Translation via Parallel Decoding
Sapienza University of Rome（罗马智慧大学）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）
本文提出利用 Jacobi 和 Gauss-Seidel 定点迭代将机器翻译的自回归解码并行化，无需训练或修改模型即可在保持翻译质量的同时实现最高 38% 的加速，并开发了 DDGviz 工具用于可视化解码依赖关系。
2023-05-17 cs.AI cs.CL cs.LG
Generation Meets Verification: Accelerating Large Language Model Inference with Smart Parallel Auto-Correct Decoding
Intellifusion Inc.（云天励飞公司）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本研究提出SPACE智能并行自动校正解码方法，通过半自回归监督微调让大语言模型可并行生成与验证token，在HumanEval-X上实现2.7-4.0倍无损推理加速。
2024-05-20 cs.AI cs.CL cs.LG
Semi-Clairvoyant Scheduling of Speculative Decoding Requests to Minimize LLM Inference Latency
School of Cyber Science and Engineering, Xi’an Jiaotong University（西安交通大学计算机科学与工程学院）；School of Computer Science and Engineering, The University of Aizu（台湾花莲大学计算机科学与工程学院）
针对LLM推理中投机解码请求执行时间不确定的问题，提出半预知调度算法LAPS-SD，通过自适应调度与多队列抢占最小化平均推理延迟，实验显示延迟降低约39%。
2025-05-20 cs.AI cs.CL cs.LG
$ϕ$-Decoding: Adaptive Foresight Sampling for Balanced Inference-Time Exploration and Exploitation
Shanghai AI Lab（上海人工智能实验室）；Xi’an Jiaotong University（西安交通大学）；The University of Hong Kong（香港大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）
本文提出 $ϕ$-Decoding，通过前瞻采样、分布近似及宽度/深度剪枝平衡推理时探索与利用，在七个基准上提升性能与效率。
2025-03-17 cs.AI cs.CL cs.LG
Parallel Neural Local Lossless Compression
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
最近提出的神经局部无损压缩（NeLLoC），这是基于局部自回归模型，已达到国家的最先进的（SOTA）的分布外（OOD）的泛化性能在图像压缩任务。除了鼓励面向对象的推广，本地模型还允许在解码阶段进行并行推理。在本文中，我们提出了两个局部自回归模型的并行化方案。我们讨论了实施方案的实用性，并提供实验证据的压缩运行时的显着收益相比，以前的，非并行实现。
2022-06-26 cs.LG eess.IV stat.ML
Speculative Decoding Scaling Laws (SDSL): Throughput Optimization Made Simple
本研究提出了一种理论，分析性地将预训练大语言模型的关键超参数与基于SD的推理系统吞吐效率联系起来，从而在预训练前预测最优超参数。
2026-02-25 cs.CL cs.IT cs.LG
Dynamic Compression Ratio Selection for Edge Inference Systems with Hard Deadlines
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
在物联网（IoT）设备上实现机器学习算法对于自动驾驶、环境监测等新兴应用至关重要。但是计算能力和能耗的限制使得在物联网设备上运行复杂的机器学习算法变得困难，特别是当存在延迟期限时。一种解决方案是将计算密集型任务卸载到边缘服务器。然而，原始数据的无线上传是耗时的，并且可能导致违反最后期限。为了减少通信开销，可以利用有损数据压缩来进行推理任务，但是可能带来更多错误的推理结果。本文针对具有硬截止期的边缘推理系统，提出了一种动态压缩比选择方案。其关键思想是平衡通信成本和推理精度之间的折衷。通过动态选择最优压缩比与排队任务的剩余期限预算，更多的任务可以在有限的通信资源，及时完成正确的推理。此外，信息增强，重发较少的压缩数据的错误推理的任务，提出了提高精度的性能。虽然通常很难知道推断的正确性，但我们使用不确定性来估计推断的置信度，并在此基础上，联合优化信息增强和压缩比选择。最后，考虑到无线传输的错误，我们进一步设计了一个重传方案，以减少由于数据包丢失造成的性能下降。仿真结果表明，所提出的方案在不同的截止时间和任务到达率的性能。
2020-05-25 cs.IT cs.LG math.IT
To Compress, or Not to Compress: Characterizing Deep Learning Model Compression for Embedded Inference
Northwest University（西北大学）；Shaanxi Normal University（陕西师范大学）；Peking University（北京大学）；National University of Defense Technology（国防科技大学）；Lancaster University（兰卡斯特大学）
深度神经网络（DNN）的最新进展使其对嵌入式系统具有吸引力。然而，DNN可能需要很长时间才能在资源受限的计算设备上进行推断。模型压缩技术可以解决嵌入式设备上深度推理的计算问题。这种技术非常有吸引力，因为它不依赖于专用硬件，也不依赖于由于隐私问题或高延迟而通常不可行的计算卸载。然而，目前还不清楚模型压缩技术如何在各种DNN上执行。为了设计高效的嵌入式深度学习解决方案，我们需要了解它们的行为。这项工作开发了一种定量方法来表征模型压缩技术的代表性嵌入式深度学习架构，NVIDIA Jetson Tx2。我们进行了广泛的实验，考虑从图像分类和自然语言处理域的11个有影响力的神经网络架构。我们的实验表明，如何两个主流的压缩技术，数据量化和修剪，执行这些网络架构和压缩技术的影响模型的存储大小，推理时间，能耗和性能指标。我们证明了有机会在嵌入式系统上实现快速的深度推理，但必须仔细选择压缩设置。我们的结果提供了有关何时以及如何应用模型压缩技术的见解，以及设计高效嵌入式深度学习系统的指南。
2018-10-21 cs.DC cs.LG cs.PF
Exploring the Rate-Distortion-Complexity Optimization in Neural Image Compression
University of Science and Technology of China（中国科学技术大学）
本文系统研究神经图像压缩中的率-失真-复杂度（RDC）优化，通过将解码复杂度纳入优化目标，设计可变复杂度编解码器以自适应利用空间依赖性，实现细粒度复杂度调整，兼顾率失真性能与解码效率。
2023-05-12 cs.IT cs.LG eess.IV
