SSD: 空间推测解码加速自回归图像生成
SSD: Spatially Speculative Decoding Accelerates Autoregressive Image Generation
AI总结：
提出空间推测解码（SSD），利用二维空间相关性同时预测相邻水平与下方令牌，突破视觉推理中的内存瓶颈，实现高达13.3倍的自回归图像生成加速。
摘要：
自回归模型通过将图像视为离散令牌的一维序列，在视觉生成中表现出色，类似于语言建模。然而，这种扁平化处理丢弃了视觉信号固有的二维空间局部性，在推理过程中造成严重的计算瓶颈。我们提出空间推测解码（SSD），一种将预测目标与图像自然几何结构对齐的框架。我们的模型不是仅预测一维序列中的下一个令牌，而是同时预测相邻的水平令牌和正下方的令牌。通过利用这种二维空间相关性，空间推测解码克服了视觉推理中的内存墙。我们的方法在DPG-Bench和GenEval上保持高保真度的同时，将自回归图像生成速度提升高达13.3倍。我们的结果表明，尊重视觉的底层几何结构可以释放巨大的计算效率，为实时、高分辨率自回归生成模型铺平道路。
英文摘要：
Autoregressive image models treat images as 1D token sequences, inheriting the next-token factorization of language models. This flattening discards a useful property of images: visual tokens are organized and correlated in two-dimensional space. We introduce Spatially Speculative Decoding (SSD), an inference-time decoding framework that exploits this spatial structure for accelerated generation. Rather than speculating only along the flattened sequence, SSD predicts both the adjacent horizontal token and the token directly below it, allowing multiple spatial directions to advance in parallel. This reduces the number of backbone forward evaluations and alleviates the memory bottleneck of autoregressive decoding. SSD accelerates image generation by up to 11.03x in wall-clock time while maintaining generation quality on DPG-Bench and GenEval. These results show that spatial structure provides a simple and effective source of parallelism for faster autoregressive image generation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
