GIVT：生成式无限词汇 Transformer
GIVT: Generative Infinite-Vocabulary Transformers
AI总结：
本文提出GIVT，一种生成实值向量序列的Transformer，通过线性投影输入和输出高斯混合参数，在图像生成上超越VQ-GAN和MaskGIT，并在全景分割和深度估计中表现优异。
摘要：
我们引入了生成式无限词汇 Transformer（GIVT），它生成具有实值条目的向量序列，而不是来自有限词汇表的离散标记。为此，我们对仅解码器 Transformer 提出了两个令人惊讶的简单修改：1）在输入处，我们用输入向量的线性投影替换有限词汇查找表；2）在输出处，我们用多元高斯混合模型的参数替换 logits 预测（通常映射到分类分布）。受 VQ-GAN 和 MaskGIT 图像生成范式的启发，其中 Transformer 用于对 VQ-VAE 的离散潜在序列进行建模，我们使用 GIVT 对 β-VAE 的未量化实值潜在序列进行建模。在类条件图像生成中，GIVT 优于 VQ-GAN（及其改进变体）以及 MaskGIT，并实现了与近期潜在扩散模型相媲美的性能。最后，在将 GIVT 应用于全景分割和深度估计（使用 UViM 框架的 VAE 变体）时，我们在图像生成之外获得了强劲的结果。
英文摘要：
We introduce Generative Infinite-Vocabulary Transformers (GIVT) which generate vector sequences with real-valued entries, instead of discrete tokens from a finite vocabulary. To this end, we propose two surprisingly simple modifications to decoder-only transformers: 1) at the input, we replace the finite-vocabulary lookup table with a linear projection of the input vectors; and 2) at the output, we replace the logits prediction (usually mapped to a categorical distribution) with the parameters of a multivariate Gaussian mixture model. Inspired by the image-generation paradigm of VQ-GAN and MaskGIT, where transformers are used to model the discrete latent sequences of a VQ-VAE, we use GIVT to model the unquantized real-valued latent sequences of a $β$-VAE. In class-conditional image generation GIVT outperforms VQ-GAN (and improved variants thereof) as well as MaskGIT, and achieves performance competitive with recent latent diffusion models. Finally, we obtain strong results outside of image generation when applying GIVT to panoptic segmentation and depth estimation with a VAE variant of the UViM framework.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
