An Image is Worth Multiple Words: Multi-attribute Inversion for Constrained Text-to-Image Synthesis
Adobe Research(奥多比研究院)
本文提出多属性反演算法MATTE,通过跨时间步与层维度设计并引入正则化损失,显式解耦颜色、风格、布局和对象四个词元,从而用单张参考图像约束扩散模型生成新样本。
2023-11-20 cs.CV
Unified Driving Tokens: Representation- and Geometry-Guided Discrete Tokenizer for Driving World Models and Planning
Peking University(北京大学);Xiaomi EV(小米电动车)
提出一种表示引导与几何增强的离散分词器,通过联合监督学习紧凑令牌,同时优化重建保真度、表示一致性和规划性能。
2026-06-04 cs.CV
Any 3D Scene is Worth 1K Tokens: 3D-Grounded Representation for Scene Generation at Scale
Westlake University(西湖大学);Afari Intelligent Drive(阿法里智能驾驶);Zhejiang University(浙江大学)
本文提出在隐式3D潜在空间中直接生成3D场景,解决传统2D方法在3D空间扩展中的不足,通过3DRAE和3DDiT实现高效且一致的3D生成。
2026-10-20 cs.CG cs.CV
Semantic-Aware Prefix Learning for Token-Efficient Image Generation
本文提出SMAP,一种将语义条件注入查询式1D令牌化框架的令牌高效图像生成方法,通过尾令牌丢弃策略增强语义重要性,并引入CARD生成器验证其生成能力。
2026-03-26 cs.CV
ImageFolder: Autoregressive Image Generation with Folded Tokens
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文针对图像生成中token长度在重建与生成质量间的权衡问题,提出ImageFolder语义tokenizer,通过折叠空间对齐token及双分支乘积量化提升生成效率与质量,实验验证其生成质量更优且token长度更短。
2024-12-03 cs.CV
CoReDiT: Spatial Coherence-Guided Token Pruning and Reconstruction for Efficient Diffusion Transformers
Qualcomm AI Research(高通人工智能研究)
CoReDiT通过空间一致性引导的令牌剪枝与重建,显著降低扩散变换器的计算量,提升推理速度,同时保持高质量视觉输出。
2026-05-13 cs.CV
EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation
EVATok通过自适应分块器提升视频重建和自回归生成的效率与质量,实现令牌使用量减少24.4%。
2026-03-12 cs.CV
Generation then Reconstruction: Accelerating Masked Autoregressive Models via Two-Stage Sampling
Beijing Institute of Technology(北京理工大学);EPIC Lab, SJTU(上海交通大学EPIC实验室);Tsinghua University(清华大学)
GtR通过两阶段采样加速遮蔽自回归模型,实现3.72倍速度提升并保持高质量生成。
2026-01-27 cs.CV
InsightTok: Improving Text and Face Fidelity in Discrete Tokenization for Autoregressive Image Generation
Tsinghua University(清华大学);Microsoft Research(微软研究院)
InsightTok通过局部内容感知损失提升文本和面部保真度,在不牺牲通用重建质量的情况下优于现有分词器,从而推动离散图像生成的发展。
2026-05-14 cs.CV
2D Gaussians Meet Visual Tokenizer
Huazhong University of Science and Technology(华中科技大学);Horizon Robotics;Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
针对现有量化视觉Tokenizer(如VQ-GAN)忽略几何结构的问题,提出视觉高斯量化(VGQ)框架,通过集成2D高斯分布增强结构建模,在ImageNet基准上实现更优重建质量,rFID最低达0.556。
2025-08-20 cs.CV
RepWAM: World Action Modeling with Representation Visual-Action Tokenizers
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究所);Robbyant, Ant Group(蚂蚁集团 Robbyant);Hongkong University of Science and Technology(香港科技大学)
提出RepWAM,一种基于表示视觉-动作分词器的世界动作模型,通过联合建模未来视觉状态和潜在动作,在真实和仿真机器人操作任务中取得优异性能。
2026-06-16 cs.CV
Rethinking the Objectives of Vector-Quantized Tokenizers for Image Synthesis
National University of Singapore(新加坡国立大学);Tencent PCG(腾讯平台与内容事业群)
矢量量化(基于矢量量化)生成模型通常由两个基本组件组成,即,VQ标记器和生成Transformers。以前的研究集中在提高重建保真度的VQ tokenizer,但很少检查如何改善重建影响生成Transformers的生成能力。在本文中,我们惊讶地发现,提高重建保真度的VQ标记不一定提高生成。相反,学习压缩VQ标记器中的语义特征可以显著提高生成Transformers捕获纹理和结构的能力。因此,我们强调两个相互竞争的目标的VQ标记图像合成:语义压缩和细节保存。不同于以往的工作,只追求更好的细节保护,我们提出了语义量化GAN(SeQ-GAN GAN)的两个学习阶段,以平衡这两个目标。在第一阶段,我们提出了一个语义增强的感知损失更好的语义压缩。在第二阶段,我们固定编码器和码本,但增强和微调解码器,以实现更好的细节保留。所提出的SeQ-GAN极大地改进了基于矢量量化的生成模型,并且在无条件和有条件图像生成方面都优于GAN和扩散模型。我们的SeQ-GAN(364 M)在256 x256 ImageNet生成上实现了6.25的Frechet Inception Distance(FID)和140.9的Inception Score(IS),这比VIT-VQGAN(714 M)有了显着的改进,后者获得了11.2 FID和97.2 IS。
2023-03-09 cs.CV
Not Every Image is Worth a Thousand Words: Quantifying Originality in Stable Diffusion
School of Computer Science, Tel Aviv University(特拉维夫大学计算机科学学院);Faculty of Law, Tel Aviv University(特拉维夫大学法学院);School of Electrical Engineering, Tel Aviv University(特拉维夫大学电气工程学院)
针对文本到图像扩散模型的版权原创性量化难题,提出基于文本反转、以图像重建所需token数衡量原创性的方法,验证了二者相关性,为生成模型原创性评估及版权侵权判定提供参考。
2024-08-15 cs.CV cs.LG
NativeTok: Native Visual Tokenization for Improved Image Generation
University of Science and Technology of China(科学技术大学)
NativeTok通过强制因果依赖关系提升图像生成效果,采用元图像变换器和因果专家变换器实现高效重建与关系约束。
2026-01-30 cs.CV
RecTok: Reconstruction Distillation along Rectified Flow
Peking University(北京大学);Nanyang Technological University(南洋理工大学);TeleAI
RecTok通过流语义蒸馏和重建-对齐蒸馏提升高维视觉分词器的重建和生成性能,实现更丰富的潜在空间结构。
2025-12-17 cs.CV
A Video is Worth 256 Bases: Spatial-Temporal Expectation-Maximization Inversion for Zero-Shot Video Editing
The University of Hong Kong(香港大学);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Peking University(北京大学);Tsinghua University(清华大学)
针对现有视频编辑反演方法时间一致性不足的问题,提出时空期望最大化(STEM)反演方法,通过低秩全局基表示视频,在两种SOTA视频编辑方法上实现了一致的性能提升。
2024-06-18 cs.CV
Regularized Vector Quantization for Tokenized Image Synthesis
Nanyang Technological University(南洋理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出正则化向量量化框架,通过先验分布正则化和随机掩码正则化解决码本崩溃、利用率低及推理不对齐问题,并引入概率对比损失,在自回归和扩散模型中持续优于现有方法。
2023-10-14 cs.CV
SSDD: Single-Step Diffusion Decoder for Efficient Image Tokenization
Meta Fundamental AI Research(Meta 基础人工智能研究);Sorbonne University(索邦大学)
本文提出SSDD,一种基于Transformer和GAN-free训练的单步扩散解码器,提升了图像标记化的效率和稳定性,实现比KL-VAE更高的重建质量和更快的采样速度。
2026-06-29 cs.CV
QLIP: Text-Aligned Visual Tokenization Unifies Auto-Regressive Multimodal Understanding and Generation
UT Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达)
QLIP提出一种结合重建与语言-图像对齐的视觉分词方法,通过动态损失平衡和两阶段训练,以单一模型统一多模态理解与生成,并可即插即用替代LLaVA和LlamaGen的视觉组件。
2025-02-07 cs.CV
HieraTok: Multi-Scale Visual Tokenizer Improves Image Reconstruction and Generation
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Zhejiang University of Technology(浙江工业大学)
本文提出多尺度 ViT 视觉分词器 HieraTok,通过多尺度下采样与尺度因果注意力改善图像重建和生成,并在 rFID、gFID 与收敛速度上取得显著优势。
2025-09-28 cs.AI cs.CV
RPiAE: A Representation-Pivoted Autoencoder Enhancing Both Image Generation and Editing
Beihang University(北航大学);AI Research(360人工智能研究院);The Chinese University of Hong Kong(香港中文大学)
本文提出RPiAE,一种基于表示的自编码器,通过引入表示偏转正则化和变分桥梁,提升图像生成和编辑的性能,实验表明其在文本到图像生成和图像编辑中表现优异。
2026-03-19 cs.CV
SFTok: Bridging the Performance Gap in Discrete Tokenizers
Department of Automation, Tsinghua University(自动化系,清华大学)
SFTok通过多步骤迭代机制和自引导视觉重建策略,提升图像重建质量,实现高压缩率下的高性能表现。
2025-12-18 cs.CV cs.LG
MergeTok: Unified Continuous and Discrete Visual Tokenization via Token Merging
Tsinghua University(清华大学);Westlake University(西湖大学);Zhejiang University(浙江大学);Hong Kong University of Science and Technology(香港科学与技术大学);OPPO;Shanghai AI Lab(上海人工智能实验室)
提出MergeTok统一令牌化器,通过令牌合并技术联合优化连续VAE和离散VQ令牌化器,实现高保真重建与语义可控离散表示的兼顾。
2026-05-29 cs.CV
Learnings from Scaling Visual Tokenizers for Reconstruction and Generation
Meta;FAIR, Meta(元公司FAIR研究院);Stanford University(斯坦福大学)
本文提出 ViTok 视觉分词器,系统扩展并分析自编码器瓶颈、编码器与解码器对重建及生成的影响,以更低 FLOPs 达到图像重建与生成竞争力,并刷新 UCF-101 类别条件视频生成基准。
2025-01-16 cs.AI cs.CV
Spectral Image Tokenizer
Google Research(谷歌研究院)
本研究提出Spectral Image Tokenizer,对离散小波变换得到的图像频谱分词以粗到细表示图像,具备多分辨率适配、改善预测条件等优势,可用于多尺度生成、文本引导上采样与编辑等任务。
2025-06-11 cs.CV cs.LG
NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation
North China Electric Power University(华北电力大学);University of Science and Technology of China(中国科学技术大学);Stanford University(斯坦福大学)
NesTok提出嵌套自对齐框架,通过跨长度训练提升一维变长分词器的重建与生成性能,在ImageNet上取得rFID 0.98和gFID 1.46的领先结果。
2026-10-02 cs.AI cs.CV
Autoregressive Visual Generation Needs a Prologue
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));hi-Lab, Xiaohongshu Inc(小红书实验室)
提出Prologue方法,通过生成前置的序幕令牌来弥合自回归图像生成中的重建-生成差距,在不影响重建质量的前提下显著提升生成性能。
2026-05-29 cs.AI cs.CV cs.LG
Images are Worth Variable Length of Representations
University of California, San Diego(加州大学圣迭戈分校);University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
本文提出动态视觉编码器DOVE,根据图像信息量生成可变数量的视觉标记,在保持重建质量的同时大幅减少标记数,并通过查询条件标记化实现更高效的语义提取。
2025-06-05 cs.CV
V2Flow: Unifying Visual Tokenization and Large Language Model Vocabularies for Autoregressive Image Generation
Du Xiaoman Financial(度小满金融)
V2Flow提出一种基于流匹配的视觉分词器,通过视觉词表重采样与掩码自回归整流流解码,使离散视觉token与LLM词表对齐,实现高保真重建并支持在现有LLM上进行自回归图像生成。
2025-03-10 cs.AI cs.CV
All are Worth Words: A ViT Backbone for Diffusion Models
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
视觉Transformer(ViT)在各种视觉任务中表现出了希望,而基于卷积神经网络(CNN)的U-Net在扩散模型中仍然占主导地位。我们设计了一个简单和通用的基于ViT的架构(命名为U-ViT)的扩散模型的图像生成。U-ViT的特征在于将包括时间、条件和噪声图像块的所有输入作为令牌,并在浅层和深层之间采用长跳跃连接。我们在无条件和类条件图像生成以及文本到图像生成任务中评估了U-ViT,其中U-ViT与类似大小的基于CNN的U-Net相当。特别是,具有U-ViT的潜空间扩散模型在ImageNet 256 x256上的类条件图像生成中实现了破纪录的FID分数2.29,在MS-COCO上的文本到图像生成中实现了破纪录的FID分数5.48,这些方法在生成模型的训练期间不访问大型外部数据集。我们的研究结果表明,对于基于扩散的图像建模,长跳跃连接是至关重要的,而基于CNN的U-Net中的下采样和上采样算子并不总是必要的。我们相信,U-ViT可以为未来扩散模型的主干研究提供见解,并有利于大规模跨模态数据集的生成建模。
2023-03-25 cs.AI cs.CV cs.LG
LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models
CUHK(香港中文大学);SmartMore(思谋科技)
LLaMA-VID提出用上下文令牌和内容令牌两个令牌表示每帧图像,以降低长视频处理的计算负担,使现有视觉语言模型能支持小时级视频并在多数基准上超越先前方法。
2023-11-28 cs.CL cs.CV
Scaling Laws in Patchification: An Image Is Worth 50,176 Tokens And More
Johns Hopkins University(约翰霍普金斯大学);University of Florida(佛罗里达大学)
研究探讨了补丁化中的缩放定律,发现减小补丁大小可提升模型性能,最终达到像素标记化,并在ImageNet-1k上实现了84.6%的准确率。
2026-02-19 cs.CV
ViTok-v2: Scaling Native Resolution Auto-Encoders to 5 Billion Parameters
University of Texas, Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学);Stanford University(斯坦福大学);Spellbrush;Meta Superintelligence Labs(Meta超智能实验室);Georgia Institute of Technology(佐治亚理工学院)
ViTok-v2通过NaFlex实现跨分辨率和宽高比泛化,引入新的DINOv3感知损失,提升重建性能并稳定训练,达到当前最佳水平。
2026-05-06 cs.AI cs.CV cs.LG
SeMoCo: A Semantic-First Motion Codec for Motion Language Modeling
Jilin University(吉林大学);Frontier Robotics(前沿机器人公司);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
SeMoCo是面向运动语言建模的语义优先运动编解码器,搭配双轴运动生成器,构建了Ω-MotionVerse数据集,在重构精度与文本到运动生成任务中表现优异。
2026-08-31 cs.CL cs.CV cs.GR
AToken: A Unified Tokenizer for Vision
Apple(苹果公司)
AToken是首个统一视觉分词器,通过共享4D潜在空间和纯Transformer架构,在图像、视频和3D上同时实现高保真重建与语义理解,并在生成与理解任务中取得领先性能。
2025-09-19 cs.AI cs.CV cs.MM
A Picture is Worth a Billion Bits: Real-Time Image Reconstruction from Dense Binary Pixels
Tel-Aviv University(特拉维夫大学)
在数字图像传感器中以不断增加的分辨率追求更小的像素尺寸主要是由蜂窝电话市场中传感器和光学器件的严格的价格和形状因数要求驱动的。最近,Eric Fossum提出了一种具有密集的亚衍射极限一位像素点的图像传感器的新概念,其可以被认为是卤化银照相胶片的数字仿真。这个想法最近被体现为EPFL Gigavision相机。这种传感器的设计中的一个主要瓶颈是图像重建过程,从过采样二进制测量产生连续的高动态范围图像。泊松统计的极端量化与大多数标准图像处理和增强框架的假设不兼容。最近提出的最大似然(ML)方法解决了这个困难,但遭受图像伪影,并具有不切实际的高计算复杂性。在这项工作中,我们研究了一个变量的传感器与二进制阈值像素,并提出了一个重建算法相结合的ML数据拟合项与稀疏合成先验。我们还展示了一个高效的硬件友好的实时的【形】近似这个逆operator.Promising结果显示在合成数据以及HDR数据仿真使用多次曝光的一个定期的CMOS传感器。
2015-12-05 cs.CV
iLLaVA: An Image is Worth Fewer Than 1/3 Input Tokens in Large Multimodal Models
School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院);School of Computer Science and Technology, Tiangong University(天津工大学计算机科学与技术学院);Key Research Center for Surface Monitoring and Analysis of Relics, State Administration of Cultural Heritage(文物表面监测与分析关键研究中心,国家文物局)
iLLaVA通过联合优化图像编码器和LLM,减少冗余标记并提升吞吐量,实现更高效的多模态模型性能。
2026-03-09 cs.CV
A Picture is Worth More Than 77 Text Tokens: Evaluating CLIP-Style Models on Dense Captions
Meta;FAIR at Meta(元公司FAIR研究院);Mila(米拉研究所);Universite de Montreal(蒙特利尔大学);McGill University(麦吉尔大学)
本文构建含7805张图像、平均描述超1000词的人工密集描述数据集DCI及限长版sDCI,并提出描述-子裁剪匹配任务,评估CLIP类VLM,发现标准基准进展不等于细粒度理解提升,而用sDCI微调可显著改进CLIP。
2024-06-17 cs.CV
COMiT: Learning Structured Visual Tokens through Sequential Communication
Computer Vision Group, University of Bern, Switzerland(伯恩大学计算机视觉组);VITA Lab, EPFL, Switzerland(苏黎世联邦理工学院VITA实验室)
COMiT通过受通信启发的分词框架,学习结构化离散视觉分词序列,提升图像重建和语义理解能力。
2026-09-30 cs.AI cs.CV cs.LG
An Image Is Worth Ten Thousand Words: Verbose-Text Induction Attacks on VLMs
Huazhong University of Science and Technology(华中科技大学);Fordham University(福特汉姆大学);Wuhan University(武汉大学)
本文提出一种针对视觉语言模型的冗余文本诱导攻击,通过两阶段框架生成恶意图像以诱导模型生成冗长文本,提升攻击效果与可控性。
2025-11-20 cs.CV
TokenSplat: Token-aligned 3D Gaussian Splatting for Feed-forward Pose-free Reconstruction
State Key Laboratory of Complex and Critical Software Environment(复杂与关键软件环境国家重点实验室);School of Computer Science and Engineering(计算机科学与工程学院);School of Artificial Intelligence(人工智能学院)
TokenSplat通过令牌对齐的3D高斯散射实现无姿态重建,结合可学习相机令牌和非对称双流解码器,提升重建保真度和姿态估计精度。
2026-02-28 cs.CV
A Pixel Is Worth More Than One 3D Gaussians in Single-View 3D Reconstruction
NC State University(北卡罗来纳州立大学);Ant Group(蚂蚁集团)
本文提出分层Splatter Image方法,通过为每个像素学习父3D高斯和子3D高斯,解决单视图3D重建中遮挡内容表示能力有限的问题,在ShapeNet-SRN和CO3D数据集上取得最先进性能。
2024-06-03 cs.CV
A Paragraph is Worth a Thousand Captions: Rethinking Text Supervision for Vision-Language Retrieval
The George Washington University(乔治华盛顿大学)
该研究针对视觉-语言检索,通过系统对比单标题与段落文本监督,发现仅微调BLIP文本编码器的段落监督模型在DOCCI等任务上优于Long-CLIP,为文本粒度与检索性能的关系提供了新见解。
2026-08-07 cs.CV
Spark3R: Asymmetric Token Reduction Makes Fast Feed-Forward 3D Reconstruction
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);School of Computer Science, Peking University(北京大学计算机科学学院)
本文提出Spark3R框架,通过非对称令牌缩减技术,在不重新训练的情况下加速前馈3D重建模型,实现高达28倍的速度提升同时保持高质量重建。
2026-05-18 cs.CV
Beyond Token Accuracy: Prioritizing What Matters for Visual Reconstruction
Zhejiang University(浙江大学)
针对现有视觉令牌通信静态策略无法适应图像内容与信道条件的问题,提出AdapToC自适应框架,协同设计令牌数量、不等保护与可靠性感知恢复,在匹配通信成本下实现4.20 dB峰值PSNR增益,达到最先进性能。
2026-10-06 cs.CV
TEASER: Token Enhanced Spatial Modeling for Expressions Reconstruction
International Digital Economy Academy(国际数字经济学院);Peking University, Shenzhen Graduate School(北京大学深圳研究生院)
针对3D人脸重建中细粒度表情捕捉的不足,提出TEASER方法,通过多尺度tokenizer提取面部信息并结合神经渲染器提供几何指导,引入姿态相关关键点损失,显著提升了表情重建质量并达到SOTA。
2025-03-02 cs.CV
Not All Images are Worth 16x16 Words: Dynamic Transformers for Efficient Image Recognition
Tsinghua University(清华大学);Huawei Technologies Ltd.(华为技术有限公司);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
视觉Transformer(ViT)在大规模图像识别中取得了显著的成功。他们将每个2D图像分成固定数量的补丁,每个补丁都被视为一个令牌。通常,用更多的标记表示图像将导致更高的预测精度,同时也会导致计算成本急剧增加。为了在准确性和速度之间实现适当的权衡,令牌的数量根据经验设置为16 x16或14 x14。在本文中,我们认为,每一个图像都有自己的特点,理想情况下,令牌数应取决于每个单独的输入。事实上,我们已经观察到,存在相当数量的“简单”图像,可以用仅仅数量的4x 4令牌准确预测,而只有一小部分“困难”图像需要更精细的表示。受此现象的启发,我们提出了一个动态的Transformer自动配置适当数量的令牌为每个输入图像。这是通过级联多个Transformers来实现的,其中令牌的数量不断增加,这些令牌在测试时以自适应方式顺序激活,即,一旦产生了足够可信的预测,则终止推断。我们进一步设计了跨动态Transformer不同组件的有效特征重用和关系重用机制,以减少冗余计算。在ImageNet、CIFAR-10和CIFAR-100上的大量实证结果表明,我们的方法在理论计算效率和实际推理速度方面都明显优于竞争基线。代码和预训练模型(基于PyTorch和MindSpore)可在https://github.com/blackfeather-wang/Dynamic-Vision-Transforme…
2021-10-26 cs.AI cs.CV cs.LG
Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs
Inha University(延世大学)
提出SPARE方法,将令牌剪枝重构为子空间重建问题,通过迭代选择投影残差大的令牌进行剪枝,并引入反相关性机制保留上下文信息,在LLaVA上剪枝94%令牌仍保持95%性能。
2026-07-27 cs.CV
An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出FastV,一种即插即用的LVLM推理加速方法,通过在早期层学习自适应注意力模式并在后续层剪枝视觉Token,大幅降低计算成本且保持性能。
2024-09-02 cs.AI cs.CL cs.CV
GHOST: Geometry-Hierarchical Online Streaming Token Eviction for Efficient 3D Reconstruction
Shanghai Jiao Tong University(上海交通大学)
提出GHOST框架,利用模型自身的3D几何输出在线驱逐冗余令牌,在保持重建质量的同时将KV缓存减半并实现1.75倍加速。
2026-05-28 cs.CV
ViCToR: Improving Visual Comprehension via Token Reconstruction for Pretraining LMMs
ViCToR提出了一种新型LMMs预训练框架,通过可学习的视觉token池、匈牙利匹配算法进行token替换,并结合视觉token重建损失与密集语义监督,有效缓解了模态表示鸿沟,在多个基准上取得SOTA表现。
2025-08-13 cs.CV
Discrete JEPA: Learning Discrete Token Representations without Reconstruction
nyu(纽约大学)
针对现有图像令牌化在符号推理任务中的局限,本文提出Discrete-JEPA,通过语义令牌化与互补目标扩展潜在预测编码,在视觉符号预测上大幅超越基线,并展现语义空间中的系统模式涌现,助力符号世界建模。
2025-06-22 cs.CV
DynaTok: Token-Based 4D Reconstruction from Partial Point Clouds
Technical University of Munich(慕尼黑工业大学);Google(谷歌);Imperial College London(伦敦帝国理工学院);University of Bonn(波恩大学)
提出DynaTok框架,通过Transformer时空编码器和流匹配解码器,从部分点云序列中无对应地重建完整且时间一致的4D点云,无需图像。
2026-06-11 cs.CV
A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot
Adobe Media and Data Science Research (MDSR)(Adobe媒体与数据科学研究(MDSR));IIIT-Delhi(德里印度理工学院);State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出将长视频言语化为自然语言描述,再利用大语言模型进行零样本视频理解,在十五项任务上超越监督基线,并发布了首个说服策略识别数据集。
2023-10-26 cs.CL cs.CV