CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization
Institute of Trustworthy Embodied AI, Fudan University(可信具身人工智能研究所,复旦大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Key Laboratory of Multimodal Embodied AI(上海多模态具身人工智能重点实验室)
CaTok 通过 MeanFlow 解码器实现一维因果图像标记化,提升图像生成与重建性能。
2026-03-06 cs.CV
Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space
提出AdapTok自适应时间因果视频分词器,通过块级掩蔽和整数线性规划实现内容感知的令牌分配,在UCF-101和Kinetics-600上提升重建与生成性能。
2025-10-14 cs.CV
Differentiable Hierarchical Visual Tokenization
University of Oslo(奥斯陆大学);Polytechnic University of Milan(米兰理工大学);UiT The Arctic University of Norway(挪威北极大学)
针对 Vision Transformers 固定 patch token 忽略图像结构的问题,提出一种端到端可微的层级视觉 tokenizer,通过结合信息准则的模型选择适应图像内容,兼容现有架构,在分类与密集预测任务中表现优异并支持栅格到矢量转换。
2025-11-04 cs.CV
SpiralFovea: Input-Adaptive Foveated Tokenization as a Third Lever of Resource-Adaptive Inference
SpiralFovea提出输入自适应令牌化方法,根据局部视觉熵动态选择令牌的身份、位置、尺度和数量,在细粒度分类任务中以60%更少令牌提升准确率1.7-2.1个百分点,并降低84%自注意力计算量。
2026-07-03 cs.CV
Efficient Autoregressive Shape Generation via Octree-Based Adaptive Tokenization
Carnegie Mellon University(卡内基梅隆大学);Roblox;Stanford University(斯坦福大学)
提出基于八叉树的自适应分词框架,根据形状复杂度调整潜在表示维度,结合自回归生成模型,在减少50%token的同时保持视觉质量,并生成更高质量、更丰富的3D内容。
2025-08-01 cs.CV
GPSToken: Gaussian Parameterized Spatially-adaptive Tokenization for Image Representation and Generation
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
本文提出GPSToken框架,利用参数化2D高斯实现空间自适应非均匀图像分词,解耦空间布局与纹理特征以支持两阶段生成,在128个分词下取得最先进的图像重建与生成性能。
2025-09-19 cs.CV
Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization
Kuaishou Technology(快手科技);Peking University(北京大学)
本文提出LaVIT基础模型,通过精心设计的视觉标记器将图像转换为离散视觉标记,在LLM中实现视觉和语言的统一预训练,同时理解和生成多模态内容,在视觉语言任务上大幅超越现有模型。
2024-03-22 cs.CV
Dense Video Understanding with Gated Residual Tokenization
Northeastern University(东北大学);Princeton University(普林斯顿大学);University of Maryland(马里兰大学)
本文针对现有视频大语言模型因低帧率采样而丢失密集时间信息的问题,提出门控残差令牌化框架GRT,通过运动补偿帧间门控和语义场景帧内合并降低令牌开销,并构建首个密集时间推理基准DIVE,实现高效可扩展的高帧率视频理解。
2025-09-18 cs.AI cs.CL cs.CV
TivTok: Broadcasting Time-Invariant Tokens for Scalable Video Tokenization
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Department of Automation, Tsinghua University(清华大学自动化系);Kuaishou Technology(快手科技)
提出TivTok,一种可重用感知的视频分词器,通过时间不变(TIV)和时间变化(TV)令牌分解视频,实现高效压缩和长视频建模,在标准基准上rFVD达12.65,压缩效率提升2.91倍。
2026-06-17 cs.CV
MSViT: Dynamic Mixed-Scale Tokenization for Vision Transformers
Technical University of Denmark(丹麦技术大学);Qualcomm AI Research(高通人工智能研究院)
提出MSViT动态混合尺度token化方案,通过条件门控机制为图像区域选择最优token尺度,提升ViT的准确性-复杂性权衡且不丢失信息。
2023-09-07 cs.CV
Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization
Peking University(北京大学);Kuaishou Technology(快手科技)
本文提出Video-LaVIT框架,通过将视频解耦为关键帧和时间运动并离散化为少量token,实现视频、图像与文本的统一生成式预训练,在13个多模态基准上表现优异。
2024-06-03 cs.CL cs.CV
Semantically Steerable Image Tokenization
University of Amsterdam(阿姆斯特丹大学);University of Technology Nuremberg(纽伦堡工业大学)
该研究提出GIST自适应图像语义分词器,通过像素级与DINOv3编码器特征空间的语义目标误差联合控制分词分配,在ImageNet-100上相比KARL实现了更低的LPIPS与DreamSim,语义保真度是自适应分词的有效控制信号。
2026-10-14 cs.CV
DART: Differentiable Dynamic Adaptive Region Tokenizer for Vision Foundation Models
Sun Yat-sen University(中山大学)
本文提出完全可微的动态自适应区域分词器 DART,通过可学习区域分数与分位数划分生成内容感知的变长 patch,使小模型以近两倍推理速度匹配大模型性能,并可推广至密集预测与视频任务。
2026-10-28 cs.CV
Zero-shot sketch-based remote sensing image retrieval based on multi-level and attention-guided tokenization
Anhui Province Key Laboratory of Wetland Ecosystem Protection and Restoration, Anhui University(安徽大学安徽省湿地生态保护与修复重点实验室);School of Resources and Environmental Engineering, Anhui University(安徽大学资源与环境工程学院);Shanghai Ubiquitous Navigation Technology Co. Ltd(上海普适导航科技股份有限公司);The 54th Research Institute of China Electronics Technology Group Corporation(中国电子科技集团公司第五十四研究所)
针对现有草图遥感图像检索中多层次特征挖掘不足的问题,提出融合多层次特征提取、注意力引导分词与跨模态注意力更新的零样本检索方法,性能显著优于现有技术,泛化性强且可通过预计算提升扩展性,代码与数据集已公开。
2024-05-16 cs.CV
Don't Look Twice: Faster Video Transformers with Run-Length Tokenization
Carnegie Mellon University(卡内基梅隆大学);Fujitsu Research(富士通研究所)
针对视频Transformer训练慢的问题,提出游程长度分词化(RLT),通过高效移除重复patch游程并编码长度信息,实现30%训练加速和35%吞吐提升,且无需调参。
2024-11-07 cs.CV cs.LG
Single-pass Adaptive Image Tokenization for Minimum Program Search
Massachusetts Institute of Technology(麻省理工学院);LG Electronics(LG电子)
受柯尔莫哥洛夫复杂度启发,提出单遍自适应图像分词器 KARL,通过单次前向传递预测 token 数量作为最小描述长度代理,在匹配现有自适应分词器性能的同时避免了测试时搜索。
2025-07-10 cs.AI cs.CV cs.LG
Slot-MLLM: Object-Centric Visual Tokenization for Multimodal LLM
Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Kakao Corp(Kakao公司);School of Computing, KAIST(韩国科学技术院计算机学院)
本文提出了一种面向对象的视觉标记化方法Slot-MLLM,通过基于Slot Attention的标记器,有效编码局部视觉细节并保持高层语义,从而提升多模态大语言模型在视觉内容理解和生成中的性能。
2026-05-19 cs.AI cs.CV
InfoTok: Adaptive Discrete Video Tokenizer via Information-Theoretic Compression
NVIDIA;Stanford University(斯坦福大学);National University of Singapore(新加坡国立大学)
本文提出InfoTok框架,通过信息论压缩实现视频分块的自适应优化,实验证明在不损失性能的情况下,压缩率提升2.3倍,节省20%的token。
2026-03-22 cs.AI cs.CV
Accelerating Diffusion Decoders via Multi-Scale Sampling and One-Step Distillation
University of California San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出多尺度采样和一步蒸馏方法,显著降低扩散解码器的解码时间,同时保持高质量图像重建,为高效图像分词提供新路径。
2026-03-20 cs.CV
AdaTok: Self-Budgeting Image Tokenization with Quality-Preserving Dynamic Tokens
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
提出AdaTok,一种自预算离散一维令牌化器,通过表示-分配协同设计(优先表示学习和自适应令牌分配)实现图像自适应令牌数量,在保持重建质量的同时减少平均令牌数。
2026-06-05 cs.CV
Adaptive Length Image Tokenization via Recurrent Allocation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
提出一种基于循环分配的图像令牌化方法,通过递归处理将图像压缩为可变数量的令牌(32-256),令牌数随图像熵和任务需求自适应,并展现令牌专业化潜力。
2024-11-04 cs.AI cs.CV cs.LG
DDiT: Dynamic Patch Scheduling for Efficient Diffusion Transformers
Boston University(波士顿大学);Amazon(亚马逊)
DDiT通过动态调整补丁大小,在保持生成质量的同时显著提升扩散变换器的推理效率。
2026-02-19 cs.AI cs.CV
Scalable Image Tokenization with Index Backpropagation Quantization
Nanjing University(南京大学);Tsinghua University(清华大学);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室)
本文提出索引反向传播量化(IBQ),通过直通估计器联合优化所有码本嵌入与视觉编码器,解决VQ码本坍缩问题,首次实现大规模高维高利用率码本,并在ImageNet上验证了其在重建和自回归生成中的可扩展性与优越性。
2025-03-10 cs.AI cs.CV
Resi-VidTok: An Efficient and Decomposed Progressive Tokenization Framework for Ultra-Low-Rate and Lightweight Video Transmission
GIC & 6GIC, Institute for Communication Systems (ICS), University of Surrey(5GIC与6GIC,通信系统研究所(ICS),萨里大学);Department of Electrical and Computer Engineering, University of California at Davis(电气与计算机工程系,加州大学戴维斯分校)
针对无线网络恶劣信道下视频实时传输的难题,提出Resi-VidTok弹性令牌化框架,通过一维令牌化流水线、帧稀疏化及自适应编码,实现超低码率下的高质量实时视频传输,适用于高可靠低延迟无线场景。
2025-10-28 cs.CV cs.IT cs.MM
Mutual Enhancement Between Global Tokens and Patch Tokens: From Theory to Practice
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China(认知与决策智能复杂系统重点实验室,自动化研究所,中国科学院,北京,中国);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文提出TaTok框架,通过引入全局标记和动态令牌过滤算法,解决现有方法中信息不足和冗余问题,提升图像令牌化效果和推理速度。
2026-05-11 cs.AI cs.CV
V2Flow: Unifying Visual Tokenization and Large Language Model Vocabularies for Autoregressive Image Generation
Du Xiaoman Financial(度小满金融)
V2Flow提出一种基于流匹配的视觉分词器,通过视觉词表重采样与掩码自回归整流流解码,使离散视觉token与LLM词表对齐,实现高保真重建并支持在现有LLM上进行自回归图像生成。
2025-03-10 cs.AI cs.CV
VocaDet: Sample-Driven Open-Vocabulary Object Detection and Segmentation via Visual Tokenization and Vector Database Retrieval
PowerChina Zhongnan Engineering Corporation Limited(中国电建集团中南勘测设计研究院有限公司)
VocaDet是样本驱动的开放词汇目标检测与分割框架,通过视觉词元化及向量数据库检索,直接从用户样本集学习物体概念,无需模型重训,能有效检测,支持识别能力随样本积累扩展,减少背景冗余检索。
2026-07-10 cs.AI cs.CV
CATANet: Efficient Content-Aware Token Aggregation for Lightweight Image Super-Resolution
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
本文提出轻量级内容感知令牌聚合网络CATANet,通过共享令牌中心的内容感知聚合模块、组内自注意力和组间交叉注意力高效捕获长程依赖,在图像超分辨率任务中相比SPIN实现更高PSNR和近两倍推理速度。
2025-03-10 cs.CV
Few-shot Image Generation Using Discrete Content Representation
Shanghai Jiao Tong University(上海交通大学)
Few-Shot图像生成和Few-Shot图像翻译是两个相关的任务,它们都旨在为只有少量图像的不可见类别生成新图像。在这项工作中,我们第一次尝试适应Few-Shot图像翻译方法的Few-Shot图像生成任务。Few-Shot图像翻译将图像分解为样式向量和内容映射。看不见的样式向量可以与不同的可见内容映射组合以产生不同的图像。然而,它需要存储看到的图像以提供内容映射,并且看不见的样式向量可能与看到的内容映射不兼容。为了适应Few-Shot图像生成任务,我们通过将连续内容映射量化为离散内容映射来学习本地内容向量的紧凑字典,而不是存储看到的图像。此外,我们建立了以风格向量为条件的离散内容映射的自回归分布模型,从而缓解了内容映射和风格向量之间的不兼容性。三个真实数据集上的定性和定量结果表明,我们的模型可以产生更高的多样性和保真度的图像看不见的类别比以前的方法。
2022-07-22 cs.CV
LARP: Tokenizing Videos with a Learned Autoregressive Generative Prior
University of Maryland, College Park(马里兰大学 College Park 分校)
本研究提出新型视频令牌化器LARP,通过整体查询方案和训练时集成的轻量级AR transformer先验模型,实现更优的全局语义捕获与自回归生成适配,在UCF101基准上取得SOTA FVD,助力高保真多模态大模型构建。
2025-06-16 cs.AI cs.CV
VidTok: A Versatile and Open-Source Video Tokenizer
Microsoft Research(微软研究院);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
VidTok是一个开源通用视频分词器,通过架构改进、FSQ集成和优化训练策略,在连续与离散分词中实现最先进性能,显著提升PSNR、SSIM、LPIPS和FVD等指标。
2024-12-17 cs.AI cs.CV cs.LG
CAT: Cross Attention in Vision Transformer
Beijing University of Posts and Telecommunications(北京邮电大学);KuaiShou Inc(快手公司)
由于Transformer在NLP中得到了广泛的应用,Transformer在CV中的潜力已经实现,并激发了许多新的方法。然而,在图像的标记化之后用用于Transformer的图像块替换单词标记所需的计算是巨大的(例如,ViT),这会对模型训练和推理造成瓶颈。本文提出了一种新的Transformer中的注意力机制--交叉注意力(Cross Attention),该注意力机制在图像块内部而不是整个图像中交替进行,以捕获局部信息,并在从单通道特征图中划分出的图像块之间应用注意力,以捕获全局信息。这两种操作都比Transformer中的标准自注意运算量小。通过交替应用注意力内部和之间的补丁,我们实现了交叉注意,以保持较低的计算成本的性能,并建立了一个层次网络称为交叉注意Transformer(CAT)的其他视觉任务。我们的基础模型在ImageNet-1 K上达到了最先进的水平,并提高了COCO和ADE 20 K上其他方法的性能,这表明我们的网络有潜力作为通用骨干。代码和型号可在\url{https://github.com/linhezheng19/CAT}上获得。
2021-06-10 cs.AI cs.CV
Unpaired Image-to-Image Translation with Content Preserving Perspective: A Review
Isfahan University of Technology(伊斯法罕理工大学)
本文综述非配对 I2I 翻译,按内容保持程度划分任务与方法,分析近 70 个模型、10 余项指标及 30 个任务数据集,并提出 Sim-to-Real 基准。
2025-02-15 cs.CV eess.IV
CATRF: Codec-Adaptive TriPlane Radiance Fields for Volumetric Content Delivery
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出CATRF,一种用于体积分发的编码自适应三平面辐射场方法,通过在训练过程中将二维特征平面量化和打包到编码器友好的画布中,并利用标准编码器进行回程处理,从而在训练循环中插入非可微的编码器管道,使辐射场特征能够直接适应客户端侧的编码器失真,而无需引入任何学习的编码器参数。
2026-05-18 cs.CV cs.MM eess.IV
Page image classification for content-specific data processing
本研究针对人文学科数字化项目中历史文档页面图像内容多样、手动分类困难的问题,开发并评估了一种基于人工智能和机器学习的图像分类系统,通过按内容类别(如文本类型、图形元素、布局)自动分类页面,以支持定制化的下游分析流程。
2026-06-23 cs.AI cs.CV cs.IR