PixelU: A U-Shaped Transformer for Efficient End-to-End Pixel Diffusion
Xi’an Jiaotong University(西安交通大学)
提出PixelU,一种极简单阶段U形扩散Transformer,通过零成本跳跃连接和恒通道空间下采样解耦高低频建模,在ImageNet上以约1/3计算成本超越强基线JiT-G。
2026-06-29 cs.CV
Learning Representations to Guide Pixel Diffusion Transformers
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团);The University of Hong Kong(香港大学);Shanghai Jiao Tong University(上海交通大学)
该研究针对视觉表示用于生成的问题,提出表示引导(RG)方法,在保留普通Transformer架构的同时提升生成性能,在ImageNet等数据集上取得优于更大模型的结果,还可扩展到文本到图像生成任务。
2026-10-12 cs.CV
HyperDiT: Hyper-Connected Transformers for High-Fidelity Pixel-Space Diffusion
University of Science and Technology of China(中国科学技术大学)
针对像素空间扩散模型中全局语义与细粒度细节难以兼顾的粒度困境,提出HyperDiT框架,通过超连接跨尺度交互和尺度感知旋转位置编码,结合预训练视觉基础模型的密集语义,在像素空间实现高保真生成,在ImageNet 256×256上取得1.56的SoTA FID。
2026-06-03 cs.CV
BVI-RLV: A Fully Registered Dataset for Low-Light Video Enhancement
Visual Information Laboratory, Bristol Vision Institute (BVI), University of Bristol(视觉信息实验室,布里斯托尔视觉研究所(BVI),布里斯托尔大学)
针对低光视频增强中缺乏像素对齐训练数据的问题,提出了BVI-RLV数据集,通过电动滑轨和图像优化实现亚像素配准,并基于CNN、Transformer、Mamba和扩散模型提供基线,实验证明配准对监督学习至关重要。
2026-05-22 cs.CV
FARMER: Flow AutoRegressive Transformer over Pixels
University of Science and Technology of China(中国科学技术大学);Australian National University(澳大利亚国立大学);National University of Singapore(新加坡国立大学);University of Science(科学技术大学)
针对视觉像素连续自回归建模的长序列高维问题,提出融合归一化流与自回归模型的FARMER框架,搭配自监督降维、一步蒸馏等方案,实现可扩展的精确似然估计与高质量图像生成。
2025-10-30 cs.CV
Test-Time Registers as Global Priors for Tokenized Image Generation
Stony Brook University(纽约州立大学石溪分校);Brookhaven National Laboratory(布鲁克海文国家实验室)
研究在令牌化图像生成中,基于测试时寄存器特征低频集中度高及与DCT低频能量相关的发现,引入RegToken,通过三步将寄存器结构转换为全局先验令牌,插入生成管道可提升指标、加速优化,证明相关结构可作轻量级全局先验。
2026-07-22 cs.CV
Elastic Token Compression for Pixel-Space Diffusion Transformers
University of Würzburg(维尔茨堡大学);Google(谷歌)
针对像素空间扩散Transformer的令牌冗余问题,提出Region Token Interface弹性令牌压缩方法,可在多压缩预算下提升效率,2.0倍速时达密集模型质量,2.6倍速时仍接近该质量。
2026-09-01 cs.CV
Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Adobe Research(Adobe研究院)
研究多智能体交互世界模型共享状态维护难题,提出WorldWeaver模型,利用跨智能体世界状态寄存器及混合变压器设计,经双智能体我的世界视频生成实验验证,该模型能提升逻辑一致性与生成质量。
2026-07-24 cs.CV
An Image is Worth More Than 16x16 Patches: Exploring Transformers on Individual Pixels
FAIR, Meta AI(FAIR,Meta人工智能);University of Amsterdam(阿姆斯特丹大学)
研究发现普通Transformer可直接将单个像素作为token,在分类回归、掩码自编码和扩散生成任务上取得高性能,从而质疑视觉架构中局部性归纳偏置的必要性。
2025-03-13 cs.CV cs.LG
Auto-Regressive Models Need Structural Registers: Semantic Foresight Improves Coherent Driving Video Continuation
Tsinghua University(清华大学);Megvii Technology(旷视科技);University of the Chinese Academy of Sciences(中国科学院大学);StepFun(阶跃星辰);Georgetown University(乔治城大学)
本文提出ARCON,一种交替生成语义与RGB令牌的自回归视频续写方案,利用大型视觉模型学习结构化信息,并通过光流纹理拼接提升质量,在自动驾驶场景中实现长视频的一致生成。
2026-10-08 cs.CV
Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers
Birchlabs, England, United Kingdom(英国英格兰Birchlabs实验室);Independent Researcher, Florida, United States(美国佛罗里达独立研究员)
本文提出Hourglass Diffusion Transformer,通过线性扩展像素数量实现高分辨率图像生成,无需传统高分辨率训练技术, 在ImageNet和FFHQ数据集上取得新突破。
2026-03-25 cs.AI cs.CV cs.LG
Pixel-to-Abundance Translation: Conditional Generative Adversarial Networks Based on Patch Transformer for Hyperspectral Unmixing
Xidian University(西安电子科技大学)
本文提出基于补丁 Transformer 的条件生成对抗网络 HyperGAN,将高光谱解混视为像素到丰度的模态转换,实现高效解混并取得优异实验结果。
2023-12-20 cs.CV eess.IV
Pixel-Level Residual Diffusion Transformer: Scalable 3D CT Volume Generation
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
提出像素级残差扩散Transformer(PRDiT),通过两阶段训练(局部MLP盲估计器分离低频结构+全局残差扩散Transformer建模高频残差)实现高保真3D CT体生成,在LIDC-IDRI和RAD-ChestCT数据集上优于现有方法。
2026-06-19 cs.CV eess.IV
FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers
Pika Labs(皮卡实验室);POSTECH(浦项科技大学)
研究针对实时视频生成中潜视频扩散模型解码慢、内存占用大的问题,提出FlashDecoder,一种基于Transformer的纯视频解码器,通过滚动KV缓存和顺序处理帧实现快速解码,在重建质量匹配卷积解码器的同时大幅提升速度并减少内存占用。
2026-07-17 cs.AI cs.CV
Decoding Register Tokens Preserves Global Scene Details
Technische Universität Berlin(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Aignostics(艾格诺斯蒂克斯公司)
该研究针对视觉Transformer的解码环节,探究保留寄存器特征对图像重建与生成的影响,通过RAEs等方法在ImageNet-1K上实现了重建FID、生成FID等指标的显著优化。
2026-10-12 cs.CV cs.LG
Reduce Information Loss in Transformers for Pluralistic Image Inpainting
University of Science and Technology of China(中国科学技术大学);Microsoft(微软)
近年来,Transformers在多元图像修补方面取得了巨大的成功。然而,我们发现现有的基于Transformer的解决方案将每个像素视为令牌,因此从两个方面遭受信息丢失问题:1)出于效率考虑,他们将输入图像下采样到低得多的分辨率,导致信息丢失和掩蔽区域边界的额外未对准。2)它们将$256^3$ RGB像素量化为少量(例如512)量化像素。量化像素的索引被用作Transformer的输入和预测目标的令牌。虽然使用额外的CNN网络对低分辨率结果进行上采样和细化,但很难将丢失的信息恢复回来。为了尽可能多地保留输入信息,我们提出了一种新的基于Transformer的框架“PUT”。具体来说,为了避免输入下采样,同时保持计算效率,我们设计了一个基于补丁的自动编码器P-VQVAE,其中编码器将掩蔽图像转换为非重叠补丁令牌,解码器从修复令牌中恢复掩蔽区域,同时保持未掩蔽区域不变。为了消除量化带来的信息损失,提出了一种未量化的Transformer(UQ-Transformer)算法,该算法直接将P-VQVAE编码器输出的特征作为输入,不进行量化,只将量化后的特征作为预测目标。大量的实验表明,PUT大大优于国家的最先进的方法对图像的保真度,特别是对大的掩蔽区域和复杂的大规模数据集。代码可在https://github.com/liuqk3/PUT上获得
2022-05-15 cs.CV cs.GR
RATS! Patches Talk Through Registers: Emergent Parts in Register Attention Transformers
Johns Hopkins University(约翰霍普金斯大学);Office of Naval Research, Arlington, VA(海军研究办公室,阿灵顿,弗吉尼亚州);Department of Laboratory Medicine and Pathology, Mayo Clinic, MN, USA(梅奥诊所检验医学与病理学系,明尼苏达州,美国)
提出RATS模型,通过将分类令牌分解为可学习的寄存器令牌,在L→N→N→L瓶颈中路由补丁信息,无需辅助损失或部件标注,每个寄存器自发专化为类似物体部件的原语义区域,在五个分割基准上平均mIoU提升12。
2026-06-15 cs.CV
Decoding the Functional Roles of Register and High-Norm Patch Tokens in Vision Transformers
本文通过稀疏自编码器分析DINOv2中寄存器与高范数离群令牌的功能,发现前者编码高层语义,后者编码低层纹理,且因果消融显示寄存器特征对表示影响显著更大,证实令牌特化现象。
2026-10-05 cs.CV
Latent Reward Registers for Diffusion Preference Alignment
针对扩散模型偏好对齐的时间信用分配挑战,提出Latent Reward Registers机制,结合RG-OPD和RGS策略,在高噪声下实现最优性能且大幅降低计算成本。
2026-08-17 cs.CV cs.LG
HiDream-O1-Image: A Natively Unified Image Generative Foundation Model with Pixel-level Unified Transformer
本文提出HiDream-O1-Image,通过像素空间扩散Transformer实现多模态输入的结构统一,无需外部VAE或离散文本编码器,提升生成和编辑任务的性能,实验表明其在多种生成任务中表现优异。
2026-05-11 cs.CV cs.MM
Vision Transformers with Self-Distilled Registers
针对预训练ViT存在伪影token的问题,本文提出自蒸馏方法PH-Reg,无需重训即可为现有ViT添加寄存器token,有效减少伪影并提升下游任务性能。
2025-11-18 cs.CV
Vision Transformers Need Registers
FAIR, Meta(Meta FAIR);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆廷诺实验室)
针对有监督和自监督ViT网络特征图中存在高范数token伪影的问题,提出给视觉Transformer输入序列添加额外寄存器token的方案,解决了伪影问题,提升了密集预测等任务性能,优化了下游视觉处理的特征与注意力图平滑度。
2024-04-12 cs.CV
Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning
SperidLabs
本文提出Iris-3B,一个30亿参数的像素空间文本到图像模型,通过课程预训练和潜在模型转换,验证像素空间先验在下游任务中无显著优势,但达到与潜在模型竞争的质量。
2026-10-08 cs.AI cs.CV
Vision Transformers for Face Recognition Need More Registers
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所);Department of Computer Science, TU Darmstadt(达姆施塔特工业大学计算机科学系)
针对ViT在人脸识别中注意力图存在伪影的问题,引入寄存器令牌以增强可解释性,ViT-8R模型在IJB-B和IJB-C上达到最优性能。
2026-06-11 cs.CV
Zero-Ablation Overstates Register Content Dependence in DINO Vision Transformers
University of Pennsylvania(宾夕法尼亚大学);Johns Hopkins Applied Physics Laboratory(约翰霍普金斯应用物理实验室)
研究通过零消融实验发现,DINOv2+和DINOv3的注册内容对分类和分割任务至关重要,但其他替换控制方法如均值替换、噪声替换和跨图像注册洗牌能保持性能,表明注册内容并非绝对必要。
2026-04-15 cs.CV cs.LG
Vision Transformers Need More Than Registers
School of Computing and Data Science, The University of Hong Kong(计算与数据科学学院,香港大学);Sun Yat-sen University(中山大学)
本文通过系统分析发现视觉变换器的 artifacts 来源于懒惰聚合行为,通过选择性整合 patch 特征提升性能。
2026-04-14 cs.CV
Vision Transformers Don't Need Trained Registers
UC Berkeley(伯克利大学)
本文发现视觉Transformer中高范数标记由稀疏寄存器神经元引起,提出无需训练的测试时寄存器方法,通过转移激活至未训练标记,提升下游任务性能并媲美训练寄存器模型。
2025-10-25 cs.AI cs.CV
Putting Registers to Work: Task Registers for Token Pruning in Vision Transformers
本文探究视觉Transformer令牌剪枝策略在不同任务间的迁移性,提出任务自适应剪枝TAP,引入任务寄存器,在ρ=0.5时实现ADE20K、COCO上的性能提升且保持ImageNet-1K竞争力。
2026-08-12 cs.AI cs.CV
Pixel-SAIL: Single Transformer For Pixel-Grounded Understanding
Bytedance(字节跳动);WHU(武汉大学)
针对现有MLLM依赖额外组件导致复杂度高的问题,本研究受SAIL设计启发提出Pixel-SAIL单一Transformer,通过三项技术改进简化系统,并构建PerBench基准,实验证明其以更简单 pipeline 取得相当或更优的像素级理解结果。
2025-04-14 cs.CV
Leveraging Registers in Vision Transformers for Robust Adaptation
Stony Brook University(石溪大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出将 ViT 的 CLS token 与平均池化寄存器 embedding 融合以训练下游分类器,在不增加计算开销的前提下提升 OOD 泛化与异常拒绝。
2025-01-08 cs.CV cs.LG
Do All Vision Transformers Need Registers? A Cross-Architectural Reassessment
本文重新评估了视觉变换器中寄存器的必要性,验证了Darcet等人的发现,并发现其结论在不同模型中并不普遍,同时探讨了模型规模和术语一致性的影响。
2026-03-26 cs.CV cs.LG
Transformer-Based Attention Networks for Continuous Pixel-Wise Prediction
Harbin Institute of Technology(哈尔滨工业大学);University of Trento(特伦托大学);ETH Zurich(苏黎世联邦理工学院);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
虽然卷积神经网络已经显示出对各种计算机视觉任务的巨大影响,但由于卷积运算的固有局部性,它们通常在显式建模远程依赖性方面表现出局限性。最初是为自然语言处理任务设计的,Transformers已经成为替代架构,具有先天的全局自我注意力机制来捕获长距离依赖关系。在本文中,我们提出了TransDepth,这是一种既受益于卷积神经网络又受益于Transformers的架构。为了避免网络失去其能力,以捕捉局部层次的细节,由于采用Transformers,我们提出了一种新的解码器,采用基于门的注意力机制。值得注意的是,这是第一篇将Transformers应用于涉及连续标签的逐像素预测问题的论文(即,单目深度预测和表面法线估计)。大量的实验表明,所提出的TransDepth实现了最先进的性能在三个具有挑战性的数据集。我们的代码可在https://github.com/ygjwd12345/TransDepth上获得。
2021-08-05 cs.CV
TranStable: Towards Robust Pixel-level Online Video Stabilization by Jointing Transformer and CNN
Dalian University of Technology(大连理工大学);Institute for Clarity in Documentation(文档清晰度研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗康分局);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
本文提出端到端框架TranStable,结合Transformer与CNN生成像素级变换映射并引入稳定性判别模块,有效解决视频稳定中的失真与过度裁剪问题,实现最先进性能。
2025-01-25 cs.CV
DMTNet: Dynamic Multi-scale Network for Dual-pixel Images Defocus Deblurring with Transformer
Samsung Research China - Beijing (SRC-B)(三星中国研究院-北京)
近年来,基于双像素数据的卷积神经网络(CNN)去焦模糊任务取得了很好的效果,但数据的稀缺限制了视觉Transformer在该任务中的探索和尝试。此外,现有的模型采用固定的参数和网络结构对不同分布和内容信息的图像进行去模糊处理,也影响了模型的泛化能力。本文提出了一种动态多尺度网络DMTNet,用于双像素图像的散焦去模糊。DMTNet主要包括两个模块:特征提取模块和重构模块。特征提取模块由多个视觉Transformer块组成,利用其强大的特征提取能力,获得更丰富的特征,提高模型的鲁棒性。重建模块由多个动态多尺度子重建模块(DMSSRM)组成。DMSSRM算法根据输入图像的模糊分布和内容信息,自适应地对不同尺度的特征进行权值分配,实现图像的恢复。DMTNet结合了Transformer和CNN的优点,其中视觉Transformer提高了CNN的性能天花板,CNN的电感偏置使Transformer能够在不依赖大量数据的情况下提取更鲁棒的特征。DMTNet可能是第一次尝试使用视觉Transformer来恢复模糊图像的清晰度。通过与CNN组合,视觉Transformer可以在小数据集上实现更好的性能。流行的基准测试的实验结果表明,我们的DMTNet显着优于国家的最先进的方法。
2022-09-13 cs.CV
NOVA3R: Non-pixel-aligned Visual Transformer for Amodal 3D Reconstruction
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
NOVA3R通过非像素对齐的视觉变换器实现更准确的3D重建,解决了传统像素对齐方法在处理可见和不可见点及重叠区域结构上的局限。
2026-03-05 cs.CV
Pixel-Perfect Depth with Semantics-Prompted Diffusion Transformers
Huazhong University of Science and Technology(华中科技大学);Xiaomi EV(小米电动车);Zhejiang University(浙江大学)
针对现有生成式深度估计模型因VAE压缩产生飞点的问题,提出直接在像素空间扩散的Pixel-Perfect Depth模型,结合SP-DiT和级联DiT设计,在5个基准及边缘感知点云评估中表现最优。
2025-10-29 cs.CV
CMT-DeepLab: Clustering Mask Transformers for Panoptic Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);KAIST(韩国科学技术院);Google Research(谷歌研究院)
我们提出了聚类掩码Transformer(CMT-DeepLab),这是一个基于transformer的框架,用于围绕聚类设计的全景分割。它重新考虑了分割和检测中使用的现有Transformer架构; CMT-DeepLab将对象查询视为聚类中心,在应用于分割时,这些聚类中心填补了对像素进行分组的角色。聚类是用交替的过程计算的,首先通过它们的特征亲和力将像素分配到聚类,然后更新聚类中心和像素特征。这些操作共同组成了聚类掩码Transformer(CMT)层,该层产生的交叉注意力更密集,与最终分割任务更一致。CMT-DeepLab将现有技术的性能显著提高了4.4%PQ,在COCO测试开发集上实现了55.7%PQ的最新技术水平。
2022-06-17 cs.CV
PARF-Net: integrating pixel-wise adaptive receptive fields into hybrid Transformer-CNN network for medical image segmentation
School of Information Engineering, Ningxia University(宁夏大学信息工程学院)
针对混合 Transformer-CNN 固定感受野及依赖融合不足的问题,本文提出 PARF-Net,利用逐像素自适应卷积和轻量混合模块提升医学图像分割性能。
2025-01-06 cs.CV
Driving on Registers
LIGM, ENPC, IP Paris, UGE, CNRS(LIGM,ENPC,IP Paris,UGE,CNRS);Sorbonne Université, CNRS, ISIR(Sorbonne Université,CNRS,ISIR)
DrivoR通过引入相机感知的寄存器标记,结合轻量级Transformer解码器,在保持准确性的同时高效实现端到端自动驾驶。
2026-02-03 cs.AI cs.CV cs.RO
Cross-Spatial Pixel Integration and Cross-Stage Feature Fusion Based Transformer Network for Remote Sensing Image Super-Resolution
Northwestern Polytechnical University(西北工业大学);Beijing Institute of Technology(北京理工大学)
针对遥感图像超分辨率中Transformer局部注意力感受野不足和跨阶段特征利用不充分的问题,本文提出SPIFFNet,通过跨空间像素集成注意力与跨阶段特征融合注意力提升全局建模和特征表达能力,并在多个基准数据集上取得优于现有方法的性能。
2023-07-06 cs.CV
PolyMaX: General Dense Prediction with Mask Transformer
Google Research(谷歌研究院);ByteDance(字节跳动)
PolyMaX通过将簇预测范式推广到通用密集预测任务,利用掩码变换器统一处理语义分割、深度估计和表面法线预测,在NYUD-v2数据集上达到最先进性能。
2023-11-09 cs.CV
Transformer Tracking with Cyclic Shifting Window Attention
Huazhong University of Science and Technology(华中科技大学);La Trobe University(乐卓博大学)
Transformer体系结构由于其有效的注意力机制,在视觉目标跟踪方面显示出强大的实力。现有的基于变换器的方法采用像素到像素的注意力策略对扁平化的图像特征,并不可避免地忽略了对象的完整性。在本文中,我们提出了一种新的Transformer架构与多尺度循环移位窗口的注意力视觉目标跟踪,提升注意力从像素到窗口级别。跨窗口多尺度注意具有在不同尺度上聚合注意的优点,并为目标对象生成最佳细尺度匹配。此外,循环移位策略通过用位置信息扩展窗口样本来带来更高的准确性,同时通过去除冗余计算来节省大量的计算能力。大量的实验证明了我们的方法的优越性能,它还在五个具有挑战性的数据集上创造了新的最先进的记录,以及VOT 2020,UAV123,LaSOT,TrackingNet和GOT-10k基准测试。
2022-05-08 cs.CV
A Comparison for Patch-level Classification of Deep Learning Methods on Transparent Environmental Microorganism Images: from Convolutional Neural Networks to Visual Transformers
Northeastern University(东北大学);Chengdu University of Information Technology(成都信息工程大学);University of Luebeck(吕贝克大学)
目前,透明环境微生物图像(T-EM图像)的分析已逐渐成为计算机视觉领域的一个新的研究热点。针对T-EM图像分析具有挑战性的问题,本文比较了不同的深度学习分类性能。我们将T-EM图像以相同的比例裁剪成8 * 8和224 * 224像素块,然后根据地面真实值将两个不同的像素块划分为前景和背景。我们还使用了四个卷积神经网络和一个新的ViT网络模型来比较前景和背景分类实验。我们得出结论,ViT在分类8 * 8像素块时表现最差,但在分类224 * 224像素块时,它优于大多数卷积神经网络。
2021-07-21 cs.CV
PDC-ViT : Source Camera Identification using Pixel Difference Convolution and Vision Transformer
United Arab Emirates University(阿联酋大学);Qatar University(卡塔尔大学);Northumbria University(诺森比亚大学);University of Sharjah(沙迦大学)
本文提出PDC-ViT方法,通过将像素差分卷积(PDC)与视觉Transformer结合进行源相机识别,利用APDC和RPDC提取像素细微特征并输入ViT分类,在五个数据集上验证了其高准确率与鲁棒性。
2025-01-27 cs.CV
Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院智能信息处理重点实验室,中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们解决的语义分割问题,重点放在上下文聚合策略。我们的动机是像素的标签是像素所属的对象的类别。我们提出了一个简单而有效的方法,对象上下文表示,通过利用相应的对象类的表示来表征像素。首先,我们在地面实况分割的监督下学习对象区域。其次,我们计算对象区域表示聚集的像素位于对象区域的表示。最后,计算每个像素和每个对象区域之间的关系,并使用对象上下文表示来增强每个像素的表示,该对象上下文表示是所有对象区域表示根据它们与像素的关系的加权聚合。我们的经验表明,所提出的方法在各种具有挑战性的语义分割基准:Cityscapes,ADE 20 K,LIP,PASCAL上下文,COCO的东西,实现了有竞争力的性能。Cityscapes、ADE20K、LIP、PASCAL-Context和COCO-Stuff。我们提交的“HRNet + OCR + SegFix”在提交时在Cityscapes排行榜上排名第一。代码可在https://git.io/openseg和https://git.io/HRNet.OCR上获得。我们使用Transformer编码器-解码器框架重新表述对象上下文表示方案。详情见第3.3节。
2021-04-30 cs.CV
Multi-Camera Multi-Person Association using Transformer-Based Dense Pixel Correspondence Estimation and Detection-Based Masking
University of Florida(佛罗里达大学)
本研究提出一种结合Transformer密集像素对应估计与检测掩码的多摄像机多目标关联算法,经WILDTRACK数据集验证,近距同视角摄像机对关联效果优异,大差异视角仍有提升空间。
2024-08-17 cs.CV
Distilling Self-Supervised Vision Transformers for Weakly-Supervised Few-Shot Classification & Segmentation
Meta AI;POSTECH(浦项科技大学);Australian National University(澳大利亚国立大学)
本文利用自监督预训练视觉Transformer的token相关性,通过自注意力和伪标签增强器实现弱监督少样本分类与分割,在Pascal-5i和COCO-20i上显著提升性能。
2023-07-07 cs.CV
Dual-Scale Transformer for Large-Scale Single-Pixel Imaging
Westlake University(西湖大学);Zhejiang University(浙江大学)
针对大规模单像素成像的重建质量与计算开销问题,提出基于 Kronecker SPI 模型和 ISTA 展开的 HATNet,通过张量梯度下降与双尺度混合注意力去噪实现 SOTA 性能。
2024-04-07 cs.CV
ADTR: Anomaly Detection Transformer with Feature Reconstruction
Shanghai Jiao Tong University(上海交通大学);SenseTime Research(商汤科技研究院);Sun Yat-sen University(中山大学);Tsinghua University(清华大学)
由于异常样本的缺乏,仅利用正常样本的先验知识进行异常检测受到了越来越多的关注。现有的基于CNN的像素重建方法受到两个问题的困扰。首先,重建源和目标是包含不可区分的语义信息的原始像素值。其次,CNN倾向于很好地重建正常样本和异常样本,使它们仍然难以区分。在本文中,我们提出了异常检测变换器(ADTR)应用一个Transformer重建预训练的功能。预训练的特征包含可区分的语义信息。此外,采用Transformer限制了很好地重建异常,使得一旦重建失败就可以容易地检测到异常。此外,我们提出了新的损失函数,使我们的方法与正常的样本只有情况下,并与图像级和像素级标记的异常异常的异常可用的情况下兼容。通过添加简单的合成或外部无关异常可以进一步提高性能。在包括MVTec-AD和CIFAR-10的异常检测数据集上进行了大量的实验。与所有基线相比,我们的方法实现了卓越的性能。
2022-12-09 cs.CV
GeminiFusion: Efficient Pixel-wise Multimodal Fusion for Vision Transformer
Peking University(北京大学);The University of Sydney(悉尼大学)
本文提出像素级多模态融合方法GeminiFusion,通过层自适应噪声结合模态内与模态间注意力,在保持线性复杂度的同时实现高效且优于前沿技术的跨模态特征融合。
2024-06-04 cs.CV
PixRestore: Unified Image Restoration via Pixel Diffusion Transformer
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
本文提出无VAE的像素空间DiT模型PixRestore,通过流匹配与DINO特征可靠性预测实现UIR,仅50M参数且单步推理,在效率与修复性能上优于同类模型。
2026-08-18 cs.CV
Restoring Images in Adverse Weather Conditions via Histogram Transformer
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区网络空间安全学院);Guangdong Provincial Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室);Wechat Business Group, Tencent(腾讯微信事业群)
本文提出Histoformer,通过直方图自注意力机制和动态范围卷积,将空间特征按强度分区间处理以捕捉长距离相似退化像素,并引入皮尔逊相关系数损失,有效恢复恶劣天气下的图像。
2024-07-25 cs.CV
CRFormer: A Cross-Region Transformer for Shadow Removal
Beijing Jiaotong University(北京交通大学);University of South Carolina(南卡罗来纳大学);China Mobile Research Institute(中国移动研究院)
为了恢复图像中阴影区域的原始强度,并使它们与剩余的非阴影区域兼容而不留下痕迹,阴影去除是一个非常具有挑战性的问题,它有利于许多下游图像/视频相关的任务。最近,Transformers已经显示出其强大的能力,在各种应用中,通过捕捉全局像素的相互作用,这种能力是非常可取的阴影消除。然而,由于以下两个原因,应用Transformers来促进阴影去除是不平凡的:1)由于不规则的阴影形状,补丁化操作不适合阴影去除; 2)阴影去除仅需要从非阴影区域到阴影区域的单向交互,而不是图像中所有像素之间的常见双向交互。在本文中,我们提出了一种新的跨区域Transformer,即CRFormer,阴影去除,它不同于现有的Transformers,只考虑像素的相互作用,从非阴影区域的阴影区域,而不分裂成补丁的图像。这是通过一个精心设计的区域感知的交叉注意操作,可以聚合恢复的阴影区域功能的非阴影区域功能的条件。在ISTD、AISTD、SRD和视频阴影去除数据集上的大量实验表明,与其他最先进的方法相比,我们的方法具有优越性。
2022-07-04 cs.CV
Centroid-centered Modeling for Efficient Vision Transformer Pre-training
Wuhan University(武汉大学)
本文提出CCViT,利用k-means质心作为非参数分词器进行掩码图像建模,无需监督训练分词器,在ImageNet-1K上以ViT-B和ViT-L分别取得84.4%和86.0%的top-1准确率,实现了高效且具有竞争力的视觉Transformer预训练。
2024-08-01 cs.CV