Beyond Scalar Distances: Semantic Attribute Gradients from Frozen MLLMs for Visual Embeddings
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出SAGA框架，利用冻结的多模态大语言模型（MLLM）通过GRPO奖励机制为视觉编码器提供属性级监督，替代传统标量距离，提升零样本图像检索性能。
2026-06-16 cs.AI cs.CV cs.LG
Trained Persistent Memory for Frozen Encoder--Decoder LLMs: Six Architectural Methods
Inha University in Tashkent, Uzbekistan（乌兹别克斯坦塔什克ENT的Inha大学）
本文探讨了在冻结编码器-解码器语言模型中通过持久内存实现连续潜在空间的可行性，提出六种架构方法，通过训练适配器实现对话学习，验证了容量作为关键设计参数的重要性。
2026-03-17 cs.AI cs.LG
SCOUT: Sim-to-Real Text-Based Person Retrieval by Embedding-Space Prediction over Frozen Video Features
Université de Moncton（蒙克顿大学）
提出SCOUT，利用冻结编码器和嵌入空间预测实现仿真到现实的文本人物检索，通过精度杠杆和校准研究，在AI City Challenge 2026上达到84.25 mAP@10。
2026-09-18 cs.CV cs.IR
Encoder Winners Do Not Reliably Transfer Across VLA Backbone Scale: A Frozen-Backbone Grafting Diagnostic
Tsinghua University（清华大学）
提出冻结骨干嫁接诊断方法，发现小规模VLA上最优的视觉编码器在大规模骨干上并非最优，编码器选择依赖于骨干网络规模。
2026-06-15 cs.CV cs.RO
Harnessing Frozen Unimodal Encoders for Flexible Multimodal Alignment
ML Labs, Dublin City University（都柏林城市大学ML实验室）；University of California Berkeley（加州大学伯克利分校）；Technological Innovation Institute（技术创新研究院）
本研究提出利用冻结单模态编码器的多模态对齐框架，通过选语义相似编码器、建概念丰富数据集、训练MLP投影器，以远低于从头训练的成本实现了不错的零样本分类和图文检索效果，提升了多模态开发的可及性与灵活性。
2025-03-23 cs.CV
LXMERT: Learning Cross-Modality Encoder Representations from Transformers
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
视觉和语言推理需要理解视觉概念，语言语义，最重要的是，这两种形式之间的对齐和关系。因此，我们提出了LXMERT（从Transformers学习跨模态编码器表示）框架来学习这些视觉和语言连接。在LXMERT中，我们构建了一个大规模的Transformer模型，该模型由三个编码器组成：对象关系编码器、语言编码器和跨模态编码器。接下来，为了赋予我们的模型连接视觉和语言语义的能力，我们通过五个不同的代表性预训练任务，用大量的图像和句子对预训练模型：掩蔽语言建模，掩蔽对象预测（特征回归和标签分类），跨模态匹配和图像问答。这些任务有助于学习模态内和跨模态的关系。在对我们的预训练参数进行微调后，我们的模型在两个视觉问答数据集上实现了最先进的结果（即，VQA和GQA）。我们还通过将预训练的跨模态模型适应于具有挑战性的视觉推理任务NLVR 2来展示其通用性，并将之前的最佳结果提高了22%（54%至76%）。最后，我们展示了详细的消融研究，以证明我们的新模型组件和预训练策略都对我们的强大结果做出了重大贡献;并且还为不同的编码器提供了几个注意力可视化。代码和预训练模型可在以下网址公开获取：https://github.com/airsplay/lxmert
2019-12-03 cs.CL cs.CV cs.LG
Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
本研究证明冻结的视觉Unicode嵌入可替代可训练词嵌入，Transformer模型在MMLU上表现更优，表明语义是架构与数据涌现的结果。
2025-10-15 cs.AI cs.CL
Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)（希茨中心–Ixa，巴斯克国家大学（UPV/EHU））
本文探讨了双编码视觉-语言模型中组合性问题的根源，提出通过改进推断协议提升组合性能，引入轻量级变压器学习局部对齐，优于全微调和端到端训练方法。
2026-04-16 cs.CL cs.CV cs.LG
Rethinking Contrastive Loss in CLIP Post-training: A Complementary Framework with Frozen Text Encoder
Huazhong University of Science and Technology（华中科技大学）；Li Auto Inc.（理想汽车）
本文提出ComCLIP框架，通过冻结CLIP文本编码器、采用合适温度的对比损失等优化，提升了CLIP视觉编码器的特征可迁移性，且作为即插即用组件适配LLaVA等下游VLM。
2026-10-12 cs.AI cs.CV
Fixed-Budget Parameter-Efficient Training with Frozen Encoders Improves Multimodal Chest X-Ray Classification
Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur, India（计算机科学与工程系，印度理工学院Kharagpur分校）；Knight Foundation School of Computing and Information Sciences, Florida International University, Florida, USA（骑士基金会计算与信息科学学院，佛罗里达国际大学）
本研究通过冻结编码器的参数高效训练策略，在降低计算成本的同时提升了多模态胸片分类的性能。
2025-12-25 cs.CV
Encoder-Decoder Transformers: Logical Characterizations and Periodicity
Mathematics Research Centre, Tampere University（塔尔皮奥大学数学研究中心）
本文通过一种新的时序逻辑对编码器-解码器变换器进行逻辑刻画，扩展了命题逻辑并引入计数全局模态和过去模态，同时探讨了变换器在自回归设置中的应用。
2026-09-29 cs.AI cs.LO
Transformers and Cortical Waves: Encoders for Pulling In Context Across Time
Western University（韦仕敦大学）；Fields Institute（菲尔兹研究所）；University of California at San Diego（加州大学圣地亚哥分校）；Salk Institute for Biological Studies（索尔克生物研究所）
本研究提出皮层神经活动波可能采用与Transformer类似的编码原理，通过将输入历史封装为空间模式提取感官序列的时间上下文，为理解大脑时序信息处理提供新视角。
2024-08-16 cs.AI cs.CL
Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement
研究发现视觉-语言模型通过冻结特征可实现连续几何测量，LoRA微调和架构分析揭示了路径训练缺陷及中层注意力头对几何信号的重要性。
2026-03-06 cs.AI cs.CV
Fine-tuning Transformer-based Encoder for Turkish Language Understanding Tasks
Istanbul Bilgi University（伊斯坦布尔比尔基大学）
本研究针对土耳其语自然语言理解任务，微调基础版土耳其语BERT模型BERTurk，在命名实体识别等四项任务上超越现有基线，公开发布相关模型资源以支持领域研究。
2024-01-30 cs.AI cs.CL
Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders
Stony Brook University（石英 Brook 大学）
本文评估了状态空间模型作为视觉编码器在视觉语言模型中的有效性，发现其在VQA和定位任务中表现优异，并提出稳定策略提升鲁棒性。
2026-03-19 cs.CV cs.LG
Bornon: Bengali Image Captioning with Transformer-based Deep learning approach
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）
使用基于编码器-解码器的方法的图像描述，其中CNN用作编码器，并且序列生成器如RNN用作解码器，已被证明是非常有效的。然而，这种方法有一个缺点，那就是序列需要按顺序处理。为了克服这个缺点，一些研究人员已经利用Transformer模型从使用英语数据集的图像生成字幕。然而，没有一个使用Transformer模型生成孟加拉语字幕。因此，我们利用三个不同的孟加拉语数据集，使用Transformer模型从图像中生成孟加拉语字幕。此外，我们比较了基于变换器的模型与基于视觉注意力的编码器-解码器方法的性能。最后，我们比较了基于transformer的模型的结果与其他模型，采用不同的孟加拉语图像描述数据集。
2021-09-11 cs.CV
LAS-CLIP: A Lightweight Adapter Steering Approach for CLIP's Visual Encoder
University of Science, Viet Nam National University, Ho Chi Minh City（胡志明市越南国立大学理学院）；University of Dayton（代顿大学）
LAS-CLIP提出一种轻量级适配器引导方法，冻结CLIP全部参数，通过MaskAdapter注入注意力偏置，实现区域级任务上的零样本能力保持，且参数极少、性能优于Alpha-CLIP。
2026-10-06 cs.CV
Weather-Robust Scene Semantics with Vision-Aligned 4D Radar
Autonomous Robotics and Perception Group（自主机器人与感知组）
本文提出通过冻结视觉语言模型将雷达编码器对齐于SigLIP嵌入，以提升恶劣天气下的场景语义理解，实验表明雷达配置在雾、轻雪和重雪条件下优于相机基线。
2026-05-08 cs.CV cs.RO
CANDOR: Chance-Calibrated Neighborhood Discordance in Frozen Encoders for Medical Imaging
研究探讨冻结基础编码器问题，引入CANDOR度量，其等规模库对称使机会水平固定为二分之一。经多编码器、多数据集和大量图像实验，校正改变结论，发现各编码器虽不盲目但都弱，CANDOR可提前标记支持不佳的发现。
2026-10-27 cs.AI cs.CL cs.CV
PMT: Plain Mask Transformer for Image and Video Segmentation with Frozen Vision Encoders
Eindhoven University of Technology（埃因霍温理工大学）
PMT通过冻结视觉基础模型的编码器，提出Plain Mask Decoder，实现高效分割任务，兼具速度和准确性，适用于图像和视频分割。
2026-03-26 cs.CV
EGA: Adapting Frozen Encoders for Vector Search with Bounded Out-of-Distribution Degradation
Tacoma School of Engineering and Technology University of Washington（塔科马工程与技术学院华盛顿大学）
本文提出EGA方法，通过零初始化、局部三元组损失和超球面投影，解决冻结编码器在部署时面对未见类查询的问题，提升分布外场景下的标签精度。
2026-05-08 cs.AI cs.CV cs.LG
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
Salesforce Research（Salesforce研究院）
针对视觉-语言预训练成本过高的问题，提出BLIP-2策略，借助冻结图像编码器与大语言模型，通过两阶段轻量查询变换器预训练，以更少参数实现多任务最优性能及零样本指令跟随生成能力。
2023-06-15 cs.CV
DINOv3 as a Frozen Encoder for CRPS-Oriented Probabilistic Rainfall Nowcasting
Advanced Data Analysis and Management, University of Feira de Santana（费拉德桑塔大学高级数据分析与管理中心）；National Institute of Metrology, Quality and Technology（计量与技术质量国家研究院）；Georgia Institute of Technology（佐治亚理工学院）；University of West Bohemia in Pilsen（比尔森大学）
针对概率降雨临近预报任务，提出将搭配V-JEPA投影器与轻量概率头的冻结DINOv3-SAT493M编码器以RPS为目标端到端优化，在Weather4Cast 2025基准上CRPS达3.5102，较最优3D-UNET提升约26%。
2025-11-19 cs.AI cs.CV
AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers
AdapterTune通过零初始化低秩适配器解决冻结视觉变换器中的优化不稳定和适配器容量设置指导缺失问题，提升跨任务性能。
2026-03-16 cs.AI cs.CV cs.LG
MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders
Saudi Data and Artificial Intelligence Authority (SDAIA)（沙特数据和人工智能管理局（SDAIA））
针对冻结双编码器在杂乱场景中检索稀有对象时全局嵌入不足的问题，提出无需训练的MINER框架，通过区域级嵌入和中心性校正重打分增强检索，并在ROCS基准上验证了其有效性。
2026-10-20 cs.CV
Frozen Vision Transformers for Dense Prediction on Small Datasets: A Case Study in Arrow Localization
本文提出了一种系统，用于在40厘米室内射箭靶面自动检测、定位和评分箭头穿孔，仅使用48张标注照片（5,084个穿孔）。系统结合了颜色基于的标准化校正阶段、冻结的自监督视觉Transformer和AnyUp引导的特征上采样，实现了亚毫米级精度。
2026-04-18 cs.AI cs.CV cs.LG
SSAFE: Simple and Strong AI-Generated Image Detection via Frozen Vision Encoders
KAIST（韩国科学技术院）；Google Cloud AI（谷歌云AI）
本文发现冻结的多模态视觉编码器在嵌入空间中自然分离真实与合成图像，通过线性分类器即可实现强检测性能，并提出一种表示感知的数据策展策略，仅用10K图像训练，在多个基准上表现优异。
2026-06-07 cs.CV
Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions
该研究针对冻结视觉编码器的操作洗白问题，提出SO-OPF读出方法，在Shapes3D、COCO等数据集上提升了因子分配准确率，同时暴露了渲染器特定的失效边界。
2026-08-07 cs.CV
Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers
Tel Aviv University（特拉维夫大学）；Facebook AI Research (FAIR)（Facebook AI研究院）
Transformers越来越多地主导多模态推理任务，例如视觉问答，由于其使用自我注意和协同注意力机制将信息上下文化的能力，实现了最先进的结果。这些注意力模块还在其他计算机视觉任务中发挥作用，包括目标检测和图像分割。与仅使用自我注意力的Transformers不同，具有共同注意力的Transformers需要并行考虑多个注意力地图，以突出与模型输入中的预测相关的信息。在这项工作中，我们提出了第一种方法来解释预测的任何变压器为基础的架构，包括双模态Transformers和Transformers共同关注。我们提供了通用的解决方案，并将其应用于这些架构中最常用的三种：（i）纯自我注意，（ii）自我注意与共同注意相结合，以及（iii）编码器-解码器注意。我们表明，我们的方法是优于所有现有的方法，这是适应单一的模态可解释性。
2021-03-29 cs.CV cs.LG
CueRator: Agentic Search for Symbolic Rules to Adapt Frozen Multimodal Encoders
Pusan National University（釜山国立大学）
CueRator提出智能体搜索符号决策规则以适配冻结多模态编码器，在开放词汇音视频事件感知上超越现有方法，显著缩小已见未见差距。
2026-10-07 cs.CV
Number of Attention Heads vs Number of Transformer-Encoders in Computer Vision
Institute of Computer Science, University of St.Gallen (HSG)（圣加仑大学计算机科学研究所）
一方面确定适当数量的注意力头，另一方面确定transformer-编码器的数量，是使用Transformer架构的计算机视觉（CV）任务的重要选择。计算实验证实了参数总数必须满足超定条件（即，约束的数量显著超过参数的数量）。然后，可以预期良好的泛化性能。这设置了可以选择磁头数量和Transformers数量的边界。如果可以假设要分类的图像中的上下文的作用很小，则有利的是使用具有少量头（例如一个或两个）的多个Transformers。在分类其类别可能严重依赖于图像内的上下文（即，贴片的意义取决于其他贴片），头的数量与Transformers的数量同样重要。
2022-09-15 cs.CV cs.LG
TABLET: Table Structure Recognition using Encoder-only Transformers
iWudao Tech（iWudao科技）
本文提出一种基于拆分-合并策略、使用多个仅编码器Transformer的表格结构识别模型，通过序列标注和网格分类避免边界框预测，在FinTabNet和PubTabNet上取得高精度与高速度，适合工业部署。
2025-06-08 cs.CV cs.LG
Fine-grained Text-Video Retrieval with Frozen Image Encoders
Alibaba Group（阿里巴巴集团）
针对现有文本-视频检索交叉注意力方法缺少细粒度空间信息的问题，提出两阶段架构CrossTVR，结合余弦相似度候选筛选与解耦交叉注意力模块，采用冻结CLIP策略支持大视觉模型，在数据集上取得更优效果与可扩展性。
2023-07-14 cs.CV
Revitalizing CNN Attentions via Transformers in Self-Supervised Visual Representation Learning
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Oxford（牛津大学）
自监督视觉表示学习（SSL）的研究提高了编码器的骨干，以区分没有标签的训练样本。虽然通过SSL的CNN编码器实现了与通过监督学习的编码器相当的识别性能，但它们的网络注意力尚未得到进一步改进。受在识别场景中有效探索视觉注意力的Transformers的启发，我们提出了一个CNN注意力恢复（CARE）框架，以训练由SSL中的Transformers引导的注意力集中的CNN编码器。所提出的CARE框架由CNN流（C-stream）和Transformer流（T-stream）组成，其中每个流包含两个分支。C-stream遵循现有的SSL框架，具有两个CNN编码器，两个投影仪和一个预测器。T-stream包含两个Transformers，两个projector和一个predictor。T-Stream连接到CNN编码器，并与其余的C-Stream并行。在训练过程中，我们同时在两个流中执行SSL，并使用T流输出来监督C流。来自CNN编码器的特征在T流中被调制以用于视觉注意力增强，并且变得适合于SSL场景。我们使用这些调制特征来监督C流，以学习专注的CNN编码器。为此，我们以Transformers为指导，重振CNN的关注。几个标准的视觉识别基准，包括图像分类，目标检测和语义分割的实验表明，所提出的CARE框架提高了CNN编码器骨干的最先进的性能。
2021-10-11 cs.CV cs.LG
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs（AWS AI实验室）；University of California San Diego（加州大学圣迭戈分校）
提出DEED方法，在编码器-解码器Transformer解码器中实现动态早退，通过多出口和深度监督训练，按步置信度减少解码层数，降低30%-60%推理延迟，保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
Multimodal Transformer for Parallel Concatenated Variational Autoencoders
University of Southern California（南加州大学）
在本文中，我们提出了一个多模态Transformer使用并行级联架构。我们使用R、G、B通道中图像的列条纹作为Transformer输入，而不是使用面片。列条纹保持了原始图像的空间关系。我们将多模态Transformer与变分自编码器相结合，用于合成跨模态数据生成。多模态Transformer使用多个压缩矩阵设计，并且它用作并行级联变分自编码器（PC-VAE）的编码器。VAE由多个编码器、一个潜在空间和两个解码器组成。编码器基于随机高斯矩阵，不需要任何训练。我们提出了一个新的损失函数的基础上的交互信息的部分信息分解。交互信息评估输入的跨模态信息和解码器输出。通过最小化损失函数来训练PC-VAE。实验进行验证所提出的多模态Transformer的PC-VAE。
2022-10-28 cs.AI cs.CV cs.LG
Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders
Johns Hopkins University（约翰霍普金斯大学）
研究利用表示编码器进行生成建模时标准扩散变压器收敛失败的问题，指出根本原因是几何干扰，提出黎曼流匹配与雅可比正则化方法，使标准扩散变压器无需宽度缩放就能收敛。
2026-07-07 cs.CV cs.LG
Bangla Image Caption Generation through CNN-Transformer based Encoder-Decoder Network
Pioneer Alpha；Mississippi State University（密西西比州立大学）
自动图像描述是一种无休止的努力，它用自然语言和上下文来创建图像的语法和验证文本描述的准确性。在现有的孟加拉语图像描述（BIC）研究中使用的编码器-解码器结构利用抽象图像特征向量作为编码器的输入。我们提出了一种新的基于transformer的架构，具有注意力机制和预训练的ResNet-101模型图像编码器，用于从图像中提取特征提取。实验表明，我们的技术中的语言解码器捕获标题中的细粒度信息，然后与图像特征配对，在BanglaLekhaImageCaptions数据集上生成准确且多样化的标题。我们的方法优于所有现有的孟加拉语图像描述工作，并通过在BLEU-1上得分0.694，在BLEU-2上得分0.630，在BLEU-3上得分0.582，在METEOR上得分0.337来设定新的基准。
2021-10-24 cs.AI cs.CV
Cats: Complementary CNN and Transformer Encoders for Segmentation
Vanderbilt University（范德堡大学）
最近，深度学习方法在许多医学图像分割任务中取得了最先进的性能。其中许多是基于卷积神经网络（CNN）。对于这些方法，编码器是从输入图像中提取全局和局部信息的关键部分;然后将提取的特征传递到解码器以预测分割。相比之下，最近的几个作品显示出使用Transformers的优越性能，它可以更好地建模长距离的空间依赖性和捕获低级别的细节。然而，Transformer作为唯一的编码器在某些任务中表现不佳，其中它不能有效地取代基于卷积的编码器。在本文中，我们提出了一个模型与双编码器的三维生物医学图像分割。我们的模型是一个U形的CNN增强了一个独立的Transformer编码器。我们融合来自卷积编码器和Transformer的信息，并将其传递给解码器以获得结果。我们在来自三个不同挑战的三个公共数据集上评估了我们的方法：BTCV，MoDA和Decathlon。与每个任务上有和没有Transformers的最先进的模型相比，我们提出的方法获得了更高的Dice分数。
2022-08-24 cs.CV eess.IV
EDIT: Enhancing Vision Transformers by Mitigating Attention Sink through an Encoder-Decoder Architecture
School of Computer Science and Technology, Henan Polytechnic University（河南理工大学计算机科学与技术学院）
提出EDIT架构，通过层对齐编码器-解码器缓解注意力汇聚，在ImageNet及迁移任务上优于DeiT3。
2025-10-16 cs.AI cs.CV
LiteVSR: Lightweight Adaptation of Frozen Diffusion Transformers for Video Super-Resolution
University of Science and Technology of China（中国科学技术大学）
提出LiteVSR，利用流匹配原理，通过轻量级状态感知适配器在冻结扩散变换器上实现视频超分辨率，仅需11.25%可训练参数和12 GPU小时训练。
2026-06-08 cs.CV
Virtual Encoders in Multimodal Transformers
The University of Osaka（大阪大学）
本文提出虚拟编码器概念，发现多模态Transformer可在内部层自行构建感知表示，无需专用编码器，为理解多模态处理机制提供新视角。
2026-10-20 cs.CV
Dynamic Grained Encoder for Vision Transformers
Xi’an Jiaotong University（西安交通大学）；ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；Megvii Inc. (Face++)（旷视科技（Face++））
Transformers是语言建模的事实标准，最近已被应用于视觉任务。本文介绍了稀疏查询视觉Transformer，利用自然图像的内在空间冗余，节省计算成本。具体来说，我们提出了一个动态粒度编码器的视觉Transformer，它可以自适应地分配一个合适的查询数量到每个空间区域。因此，它实现了一个细粒度的表示在区分区域，同时保持高效率。此外，动态粒度编码器与大多数视觉Transformer框架兼容。没有花里胡哨的东西，我们的编码器允许最先进的视觉Transformer将计算复杂性降低40%-60%，同时保持图像分类的可比性能。大量的实验目标检测和分割进一步证明了我们的方法的通用性。代码可在https://github.com/StevenGrove/vtpack上获得。
2023-01-10 cs.CV
Domain Generalisation with Bidirectional Encoder Representations from Vision Transformers
Dublin City University（都柏林城市大学）
本研究使用视觉Transformer进行域泛化，发现BEIT架构最佳，并在PACS、Home-Office和DomainNet基准上显著提升准确率，缩小分布内外差距。
2023-07-16 cs.CV cs.LG
Prompt Generation Networks for Input-Space Adaptation of Frozen Vision Transformers
University of Amsterdam（阿姆斯特丹大学）；BrainCreators；University of Oxford（牛津大学）
本文提出提示生成网络PGN，为每个数据点生成视觉提示以适配冻结的预训练视觉Transformer，在12个数据集上大幅超越已有方法且参数量减少100倍，并引入提示反演技巧实现潜在空间训练与RGB空间推理部署。
2024-08-30 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University（南洋理工大学）
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小，因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率，我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架：1）用于学习潜在时间语义的基于视觉的编码器，以及2）多模态视频-文本交叉编码器，以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明，我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联，与CNN视觉模型相比，具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
HeadPosr: End-to-end Trainable Head Pose Estimation using Transformer Encoders
ETH Zurich（苏黎世联邦理工学院）
在本文中，HeadPosr提出使用单个RGB图像来预测头部姿势。\textit{HeadPosr}使用一种新颖的架构，其中包括一个Transformer编码器。具体包括：（1）主干;（2）连接器;（3）Transformer编码器;（4）预测头。研究了在HPE中使用Transformer编码器的意义。在HeadPosr中使用的Transformer中，对不同的（1）编码器数量;（2）头部数量;（3）不同位置嵌入;（4）不同激活;（5）输入通道大小进行了广泛的消融研究。进一步的研究使用：（1）不同的骨干，（2）使用不同的学习率也显示。精心设计的实验和消融研究使用三种不同的HPE广泛使用的开源数据集进行，即，300 W-LP、AFLW 2000和BIWI数据集。实验结果表明，在AFLW 2000数据集和BIWI数据集上，\textit{HeadPosr}在使用300 W-LP进行训练时，其性能优于所有现有的无地标方法和其他基于地标或深度估计的方法。在对比较数据集的结果进行平均时，它的表现也更好，因此为HPE的问题设定了基准，也证明了使用Transformers的有效性。
2022-02-07 cs.CV
Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval
University of Oxford（牛津大学）；Google Research（谷歌研究院）；École des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
我们在这项工作中的目标是视频文本检索-特别是联合嵌入，使有效的文本到视频检索。该领域的挑战包括视觉架构的设计和训练数据的性质，因为可用的大规模视频-文本训练数据集（例如HowTo 100 M）是嘈杂的，因此只有通过大量计算才能在规模上实现有竞争力的性能。我们在本文中解决这两个挑战。我们提出了一个端到端的可训练模型，该模型旨在利用大规模图像和视频描述数据集。我们的模型是最近的ViT和Timesformer架构的适应和扩展，包括在空间和时间的注意。该模型是灵活的，可以在图像和视频文本数据集上单独或联合训练。它使用课程学习时间表进行训练，该时间表首先将图像视为视频的“冻结”快照，然后在视频数据集上进行训练时逐渐学会关注增加的时间上下文。我们还提供了一个新的视频-文本预训练数据集WebVid-2 M，由从互联网上抓取的200多万个带有弱字幕的视频组成。尽管在小一个数量级的数据集上进行了训练，但我们表明，这种方法在标准的下游视频检索基准测试（包括MSR-VTT，MSVD，DiDeMo和LSMDC）上产生了最先进的结果。
2022-05-13 cs.CV
Transformer for Image Quality Assessment
NORCE Norwegian Research Centre（挪威研究中心）；Shenzhen University（深圳大学）
Transformer已成为自然语言处理的新的标准方法，也引起了计算机视觉领域的研究兴趣。本文研究了Transformer在图像质量评价中的应用。在视觉Transformer（ViT）中采用的原始Transformer编码器之后，我们提出了一种在卷积神经网络（CNN）提取的特征图顶部使用浅层Transformer编码器的架构。自适应位置嵌入在Transformer编码器中被采用以处理具有任意分辨率的图像。Transformer体系结构的不同设置已在公开可用的图像质量数据库上进行了研究。我们已经发现，所提出的TRIQ架构实现了出色的性能。TRIQ的实现发布在Github上（https：//github.com/junyongyou/triq）。
2021-01-08 cs.CV cs.LG eess.IV
Big, Bright, or Invisible: A Frozen-Feature Benchmark of 3D CT Foundation Models
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；TUM University Hospital（慕尼黑工业大学医院）；Imperial College London（伦敦帝国理工学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；UKE Hamburg（汉堡大学医院）
本研究对10个冻结CT编码器开展基准测试，发现性能主要取决于异常的对比度与空间范围，小型低对比度病变仍是挑战，需区域或病变级预训练。
2026-08-07 cs.AI cs.CV
Conditional Visual Evidence Utility: State-Dependent Rank Reversals in Frozen Vision-Language Encoders
Beihang University（北京航空航天大学）
该研究发现冻结的OpenCLIP和SigLIP在受控组合视觉搜索中存在状态依赖的视觉证据排名反转，更新证据排序可保留跨评估者的决策价值，推动条件性评估视觉-语言证据使用。
2026-09-24 cs.CV
Image-Specific Adaptation of Transformer Encoders for Compute-Efficient Segmentation
NEC Laboratories, America（美国NEC实验室）；University of California, Riverside（加州大学河滨分校）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出ECO-M2F方法，通过自适应选择编码器层数来提升分割任务的计算效率，同时保持性能并适应不同计算资源。
2026-03-31 cs.CV cs.LG
MMDiff: Extending Diffusion Transformers for Multi-Modal Generation
University of Oxford, Visual Geometry Group（牛津大学视觉几何组）
提出MMDiff框架，利用冻结的扩散变换器通过轻量解码器联合生成图像及多种密集感知模态，发现多时间步特征融合与空间变化聚合权重是关键，在语义分割等任务上取得优异性能。
2026-07-09 cs.CV
LeViT-UNet: Make Faster Encoders with Transformer for Medical Image Segmentation
Wuhan Institute of Technology（武汉工程大学）；Huazhong University of Science and technology（华中科技大学）
医学图像分割在计算机辅助诊断和治疗系统的开发中起着至关重要的作用，但仍然面临着许多挑战。在过去的几年里，流行的基于CNN的编码器-解码器架构（例如，U-Net）在医学图像分割中得到了成功的应用。然而，由于卷积运算的局部性，它们在学习全局上下文和长程空间关系方面表现出局限性。最近，一些研究人员试图将Transformers引入到编码器和解码器组件中，并取得了令人满意的结果，但由于Transformers的高计算复杂性，效率需要进一步提高。在本文中，我们提出了LeViT-UNet，它集成了一个LeViT Transformer模块到U-Net架构，快速，准确的医学图像分割。具体来说，我们使用LeViT作为LeViT-UNet的编码器，它可以更好地权衡Transformer块的准确性和效率。此外，LeViT的Transformer块和卷积块的多尺度特征图通过跳跃连接传递到解码器，可以有效地重用特征图的空间信息。我们的实验表明，建议的LeViT-UNet实现更好的性能相比，各种竞争方法在几个具有挑战性的医学图像分割基准，包括突触和ACDC。代码和模型将在https://github.com/apple1986/LeViT_UNet上公开。
2021-07-19 cs.CV
