MLP Architectures for Vision-and-Language Modeling: An Empirical Study
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft Corporation（微软公司）
我们发起了第一个实证研究使用MLP架构的视觉和语言（VL）融合。通过对5个VL任务和5个鲁棒VQA基准测试的广泛实验，我们发现：（i）在没有预训练的情况下，使用MLP进行多模态融合与Transformers相比具有明显的性能差距;（ii）然而，VL预训练可以帮助缩小性能差距;（iii）而不是沉重的多头注意力，向MLP添加微小的单头注意力足以实现与Transformers相当的性能。此外，我们还发现，MLP和Transformers之间的性能差距并没有扩大时，更硬的鲁棒VQA基准进行评估，这表明使用MLP的VL融合可以概括大致类似的程度，使用Transformers。这些结果表明，MLP可以有效地学习对齐从较低级别编码器提取的视觉和文本特征，而无需严重依赖自我注意力。在此基础上，我们提出了一个更大胆的问题：我们能否拥有一个全MLP架构的VL建模，其中VL融合和视觉编码器都被MLP取代？我们的结果表明，与最先进的全功能VL模型相比，全MLP VL模型是次优的，当它们都经过预训练时。然而，预训练全MLP可以令人惊讶地获得比没有预训练的全功能Transformer模型更好的平均分数。这表明了大规模预训练的MLP类架构的VL建模的潜力，并启发了未来的研究方向，简化完善的VL建模，减少归纳设计偏差。我们的代码可在https://github.com/easonnie/mlp-vil上公开获取
2021-12-08 cs.CL cs.CV cs.LG
Assessing the Visual Enumeration Abilities of Specialized Counting Architectures and Vision-Language Models
University of Padova（帕多瓦大学）
本文比较了专用计数架构与VLMs在物体计数任务中的性能，发现VLMs在生成中间表示时计数准确率显著提高，但复杂场景计数仍需进一步研究。
2025-12-17 cs.CV cs.LG
RAH-VLA: Resolution-Adaptive Hierarchical Vision-Language Alignment for Multimodal Remote Sensing Understanding
Tsinghua University（清华大学）
本文提出动态分辨率输入策略与多尺度视觉-语言对齐机制，提升遥感图像多模态解释的准确性和效率。
2026-09-09 cs.CV
FlexAttention for Efficient High-Resolution Vision-Language Models
UMass Amherst（马萨诸塞大学阿默斯特分校）；Princeton University（普林斯顿大学）；South China University of Technology（华南理工大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
提出FlexAttention灵活注意力机制，通过低分辨率token与少量选定高分辨率token迭代计算注意力图，在保持性能的同时显著降低高分辨率视觉-语言模型的计算成本。
2024-07-29 cs.CV
ID-Align: RoPE-Conscious Position Remapping for Dynamic High-Resolution Adaptation in Vision-Language Models
Peking University（北京大学）
提出ID-Align方法，通过重排位置ID缓解RoPE长期衰减导致的高分辨率令牌与缩略图令牌交互受阻问题，在LLaVA-Next框架下实现MMBench关系推理任务6.09%的提升。
2026-09-09 cs.CL cs.CV
MResT: Multi-Resolution Sensing for Real-Time Control with Vision-Language Models
Carnegie Mellon University（卡内基梅隆大学）
本研究提出MResT多分辨率Transformer框架，结合预训练视觉-语言模型与小型非预模型处理不同分辨率感知信息，实现语言条件多任务机器人实时控制，性能较基线平均提升2倍且泛化性良好。
2024-01-25 cs.CV cs.LG cs.RO
MROVSeg: Breaking the Resolution Curse of Vision-Language Models in Open-Vocabulary Image Segmentation
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对开放词汇图像分割中视觉语言模型（如CLIP）因低分辨率预训练导致的细节丢失问题，提出MROVSeg多分辨率训练框架，通过滑动窗口和多分辨率适配器等组件，在单CLIP骨干上实现高分辨率分割，提升性能并降低计算开销。
2024-11-27 cs.AI cs.CV
WebSight: A Vision-First Architecture for Robust Web Agents
Stanford University（斯坦福大学）
该研究提出WebSight视觉优先网页智能体架构，核心是经LoRA微调的WebSight-7B模型，集成模块化多智能体系统，在Showdown Clicks和WebVoyager基准上优于现有模型，为视觉网页导航建立新标准。
2025-08-23 cs.AI cs.CV
Global Semantic-Guided Sub-image Feature Weight Allocation in High-Resolution Large Vision-Language Models
Fudan University（复旦大学）
针对高分辨率LVLM子图像统一处理导致理解不佳的问题，提出GSWA模块按语义相关性动态分配子图像权重，集成至InternVL2-2B形成SleighVL，性能超越同级模型。
2025-01-24 cs.AI cs.CV
InternLM-XComposer2-4KHD: A Pioneering Large Vision-Language Model Handling Resolutions from 336 Pixels to 4K HD
The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Group（商汤集团）；Tsinghua University（清华大学）
本文提出InternLM-XComposer2-4KHD，通过动态分辨率与自动分块配置将LVLM训练分辨率扩展至4K高清，在16个基准中的10个上达到或超越GPT-4V和Gemini Pro。
2024-04-09 cs.CL cs.CV
ZonUI-3B: A Lightweight Vision-Language Model for Cross-Resolution GUI Grounding
DeepCAT Lab, National Yang Ming Chiao Tung University（深猫实验室，国家阳明交通大学）
ZonUI-3B是一个可在单张RTX 4090上训练的轻量级视觉语言模型，通过24K跨平台多分辨率数据集和两阶段微调策略，在ScreenSpot等GUI定位基准上以84.9%和86.4%的准确率超越4B以下模型。
2025-07-18 cs.AI cs.CV
Eyla: Toward an Identity-Anchored LLM Architecture with Integrated Biological Priors -- Vision, Implementation Attempt, and Lessons from AI-Assisted Development
Eyla提出一种以身份为基础的LLM架构，整合生物启发子系统，通过AI辅助开发的失败分析，揭示了AI辅助软件工程中的系统性失效模式。
2026-03-09 cs.AI cs.CL
Native Visual Understanding: Resolving Resolution Dilemmas in Vision-Language Models
Peking University（北京大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shandong University（山东大学）；Beihang University（北航）；Tsinghua University（清华大学）
针对视觉-语言模型的分辨率困境，本文提出新型基准RC-Bench系统评估极端视觉条件下模型能力，同时推出开源训练框架NativeRes-LLaVA支持原生分辨率图像处理，实验验证该编码策略可显著提升相关基准性能。
2025-06-15 cs.CV
DynRsl-VLM: Enhancing Autonomous Driving Perception with Dynamic Resolution Vision-Language Models
Xi’an Jiaotong University（西安交通大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对VLM下采样丢失小目标细节的问题，提出DynRsl-VLM，通过动态分辨率图像处理和新型图文对齐模块，在计算约束内增强自动驾驶环境感知。
2025-03-14 cs.CV
Pyramid Token Pruning for High-Resolution Large Vision-Language Models via Region, Token, and Instruction-Guided Importance
Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）；College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院）
通过区域、令牌和指令引导的重要性进行高分辨率大视觉-语言模型的金字塔令牌修剪，有效降低计算和内存开销，同时保持性能
2025-09-29 cs.CV
HiRes-LLaVA: Restoring Fragmentation Input in High-Resolution Large Vision-Language Models
Shenzhen campus of Sun Yat-sen University（中山大学深圳校区）；Huawei（华为）；The Hong Kong University of Science and Technology（香港科技大学）；The University of Hong Kong（香港大学）
HiRes-LLaVA通过引入SliceRestore适配器和Self-Mining Sampler，有效恢复高分辨率输入的碎片化问题，提升模型在文档相关任务中的性能。
2026-01-10 cs.CV
SkyNative: A Native Multimodal Architecture for Remote Sensing Vision-Language Understanding
College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
本文提出SkyNative，一种原生多模态框架，通过去除预训练视觉骨干，直接在语言模型token空间中表示图像为原始patch tokens，以提升遥感图像的细粒度空间推理能力。
2026-08-25 cs.CV
A Vision Language Model for Generating Procedural Plant Architecture Representations from Simulated Images
Biological and Agricultural Engineering（生物与农业工程系）；Department of Plant Sciences（植物科学系）；Viticulture and Enology（葡萄栽培与酿酒系）；Wageningen University & Research（瓦赫宁根大学与研究学院）
本文提出一种视觉语言模型，通过合成图像生成3D植物建筑模型，提取器官级参数，验证了从图像数据中提取植物建筑参数的可能性。
2026-03-23 cs.CV
GOTS: Greedy Orthogonal Token Selection for High-Resolution Vision-Language Models
研究高分辨率视觉语言模型中令牌减少问题。提出GOTS方法，通过所选跨度互补性，无训练且与查询无关，每步选正交最大剩余能量令牌。在多主干和基准测试中性能优，还减少模型端首次令牌时间。
2026-07-28 cs.AI
HERO: Rethinking Visual Token Early Dropping in High-Resolution Large Vision-Language Models
College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学）
针对高分辨率大型视觉-语言模型视觉 token 过多的问题，提出无需训练的 HERO 早期丢弃框架，结合自适应预算分配与功能感知选择以提升效率并保持精度。
2025-09-29 cs.CV
YARD: Y-Architecture Register Decoding for Efficient Hallucination Mitigation in Large Vision-Language Models
Guangdong University of Technology（广东工业大学）；Nanyang Technological University（南洋理工大学）；Shenzhen TENCLASS Technology Co., Ltd.（深圳TENCLASS科技有限公司）
提出YARD框架，通过Y型架构共享浅层计算并在中间层分支，用寄存器令牌替换视觉令牌构建退化分支，实现无需训练的对比解码，有效缓解幻觉并降低推理延迟。
2026-05-29 cs.CV
Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding
Microsoft Corporation（微软公司）
本文提出了一种新的视觉Transformer（ViT）架构多尺度视觉Longformer，显着提高了ViT的\cite{dosovitskiy2020image}编码高分辨率图像使用两种技术。第一种是多尺度模型结构，它以可管理的计算成本提供多尺度的图像编码。第二个是视觉Longformer的注意力机制，它是最初为自然语言处理开发的Longformer \cite{beltagy2020longformer}的变体，并实现了线性复杂度w.r.t.输入令牌的数量。一项全面的实证研究表明，新的ViT显着优于几个强大的基线，包括现有的ViT模型及其ResNet同行，以及金字塔视觉Transformer从一个并发的工作\cite{wang2021pyramid}，在一系列的视觉任务，包括图像分类，目标检测，和分割。模型和源代码在\url{https://github.com/microsoft/vision-longformer}上发布。
2021-05-27 cs.AI cs.CV cs.LG
X-DETR: A Versatile Architecture for Instance-wise Vision-Language Tasks
AWS AI Labs（AWS人工智能实验室）
在本文中，我们研究了具有挑战性的实例视觉语言任务，其中自由形式的语言需要与对象而不是整个图像对齐。为了解决这些任务，我们提出了X-DETR，其架构有三个主要组成部分：对象检测器，语言编码器和视觉语言对齐。愿景和语言流直到最后都是独立的，并且通过高效的点积操作进行对齐。整个网络都是端到端训练的，因此检测器针对视觉语言任务进行了优化，而不是现成的组件。为了克服成对对象语言注释的有限大小，我们利用其他弱类型的监督来扩大知识覆盖范围。X-DETR的这种简单而有效的架构在多个实例视觉语言任务中表现出良好的准确性和快速的速度，例如，16.4在训练期间，AP在LVIS上以每秒约20帧的速度检测1.2K类别，而无需使用任何LVIS注释。
2022-04-12 cs.CL cs.CV cs.LG
TurboViT: Generating Fast Vision Transformers via Generative Architecture Search
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI
本研究针对视觉Transformer结构与计算复杂度高、难部署的问题，通过生成式架构搜索构建了基于掩码单元注意力与Q池化的TurboViT，在ImageNet-1K上实现准确率与效率的更优平衡，适配高吞吐量场景。
2023-08-22 cs.AI cs.CV cs.LG
HindSight: A Graph-Based Vision Model Architecture For Representing Part-Whole Hierarchies
本文提出了一种模型架构，用于编码的图像中的部分-整体层次结构的表示，在一个图形的形式。其思想是将图像划分为不同级别的补丁，然后将所有这些补丁视为全连接图的节点。动态特征提取模块用于在每次图形迭代中从这些补丁中提取特征表示。这使我们能够学习包含固有部分-整体分层信息的图像的丰富图形表示。利用适当的自监督训练技术，这样的模型可以被训练为通用视觉编码器模型，该通用视觉编码器模型然后可以用于各种视觉相关的下游任务（例如，图像分类、目标检测、图像描述等）。
2021-04-08 cs.AI cs.CV cs.LG
AI-Powered Deepfake Detection Using CNN and Vision Transformer Architectures
Department of Computer Science and Engineering, East West University（计算机科学与工程系，东西大学）
本文提出利用CNN和视觉Transformer架构的AI方法，通过大规模人脸图像数据集评估，展示VFDNET在深度伪造检测中的高效准确性能。
2026-01-03 cs.AI cs.CV cs.LG
Visionary: Vision architecture discovery for robot learning
Robotics at Google（谷歌机器人部门）；Stony Brook University（石溪大学）；Columbia University（哥伦比亚大学）
提出了一种基于视觉的机器人操作学习体系结构搜索算法，该算法能够发现低维动作输入和高维视觉输入之间的相互作用。我们的方法在训练任务的同时自动设计架构-发现将图像特征表示与动作以及先前层的特征相结合和参与的新方法。所获得的新架构表现出更好的任务成功率，在某些情况下，与最近的高性能基线相比，具有很大的利润。我们的真实机器人实验也证实，它提高了6%的抓取性能。这是第一种方法来证明一个成功的神经架构搜索和注意力连接搜索一个真正的机器人任务。
2021-03-26 cs.CV cs.LG cs.NE
Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution
Google DeepMind（谷歌DeepMind）
本文提出 NaViT，通过训练时序列打包支持任意分辨率与宽高比，提升预训练效率、下游迁移表现及测试时成本-性能权衡灵活性。
2023-07-12 cs.AI cs.CV cs.LG
Multi-Scale High-Resolution Vision Transformer for Semantic Segmentation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta Reality Labs（Meta现实实验室）
与基于卷积神经网络（CNN）的模型相比，视觉Transformer（ViTs）在计算机视觉任务上具有更优越的性能。然而，ViT主要是为生成单尺度低分辨率表示的图像分类而设计的，这使得诸如语义分割之类的密集预测任务对ViT具有挑战性。因此，我们提出了HRViT，它增强了ViTs学习语义丰富和空间精确的多尺度表示，通过集成高分辨率的多分支架构与ViTs。我们平衡模型的性能和效率的HRViT的各种分支块协同优化技术。具体来说，我们探索异构分支设计，减少线性层中的冗余，并增加注意力块增强表现力。这些方法使HRViT能够将语义分割的性能和效率的帕累托边界推向一个新的水平，正如我们对ADE 20 K和Cityscapes的评估结果所显示的那样。HRViT在ADE 20 K上实现了50.20%的mIoU，在Cityscapes上实现了83.16%的mIoU，超过了最先进的MiT和CSWin主干，平均提高了+1.78 mIoU，节省了28%的参数，降低了21%的FLOP，证明了HRViT作为语义分割的强大视觉主干的潜力。
2021-11-23 cs.AI cs.CV cs.LG
Twins: Revisiting the Design of Spatial Attention in Vision Transformers
Meituan Inc.（美团公司）；The University of Adelaide（阿德莱德大学）
最近，各种各样的视觉Transformer架构密集的预测任务已经提出，他们表明，空间注意力的设计是至关重要的，他们在这些任务中的成功。在这项工作中，我们重新审视了空间注意力的设计，并证明了一个精心设计的，但简单的空间注意力机制表现良好，对国家的最先进的计划。因此，我们提出了两个视觉Transformer架构，即双PCPVT和双SVT。我们提出的架构高效且易于实现，仅涉及在现代深度学习框架中高度优化的矩阵乘法。更重要的是，所提出的架构在广泛的视觉任务上实现了出色的性能，包括图像级分类以及密集检测和分割。简单性和强大的性能表明，我们提出的架构可以作为许多视觉任务的更强大的骨干。我们的代码发布在https://github.com/Meituan-AutoML/Twins。
2021-09-30 cs.AI cs.CV cs.LG
Perspectives and Prospects on Transformer Architecture for Cross-Modal Tasks with Language and Vision
Sony Corporation（索尼公司）
Transformer架构的出现，使计算语言学领域发生了根本性的变化。它的成功也意味着语言和视觉的跨模态任务发生了巨大的变化，许多研究人员已经解决了这个问题。在本文中，我们回顾了该领域的一些最重要的里程碑，以及Transformer架构如何被纳入视觉语言跨模态任务的总体趋势。此外，我们还讨论了它目前的局限性，并推测了一些我们认为迫在眉睫的前景。
2021-11-09 cs.CL cs.CV
A Survey on Mamba Architecture for Vision Applications
Toronto Metropolitan University（多伦多都会大学）
针对Transformer在视觉任务中注意力机制二次复杂度的可扩展性挑战，本文综述了Mamba架构在视觉领域的应用与进展，包括ViM、VideoMamba等变体的架构创新，及其为图像和视频理解带来的线性扩展、高效处理等优势。
2025-02-11 cs.AI cs.CV
Multiscale Vision Transformers
Facebook AI Research（Facebook AI研究院）；UC Berkeley（加州大学伯克利分校）
我们提出了多尺度视觉Transformer（MViT）的视频和图像识别，通过连接多尺度特征层次结构与Transformer模型的开创性思想。多尺度Transformers具有多个通道分辨率尺度级。从输入分辨率和小的信道维度开始，这些级分级地扩展信道容量，同时降低空间分辨率。这创建了一个多尺度金字塔的功能，早期的层在高空间分辨率下操作，以模拟简单的低层次视觉信息，更深的层在空间上粗糙，但复杂的高维特征。我们评估了这种基本的架构先验，用于对各种视频识别任务的视觉信号的密集性质进行建模，在这些任务中，它优于依赖于大规模外部预训练的并发视觉Transformer，并且在计算和参数方面成本高出5- 10倍。我们进一步删除时间维度，并将我们的模型应用于图像分类，它优于以前的工作视觉Transformer。代码可在：https://github.com/facebookresearch/SlowFast
2021-04-22 cs.AI cs.CV cs.LG
Multi-Scale High-Resolution Logarithmic Grapher Module for Efficient Vision GNNs
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出对数可扩展图构建（LSGC）与多尺度高分辨率融合的LogViG混合模型，在图像分类和分割任务上以更少参数和计算量超越现有ViG、CNN和ViT架构。
2025-10-15 cs.AI cs.CV cs.LG
GeoViT: A Versatile Vision Transformer Architecture for Geospatial Image Analysis
Fermion AI（费米人工智能）
提出紧凑的视觉Transformer模型GeoViT，处理卫星图像执行多模态分割、分类和回归任务，在估算CO2和NO2排放相关指标上超越现有模型且显著减小模型规模，助力全球气候监测与排放监管。
2023-11-24 cs.CV cs.LG
Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
本文提出 Fast GraspNeXt 自注意力架构，通过带约束的生成式架构搜索平衡多任务性能与边缘推理效率，在 MetaGraspNet 上以更少参数和计算量取得最优结果并显著加速。
2023-04-21 cs.AI cs.CV cs.LG
Resolving Language and Vision Ambiguities Together: Joint Segmentation & Prepositional Attachment Resolution in Captioned Scenes
Virginia Tech（弗吉尼亚理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种方法，同时执行语义分割和介词短语附件决议的字幕图像。语言中的一些歧义如果不同时对相关的图像进行推理就无法解决。如果我们考虑句子“I shot an elephant in my pairs”，只看语言（而不使用常识），我们不清楚是人还是大象穿着睡衣，还是两者兼而有之。我们的方法产生了一组不同的似是而非的假设语义分割和介词短语附件的决议，然后联合重新排名，以选择最一致的对。我们发现，我们的语义分割和介词短语附件决议模块具有互补的优势，联合推理产生更准确的结果比任何模块孤立运行。多个假设也被证明是至关重要的，以改善多模块推理。我们的愿景和语言方法显着优于斯坦福大学解析器（De Marneffe等人，2006）在两个不同的实验中分别提高了17.91%（相对28.69%）和12.83%（相对25.28%）。我们还对DeepLab-CRF进行了小的改进（Chen et al.，2015）。
2016-09-26 cs.CL cs.CV cs.LG
MLP-Mixer: An all-MLP Architecture for Vision
Google Research（谷歌研究院）
卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络，如视觉Transformer，也变得流行起来。在本文中，我们表明，虽然卷积和注意力都足以获得良好的性能，但它们都不是必要的。我们提出了MLP混合器，完全基于多层感知器（MLP）的架构。MLP混合器包含两种类型的层：一种是MLP独立应用于图像块（即“混合”每个位置的特征），另一种是MLP跨块应用（即“混合”空间信息）。当在大型数据集上训练时，或使用现代正则化方案时，MLP-Mixer在图像分类基准上获得了具有竞争力的分数，预训练和推理成本与最先进的模型相当。我们希望这些结果能在成熟的CNN和Transformers领域之外引发进一步的研究。
2021-06-11 cs.AI cs.CV cs.LG
Improved Super Resolution of MR Images Using CNNs and Vision Transformers
Inception Institute of AI（人工智能初创研究所）
使用卷积神经网络（CNN）的现有技术磁共振（MR）图像超分辨率方法（ISR）由于CNN的有限空间覆盖而利用有限的上下文信息。Vision Transformers（ViT）可以更好地学习全局背景，有助于生成高质量的HR图像。我们将CNN的局部信息和ViTs的全局信息相结合，以实现图像超分辨率，并输出比最先进方法产生的图像质量更高的超分辨率图像。我们包括额外的限制，通过多个新的损失函数，保留结构和纹理信息，从低分辨率到高分辨率的图像。
2022-07-24 cs.CV eess.IV
PhD Thesis: Exploring the role of (self-)attention in cognitive and computer vision architecture
Université Toulouse 3 Paul Sabatier（图卢兹第三大学保罗·萨巴蒂埃大学）；CerCo（CerCo研究中心）；Princeton University（普林斯顿大学）；DeepMind（深度思维）；Brown University（布朗大学）；ANITI（ANITI研究所）
本文研究了注意力和记忆在复杂推理任务中的作用，通过将自注意力与ResNet50结合及提出结合注意力和记忆的认知架构GAMR，高效解决了视觉推理任务，并在样本效率、鲁棒性和零样本泛化上表现优异。
2023-06-28 cs.AI cs.CV cs.LG
Unsupervised Time-Series Signal Analysis with Autoencoders and Vision Transformers: A Review of Architectures and Applications
The University of Akron（阿克伦大学）
本文综述了自编码器与视觉Transformer在无监督时间序列信号分析中的架构、应用及趋势，指出混合架构与自监督学习的优势，并总结可解释性、可扩展性和领域泛化等挑战，为信号智能模型发展提供路线图。
2025-06-02 cs.AI cs.CV cs.LG
Is Image Super-resolution Helpful for Other Vision Tasks?
ETH Zurich（苏黎世联邦理工学院）
尽管图像超分辨率（ISR）领域取得了很大的进步，在过去的几年中，性能仅仅是感知评估。因此，目前还不清楚ISR是否有助于其他视觉任务。在本文中，我们提出了第一个全面的研究和分析的有用性ISR的其他视觉应用。特别是，六个ISR方法进行了评估四个流行的视觉任务，即边缘检测，语义图像分割，数字识别和场景识别。我们表明，ISR的其他视觉系统的输入图像时，输入图像的低分辨率，提高其性能。我们还研究了四个标准的感知评价标准（即PSNR，SSIM，IFC和NQM）和ISR的视觉任务的有用性之间的相关性。实验表明，它们之间的相关性很好，但感知标准仍然不够准确，不能作为有用性的完全代理。我们希望这项工作将激励社区在实际视觉应用中评估ISR方法，并在输入图像分辨率较低时采用ISR作为其他视觉任务的预处理步骤。
2016-01-28 cs.CV
ViTAR: Vision Transformer with Any Resolution
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；ByteDance, Inc.（字节跳动公司）
本文提出ViTAR模型，通过动态分辨率调整模块和模糊位置编码解决视觉Transformer跨分辨率性能下降问题，在多种分辨率下保持高精度并降低计算成本。
2024-03-28 cs.CV
Neural Architecture Search for Dense Prediction Tasks in Computer Vision
Bosch Center for Artificial Intelligence, Robert Bosch GmbH（博世人工智能中心，罗伯特·博世有限公司）；University of Freiburg（弗莱堡大学）
近年来深度学习的成功导致对神经网络架构工程的需求不断上升。因此，旨在以数据驱动的方式而不是手动地自动设计神经网络架构的神经架构搜索（NAS）已经发展为流行的研究领域。随着跨体系结构的权重共享策略的出现，NAS已经适用于更广泛的问题。特别是，现在有许多出版物用于计算机视觉中需要像素级预测的密集预测任务，例如语义分割或目标检测。这些任务带来了新的挑战，例如由于高分辨率数据而产生的更高的内存占用，学习多尺度表示，更长的训练时间以及更复杂和更大的神经架构。在这篇手稿中，我们通过详细阐述这些新的挑战和调查解决这些挑战的方法，以方便未来的研究和现有方法在新问题上的应用，概述了NAS在密集预测任务中的应用。
2022-02-15 cs.CV cs.LG
A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；Royal Brompton Hospital（皇家布朗普顿医院）
超分辨率在医学成像中起着至关重要的作用，因为它提供了一种替代方法来实现高空间分辨率和图像质量，而无需额外的采集成本。在过去的几十年里，深度神经网络的快速发展促进了超分辨率性能，具有新颖的网络架构，损失函数和评估指标。具体来说，Vision Transformers在广泛的计算机视觉任务中占主导地位，但在将其应用于低级医疗图像处理任务时仍然存在挑战。本文提出了一种有效的Vision Transformer与剩余密集连接和局部特征融合，以实现有效的单图像超分辨率（SISR）的医疗模式。此外，我们实现了一个通用的感知损失与手动控制图像质量的改善所需的方面，通过将医学图像分割的先验知识。在四个公共医学图像数据集上与现有方法进行比较，在七种模态中，该方法在六种模态下获得了最好的PSNR分数。该算法仅用SwinIR的38%的参数就能使PSNR平均提高$+0.09$ dB.另一方面，对于SOTA方法，包括CNN和Vision Transformers，基于分割的感知损失平均增加了$+0.14$ dB PSNR。此外，我们还进行了全面的消融研究，以讨论Vision Transformers优于CNN的潜在因素以及网络和损失功能组件的影响。代码将与论文一起发布在GitHub上。
2023-03-03 cs.CV cs.LG eess.IV
DASViT: Differentiable Architecture Search for Vision Transformer
School of Computer Science and Electronic Engineering University of Surrey（计算机科学与电子工程学院大学 Surrey 大学）；School of Artificial Intelligence and Computer Science Jiangnan University（人工智能与计算机科学学院江南大学）
本文提出DASViT，将可微架构搜索引入视觉Transformer，以突破传统编码器设计，在多个数据集上超越ViT-B/16，并实现更低参数和FLOPs的高效架构。
2025-07-17 cs.CV cs.LG
Architecture-aware Network Pruning for Vision Quality Applications
MediaTek Inc.（联发科技股份有限公司）
卷积神经网络（CNN）在计算机视觉和机器学习领域取得了令人瞩目的成就。然而，CNN招致高计算复杂度，特别是对于视觉质量应用，因为大的图像分辨率。在本文中，我们提出了一个迭代的架构感知修剪算法与自适应幅度阈值，同时配合质量度量测量。我们展示了视觉质量应用程序的性能改进，并提供了灵活的修剪配置的全面分析。该方法在保证图像质量的前提下，将现有微光成像（SID）和超分辨率成像（EDSR）的多重累积（MAC）分别降低了58%和37%。卷积层的内存带宽（BW）要求也可以降低20%到40%。
2019-08-05 cs.CV cs.LG eess.IV
Robot Vision Architecture for Autonomous Clothes Manipulation
University of Glasgow（格拉斯哥大学）
本文提出了一种新的机器人视觉体系结构感知通用的三维服装配置。我们的体系结构是分层结构，从低级别的曲率，中间层的几何形状\拓扑结构描述，并最终接近高层次的语义表面结构描述。我们展示了我们的机器人视觉架构在一个定制的双臂工业机器人与我们自己设计的，离我的立体视觉系统，进行自主抓取和双臂展平。值得注意的是，所提出的双臂展平方法是唯一的国家的最先进的机器人自主系统，这是本文的主要贡献。实验结果表明，提出的双臂扁平化立体视觉系统显着优于单臂扁平化和广泛引用的Kinect为基础的传感系统灵巧的操作任务。此外，所提出的抓取方法取得了令人满意的性能，抓住各种服装，验证了所提出的视觉感知体系结构的能力，以适应多个服装操作任务。
2016-10-18 cs.CV cs.RO
UniNeXt: Exploring A Unified Architecture for Vision Recognition
Alibaba Group（阿里巴巴集团）
本文提出UniNeXt，一种改进的视觉骨干通用架构，能稳定提升多种空间令牌混合器的性能并缩小差距，甚至超越先前最先进水平，凸显通用架构研究的重要性。
2023-08-17 cs.CV
Transformer Vs. MLP-Mixer: Exponential Expressive Gap For NLP Problems
Technion（以色列理工学院）
视觉转换器广泛用于各种视觉任务。与此同时，还有另一条工作线，从MLP混频器开始，试图使用基于MLP的架构实现类似的性能。有趣的是，到目前为止，这些基于mlp的架构还没有适应NLP任务。此外，到目前为止，基于mlp的架构在视觉任务中未能实现最先进的性能。在这篇文章中，我们分析了基于mlp的体系结构在同时对多个不同输入之间的依赖关系建模时的表现力，并显示了注意力和基于mlp的机制之间的指数差距。我们的研究结果为mlp无法与NLP问题中基于注意力的机制竞争提供了理论解释，他们还表明，视觉任务中的性能差距可能是由于mlp在建模多个不同位置之间的依赖关系时相对薄弱，并且将智能输入排列与mlp架构相结合可能不足以单独缩小性能差距。
2022-11-17 cs.CL cs.CV cs.LG
MuViT: Multi-Resolution Vision Transformers for Learning Across Scales in Microscopy
Swiss Federal Institute of Technology Lausanne（瑞士联邦理工学院洛桑分校）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据与人工智能中心（ScaDS.AI））；Technische Universität Dresden（德累斯顿技术大学）
MuViT 通过多分辨率视觉变换器在显微镜分析中实现跨尺度学习，提升多分辨率信息利用能力。
2026-02-27 cs.CV cs.LG
When Adversarial Training Meets Vision Transformers: Recipes from Training to Architecture
Peking University（北京大学）；The University of Tokyo（东京大学）
视觉Transformer（ViTs）最近在宽视觉任务中实现了具有竞争力的性能。不幸的是，在流行的威胁模型上，自然训练的ViT并不比卷积神经网络（CNN）提供更多的对抗鲁棒性。对抗性训练仍然是必要的，以抵御这种对抗攻击。在本文中，我们通过对基准数据集上的各种训练技术进行广泛评估，首次全面研究了ViTs的对抗性训练方法。我们发现预训练和SGD优化器对于ViTs的对抗训练是必要的。进一步考虑ViT作为一种新型的模型架构，我们从其独特的架构组件的角度研究其对抗鲁棒性。我们发现，当在对抗性训练期间随机掩蔽来自某些注意力块的梯度或掩蔽某些补丁上的扰动时，ViTs的对抗性鲁棒性可以显着提高，这可能会开辟一条探索新设计的模型（如ViTs）内部架构信息的工作路线。我们的代码可在https://github.com/mo666666/When-Adversarial-Training-Meets-Vision-Transformers上获得。
2022-10-14 cs.CV cs.LG
Design of Convolutional Extreme Learning Machines for Vision-Based Navigation Around Small Bodies
Politecnico di Milano（米兰理工大学）
诸如卷积神经网络之类的深度学习架构是计算机视觉中用于图像处理任务的标准。然而，它们的准确性往往是以长时间和计算昂贵的训练为代价的，需要大型注释数据集和广泛的超参数搜索。另一方面，一种被称为卷积极端学习机的不同方法已经显示出在训练时间大幅减少的情况下表现相同的潜力。空间图像，特别是关于小天体的空间图像，可能非常适合这种方法。在这项工作中，设计了卷积极端学习机器架构，并针对其深度学习同行进行了测试。由于前者的训练时间相对较快，卷积极端学习机器架构能够有效探索架构设计空间，这对于后者来说是不切实际的，从而为计算机视觉任务的神经网络架构的有效设计引入了一种方法。此外，图像处理方法和标记策略之间的耦合进行了研究，并证明在考虑基于视觉的导航小机构周围时发挥了重要作用。
2022-10-28 cs.AI cs.CV
Evaluating Vision Transformer Methods for Deep Reinforcement Learning from Pixels
University of British Columbia（不列颠哥伦比亚大学）
视觉Transformer（ViT）最近展示了Transformer架构在计算机视觉中的巨大潜力。与标准卷积神经网络（CNN）架构相比，基于图像的深度强化学习在多大程度上也可以从ViT架构中受益？为了回答这个问题，我们评估了基于图像的强化学习（RL）控制任务的ViT训练方法，并将这些结果与领先的卷积网络架构方法RAD进行了比较。为了训练ViT编码器，我们考虑了几个最近提出的被视为辅助任务的自监督损失，以及没有额外损失项的基线。我们发现，使用RAD训练的CNN架构通常仍然提供优异的性能。对于ViT方法，我们考虑的所有三种类型的辅助任务都比普通的ViT训练有好处。此外，基于ViT重建的任务被发现显着优于ViT对比学习。
2022-05-15 cs.CV cs.LG cs.RO
