Improving Vision Transformers by Revisiting High-frequency Components
Peng Cheng Laboratory（鹏城实验室）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of ECE at Peking University（北京大学电子工程与计算机科学学院）；Tencent（腾讯）；Sea AI Lab（Sea人工智能实验室）
Jiawang Bai, Li Yuan, Shu-Tao Xia, Shuicheng Yan, Zhifeng Li, Wei Liu
Transformer模型在处理各种视觉任务中表现出了很好的效果。然而，与训练卷积神经网络（CNN）模型相比，训练视觉Transformer（ViT）模型更加困难，并且依赖于大规模的训练集。为了解释这一现象，我们提出了一个假设，即\textit{ViT models are less effective in capturing the high-frequency components of images than CNN models}，并验证了它的频率分析。受这一发现的启发，我们首先从新的频率角度研究了现有技术对改善ViT模型的影响，并发现一些技术（例如，RandAugment）可以归因于更好地使用高频分量。然后，为了弥补ViT模型能力的不足，我们提出了HAT，它通过对抗训练直接增强图像的高频分量。我们表明，HAT可以始终如一地提高各种ViT模型的性能（例如，ViT-B +1.2%，Swin-B +0.5%），特别是将仅使用ImageNet-1 K数据的高级模型VOLO-D5提升至87.3%，并且在分发外数据上也可以保持优势，并转移到下游任务。该代码可从以下网址获取：https://github.com/jiawangbai/HAT。
英文摘要：
The transformer models have shown promising effectiveness in dealing with various vision tasks. However, compared with training Convolutional Neural Network (CNN) models, training Vision Transformer (ViT) models is more difficult and relies on the large-scale training set. To explain this observation we make a hypothesis that \textit{ViT models are less effective in capturing the high-frequency components of images than CNN models}, and verify it by a frequency analysis. Inspired by this finding, we first investigate the effects of existing techniques for improving ViT models from a new frequency perspective, and find that the success of some techniques (e.g., RandAugment) can be attributed to the better usage of the high-frequency components. Then, to compensate for this insufficient ability of ViT models, we propose HAT, which directly augments high-frequency components of images via adversarial training. We show that HAT can consistently boost the performance of various ViT models (e.g., +1.2% for ViT-B, +0.5% for Swin-B), and especially enhance the advanced model VOLO-D5 to 87.3% that only uses ImageNet-1K data, and the superiority can also be maintained on out-of-distribution data and transferred to downstream tasks. The code is available at: https://github.com/jiawangbai/HAT.
Revisiting the Role of Foundation Models in Cell-Level Histopathological Image Analysis under Small-Patch Constraints -- Effects of Training Data Scale and Blur Perturbations on CNNs and Vision Transformers
Division of Gastrointestinal Surgery, Department of Surgery, Kobe University Graduate School of Medicine（Kobe大学医学研究院外科部胃肠外科部）；Association of Medical Artificial Intelligence Curation（医学人工智能 curation协会）；Center for Medical Education and Clinical Training, Kindai University Faculty of Medicine（Kindai大学医学部医学教育与临床培训中心）；Department of Biophysics, Kobe University Graduate School of Health Sciences（Kobe大学健康科学研究院生物物理学部）
Revisiting foundation models for cell instance segmentation
Georg-August-University Göttingen, Institute of Computer Science（哥廷根大学计算机科学学院）；CAIMed - Lower Saxony Center for AI & Causal Methods in Medicine, Göttingen（下萨克森人工智能与因果医学方法中心，哥廷根）；Cluster of Excellence Multiscale Bioimaging (MBExC), Georg-August-University Göttingen（多尺度生物成像（MBExC）集群，哥廷根大学）
FreeSwim: Revisiting Sliding-Window Attention Mechanisms for Training-Free Ultra-High-Resolution Video Generation
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；Xi’an Jiaotong University（西安交通大学）；National University of Singapore（新加坡国立大学）
Improving Vision Transformers for Incremental Learning
Microsoft（微软）
本文提出了一种将视觉Transformer（ViT）应用于课堂增量学习的方法。虽然这个配方只是结合了现有的技术，但开发这种组合并不容易。首先，在增量学习中用ViT代替卷积神经网络（CNN）会导致严重的性能下降。其次，我们确定了天真地使用ViT的三个问题：（a）当类的数量很小时，ViT的收敛速度非常慢，（b）在ViT中观察到的新类比基于CNN的架构更偏向于新类，以及（c）ViT的传统学习率太低，无法学习到好的分类器层。最后，我们的解决方案，名为ITIL（ViT for Incremental Learning），在CIFAR和ImageNet数据集上实现了所有三类增量学习设置的最新技术水平。我们相信这将在增量学习社区中推进Transformer的知识。代码将公开发布。
Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；MEGVII Technology（旷视科技）；Aberystwyth University（阿伯里斯特威斯大学）
Mobile U-ViT: Revisiting large kernel and U-shaped ViT for efficient medical image segmentation
University of Science and Technology of China（中国科学技术大学）；Suzhou Institute for Advanced Research, USTC（苏州先进研究院）；Shanghai Jiao Tong University（上海交通大学）；Harbin Institute of Technology（哈尔滨工业大学）；State Grid Hunan ElectricPower Corporation Limited Research Institute（国网湖南电力有限公司研究院）
VinVL: Revisiting Visual Representations in Vision-Language Models
Microsoft Corporation（微软公司）；University of Washington（华盛顿大学）
本文提出了一个详细的研究，改善视觉语言（VL）任务的视觉表示，并开发了一个改进的目标检测模型，以提供以对象为中心的图像表示。与最广泛使用的\emph{bottom-up and top-down}模型\cite{anderson2018bottom}相比，新模型更大，针对VL任务设计得更好，并且在更大的训练语料库上进行了预训练，这些训练语料库结合了多个公共注释的目标检测数据集。因此，它可以生成更丰富的视觉对象和概念集合的表示。虽然以前的VL研究主要集中在改善视觉语言融合模型，并离开目标检测模型的改进不变，我们表明，视觉功能的重要性显着VL模型。在我们的实验中，我们将由新的目标检测模型生成的视觉特征馈送到基于transformer的VL融合模型\oscar \cite{li2020oscar}中，并利用改进的方法\short \来预训练VL模型并在广泛的下游VL任务上对其进行微调。我们的研究结果表明，新的视觉功能显着提高了所有VL任务的性能，在七个公共基准测试中创造了新的最先进的结果。我们将向公众发布新的目标检测模型。
