Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University（淡江大学）；National Cheng Kung University（台湾成功大学）
随着Transformer在自然语言处理领域的研究成果，Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来，在计算机视觉的多个任务（图像分类、对象检测、语义分割等）中，现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后，越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上，结合金字塔结构，采用分裂-变换-合并的方法，提出了分组编码器，并将其网络结构命名为聚合金字塔视觉Transformer（APVT）。我们在CIFAR-10数据集上执行图像分类任务，在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比，APVT在降低计算代价的同时，具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
Warped Convolutions: Efficient Invariance to Spatial Transformations
University of Oxford（牛津大学）
卷积神经网络（CNN）是非常有效的，因为它们利用了自然图像固有的不变性。然而，平移只是无数有用的空间变换之一。当考虑其他空间不变性时，是否可以达到同样的效率？这种广义卷积在过去已经被考虑过，但计算成本很高。我们提出了一个简单而精确的构造，但具有与标准卷积相同的计算复杂性。它由一个恒定的图像扭曲和一个简单的卷积组成，这是深度学习工具箱中的标准块。通过精心制作的变形，最终的体系结构可以与广泛的双参数空间变换等变。我们在现实场景中显示了令人鼓舞的结果，包括在Google Earth数据集中估计车辆姿势（旋转和缩放），以及在野外注释面部地标中的面部姿势（透视下的3D旋转）。
2021-11-30 cs.CV
CMT: Convolutional Neural Networks Meet Vision Transformers
University of Sydney（悉尼大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
由于视觉Transformer能够捕获图像中的长距离依赖关系，因此已成功应用于图像识别任务。然而，Transformers和现有的卷积神经网络（CNN）之间在性能和计算成本方面仍然存在差距。在本文中，我们的目标是解决这个问题，并开发一个网络，它不仅可以超越经典的Transformers，而且还可以超越高性能的卷积模型。我们提出了一种新的基于Transformer的混合网络，利用Transformers来捕获远程依赖关系，并利用CNN来建模局部特征。此外，我们将其缩放以获得一系列模型，称为CMT，获得比以前的卷积和基于Transformer的模型更好的准确性和效率。特别是，我们的CMT-S在ImageNet上达到了83.5%的top-1准确率，而FLOP分别比现有的DeiT和EfficientNet小14倍和2倍。提出的CMT-S还可以很好地推广CIFAR 10（99.2%），CIFAR 100（91.7%），Flowers（98.7%）和其他具有挑战性的视觉数据集，如COCO（44.3%mAP），计算成本大大降低。
2022-06-14 cs.CV
Why do deep convolutional networks generalize so poorly to small image transformations?
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
卷积神经网络（CNN）通常被认为对小的图像变换是不变的：要么是因为卷积架构，要么是因为它们是使用数据增强训练的。最近，几位作者已经证明情况并非如此：输入图像的小平移或重新缩放可以大大改变网络的预测。在本文中，我们量化了这种现象，并询问为什么卷积架构和数据增强都不足以实现所需的不变性。具体来说，我们证明了卷积架构不具有不变性，因为架构忽略了经典的采样定理，并且数据增强不具有不变性，因为CNN只学习对与训练集中的典型图像非常相似的图像的变换保持不变。我们讨论了这个问题的两种可能的解决方案：（1）抗锯齿的中间表示和（2）增加数据增强，并表明，他们最多只能提供一个部分的解决方案。总之，我们的研究结果表明，在神经网络中，在保持高精度的同时确保对小图像变换的不变性的问题仍然没有解决。
2019-12-31 cs.CV
Joint Multi-scale Gated Transformer and Prior-guided Convolutional Network for Learned Image Compression
College of Electronics and Information Engineering, Sichuan University（电子信息工程学院，四川大学）
本文提出了一种联合多尺度门控变换器和先验引导卷积网络，用于提升学习图像压缩的性能与效率。
2025-11-30 cs.CV
Studying Invariances of Trained Convolutional Neural Networks
Eidgenössische Technische Hochschule (ETH) Zürich（苏黎世联邦理工学院）
卷积神经网络（CNN）定义了一类非常强大的图像分类模型，但理论背景和对某些变换的不变性是如何学习的理解是有限的。在一个大规模的筛选中，图像被不同大小的仿射和非仿射变换修改，我们分析了CNN架构AlexNet和ResNet的行为。如果不同转换的幅度不超过类和转换相关的阈值，则两种架构都表现出不变的行为。在这项工作中，我们还介绍了一个新的学习模块，不变的Transformer网，它使我们能够学习一组仿射变换的可微参数。这允许我们提取CNN不变的变换空间，并且其类预测是鲁棒的。
2018-03-15 cs.CV
ViTransPAD: Video Transformer using convolution and self-attention for Face Presentation Attack Detection
University of La Rochelle（拉罗谢尔大学）；University of Oulu（奥卢大学）；Hanoi University of Science and Technology（河内科技大学）
人脸呈现攻击检测（PAD）是人脸生物识别系统防范欺骗攻击的重要手段。许多基于卷积神经网络（CNN）的人脸PAD工作将问题表述为图像级二进制分类任务，而不考虑上下文。另外，视觉Transformer（ViT）使用自我注意力来关注图像的上下文，成为人脸PAD的主流。受ViT的启发，本文提出了一种基于视频的具有短/长距离时空注意力的人脸PAD的Transformer（ViTransPAD）算法，该算法不仅可以在短时间内关注局部细节，还可以捕获长距离的帧间依赖关系。我们提出了多尺度多头自注意（MsMHSA）架构，以适应Q，K，V特征映射到Transformer头部的多尺度补丁分区，而不是使用单一尺度的粗图像补丁在ViT中，这使得能够学习细粒度的表示来执行像素级的人脸PAD的歧视。由于纯Transformers中卷积缺乏感性偏差，我们还将卷积引入到所提出的ViTransPAD中，通过使用卷积补丁嵌入和卷积投影来集成CNN的理想特性。大量的实验表明，我们提出的ViTransPAD具有较好的准确性和计算平衡的有效性，它可以作为一个新的骨干面PAD。
2022-03-14 cs.CV
A Comparison for Anti-noise Robustness of Deep Learning Classification Methods on a Tiny Object Image Dataset: from Convolutional Neural Network to Visual Transformer and Performer
Northeastern University（东北大学）；University of Luebeck（吕贝克大学）
随着深度学习的快速发展，图像分类取得了前所未有的进步。然而，微小目标图像的分类仍然没有得到很好的研究。本文首先简要回顾了深度学习中卷积神经网络和视觉Transformer的发展，并介绍了常规噪声和对抗攻击的来源和发展。然后利用卷积神经网络和Visual Transformer的各种模型，在微小物体（精子和杂质）的图像数据集上进行了一系列实验，比较实验结果中的各种评价指标，得到性能稳定的模型。最后，讨论了微小目标分类中存在的问题，并对微小目标分类的未来进行了展望。
2021-06-09 cs.CV
Transformationally Identical and Invariant Convolutional Neural Networks through Symmetric Element Operators
Georgetown University Medical Center（乔治城大学医学中心）；Virginia Tech（弗吉尼亚理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
从数学上讲，变换不变算子，例如变换恒等（TI）矩阵核（即，K= T{K}），与变换（T{.}）当它们在第一个操作数矩阵上操作时，我们发现，通过在卷积神经网络（CNN）系统中一致地应用相同类型的TI内核，可交换性质在卷积过程的所有层中保持，无论是否涉及激活函数和/或层内跨通道的1D卷积。我们进一步发现，对于所有卷积层具有相同TI内核属性的任何CNN，后面是在其变换对应元素之间具有权重共享的平坦层，将为原始输入向量的所有变换版本输出相同的结果。简而言之，CNN[ Vi ] = CNN[ T{Vi} ]，提供CNN中的每个K = T{K}，其中Vi表示输入向量，并且CNN[.]将整个CNN过程表示为产生输出向量的输入向量的函数。利用这种变换上相同的CNN（TI-CNN）系统，与在数据增强中使用的预定义TI不相关联的每个变换将固有地包括用于训练的输入向量的所有其对应变换版本。因此，对于CNN中的每个内核使用相同的TI属性将在训练期间与误差反向传播结合用作定向或平移独立的训练指导。对于需要从输入的对应变换版本获得高度一致的输出结果的应用，此TI内核属性是理想的。提供了几个C编程例程，以方便感兴趣的各方使用TI-CNN技术，预计将产生更好的泛化性能比其普通的CNN对应。
2018-07-10 cs.CV
LGFCTR: Local and Global Feature Convolutional Transformer for Image Matching
Beihang University（北京航空航天大学）
本文提出卷积Transformer图像匹配方法LGFCTR，通过类FPN框架、多尺度注意力卷积Transformer模块和亚像素细化模块，同时捕获局部与全局特征，在多个基准上取得优越性能。
2023-11-29 cs.CV
Robust face anti-spoofing framework with Convolutional Vision Transformer
KakaoBank Corp.（韩国Kakao银行公司）；KAIST（韩国科学技术院）
本研究针对人脸反欺骗的域偏移鲁棒性问题，提出结合自注意力全局信息与卷积局部线索的卷积视觉Transformer框架，在跨数据集基准上性能优于现有模型。
2023-07-24 cs.CV
Deepfake Video Detection Using Convolutional Vision Transformer
Jimma University（吉姆玛大学）；Addis Ababa University（亚的斯亚贝巴大学）
深度学习模型的快速发展，可以生成和合成被称为Deepfakes的超现实视频，以及它们对公众的易用性，引起了所有相关机构对其可能的恶意使用的担忧。深度学习技术现在可以生成人脸，在视频中的两个主体之间交换人脸，改变面部表情，改变性别和改变面部特征，仅举几例。这些功能强大的视频处理方法在许多领域都有潜在的用途。然而，如果用于身份盗窃、网络钓鱼和诈骗等有害目的，它们也会对每个人构成迫在眉睫的威胁。在这项工作中，我们提出了一种用于检测Deepfakes的卷积视觉Transformer。卷积视觉变换器有两个组件：卷积神经网络（CNN）和视觉Transformer（ViT）。CNN提取可学习的特征，而ViT将学习的特征作为输入，并使用注意力机制对其进行分类。我们在DeepFake Detection Challenge Dataset（DFDC）上训练了我们的模型，并实现了91.5%的准确率，AUC值为0.91，损失值为0.32。我们的贡献是我们在ViT架构中添加了一个CNN模块，并在DFDC数据集上取得了有竞争力的结果。
2021-03-11 cs.CV
CompletionFormer: Depth Completion with Convolutions and Vision Transformers
University of Bologna（博洛尼亚大学）；PhiGent Robotics（视比特机器人）
本文提出CompletionFormer，以深度耦合卷积注意力与Vision Transformer的JCAT块构建金字塔模型，兼顾局部细节与全局上下文，在KITTI和NYUv2上超越CNN方法且FLOPs约为纯Transformer的1/3。
2023-04-25 cs.CV
COTR: Convolution in Transformer Network for End to End Polyp Detection
Fuzhou University（福州大学）
目的：结直肠癌（CRC）是全球第二大常见癌症死亡原因。结肠镜检查是一种广泛使用的结肠筛查和息肉病变诊断技术。然而，使用结肠镜的手动筛查遭受息肉的大量遗漏率，并且对内窥镜医师来说是压倒性的负担。用于息肉检测的计算机辅助诊断（CAD）具有减少人为错误和人类负担的潜力。然而，当前基于目标检测框架的息肉检测方法需要许多手工制作的预处理和后处理操作或需要特定领域知识的用户指导。方法：在本文中，我们提出了一个卷积在Transformer（COTR）网络的端到端息肉检测。受检测Transformer（DETR）的启发，COTR由用于特征提取的CNN、与用于特征编码和重新校准的卷积层交织的Transformer编码器层、用于对象查询的Transformer解码器层以及用于检测预测的前馈网络构成。针对DETR算法收敛速度慢的问题，COTR算法将卷积层嵌入到Transformer编码器中，实现特征重构和加速收敛。结果如下：在两个公共息肉数据集上的实验结果表明，COTR在ETIS-LARIB上获得了91.49%的精确度、82.69%的灵敏度和86.87%的F1-score;在CVC-ColonDB上获得了91.67%的精确度、93.54%的灵敏度和92.60%的F1-score。结论：本研究提出了一种基于检测Transformer的端到端检测方法，用于大肠息肉的检测。在ETIS-LARIB和CVC-Co…
2021-05-23 cs.CV
Orthonormal Convolutions for the Rotation Based Iterative Gaussianization
Universitat de Valencia（瓦伦西亚大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Bristol（布里斯托大学）
在本文中，我们阐述了基于旋转的迭代高斯化，RBIG，这使得图像高斯化可能的扩展。虽然RBIG已经成功地应用于许多任务，但它仅限于中等维度的数据（大约一千维）。在图像中，它的应用仅限于小的图像块或孤立的像素，因为RBIG中的旋转是基于主分量或独立分量分析的，这些变换很难学习和缩放。在这里，我们提出了\emph{Convolutional RBIG}：一个扩展，通过强制RBIG中的旋转是卷积来解决这个问题。我们建议通过优化输入和使用转置卷积运算的近似逆变换之间的重建损失来学习卷积旋转（即正交归一化卷积）。此外，我们建议不同的正则化学习这些正交卷积。例如，在激活中施加稀疏性导致将卷积独立分量分析扩展到多层架构的转换。我们还强调了如何从\emph{Convolutional RBIG}中获得数据的统计特性，如多元互信息。我们用一个简单的纹理合成的例子说明了变换的行为，并通过可视化在某些特征和层中最大化响应的刺激来分析其属性。
2022-06-08 cs.CV
Image Classification of Stroke Blood Clot Origin using Deep Convolutional Neural Networks and Visual Transformers
本文提出利用四种深度神经网络架构和简单集成方法，对急性缺血性卒中的心源性与大动脉粥样硬化性两种病因亚型进行血凝块图像分类。
2023-05-25 cs.CV
Can Vision Transformers Perform Convolution?
Peking University（北京大学）；UCLA（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
最近的几项研究表明，基于注意力的网络，如视觉Transformer（ViT），在不使用卷积层的情况下，可以在几个计算机视觉任务上胜过卷积神经网络（CNN）。这自然会导致以下问题：ViT的自我注意层可以表达任何卷积运算吗？在这项工作中，我们证明了一个单一的ViT层与图像补丁作为输入可以执行任何卷积运算建设性的，其中的多头注意力机制和相对的位置编码起着至关重要的作用。我们进一步提供了视觉Transformer表达CNN的头数的下限。与我们的分析相对应，实验结果表明，我们的证明中的构造可以帮助将卷积偏差注入到Transformers中，并显着提高ViT在低数据状态下的性能。
2021-11-03 cs.CV cs.LG
Transformer Assisted Convolutional Network for Cell Instance Segmentation
Indian Institute of Technology (Indian School of Mines)（印度理工学院（印度矿业学院））
基于区域建议的方法，如R-CNN和Faster R-CNN模型，已被证明在目标检测和分割任务中非常成功。最近，Transformers在计算机视觉领域也得到了普及，并且被用于提高传统模型的性能。在本文中，我们提出了一个相对较新的Transformer为基础的方法，以提高现有的区域建议为基础的方法中的常规卷积特征提取器的性能。我们的方法通过应用类似于Transformers中的自我注意力的投影操作，将卷积特征映射与基于transformer的令牌嵌入合并。我们的实验结果表明，与vanilla卷积主干相比，Transformer辅助的特征提取器在mIoU（平均交集）得分方面实现了显着的改进。
2021-10-05 cs.AI cs.CV
Seeing Convolution Through the Eyes of Finite Transformation Semigroup Theory: An Abstract Algebraic Interpretation of Convolutional Neural Networks
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
研究人员正在积极尝试更好地了解卷积神经网络的代表性属性，以指导更好的网络设计和解释网络的计算性质。由于网络中参数的数量和网络架构的复杂性，获得这种见解可能是一项艰巨的任务。目前的神经网络解释方法包括贝叶斯概率解释和信息论解释。在这项研究中，我们采取了不同的方法来研究卷积神经网络，提出了一个抽象的代数解释，使用有限变换半群理论。具体来说，卷积层被分解并映射到有限空间。然后将所提出的有限变换半群的状态空间定义为卷积层内的单个元素，其中由周围的状态元素与卷积核元素组合定义的作用元素。定义了有限变换半群的生成元来完成这一解释。我们利用这种方法来分析所得到的有限变换半群的基本属性，以获得对卷积神经网络的表示属性的见解，包括对量化网络表示的见解。这样的有限变换半群解释还可以使得能够更好地理解固定格数据结构的界限之外，因此对于处理位于不规则格上的数据是有用的。此外，所提出的抽象代数解释被证明是可行的解释各种卷积神经网络架构内的卷积运算。
2019-05-26 cs.CV cs.LG cs.NE
DCT-Conv: Coding filters in convolutional networks with Discrete Cosine Transform
Warsaw University of Technology（华沙理工大学）
卷积神经网络是基于大量的训练权重。因此，它们通常是数据贪婪的，对过度训练敏感，并且学习缓慢。我们遵循的研究路线是，卷积神经层的过滤器是基于较少数量的训练参数确定的。在本文中，训练的参数定义了一个频谱，该频谱通过逆离散余弦变换（IDCT）被变换为卷积滤波器，这同样适用于从JPEG解压缩。我们分析了如何关闭选定的频谱成分，从而减少网络的训练权重的数量，影响其性能。我们的实验表明，编码的滤波器与训练的DCT参数导致改善传统的卷积。此外，以这种方式修改的网络的性能随着关闭这些参数的程度的增加而非常缓慢地下降。在一些实验中，当甚至99.9%的这些参数被关闭时，观察到良好的性能。
2020-04-07 cs.CV cs.NE
On the Matrix Form of the Quaternion Fourier Transform and Quaternion Convolution
University of West Attica（西阿提卡大学）；National Technological University of Athens（雅典国家技术大学）
本研究探讨四元数傅里叶变换与卷积的矩阵形式，阐明其与复数域的关系，并利用理论结果提出限制四元数卷积神经网络Lipschitz常数的方法。
2024-07-22 cs.CV math.RA
Multi-Aperture Fusion of Transformer-Convolutional Network (MFTC-Net) for 3D Medical Image Segmentation and Visualization
University of Nevada, Reno（内华达大学雷诺分校）
本研究提出MFTC-Net，通过3D融合块整合Swin Transformers与卷积块输出，结合图像块原始分辨率与金字塔表示，在Synapse数据集上以约4000万参数实现89.73的Dice得分，提升了3D医学图像分割性能。
2024-06-24 cs.CV eess.IV
The Convolution Exponential and Generalized Sylvester Flows
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文介绍了一种新的方法来建立线性流，通过采取指数的线性变换。这种线性变换本身不需要是可逆的，并且指数具有以下期望的性质：它保证是可逆的，它的逆可以直接计算，并且对数雅可比行列式等于线性变换的迹。一个重要的见解是，指数可以隐式计算，这允许使用卷积层。利用这一见解，我们开发了新的可逆变换命名为卷积指数和图形卷积指数，保持其基础变换的等变性。此外，我们推广了Sylvester流，并在此基础上提出了卷积Sylvester流。从经验上讲，我们表明卷积指数优于CIFAR10上生成流中的其他线性变换，图卷积指数提高了图规范化流的性能。此外，我们表明，卷积西尔维斯特流提高性能的剩余流量作为一个生成流模型测量的对数似然。
2020-10-26 cs.CV cs.LG stat.ML
Fast Fourier Transformation for Optimizing Convolutional Neural Networks in Object Recognition
Texas Tech University（得克萨斯理工大学）；Georgia Institute of Technology（佐治亚理工学院）；State University of New York at Buffalo（纽约州立大学布法罗分校）
本文提出了使用基于快速傅立叶变换的U-网（一种改进的全卷积网络），并在神经网络中执行图像卷积。利用快速傅立叶变换，它降低了卷积神经网络（CNN）中涉及的图像卷积成本，从而降低了整体计算成本。该模型从图像中识别出目标信息。我们应用快速傅立叶变换算法的图像数据集，以获得更多的图像数据的信息，然后通过U-Net架构分割它们。更具体地说，我们实现了基于FFT的卷积神经网络，以提高网络的训练时间。所提出的方法被应用到公开可用的宽生物图像基准收集（BBBC）数据集。我们的模型证明了卷积过程中的训练时间从$600-700$ ms/步提高到$400-500$ ms/步。我们使用Intersection over Union（IoU）度量评估了我们模型的准确性，显示出显着的改进。
2020-10-08 cs.CV cs.LG eess.IV
Harmonic Convolutional Networks based on Discrete Cosine Transform
ADAPT Centre（ADAPT中心）；Trinity College Dublin（都柏林圣三一学院）；Dublin City University（都柏林城市大学）；Maynooth University（梅努斯大学）
卷积神经网络（CNN）学习滤波器，以捕获特征空间中的局部相关模式。我们建议学习这些过滤器的组合定义的离散余弦变换（DCT）的预设频谱滤波器。我们提出的基于DCT的谐波块取代传统的卷积层，以产生新的或现有的CNN架构的部分或完全谐波版本。使用DCT能量压缩属性，我们演示了如何谐波网络可以有效地压缩截断谐波块中的高频信息由于在谱域中的冗余。我们报告了大量的实验验证，证明了将谐波块引入图像分类、目标检测和语义分割应用中的最先进的CNN模型的好处。
2022-04-09 cs.CV cs.LG
TED-net: Convolution-free T2T Vision Transformer-based Encoder-decoder Dilation network for Low-dose CT Denoising
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
低剂量CT是临床应用的主流。然而，与常规剂量CT相比，低剂量CT（LDCT）图像中存在较强的噪声和较多的伪影，这给实际应用带来了障碍。在过去的几年中，基于卷积的端到端深度学习方法已被广泛用于LDCT图像去噪。最近，Transformer已经显示出优于卷积的性能，具有更多的功能交互。但其在LDCT去噪中的应用还没有得到充分的研究。在这里，我们提出了一个无卷积的T2 T视觉变换为基础的编码器-解码器扩张网络（TED-net），以丰富家庭的LDCT去噪算法。该模型是免费的卷积块，并由一个对称的编码器-解码器块与唯一的Transformer。我们的模型在AAPM-Mayo clinic LDCT Grand Challenge数据集上进行了评估，结果显示优于最先进的去噪方法。
2021-06-08 cs.CV eess.IV physics.med-ph
UniCon-Former: Unified Convolution Transformer is All You Need for Hand Gesture Recognition
Indian Institute of Technology Kharagpur（印度克勒格布尔印度理工学院）；Indian Institute of Technology Roorkee（印度鲁基印度理工学院）
本文提出UniCon-Former统一卷积Transformer模型，融合CNN与Transformer优势，在NVGesture和Briareo数据集上以更少参数和MACs实现动态手势识别的SOTA性能。
2026-08-14 cs.CV cs.HC
New pointwise convolution in Deep Neural Networks through Extremely Fast and Non Parametric Transforms
KyungHee University（庆熙大学）
一些传统的变换如离散沃尔什-哈达玛变换（DWHT）和离散余弦变换（DCT）在图像处理中被广泛用作特征提取器，但在神经网络中的应用却很少。然而，我们发现这些传统的变换有能力捕获跨信道相关性，而无需DNN中的任何可学习参数。本文首先提出将传统的变换应用于逐点卷积，表明这种变换显着降低了神经网络的计算复杂性，而不降低精度性能。特别是对于DWHT，它不需要浮点乘法，而只需要加法和减法，这可以大大减少计算开销。此外，它的快速算法进一步降低了从$\mathcal{O}(n^2)$到$\mathcal{O}(n\log n)$的浮点加法的复杂度。这些良好的属性在参数和操作的数量上构建了非常有效的网络，享受精度增益。在CIFAR 100数据集上，与其基线模型（MoblieNet-V1）相比，我们提出的基于DWHT的模型获得了1.49%的准确性提高，参数减少了79.1%，FLOPs减少了48.4%。
2019-06-25 cs.CV cs.LG
Trainable Spectrally Initializable Matrix Transformations in Convolutional Neural Networks
University of Fribourg（弗里堡大学）；University of Bern（伯尔尼大学）；V7 Ltd（V7有限公司）；Luleå University of Technology（吕勒奥理工大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
在这项工作中，我们研究了可训练和频谱可初始化矩阵变换在卷积运算产生的特征映射上的应用。虽然以前的文献已经证明了添加静态谱变换作为特征处理器的可能性，但我们的重点是更一般的可训练变换。我们研究了四个不同性质的数据集上各种架构配置的转换：从医学（ColorectalHist，HAM10000）和自然（Flowers，ImageNet）图像到历史文档（CB55）和手写识别（GPDS）。通过严格的实验，控制参数和随机性的数量，我们表明，网络利用引入矩阵变换优于香草神经网络。在所有数据集中，观察到的准确性平均增加了2.2。此外，我们表明，频谱初始化的好处导致显着更快的收敛，而不是随机初始化的矩阵变换。这些转换被实现为可自动区分的PyTorch模块，可以集成到任何神经网络架构中。整个代码库都是开源的。
2019-11-13 cs.CV cs.LG
CoT-MISR:Marrying Convolution and Transformer for Multi-Image Super-Resolution
图像超分辨率作为图像复原的一种方法，首先得到了广泛的研究。如何对低分辨率图像进行变换以恢复其高分辨率图像信息是研究人员一直在探索的问题。在早期的物理变换方法中，这些方法生成的高分辨率图片总是存在严重的信息缺失问题，边缘和细节不能很好地恢复。随着硬件技术和数学的发展，人们开始将深度学习方法用于图像超分辨率任务，从直接深度学习模型、残余通道注意力网络、双向抑制网络，到带有Transformer网络模块的tr网络，逐渐取得了良好的效果。在多图超分辨率的研究中，得益于多图超分辨率数据集的建立，我们经历了从卷积模型到Transformer模型的演变，超分辨率的质量不断提升。然而，我们发现无论是纯卷积还是纯tr网络都不能很好地利用低分辨率图像信息。在此基础上，我们提出了一种新的端到端CoT-MISR网络。CoT-MISR网络利用卷积和树的优点，弥补了局部和全局信息的不足。在相同参数下的数据集验证表明，我们的CoT-MISR网络已经达到了最佳的得分指标。
2023-03-12 cs.CV eess.IV
TEC-Net: Vision Transformer Embrace Convolutional Neural Networks for Medical Image Segmentation
Shaanxi University of Science and Technology（陕西科技大学）；Xi’an Jiaotong University（西安交通大学）；Griffith University（格里菲斯大学）；Northwestern Polytechnical University（西北工业大学）；Brunel University London（伦敦布鲁内尔大学）
提出TEC-Net，融合CNN与Transformer，通过动态可变形卷积和自适应互补注意力模块，以低参数和计算成本实现优于SOTA的医学图像分割。
2023-12-20 cs.CV eess.IV
AugOp: Inject Transformation into Neural Operator
本文提出AugConv方法，通过在训练时注入可合并的分组变换增强常规卷积，推理时恢复且不增加开销，基于ResNet构建AugResNet，在Cifar-10上性能优于基线。
2023-06-20 cs.CV cs.LG
The Fully Convolutional Transformer for Medical Image Segmentation
University of Glasgow（格拉斯哥大学）
我们提出了一种新的Transformer模型，能够分割不同形式的医学图像。医学图像分析的细粒度性质所带来的挑战意味着Transformer对其分析的适应仍处于初期阶段。UNet的压倒性成功在于它能够理解细分任务的细粒度性质，这是现有的基于Transformer的模型目前无法实现的能力。为了解决这个缺点，我们提出了全卷积Transformer（FCT），它建立在卷积神经网络学习有效图像表示的能力的基础上，并将它们与Transformers的能力相结合，以有效地捕获其输入中的长期依赖关系。FCT是医学成像文献中第一个完全卷积的Transformer模型。它分两个阶段处理输入，首先，它学习从输入图像中提取长范围语义依赖关系，然后学习从特征中捕获分层全局属性。FCT结构紧凑、精确、坚固。我们的研究结果表明，它优于所有现有的Transformer架构的大利润率在多个医学图像分割数据集的不同的数据模式，而不需要任何预训练。FCT在ACDC数据集上的表现优于其直接竞争对手1.3%，在Synapse数据集上的表现优于其直接竞争对手4.4%，在Spleen数据集上的表现优于其直接竞争对手1.2%，在ISIC 2017数据集上的表现优于其直接竞争对手1.1%。我们的代码、环境和模型将通过GitHub提供。
2023-01-29 cs.CV eess.IV
DCT Perceptron Layer: A Transform Domain Approach for Convolution Layer
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
在本文中，我们提出了一种新的离散余弦变换（DCT）为基础的神经网络层，我们称之为DCT-感知器，以取代$3\times3$ Conv 2D层的残差神经网络（ResNet）。卷积滤波操作是利用傅立叶和DCT卷积定理在DCT域中使用逐元素乘法来执行的。一个可训练的软阈值层被用作DCT感知器中的非线性。与ResNet的Conv 2D层（空间不可知和通道特定）相比，该层是位置特定和通道特定的。DCT感知器层显著减少了参数和乘法的数量，同时保持了CIFAR-10和ImageNet-1 K中常规ResNet的可比精度结果。此外，可以在传统ResNets中的全局平均池化层之前插入DCT感知器层和批量归一化层，作为额外的层，以提高分类准确度。
2022-11-15 cs.CV eess.IV
Visual Context-aware Convolution Filters for Transformation-invariant Neural Network
Samsung R&D Institute, Bangalore（三星班加罗尔研发中心）
我们提出了一种新的视觉上下文感知过滤器生成模块，它将图像中的上下文信息纳入卷积神经网络（CNN）。与传统的CNN相比，我们不会对所有输入图像实例使用相同的学习卷积滤波器集。我们提出的输入条件卷积滤波器与多实例学习和最大池技术相结合，产生了一个变换不变的神经网络。我们研究了我们提出的框架在三种MNIST变体上的性能，其中包括旋转和缩放方差，并在MNIST-rot-12 k上实现了1.13%的误差，在半旋转MNIST上实现了1.12%的误差，在缩放MNIST上实现了0.68%的误差，这明显优于最先进的结果。我们利用可视化来进一步证明我们的视觉上下文感知卷积过滤器的有效性。我们提出的可视化上下文感知卷积滤波器生成框架也可以作为任何基于CNN的架构的插件，并增强其建模能力。
2019-06-15 cs.CV cs.LG stat.ML
CiT-Net: Convolutional Neural Networks Hand in Hand with Vision Transformers for Medical Image Segmentation
Shaanxi University of Science and Technology（陕西科技大学）；Xi’an Jiaotong University（西安交通大学）；Northwestern Polytechnical University（西北工业大学）；Brunel University London（伦敦布鲁内尔大学）
针对CNN与Transformer混合架构在医学图像分割中自适应特征学习不足和忽略跨维度自注意力的问题，提出CiT-Net，通过动态可变形卷积和移位窗口自适应互补注意力模块，实现更优分割性能且低参数低成本。
2023-12-20 cs.CV eess.IV
Efficient 3D Object Reconstruction using Visual Transformers
Georgia Institute of Technology（佐治亚理工学院）
从2D图像重建3D对象是一个研究得很好的视觉问题，已经尝试了许多种深度学习技术。最常见的是，使用3D卷积方法，尽管先前的工作已经显示了使用2D卷积的最先进的方法，其对于训练也显著更有效。随着最近用于视觉任务的Transformers的兴起，通常优于卷积方法，以及一些早期尝试使用Transformers进行3D对象重建，我们开始使用视觉Transformers来代替现有高效，高性能的3D对象重建技术中的卷积，以便在任务中取得更好的结果。使用基于变换的编码器和解码器从2D图像预测3D结构，我们实现了类似或优于基线方法的精度。这项研究作为证据的潜在的视觉Transformers在三维物体重建的任务。
2023-02-16 cs.AI cs.CV
ReSTR: Convolution-free Referring Image Segmentation Using Transformers
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）；EIT Institute for Advanced Study（EIT高等研究院）
参考图像分割是一种高级的语义分割任务，其中目标不是预定义的类别，而是用自然语言描述的。用于该任务的大多数现有方法严重依赖于卷积神经网络，然而，其难以捕获语言表达中的实体之间的长距离依赖性，并且对于建模两种不同模态之间的交互不够灵活。为了解决这些问题，我们提出了第一个无卷积模型，用于使用Transformers进行图像分割，称为ReSTR。由于它通过Transformer编码器提取两种模态的特征，因此它可以捕获每个模态内实体之间的长距离依赖关系。此外，ReSTR融合功能的两个模态的自注意编码器，这使得灵活和自适应的融合过程中的两个模态之间的相互作用。融合的特征被馈送到分割模块，该模块根据手中的图像和语言表达自适应地工作。ReSTR在所有公共基准上进行了评估并与以前的工作进行了比较，其中它优于所有现有模型。
2022-03-31 cs.AI cs.CV
Explainable 3D Convolutional Neural Networks by Learning Temporal Transformations
Radboud University（拉德堡德大学）
在本文中，我们介绍了时间分解的3D卷积（3TConv）作为一个可解释的替代规则的3D卷积（3DConv）。在3TConv中，通过学习2D滤波器和一组时间变换参数来获得3D卷积滤波器，从而得到稀疏滤波器，其中2D切片在时间维度上顺序地彼此依赖。我们证明了3TConv学习提供直接解释的时间变换。时间参数可以与各种现有的2D可视化方法结合使用。我们还表明，可以通过分析层和模型级别上的转换参数统计来实现对模型学习的洞察。最后，我们隐式地证明，在流行的ConvNets中，2DConv可以用3TConv替换，并且可以转移权重以产生预训练的3TConv。预训练的3TConvnets利用了传统2DConvNets十多年的工作，能够利用已被证明在图像分类基准测试中提供出色结果的功能。
2020-06-29 cs.AI cs.CV cs.LG
Transformationally Identical and Invariant Convolutional Neural Networks by Combining Symmetric Operations or Input Vectors
Georgetown University Medical Center（乔治城大学医学中心）；Virginia Tech（弗吉尼亚理工大学）
由变换后的输入向量或算子构造的变换不变处理器已被提出并应用于许多应用中。在这项研究中，transformationally相同的处理的基础上相结合的结果，所有的子过程与相应的转换在一个处理步骤或在开始的步骤被认为是等效的一个给定的条件。该特性可以应用于大多数卷积神经网络（CNN）系统。具体地，可以通过将内部对称操作与相同的变换族并行地布置来构造变换上相同的CNN，所述相同的变换族包括平坦化层，其中权重在其对应的变换元素之间共享。其他变换上相同的CNN可以通过在输入层对该族的变换输入向量进行平均，然后进行普通的CNN过程或一组对称操作来构建。有趣的是，我们发现，通过在激活函数之前对所有子通道的对应元素应用平均操作或不使用非线性激活函数，两种类型的变换相同的CNN系统在数学上是等效的。
2018-08-20 cs.CV cs.LG stat.ML
Using MLIR Transform to Design Sliced Convolution Algorithm
1 IBM Research 2 Celera Systems 3 Instituto de Computaç\ a o, Universidade Estadual de Campinas Campinas -- SP, Brazil；1 IBM Research
本文提出SConvTransform，通过MLIR转换方言优化卷积算法，实现高效性能和模块化扩展。
2025-11-22 cs.CV cs.LG cs.PF
Transform-Invariant Convolutional Neural Networks for Image Classification and Search
University of Science and Technology of China（中国科学技术大学）；University of Technology, Sydney（悉尼科技大学）
卷积神经网络（CNN）在许多视觉识别任务上取得了最先进的结果。然而，当前的CNN模型仍然表现出对图像的空间变换不变性的能力差。直觉上，有足够的层和参数，卷积（矩阵乘法和非线性激活）和池化操作的分层组合应该能够学习从变换的输入图像到变换不变表示的鲁棒映射。在本文中，我们提出了在训练阶段随机变换（旋转，缩放和平移）CNN的特征图。这可以防止CNN模型中训练图像的特定旋转、缩放和平移级别的复杂依赖性。相反，每个卷积核学习检测一个特征，该特征通常有助于产生变换不变的答案，因为它的输入特征图的变换级别组合多种多样。通过这种方式，我们不需要对优化过程和训练图像进行任何额外的训练监督或修改。我们发现，随机变换在许多基准任务上提供了CNN的显着改进，包括小规模图像识别，大规模图像识别和图像检索。该代码可在https://github.com/jasonustc/caffe-multigpu/tree/TICNN上获得。
2019-11-28 cs.CV cs.LG eess.IV
Prediction of Geometric Transformation on Cardiac MRI via Convolutional Neural Network
DongHua University（东华大学）
在医学图像领域，深度卷积神经网络（ConvNets）在分类、分割和配准任务方面取得了巨大成功，这要归功于其无与伦比的学习图像特征的能力。然而，这些任务通常需要大量手动注释的数据，并且是劳动密集型的。因此，研究无监督语义特征学习任务具有重要意义。在我们的工作中，我们建议通过训练ConvNets来学习医学图像中的特征，以识别应用于图像的几何变换，并提出一个简单的自我监督任务，可以轻松预测几何变换。我们精确地定义了一组几何变换的数学术语，并将此模型推广到3D，同时考虑到空间和时间维度之间的区别。我们评估了我们的自监督方法在不同模态（bSSFP，T2，LGE）的CMR图像上的准确率分别为96.4%，97.5%和96.4%。我们论文的代码和模型将发布在：https://github.com/gaoxin492/Geometric_Transformation_CMR
2022-11-12 cs.CV cs.LG eess.IV
Impact of Spherical Coordinates Transformation Pre-processing in Deep Convolution Neural Networks for Brain Tumor Segmentation and Survival Prediction
Macquarie University（麦考瑞大学）；Australian Institute of Health Innovation（澳大利亚健康创新研究院）
预处理和数据增强在深度卷积神经网络（DCNN）中起着重要作用。尽管有多种方法旨在实现数据集的标准化和增强，但我们在这里提出了一种新方法，旨在为DCNN提供球面空间变换的输入数据，与标准笛卡尔空间图像和体积相比，该方法可以更好地促进特征学习。在这项工作中，球坐标变换已被用作预处理方法，与正常MRI体积结合使用，提高了脑肿瘤分割（BraTS）挑战2020数据集上脑肿瘤分割和患者总生存期（OS）预测的准确性。然后，应用LesionEncoder框架从DCNN模型中自动提取特征，在验证数据集上实现了0.586的OS预测准确度，这是BraTS 2020排行榜上的最佳结果之一。
2020-11-23 cs.CV cs.LG eess.IV
Möbius Convolutions for Spherical CNNs
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（奥多比研究院）
莫比乌斯变换在几何和球面图像处理中扮演着重要的角色-它们是二维曲面的共形自同构群和单应性的球面等价。在这里，我们提出了一种新的，莫比乌斯等变球面卷积算子，我们称之为莫比乌斯卷积，并与它，发展莫比乌斯等变球面CNN的基础。我们的方法是基于一个简单的观察：为了实现等方差，我们只需要考虑低维子组，它转换点的位置，如在他们的邻居的框架。为了有效地计算莫比乌斯卷积的规模，我们推导出一个近似的球面滤波器上的变换的行动，使我们能够计算我们的卷积在频谱域与快速球面谐波变换。由此产生的框架是灵活的和描述性的，我们证明了它的实用性，在形状分类和图像分割任务取得了可喜的成果。
2022-05-12 cs.CV cs.GR cs.LG
Do Vision Transformers See Like Convolutional Neural Networks?
Google Research（谷歌研究院）
到目前为止，卷积神经网络（CNN）已经成为视觉数据的事实模型。最近的工作表明，（视觉）Transformer模型（ViT）可以在图像分类任务上实现相当甚至更高的性能。这就提出了一个核心问题：视觉Transformer是如何解决这些任务的？它们是像卷积网络一样工作，还是学习完全不同的视觉表示？在图像分类基准上分析ViT和CNN的内部表示结构，我们发现这两种架构之间存在显着差异，例如ViT在所有层中具有更统一的表示。我们探讨了这些差异是如何产生的，发现自我注意力发挥了至关重要的作用，这使得全球信息的早期聚合，以及ViT残留连接，这强烈地传播功能从较低到较高层。我们研究了空间定位的后果，证明ViTs成功地保留了输入的空间信息，不同的分类方法有明显的效果。最后，我们研究了（预训练）数据集规模对中间特征和迁移学习的影响，并讨论了与新架构（如MLP混合器）的连接。
2022-03-03 cs.AI cs.CV cs.LG
