A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks
University of Macerata（马切拉塔大学）；Università Politecnica delle Marche（马尔凯理工大学）
本文在计算机视觉持续学习场景下评估了Kolmogorov-Arnold Networks (KAN)的性能，发现其高效版本在MNIST类增量学习中优于MLPs和原始KAN，并分析了超参数及卷积网络变体的表现。
2024-09-27 cs.CV cs.LG
Spatial-wise Dynamic Distillation for MLP-like Efficient Visual Fault Detection of Freight Trains
Hubei University of Technology（湖北工业大学）；The Chinese University of Hong Kong（香港中文大学）；Nanjing University（南京大学）
提出基于类MLP的空间动态蒸馏框架，结合轴向移位和无预训练动态教师，在六个货运列车故障数据集上以更低计算成本实现实时且最高精度的检测。
2023-12-10 cs.CV eess.IV
Variational Information Distillation for Knowledge Transfer
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）；École des Ponts ParisTech（巴黎高科桥路学院）；Amazon（亚马逊）
将知识从在相同或相似任务上预训练的教师神经网络转移到学生神经网络可以显著提高学生神经网络的性能。现有的知识转移方法匹配教师和学生网络的激活或相应的手工制作的功能。我们提出了一个信息理论框架的知识转移，制定知识转移最大限度地提高教师和学生网络之间的互信息。我们比较我们的方法与现有的知识转移方法的知识蒸馏和迁移学习任务，并表明我们的方法始终优于现有的方法。我们通过将知识从卷积神经网络（CNN）转移到CIFAR-10上的多层感知器（MLP），进一步证明了我们的方法在异构网络架构中的知识转移能力。由此产生的MLP显著优于最先进的方法，并且它实现了与具有单个卷积层的CNN相似的性能。
2019-04-11 cs.AI cs.CV cs.LG
Classifying Malware Images with Convolutional Neural Network Models
University of Colorado Colorado Springs（科罗拉多斯普林斯分校科罗拉多大学）
由于来自恶意软件（malware）的威胁在数量和复杂性上都在增加，研究人员已经开发出自动检测和分类恶意软件的方法，而不是耗时费力地手动分析恶意软件文件的方法。与此同时，恶意软件作者已经开发了一些技术来规避防病毒公司使用的基于签名的检测技术。最近，深度学习被用于恶意软件分类来解决这个问题。在本文中，我们使用几个卷积神经网络（CNN）模型的静态恶意软件分类。特别是，我们使用了六个深度学习模型，其中三个是ImageNet大规模视觉识别挑战赛的获奖者。其他三种模型是CNN-SVM，GRU-SVM和MLP-SVM，它们用支持向量机（SVM）增强神经模型。我们使用Malimg数据集进行实验，该数据集具有从可移植可执行恶意软件二进制文件转换的恶意软件图像。该数据集分为25个恶意软件家族。比较显示，Inception V3模型的测试准确率达到99.24%，优于目前最先进的系统M-CNN模型所达到的98.52%的准确率。
2020-10-30 cs.CR cs.CV
X-MLP: A Patch Embedding-Free MLP Architecture for Vision
Nanjing University（南京大学）；School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
提出无 patch embedding 的 X-MLP 架构，利用全连接层独立交替交互宽高通道信息，在十个基准数据集上超越其他视觉 MLP 及 CNN，并可视化长程依赖。
2023-07-02 cs.CV
Are we ready for a new paradigm shift? A Survey on Visual Deep MLP
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
最近，提出的深度MLP模型在视觉社区引起了很大的兴趣。从历史上看，更大的数据集的可用性与增加的计算能力相结合，导致范式转变。这篇综述文章详细讨论了MLP是否可以成为计算机视觉的新范式。我们详细比较了卷积、自注意力机制和标记混合MLP之间的内在联系和区别。令牌混合MLP的优点和局限性，随后仔细分析了最近的MLP类似的变体，从模块设计到网络架构，以及它们的应用。在GPU时代，局部和全局加权求和是当前的主流，以卷积和自注意力机制以及MLP为代表。我们建议进一步发展的范例一起考虑下一代计算设备。
2022-04-25 cs.CV
Go Wider: An Efficient Neural Network for Point Cloud Analysis via Group Convolutions
为了获得更好的点云分析性能，许多研究人员将更深层次的神经网络应用于不规则点云上，使用堆叠多层感知器（MLP）卷积。然而，在大量点上应用密集MLP卷积（例如，自动驾驶应用）导致存储器和计算的效率低下。为了实现高性能，但复杂性较低，我们提出了一个深度广泛的神经网络，称为ShufflePointNet，利用细粒度的本地功能，并减少冗余并行使用组卷积和通道洗牌操作。与传统的直接将MLP应用于点云的高维特征的操作不同，我们的模型通过预先将特征分成组来扩展，并且具有一定较小深度的每个组只负责各自的MLP操作，这可以降低复杂度并允许编码更多有用的信息。同时，我们通过在特征通道中重排组来连接组之间的通信，以捕获细粒度的特征。我们认为，多分支方法适用于更广泛的神经网络也有利于点云的特征提取。我们提出了广泛的实验上ModelNet40数据集的形状分类任务和语义分割任务的大规模数据集ShapeNet部分，S3DIS和KITTI。我们进一步进行消融研究，并将我们的模型与其他最先进的算法在复杂性和准确性方面进行比较。
2019-09-23 cs.CV
Caterpillar: A Pure-MLP Architecture with Shifted-Pillars-Concatenation
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Drexel University（德雷塞尔大学）；Tongji University（同济大学）
本文提出可并行的 Shifted-Pillars-Concatenation MLP 模块以替代卷积，并构建纯 MLP 架构 Caterpillar，在多个分类基准上展现优异性能、可扩展性与迁移能力。
2024-09-10 cs.CV
R2-MLP: Round-Roll MLP for Multi-View 3D Object Recognition
Baidu Research（百度研究院）
近年来，完全基于多层感知器（MLP）的视觉架构在计算机视觉界引起了广泛的关注。MLP类模型在单个2D图像分类上实现了具有竞争力的性能，具有较少的感应偏差，无需手工制作的卷积层。在这项工作中，我们探索了基于MLP的体系结构对于基于视图的3D对象识别任务的有效性。我们提出了一个基于MLP的架构称为Round-Roll MLP（R $^2$ -MLP）。它扩展了空间移动MLP骨干，考虑从不同的观点补丁之间的通信。R $^2$ -MLP沿视图维度滚动部分通道，并促进相邻视图之间的信息交换。我们在ModelNet 10和ModelNet 40数据集上对MLP结果进行了基准测试，并在各个方面进行了消融。实验结果表明，与现有的最先进方法相比，我们的R $^2$ -MLP具有概念上简单的结构，实现了具有竞争力的性能。
2022-11-20 cs.CV
MixerGAN: An MLP-Based Architecture for Unpaired Image-to-Image Translation
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）；School of Architecture（建筑学院）
虽然基于注意力的Transformer网络在几乎所有的语言任务中都取得了无与伦比的成功，但图像中发现的大量标记（像素）加上二次激活记忆的使用使它们在计算机视觉中的问题上望而却步。因此，虽然语言到语言的翻译已经被Transformer模型彻底改变，但卷积网络仍然是图像到图像翻译的事实上的解决方案。最近提出的MLP混合器架构解决了与基于注意力的网络相关的一些计算问题，同时仍然保留了使Transformer模型变得可取的长距离连接。利用这种记忆效率高的自我注意力替代方案，我们提出了一种新的探索性模型，称为MixerGAN：一种更简单的基于MLP的架构，它考虑像素之间的长距离关系，而不需要昂贵的注意力机制。定量和定性分析表明，与先前的基于卷积的方法相比，MixerGAN实现了具有竞争力的结果。
2021-08-19 cs.CV
A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP
Microsoft Research Asia（微软亚洲研究院）
卷积神经网络（CNN）是计算机视觉的主要深度神经网络（DNN）架构。最近，Transformer和基于多层感知器（MLP）的模型，如视觉Transformer和MLP-Mixer，开始引领新的趋势，因为它们在ImageNet分类任务中显示出了有希望的结果。在本文中，我们对这些DNN结构进行了实证研究，并试图了解它们各自的优缺点。为了确保公平的比较，我们首先开发了一个统一的框架SPACH，该框架采用独立的空间和信道处理模块。SPACH框架下的实验表明，所有结构都可以在适度规模下实现竞争性能。然而，当网络规模扩大时，它们表现出独特的行为。基于我们的研究结果，我们提出了两个混合模型使用卷积和Transformer模块。所得到的Hybrid-MS-S+模型在63 M参数和12.3G FLOPS的情况下实现了83.9%的top-1精度。它已经与SOTA模型具有复杂的设计。代码和模型可在https://github.com/microsoft/SPACH上公开获取。
2021-11-25 cs.CV
Conv-INR: Convolutional Implicit Neural Representation for Multimodal Visual Signals
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
本文提出首个完全基于卷积的隐式神经表示模型 Conv-INR，通过同时建模相邻坐标并有效学习高频成分，在图像拟合、CT/MRI 重建和新视角合成任务上显著超越现有基于 MLP 的 INR，并进一步提出三种无额外推理成本的重参数化方法以提升性能。
2024-06-06 cs.CV
Vision Permutator: A Permutable MLP-Like Architecture for Visual Recognition
National University of Singapore（新加坡国立大学）；Nankai University（南开大学）；Sea AI Labs（Sea人工智能实验室）
在本文中，我们提出了视觉置换器，一个概念简单，数据高效的MLP视觉识别的类似架构。通过认识到2D特征表示所携带的位置信息的重要性，与沿着平坦化的空间维度编码空间信息的最近的MLP类模型不同，Vision Permutator利用线性投影沿着高度和宽度维度分别编码特征表示。这使得Vision Permutator能够沿一个空间方向捕获长距离依赖关系，同时沿另一个方向保留精确的位置信息。然后以互补的方式聚合所得到的位置敏感输出，以形成感兴趣对象的表达性表示。我们证明了我们的视觉置换器是卷积神经网络（CNN）和视觉Transformer的强大竞争对手。在不依赖于空间卷积或注意力机制的情况下，Vision Permutator在ImageNet上实现了81.5%的top-1准确率，而无需额外的大规模训练数据（例如，ImageNet-22k）只使用了25M个可学习参数，这在相同的模型大小约束下比大多数CNN和视觉Transformer要好得多。当扩展到88M时，它达到了83.2%的top-1精度。我们希望这项工作可以鼓励重新思考空间信息编码方式的研究，并促进类似MLP模型的发展。代码可在www.example.com上获得。
2021-06-23 cs.CV
SiT-MLP: A Simple MLP with Point-wise Topology Feature Learning for Skeleton-based Action Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
本文提出首个基于MLP的骨架动作识别模型SiT-MLP，通过空间拓扑门控单元STGU学习逐点拓扑特征，在三个大规模数据集上以更少参数取得竞争性性能。
2024-04-08 cs.CV
AS-MLP: An Axial Shifted MLP Architecture for Vision
ShanghaiTech University（上海科技大学）；Tencent（腾讯）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）；Shanghai Engineering Research Center of Energy Efficient and Custom AI IC（上海高效节能与定制AI芯片工程研究中心）
提出了一种轴向移位的MLP结构（AS-MLP）。与MLP混合器通过矩阵转置和单标记混合MLP对全局空间特征进行信息流编码不同，我们更关注局部特征的交互。通过轴向移动特征映射的通道，AS-MLP能够从不同的轴向方向获得信息流，从而捕获局部依赖性。这样的操作使我们能够利用纯MLP架构来实现与CNN类架构相同的局部感受野。我们还可以设计AS-MLP的感受野大小和块的膨胀等，在卷积神经网络的相同精神。使用所提出的AS-MLP架构，我们的模型在ImageNet-1 K数据集上获得了83.3%的Top-1准确率，88 M参数和15.2 GFLOPs。这种简单而有效的架构优于所有基于MLP的架构，并且与基于变压器的架构（例如，Swin Transformer），即使FLOPs略低。此外，AS-MLP也是第一个应用于下游任务（例如，目标检测和语义分割）。实验结果也令人印象深刻。我们提出的AS-MLP在COCO验证集上获得51.5 mAP，在ADE 20 K数据集上获得49.5 MS mIoU，与基于transformer的架构相比具有竞争力。我们的AS-MLP建立了一个强大的基于MLP的架构基线。代码可在https://github.com/svip-lab/AS-MLP上获得。
2022-03-17 cs.CV
KPConvX: Modernizing Kernel Point Convolution with Kernel Attention
Apple（苹果公司）；University of Toronto（多伦多大学）
本文提出KPConvX，通过核注意力缩放深度可分离卷积权重，结合现代架构与训练策略，在多个点云数据集上超越现有最先进方法。
2024-05-21 cs.CV
Towards Accurate Binary Neural Networks via Modeling Contextual Dependencies
Beihang University（北京航空航天大学）；SenseTime Group（商汤集团）；Nanyang Technological University（南洋理工大学）
现有的二值神经网络主要是对二值化函数进行局部卷积运算。然而，这种简单的位操作缺乏建模上下文依赖关系的能力，这对于学习视觉模型中的区分性深度表示至关重要。在这项工作中，我们通过提出新的二进制神经模块设计来解决这个问题，这使得BNN能够学习有效的上下文依赖关系。首先，我们提出了一个二进制多层感知器（MLP）块作为替代二进制卷积块直接建模上下文依赖。短距离和长距离特征依赖性都由二进制MLP建模，其中前者提供局部归纳偏差，后者打破了二进制卷积中有限的感受野。其次，为了提高具有上下文依赖性的二进制模型的鲁棒性，我们计算上下文动态嵌入以确定一般二进制卷积块中的二进制化阈值。有了我们的二进制MLP块和改进的二进制卷积，我们用显式上下文依赖模型构建了BNN，称为BCDNet。在标准的ImageNet-1 K分类基准测试中，BCDNet达到了72.3%的Top-1准确率，并且远远优于领先的二进制方法。特别是，拟议的BCDNet超过了最先进的ReActNet-A的2.9%的前1名的准确性与类似的操作。我们的代码可在https://github.com/Sense-GVT/BCDN上获得
2022-09-03 cs.CV
Analysis of Quantization on MLP-based Vision Models
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）
量化是一种广泛采用的模型压缩技术，它通过将神经网络中的浮点权重和激活转换为低位整数来获得有效的模型。量化已被证明在卷积神经网络和基于变换器的模型上工作良好。尽管这些模型很体面，但最近的研究表明，基于MLP的模型能够在从计算机视觉、NLP到3D点云的各种任务上实现相当的结果，同时由于并行性和网络简单性而实现更高的吞吐量。然而，正如我们在论文中所展示的，直接将量化应用于基于MLP的模型将导致显著的精度下降。根据我们的分析，两个主要问题导致了准确性差距：1）基于MLP的模型中的激活范围可能太大而无法量化，以及2）基于MLP的模型中的特定组件对量化敏感。因此，我们建议1）应用LayerNorm来控制激活的量化范围，2）利用有界激活函数，3）对激活应用百分位量化，4）使用我们改进的称为多令牌混合MLP的模块，以及5）对敏感操作应用线性非对称量化器。配备了上述技术，我们的Q-MLP模型可以在ImageNet上实现79.68%的准确度，8位均匀量化（模型大小30 MB）和78.47%的准确度，4位量化（15 MB）。
2022-09-14 cs.CV
Convolutional Gated MLP: Combining Convolutions & gMLP
据我们所知，这是第一篇将卷积引入门控多层感知器的论文，并为这种新型深度学习架构的实现做出了贡献。Google Brain于2021年5月推出了gMLP。微软于2021年3月在视觉Transformer中引入了卷积。受gMLP和CvT的启发，我们在gMLP中引入了卷积层。CvT结合了卷积和注意力的力量。我们的实现结合了最好的卷积学习和空间门控MLP。此外，本文可视化CgMLP如何学习。可视化展示了CgMLP如何从汽车轮廓等特征中学习。虽然注意力是深度学习最新进展的基础，但gMLP提出了一种不使用注意力计算的方法。在基于Transformer的方法中，需要使用大量的训练数据来学习大量的注意力矩阵。在gMLP中，通过较小数据集的迁移学习，对新任务进行微调可能具有挑战性。我们实现了CgMLP，并将其与CIFAR数据集上的gMLP进行了比较。实验结果表明，CgMLP的泛化能力，而gMLP往往急剧过拟合的训练数据。总之，本文提出了一种新的深度学习架构，并通过可视化展示了CgMLP的学习机制，这在文献中尚属首次。
2021-11-06 cs.AI cs.CV cs.LG
S$^2$-MLP: Spatial-Shift MLP Architecture for Vision
Baidu Research（百度研究院）
最近，视觉Transformer（ViT）及其后续工作放弃了卷积，并利用自注意力操作，获得了与CNN相当甚至更高的准确性。最近，MLP混合器放弃了卷积和自注意操作，提出了一种只包含MLP层的架构。为了实现跨贴片通信，在信道混合MLP的基础上，设计了一个附加的令牌混合MLP。它在训练超大规模数据集时取得了令人鼓舞的结果。但在中等规模的数据集（如ImageNet 1 K和ImageNet 21 K）上训练时，它无法实现与CNN和ViT同行一样出色的性能。MLP混合器性能的下降促使我们重新思考令牌混合MLP。我们发现，令牌混合MLP是一个变种的dependency卷积与全球接收领域和空间特定的配置。但是，全局接收场和空间特定性使得令牌混合MLP容易过拟合。在本文中，我们提出了一种新的纯MLP架构，空间移位MLP（S $^2$ -MLP）。与MLP混合器不同，我们的S $^2$ -MLP只包含通道混合MLP。我们利用空间位移操作进行补丁之间的通信。它有一个局部接收场，并且是空间不可知的。它是无参数的，计算效率高。在ImageNet-1 K数据集上训练时，所提出的S $^2$ -MLP获得了比MLP-Mixer更高的识别准确率。同时，S $^2$ -MLP在ImageNet-1 K数据集上实现了与ViT一样出色的性能，具有相当简单的架构和更少的FLOP和参数。
2021-06-23 cs.AI cs.CV cs.LG
Boosting Convolution with Efficient MLP-Permutation for Volumetric Medical Image Segmentation
Department of Computer Science and Engineering（计算机科学与工程系）；The Hong Kong University of Science and Technology（香港科学与技术大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（HKUST深圳-香港协同创新研究院）
提出PHNet混合网络，结合CNN与MLP，通过MLPP模块捕获长距离依赖并解决分辨率敏感性问题，在COVID-19-20和Synapse基准上以更低计算成本超越现有方法。
2025-05-26 cs.CV eess.IV
UNeXt: MLP-based Rapid Medical Image Segmentation Network
Johns Hopkins University（约翰斯·霍普金斯大学）
UNet及其最新扩展（如TransUNet）是近年来领先的医学图像分割方法。然而，这些网络不能有效地用于床旁应用中的快速图像分割，因为它们参数繁重，计算复杂且使用缓慢。为此，我们提出了UNeXt，这是一个基于卷积多层感知器（MLP）的图像分割网络。我们以一种有效的方式设计UNeXt，在潜伏阶段有一个早期的卷积阶段和一个MLP阶段。我们提出了一个标记化的MLP块，在这里我们有效地标记和投影卷积特征，并使用MLP来建模表示。为了进一步提高性能，我们建议在向MLP馈送的同时转移输入的通道，以便专注于学习局部依赖关系。在潜在空间中使用标记化的MLP减少了参数的数量和计算复杂度，同时能够产生更好的表示以帮助分割。该网络还包括各级编码器和解码器之间的跳过连接。我们在多个医学图像分割数据集上测试了UNeXt，结果表明，我们将参数数量减少了72倍，计算复杂度降低了68倍，推理速度提高了10倍，同时还获得了比最先进的医学图像分割架构更好的分割性能。代码可在https://github.com/jeya-maria-jose/UNeXt-pytorch上获得
2022-03-09 cs.CV eess.IV
HyperKAN: Kolmogorov-Arnold Networks make Hyperspectral Image Classificators Smarter
Samara National Research University（萨马拉国立研究大学）；Adyghe State University（阿迪格国立大学）
本文提出HyperKAN，用基于KAN的层替换七种高光谱分类网络中的线性层、卷积层及分类模块，在七个公开数据集上显著提升逐像素分类精度。
2024-09-06 cs.CV
SpiralMLP: A Lightweight Vision MLP Architecture
Kookree（库克瑞）
本文提出轻量级视觉架构SpiralMLP，用螺旋状可变形卷积层替代传统Token Mixing，通过局部与全局特征无缝集成，在多个基准上达到先进性能并保持线性复杂度。
2024-09-03 cs.CV
Image-to-Image MLP-mixer for Image Reconstruction
Technical University of Munich（慕尼黑工业大学）；Rice University（莱斯大学）
神经网络是解决图像重建问题（如去噪和压缩感知）的高效工具。迄今为止，用于图像重建的神经网络几乎完全是卷积的。最流行的架构是U-Net，这是一种具有多分辨率架构的卷积网络。在这项工作中，我们表明，一个简单的网络的基础上的多层感知器（MLP）混合器，使国家的最先进的图像重建性能没有卷积，没有多分辨率架构，只要训练集和网络的大小是适度的大。与原始MLP混合器类似，图像到图像MLP混合器仅基于对线性变换的图像块进行操作的MLP。相反，原来的MLP混合器，我们将结构保留图像补丁的相对位置。这对自然图像施加了一个感应偏置，这使得图像到图像MLP混合器能够基于比原始MLP混合器更少的示例来学习对图像进行降噪。此外，图像到图像MLP混合器需要更少的参数来实现与U-Net相同的去噪性能，并且其参数在图像分辨率中线性缩放，而不是像原始MLP混合器那样二次缩放。如果在适量的去噪示例上进行训练，图像到图像MLP混合器的性能略优于U-Net。它还优于为图像重建量身定制的视觉Transformer和经典的未经训练的方法，如BM 3D，使其成为图像重建问题的一个非常有效的工具。
2022-02-04 cs.CV cs.LG eess.IV
MLP-Mixer: An all-MLP Architecture for Vision
Google Research（谷歌研究院）
卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络，如视觉Transformer，也变得流行起来。在本文中，我们表明，虽然卷积和注意力都足以获得良好的性能，但它们都不是必要的。我们提出了MLP混合器，完全基于多层感知器（MLP）的架构。MLP混合器包含两种类型的层：一种是MLP独立应用于图像块（即“混合”每个位置的特征），另一种是MLP跨块应用（即“混合”空间信息）。当在大型数据集上训练时，或使用现代正则化方案时，MLP-Mixer在图像分类基准上获得了具有竞争力的分数，预训练和推理成本与最先进的模型相当。我们希望这些结果能在成熟的CNN和Transformers领域之外引发进一步的研究。
2021-06-11 cs.AI cs.CV cs.LG
A Task-driven Network for Mesh Classification and Semantic Part Segmentation
Shandong University（山东大学）；Nankai University（南开大学）；Qingdao University of Science and Technology（青岛科技大学）
本文提出Mesh-MLP，一种仅基于多层感知器的简单端到端网络，用于网格分类与语义部件分割，通过热核签名和二面角输入及层归一化，验证了全MLP架构的有效性。
2023-12-28 cs.CV cs.GR
Segmentation of Bleeding Regions in Wireless Capsule Endoscopy for Detection of Informative Frames
Isfahan University of Technology（伊斯法罕理工大学）；Seattle University（西雅图大学）；University of Michigan（密歇根大学）
无线胶囊式内窥镜（WCE）是诊断胃肠道疾病的有效手段。检测WCE视频中的信息场景可以减少传输视频的长度，并帮助诊断过程。在本文中，我们研究的问题简化的神经网络自动出血区域检测胶囊内窥镜设备。选择合适的颜色通道作为神经网络的输入，并分别使用多层感知器（MLP）和卷积神经网络（CNN）进行图像分类。CNN和MLP结构都被简化以减少计算操作的数量。使用DICE评分在WCE出血图像数据集上评估两个简化网络的性能。仿真结果表明，在MLP和CNN结构上应用简化方法显著减少了计算操作的数量，AUC大于0.97。尽管与简化的MLP相比，CNN表现更好，但简化的MLP以显著更少的计算操作来分割出血区域。考虑到具有简单的结构或更精确的模型的重要性，可以选择每个设计的结构用于胶囊内实施。
2018-08-23 cs.CV
Graph Neural Networks: A suitable Alternative to MLPs in Latent 3D Medical Image Classification?
Technical University of Munich（慕尼黑工业大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；King’s College London（伦敦国王学院）
本研究探讨图神经网络（GNN）作为3D医学图像分类中传统MLP预测头的替代方案，利用DINOv2预训练ViT提取切片特征构建图，实验证明GNN在分类性能和运行时间上均显著优于MLP。
2024-07-24 cs.CV
Spatio-temporal MLP-graph network for 3D human pose estimation
Concordia University（康考迪亚大学）
针对现有图卷积方法忽略时间相关性、难以处理遮挡与模糊的问题，提出结合关节混合MLP与加权雅可比图滤波的时空网络，在两个基准上超越最新方法。
2023-08-29 cs.CV
KAN-Mixers: a new deep learning architecture for image classification
Maringá State University（马林加州立大学）；Paraná Federal University（巴拉那联邦大学）
本文提出KAN-Mixers架构，用KAN替代MLP作为mixer主层，在Fashion-MNIST和CIFAR-10图像分类上分别取得0.9030和0.6980的平均准确率，优于MLP、MLP-Mixer和KAN模型。
2025-03-11 cs.AI cs.CV
Exploring Synergistic Ensemble Learning: Uniting CNNs, MLP-Mixers, and Vision Transformers to Enhance Image Classification
Michigan State University（密歇根州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Islamic University of Technology（伊斯兰科技大学）；Motional（莫申公司）
本研究针对图像分类中不同架构的互补性问题，提出保留CNN、MLP-Mixer和视觉Transformer各自完整性并通过集成技术组合的方法，所构建的集成框架性能优于相似架构集成，在ImageNet上超越现有单模型基准且延迟更低。
2025-04-12 cs.CV
3DPX: Progressive 2D-to-3D Oral Image Reconstruction with Hybrid MLP-CNN Networks
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）
本文提出3DPX渐进式混合MLP-CNN金字塔网络，通过逐级引导重建策略并结合MLP的长程依赖建模能力，解决2D全景X射线到3D口腔结构重建中深度信息缺失问题，在重建质量和下游牙齿角度错位分类任务上均优于现有方法。
2024-08-02 cs.AI cs.CV eess.IV
ALOFT: A Lightweight MLP-like Architecture with Dynamic Low-frequency Transform for Domain Generalization
Nanjing University（南京大学）；Southeast University（东南大学）
本文提出轻量级类MLP架构ALOFT，通过动态低频频谱变换扰动局部纹理并保留全局结构，以少量参数在领域泛化任务上超越SOTA CNN方法。
2023-03-31 cs.CV cs.LG
Exploring Corruption Robustness: Inductive Biases in Vision Transformers and MLP-Mixers
University of Pittsburgh（匹兹堡大学）
最近，为了解决卷积神经网络中的一些普遍弱点，已经开发了视觉Transformer和基于MLP的模型。由于Transformers与自注意力机制一起用于该领域的新颖性，因此仍然不清楚这些架构对损坏的鲁棒程度。尽管一些作品提出，数据增强仍然是必不可少的模型是强大的腐败，我们建议探索的影响，该架构对腐败的鲁棒性。我们发现，视觉Transformer架构本质上是更强大的腐败比ResNet-50和MLP混合器。我们还发现，参数比ResNet-50少5倍的视觉Transformer具有更多的形状偏差。我们的代码可以复制。
2021-07-03 cs.CV cs.LG
Fast Point Voxel Convolution Neural Network with Selective Feature Fusion for Point Cloud Semantic Segmentation
University of Missouri（密苏里大学）
我们提出了一种新的轻量级卷积神经网络的点云分析。与目前许多通过下采样点云来增加感受野的CNN相比，我们的方法直接对整个点集进行操作而无需采样，并且有效地实现了良好的性能。我们的网络由点体素卷积（PVC）层作为构建块组成。每一层都有两个平行的分支，即体素分支和点分支。对于体素分支，我们聚集非空体素中心的局部特征，以减少体素化引起的几何信息丢失，然后应用体积卷积来增强局部邻域几何编码。对于点分支，我们使用多层感知器（MLP）来提取精细详细的逐点特征。来自这两个分支的输出通过特征选择模块自适应地融合。此外，我们监督每个PVC层的输出，以学习不同层次的语义信息。最终预测是通过平均所有中间预测来进行的。我们的经验表明，我们的方法是能够实现可比的结果，同时是快速和内存效率。我们评估我们的方法对流行的点云数据集的对象分类和语义分割任务。
2021-09-23 cs.CV
Mixing-Denoising Generalizable Occupancy Networks
Inria（法国国家信息与自动化研究所）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息与自动化研究所）；M2S（运动、健康与社会实验室）
提出首个仅基于MLP的局部条件点云隐式形状重建网络，通过引入去噪辅助正则化约束假设空间，在仅用一半参数下超越最先进卷积方法。
2023-11-20 cs.AI cs.CV
CoC-GAN: Employing Context Cluster for Unveiling a New Pathway in Image Generation
Beijing University of Technology（北京工业大学）
本研究提出CoC-GAN模型，摒弃传统卷积与注意力机制，以图像转点云的视角，结合上下文聚类、MLP及点增量器模块实现图像生成，兼具优异性能与可解释性，为图像生成领域提供新路径。
2023-08-23 cs.CV
Container: Context Aggregation Network
Shanghai AI Laboratory（上海人工智能实验室）；CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
卷积神经网络（CNN）在计算机视觉中无处不在，具有无数有效和高效的变体。最近，最初在自然语言处理中引入的Transformers在计算机视觉中越来越多地被采用。虽然早期采用者继续使用CNN骨干，但最新的网络是端到端的无CNN Transformer解决方案。最近一项令人惊讶的发现表明，一个简单的基于MLP的解决方案，没有任何传统的卷积或Transformer组件，可以产生有效的视觉表示。虽然CNN，Transformers和MLP混合器可以被认为是完全不同的架构，但我们提供了一个统一的视图，表明它们实际上是在神经网络堆栈中聚合空间上下文的更一般方法的特殊情况。我们提出了\model（CONText AggregatIon NEtwoRk），这是一种用于多头上下文聚合的通用构建块，可以利用远程交互\emph{a la} Transformers，同时仍然利用局部卷积运算的归纳偏差，从而加快收敛速度，这在CNN中很常见。与基于Transformer的方法相比，这些方法不能很好地扩展到依赖于较大输入图像分辨率的下游任务，我们的高效网络，名为\modellight，可以用于目标检测和实例分割网络，如DETR，RetinaNet和Mask-RCNN，以获得令人印象深刻的检测mAP 38.9，43.8，45.1和掩码mAP 41.3，与具有可比计算和参数大小的ResNet-50主干相比，分别提…
2021-10-18 cs.CV
Multi-view Multi-label Anomaly Network Traffic Classification based on MLP-Mixer Neural Network
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对现有CNN方法忽略流量全局信息关联的问题，提出基于MLP-Mixer的多视图多标签异常网络流量分类方法，将包头、包体与流特征作为多视图输入并利用场景相关性提升性能，在三个公开数据集上表现优越。
2023-09-09 cs.AI cs.CV cs.LG
MoCoViT: Mobile Convolutional Vision Transformer
最近，Transformer网络在各种视觉任务上取得了令人印象深刻的成果。然而，它们中的大多数在计算上是昂贵的，并且不适合于真实世界的移动应用。在这项工作中，我们提出了移动卷积视觉Transformer（MoCoViT），它通过将Transformer引入移动卷积网络来利用这两种架构的优势，从而提高了性能和效率。与最近关于视觉Transformer的工作不同，MoCoViT中的移动Transformer模块是为移动设备精心设计的，非常轻便，通过两个主要修改完成：移动自注意（MoSA）模块和移动前馈网络（MoFFN）。MoSA通过分支共享方案简化了注意力地图的计算，而MoFFN在Transformer中充当MLP的移动版本，进一步大幅减少了计算量。综合实验验证了我们提出的MoCoViT系列在各种视觉任务上的表现优于最先进的便携式CNN和Transformer神经架构。在ImageNet分类上，它在1.47亿FLOPs时达到了74.5%的top-1准确率，比MobileNetV 3提高了1.2%，计算量更少。在COCO目标检测任务上，MoCoViT在RetinaNet框架中的性能优于GhostNet 2.1 AP。
2022-05-26 cs.CV
Identifying Spatial Relations in Images using Convolutional Neural Networks
UMBC（马里兰大学巴尔的摩县分校）
构建大规模知识图谱的传统方法通常依赖于从非结构化文本（例如Dbpedia）中提取信息（实体、它们的属性以及它们之间的关系）。卷积神经网络（CNN）的最新进展使我们能够将重点转移到从图像中学习实体和关系，因为它们构建了只需很少或不需要图像预处理的强大模型。在本文中，我们提出了一种识别和提取空间关系的方法（例如，女孩站在桌子后面）使用CNN的图像。我们的研究解决了两个具体的挑战：深入了解网络如何学习空间关系，以及图像的哪些部分用于预测这些关系。我们使用预训练的网络VGGNet从图像中提取特征，并在一组合成图像和sun09数据集上训练多层感知器（MLP）以提取空间关系。MLP预测空间关系，而无需对象周围的限界框或图像中描绘关系的空间。为了理解空间关系在网络中的表现方式，我们在图像上叠加了一个热图，以显示网络认为重要的区域。此外，我们分析的MLP显示一致的节点组的激活和预测的空间关系之间的关系。我们展示了这些群体的损失如何影响网络识别关系的能力。
2017-06-13 cs.AI cs.CV cs.NE
PU-EdgeFormer: Edge Transformer for Dense Prediction in Point Cloud Upsampling
Chung-Ang University（中央大学）
针对现有基于MLP的点云上采样方法难以同时学习局部与全局结构的问题，提出结合图卷积与Transformer的PU-EdgeFormer方法，构建含EdgeConv图卷积和多头自注意力的EdgeFormer单元，实验证明其主客观性能均优于现有最优方法。
2023-05-02 cs.CV
MM-UNet: A Mixed MLP Architecture for Improved Ophthalmic Image Segmentation
Research Institute of Trustworthy Autonomous Systems（可信自主系统研究院）；Southern University of Science and Technology（南方科技大学）；TOMEY Corporation（多美公司）；School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机学院）
针对现有眼科图像分割模型的局限，提出混合MLP架构MM-UNet，通过多尺度MLP模块实现全局与局部特征交互，在两类眼科图像数据集上均优于现有最优分割网络。
2024-08-16 cs.AI cs.CV
Adversarial Robustness Comparison of Vision Transformer and MLP-Mixer to CNNs
卷积神经网络（CNN）在过去几年中已经成为计算机视觉应用中事实上的黄金标准。然而，最近，新的模型架构已经提出了挑战现状。视觉Transformer（ViT）仅依赖于注意力模块，而MLP混合器架构用多层感知器（MLP）代替自注意力模块。尽管CNN取得了巨大的成功，但众所周知，它容易受到对抗攻击的攻击，这对安全敏感的应用程序造成了严重的担忧。因此，社区必须知道新提出的ViT和MLP混合器是否也容易受到对抗攻击的攻击。为此，我们根据经验评估了它们在几种对抗攻击设置下的对抗鲁棒性，并将它们与广泛使用的CNN进行基准测试。总的来说，我们发现这两种架构，特别是ViT，比它们的CNN模型更健壮。使用一个玩具例子，我们还提供了经验证据，证明CNN的较低对抗鲁棒性可以部分归因于其平移不变特性。我们的频率分析表明，与CNN相比，最强大的ViT架构往往更依赖于低频特征。此外，我们有一个有趣的发现，MLP混合器非常容易受到普遍对抗性扰动的影响。
2021-10-11 cs.CR cs.CV cs.LG
PointNet with KAN versus PointNet with MLP for 3D Classification and Segmentation of Point Sets
Cranberry-Lemon University（Cranberry-Lemon 大学）；University of the Witwatersrand（威特沃特斯兰大学）；Stanford University（斯坦福大学）
该研究首次将KAN集成到PointNet中提出PointNet-KAN，使用雅可比等多项式构建KAN层并保留PointNet排列不变性，实验证明其在更浅架构下仍能在三维点云分类分割任务上取得与MLP版PointNet相当的性能，为KAN在点云领域的应用提供基础。
2025-06-11 cs.CV cs.LG
STM-UNet: An Efficient U-shaped Architecture Based on Swin Transformer and Multi-scale MLP for Medical Image Segmentation
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；Baotou Medical College（包头医学院）
提出 STM-UNet，通过残差式 Swin Transformer 跳跃连接和瓶颈层 PCAS-MLP 增强全局与多尺度建模，在 ISIC 2016/2018 上以较低复杂度取得优于现有方法的分割性能。
2023-04-25 cs.CV eess.IV
Back to MLP: A Simple Baseline for Human Motion Prediction
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；Tencent AI Lab（腾讯人工智能实验室）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙高等科学研究理事会-加泰罗尼亚理工大学机器人与工业信息研究所）
本文解决了人体运动预测的问题，包括从历史上观察到的序列预测未来的身体构成。最先进的方法提供了良好的结果，但是，它们依赖于任意复杂度的深度学习架构，例如递归神经网络（RNN），Transformers或图卷积网络（GCN），通常需要多个训练阶段和超过200万个参数。在本文中，我们表明，结合一系列标准的做法，如应用离散余弦变换（DCT），预测关节的残余位移和优化速度作为辅助损失，一个轻量级的网络基于多层感知器（MLP）只有14万个参数可以超越最先进的性能。对Human3.6M，AMASS和3DPW数据集的详尽评估表明，我们的方法，名为siMLPe，始终优于所有其他方法。我们希望我们的简单方法可以作为社区的一个强有力的基线，并允许重新思考人体运动预测问题。该代码可在\url{https://github.com/dulucas/siMLPe}上公开获得。
2022-10-05 cs.AI cs.CV
GraphMLP: A Graph MLP-Like Architecture for 3D Human Pose Estimation
Peking University（北京大学）；University of Trento（特伦托大学）
针对现有MLP模型在3D人体姿态估计中难以捕捉局部细节且缺乏人体先验的问题，提出结合MLP与GCN的GraphMLP架构，实现全局-局部-图结构统一建模，并高效扩展至视频序列，在多个数据集上达到SOTA。
2024-09-21 cs.AI cs.CV cs.LG
Rethinking Network Design and Local Geometry in Point Cloud: A Simple Residual MLP Framework
Northeastern University（东北大学）；Columbia University（哥伦比亚大学）
由于点云数据的不规则性和数据结构的无序性，使得点云分析具有挑战性。为了捕获3D几何形状，先前的工作主要依赖于使用卷积、图形或注意力机制来探索复杂的局部几何提取器。然而，这些方法在推理过程中会产生不利的延迟，并且在过去几年中性能饱和。在本文中，我们提出了一个新的角度对这项任务。我们注意到，详细的局部几何信息可能不是点云分析的关键-我们引入了一个纯残差MLP网络，称为PointMLP，它没有集成复杂的局部几何提取器，但仍然表现得非常有竞争力。配备了一个轻量级的几何仿射模块，PointMLP在多个数据集上提供了新的最先进的技术。在真实世界的ScanObjectNN数据集上，我们的方法甚至超过了3.3%的准确率。我们强调，PointMLP实现这种强大的性能，没有任何复杂的操作，从而导致优越的推理速度。与最新的CurveNet相比，PointMLP的训练速度快2倍，测试速度快7倍，并且在ModelNet 40基准测试中更准确。我们希望我们的PointMLP可以帮助社区更好地理解点云分析。该代码可在https://github.com/ma-xu/pointMLP-pytorch上获得。
2022-11-29 cs.AI cs.CV
MLP-SRGAN: A Single-Dimension Super Resolution GAN using MLP-Mixer
Toronto Metropolitan University（多伦多都会大学）；University of Toronto（多伦多大学）；Institute of Biomedical Engineering, Science and Technology (iBEST)（生物医学工程科学与技术研究所）
本研究提出结合MLP-Mixer与卷积层的单维度超分辨率GAN架构MLP-SRGAN，经多数据集验证，其在图像质量、参数规模和运算效率上均优于现有方法。
2023-03-11 cs.AI cs.CV cs.LG
RaftMLP: How Much Can Be Done Without Attention and with Less Spatial Locality?
Rikkyo University（立教大学）；AnyTech Co., Ltd.（AnyTech株式会社）
在过去的十年里，CNN一直在计算机视觉领域占据着至高无上的地位，但最近，Transformer正在崛起。然而，自注意的二次计算成本已经成为实际应用中的一个严重问题。在这种背景下，已经有很多关于没有CNN和自我关注的架构的研究。特别是，MLP混合器是一种使用MLP设计的简单架构，精度可与视觉Transformer媲美。然而，这种架构中唯一的归纳偏差是令牌的嵌入。这使得将非卷积（或非局部）电感偏置纳入架构的可能性成为可能，因此我们使用了两个简单的想法将电感偏置纳入MLP混频器，同时利用其捕获全局相关性的能力。一种方法是垂直和水平地划分令牌混合块。另一种方法是在令牌混合的一些通道中使空间相关性更密集。通过这种方法，我们能够提高MLP混频器的精度，同时降低其参数和计算复杂性。RaftMLP-S小型模型在每次计算的参数和效率方面与最先进的基于全局MLP的模型相当。此外，我们还利用双三次插值解决了全局MLP模型的固定输入图像分辨率问题。我们证明了这些模型可以作为架构的骨干应用于下游任务，如目标检测。然而，它没有显著的性能，并提到需要为基于全局MLP的模型的下游任务提供特定于MLP的架构。PyTorch版本的源代码可在\url{https://github.com/okojoalg/raft-mlp}上获得。
2023-01-12 cs.AI cs.CV cs.LG
iMixer: hierarchical Hopfield network implies an invertible, implicit and iterative MLP-Mixer
CyberAgent（赛博agent公司）；Rikkyo University（立教大学）
本文将层次化 Hopfield 网络与 MLP-Mixer 的对应关系推广为 iMixer 模型，其具有可逆、隐式且迭代的混合模块，并在图像分类任务上取得与 vanilla MLP-Mixer 相当或更好的性能。
2024-04-01 cond-mat.dis-nn cs.CV cs.LG
BrainNetMLP: An Efficient and Effective Baseline for Functional Brain Network Classification
Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院，清华大学，中国）
本文提出纯MLP方法BrainNetMLP，通过双分支结构融合空间连接与频谱信息，在HCP和ABIDE数据集上以更少参数实现功能性脑网络分类的最先进性能。
2025-07-21 cs.CV q-bio.NC
