Recognition of Harmful Phytoplankton from Microscopic Images using Deep Learning
Al Akhawayn University（阿赫韦因大学）；University of Granada（格拉纳达大学）
本研究评估多种CNN模型及迁移学习方法，用于显微图像中有害浮游植物分类，ResNet-50微调达到96.97%准确率，但难以区分形态相似类型。
2024-09-19 cs.AI cs.CV
Exploiting deep residual networks for human action recognition from skeletal data
Aparnix；University Carlos III de Madrid（马德里卡洛斯三世大学）；Queen Mary University of London（伦敦玛丽女王大学）
计算机视觉社区目前正专注于解决真实视频中的动作识别问题，这些视频包含数千个样本，具有许多挑战。在这个过程中，深度卷积神经网络（D-CNN）在推进各种基于视觉的动作识别系统的最新技术方面发挥了重要作用。最近，在称为残差网络（ResNet）的单一架构中引入残差连接与更传统的CNN模型，显示出令人印象深刻的性能和图像识别任务的巨大潜力。在本文中，我们使用深度传感器提供的骨骼数据研究并应用深度ResNets进行人体动作识别。首先将骨骼序列中人体关节的三维坐标转换为基于图像的表示，并存储为RGB图像。这些彩色图像能够从骨架序列中捕获3D运动的时空演变，并且可以通过D-CNN有效地学习。然后，我们提出了一种基于ResNets的新型深度学习架构，从获得的基于颜色的表示中学习特征，并将其分类为动作类。该方法在三个具有挑战性的基准数据集上进行了评估，包括MSR Action 3D，KARD和NTU-RGB+D数据集。实验结果表明，我们的方法实现了所有这些基准的最先进的性能，同时需要更少的计算资源。特别是，所提出的方法在MSR Action 3D数据集上超过了以前的方法3.4%，在KARD数据集上超过了0.67%，在NTU-RGB+D数据集上超过了2.5%。
2018-03-21 cs.CV
Squeeze-and-Excitation on Spatial and Temporal Deep Feature Space for Action Recognition
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology（北京先进信息科学与网络技术重点实验室）
空间和时间特征是人体动作识别的两个关键和互补的信息。为了充分利用人体动作的帧内空间特性和帧间时间关系，提出了一种基于压缩激励的长期递归卷积网络（SE-LRCN）的人体动作识别方法。挤压和激励操作用于实现特征重新校准。在SE-LRCN中，采用挤压和激励ResNet-34（SE-ResNet-34）网络来提取空间特征，以增强像素粒度的特征通道的依赖性和重要性。我们还提出了挤压和激励长短期记忆（SE-LSTM）网络来建模时间关系，并增强帧粒度特征通道的依赖性和重要性。我们评估了两个具有挑战性的基准，HMDB 51和UCF 101，和建议的SE-LRCN实现了竞争力的结果与国家的最先进的。
2018-07-20 cs.CV
Multi-Level Recurrent Residual Networks for Action Recognition
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）
大多数用于动作识别的现有卷积神经网络（CNN）要么难以优化，要么未充分利用关键的时间信息。受递归模型在序列相关任务中不断取得突破的启发，我们提出了一种新的多级递归残差网络（MRRN），它包含三个识别流。每个流由一个残差网络（ResNets）和一个递归模型组成。该模型通过采用替代ResNet从静态帧和堆叠的简单递归单元（SRU）中学习空间表示来捕获时空信息，以模拟时间动态。三个不同级别的流学习的低，中，高级别表示独立的融合通过计算其softmax分数的加权平均值，以获得视频的互补表示。与以前以时间复杂度和空间复杂度为代价来提高性能的模型不同，我们的模型通过采用快捷连接来降低复杂度，并以更高的效率进行端到端训练。与CNN-RNN框架基线相比，MRRN显示出显着的性能改进，并获得了与最先进技术相当的性能，在HMDB-51数据集上达到51.3%，在UCF-101数据集上达到81.9%，尽管没有额外的数据。
2018-01-03 cs.CV
Adaptive Recursive Circle Framework for Fine-grained Action Recognition
Beijing Institute of Technology（北京理工大学）；University of Rochester（罗切斯特大学）
如何对视频中的细粒度时空动态特性进行建模一直是动作识别的一个挑战性问题。它要求对细微的、抽象的运动学习深刻而丰富的特征，并具有优越的区别性。大多数现有的方法以纯前馈方式生成层的特征，其中信息在一个方向上从输入移动到输出。它们依赖于堆叠更多的层来获得更强大的功能，这带来了额外的不可忽视的开销。在本文中，我们提出了一个自适应递归圆（ARC）框架，一个细粒度的装饰纯前馈层。它继承了原始层的操作符和参数，但在使用这些操作符和参数方面略有不同。具体来说，层的输入被视为一个不断发展的状态，其更新与特征生成交替进行。在每个递归步骤中，输入状态被先前生成的特征丰富，并且特征生成是用新更新的输入状态进行的。我们希望ARC框架可以通过以低成本引入深度细化的特征和多尺度感受野来促进细粒度的动作识别。在几个基准上观察到前馈基线的显著改进。例如，配备ARC的TSM-ResNet 18在Something-Something V1和Diving 48上的表现优于TSM-ResNet 50，FLOP减少48%，模型参数减少52%。
2021-07-25 cs.CV
Learning and Recognizing Human Action from Skeleton Movement with Deep Residual Neural Networks
University Carlos III Madrid（马德里卡洛斯三世大学）
人体动作自动识别是视频监控、人机接口、视频检索等人工智能系统中不可或缺的一部分。尽管取得了很大的进展，但在计算机视觉中，识别未知视频中的动作仍然是一项具有挑战性的任务。最近，深度学习算法在许多与视觉相关的识别任务中证明了其巨大的潜力。在本文中，我们提出使用深度残差神经网络（ResNets）从Kinect传感器提供的骨架数据中学习和识别人体动作。首先，将人体关节坐标转换为三维数组并保存在RGB图像空间中。设计了五种不同的基于ResNet的深度学习模型来提取图像特征并将其分类。在两个公开的视频数据集上进行了包含各种挑战的人体动作识别实验。实验结果表明，与现有方法相比，该方法具有最佳的性能。
2018-03-21 cs.CV
3D ResNet with Ranking Loss Function for Abnormal Activity Detection in Videos
Gwangju Institute of Science and Technology（光州科学技术院）
异常活动检测是计算机视觉领域中最具挑战性的任务之一。这项研究的动机是最近的最先进的异常活动检测工作，它利用异常和正常的视频学习异常的帮助下，多实例学习，通过提供视频级信息的数据。在没有时间注释的情况下，这样的模型在检测异常时容易给出错误警报。出于这个原因，在本文中，我们专注于在执行异常活动检测任务的同时最大限度地减少误报率的任务。这些假警报的缓解和视频动作识别任务中3D深度神经网络的最新进展共同激励我们在我们提出的方法中利用3D ResNet，这有助于从视频中提取时空特征。然后，使用这些特征和深度多实例学习以及提出的排名损失，我们的模型学习预测视频片段级别的异常分数。因此，与其他最先进的方法相比，我们提出的方法3D深度多实例学习与ResNet（MILR）以及新提出的排名损失函数在UCF-Crime基准数据集上实现了最佳性能。在UCF-Crime数据集上证明了该方法的有效性。
2020-02-04 cs.CV cs.LG eess.IV
Application of deep learning for livestock behaviour recognition: A systematic literature review
Robert Gordon University（罗伯特戈登大学）；Loughborough University（拉夫堡大学）；Manchester Metropolitan University（曼彻斯特城市大学）；University of Nottingham（诺丁汉大学）
该系统性文献综述回顾了44篇高质量研究，总结了CNN、YOLO等深度学习模型在解决13类畜牧行为识别问题中的应用、性能评估、面临的挑战及未来研究方向。
2023-10-20 cs.AI cs.CV
Testing the Efficient Network TRaining (ENTR) Hypothesis: initially reducing training image size makes Convolutional Neural Network training for image recognition tasks more efficient
University of Göttingen（哥廷根大学）；University of Siegen（锡根大学）
用于图像识别任务的卷积神经网络（CNN）在可用架构以及如何基于大型计算基础设施和具有数百万图像的标准数据集训练网络方面取得了快速进展。相比之下，例如，小型设备和免费云GPU的性能和时间约束需要有效的网络训练（即，在尽可能短的推理时间内获得最高的准确性），通常在小数据集上。在这里，我们假设在训练过程中最初减小图像大小会使训练过程更有效，因为对小图像进行预成形权重，然后在较大图像中使用这些权重会减少初始网络参数和总推理时间。我们通过使用免费的云GPU在三个小数据集（钢铁微观结构，蜜蜂图像和地理航空图像）上训练预训练的残差网络（ResNet）模型（ResNet 18，34和50）来测试这种有效网络训练（ENTR）假设。基于i）不，ii）逐渐或iii）在训练过程中一步增加图像大小的三种训练方案，我们表明，最初减少图像大小可以在数据集和网络中一致地提高训练效率。我们解释这些结果的正则化理论的框架内机械。对ENTR假设的支持是一个重要的贡献，因为实际应用需要提高图像识别任务的网络效率。在未来，我们将很高兴看到ENTR假设如何适用于ImageNet或CIFAR等大型标准数据集，以更好地理解其潜在机制，以及这些结果如何与结构学习等其他领域进行比较。
2018-07-30 cs.AI cs.CV
Spatial-Temporal Alignment Network for Action Recognition and Detection
Carnegie Mellon University（卡内基梅隆大学）；Google Cloud AI（谷歌云人工智能）
本文研究了如何引入视点不变的特征表示，可以帮助动作识别和检测。尽管在过去的十年里，我们见证了动作识别的巨大进步，但如何有效地对大规模数据集的几何变化进行建模仍然是一个具有挑战性和有趣的问题。本文提出了一种新的时空对齐网络（STAN），旨在学习几何不变表示的动作识别和动作检测。STAN模型是非常轻量级和通用的，可以插入到现有的动作识别模型中，如ResNet 3D和SlowFast，额外的计算成本非常低。我们在AVA，Kinetics-400，AVA-Kinetics，Charades和Charades-Ego数据集上广泛测试了我们的STAN模型。实验结果表明，STAN模型在动作检测和动作识别任务中都能持续提高技术水平。我们将发布我们的数据、模型和代码。
2020-12-04 cs.CV
$A^2$-Nets: Double Attention Networks
National University of Singapore（新加坡国立大学）；Facebook Research（脸书研究院）；Qihoo 360 AI Institute（奇虎360人工智能研究院）
学习捕捉远程关系是图像/视频识别的基础。现有的CNN模型通常依赖于增加深度来对这种关系进行建模，这是非常低效的。在这项工作中，我们提出了“双注意力块”，一种新的组件，从输入图像/视频的整个时空空间中聚合和传播信息丰富的全局特征，使后续的卷积层能够有效地访问整个空间的特征。该组件设计了一个双注意力机制，在两个步骤中，其中第一步收集功能从整个空间到一个紧凑的集合，通过二阶注意池和第二步自适应地选择和分配功能，通过另一个注意力的每个位置。所提出的双注意块易于采用，并且可以方便地插入到现有的深度神经网络中。我们进行了广泛的消融研究和实验的图像和视频识别任务，以评估其性能。在图像识别任务中，配备了我们的双注意力块的ResNet-50在ImageNet-1 k数据集上的性能优于更大的ResNet-152架构，参数数量减少了40%以上，FLOP也更少。在动作识别任务上，我们提出的模型在Kinetics和UCF-101数据集上实现了最先进的结果，效率明显高于最近的作品。
2018-10-27 cs.CV
An Action Recognition network for specific target based on rMC and RPN
Air Force Engineering University（空军工程大学）
传统的动作识别方法对操作者没有针对性，当视频中有其他动作时，识别结果容易受到干扰。本文提出了一种基于混合卷积resnet和RPN的网络。在UCF-101数据集上对rMC进行了测试，并与R3 D方法进行了比较。结果表明，该方法的正确率达到71.07%.同时，在我们的手势和身体姿势数据集的特定目标的动作识别网络进行了测试。仿真结果表明，该系统运行速度达到了200 FPS。最后，通过引入回归块对模型进行了改进，并取得了较好的效果，显示了该模型的巨大潜力。
2019-06-19 cs.CV
Can An Image Classifier Suffice For Action Recognition?
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
我们探索了一个新的视角视频理解铸造的视频识别问题作为一个图像识别任务。我们的方法将输入的视频帧重新排列成超级图像，这允许以与图像分类完全相同的方式直接训练图像分类器来完成动作识别的任务。有了这样一个简单的想法，我们表明，基于变换的图像分类器本身就足以进行动作识别。特别是，我们的方法在包括Kinetics 400，Moments In Time，Something-Something V2（SSV 2），Jester和Diving 48在内的几个公共数据集上对SOTA方法表现出了强大且有前途的性能。我们还对计算机视觉中流行的ResNet图像分类器进行了实验，以进一步验证我们的想法。Kinetics 400和SSV 2的结果与一些基于时空建模的性能最好的CNN方法相当。我们的源代码和模型可以在https://github.com/IBM/sifar-pytorch上找到。
2022-04-25 cs.CV
Inertial Sensor Data To Image Encoding For Human Action Recognition
卷积神经网络（CNN）是计算机视觉领域中成功的深度学习模型。为了最大限度地发挥CNN模型在惯性传感器数据人体动作识别中的优势，本文采用4种空间域方法将惯性传感器数据转换为活动图像，并将其应用于一种新的融合框架中。这四种类型的活动图像是信号图像（SI），Gramian角场（GAF）图像，马尔可夫转移场（MTF）图像和递归图（RP）图像。此外，为了创建一个多模态融合框架，并利用活动图像，我们使每种类型的活动图像的多模态卷积与两个空间域滤波器：Prewitt滤波器和High-boost滤波器。Resnet-18是一种CNN模型，用于从多模态中学习深度特征。从每个ReNet的最后一个池层中提取学习特征，然后通过基于典型相关的融合（CCF）进行融合，以提高人体动作识别的准确性。这些高度信息化的特征被用作多类支持向量机（SVM）的输入。三个公开的惯性数据集上的实验结果表明，所提出的方法优于当前国家的最先进的。
2021-05-28 cs.CV cs.HC cs.LG
Focal Loss based Residual Convolutional Neural Network for Speech Emotion Recognition
Samsung R&D Institute India – Bangalore（三星印度研发研究院（班加罗尔））；University of Southern California（南加州大学）
针对语音情感识别问题，本文提出基于语谱图、MFCCs等语音特征，结合焦点损失训练的残差卷积神经网络，通过聚焦难例优化训练，提升情感识别效果。
2019-06-11 cs.AI cs.LG cs.SD
Nepali Sign Language Characters Recognition: Dataset Development and Deep Learning Approaches
Thapathali Campus, IOE, TU（特里布万大学工程学院塔帕塔利校区）；Kathmandu Engineering College（加德满都工程学院）
针对尼泊尔手语数据集稀缺问题，本研究构建了首个包含36类手势的基准数据集，并微调MobileNetV2和ResNet50模型实现高精度字符识别，验证了深度学习在低资源手语识别中的有效性。
2025-10-13 cs.AI cs.CV
A Cross-Residual Learning for Image Recognition
ResNets及其变体在图像识别的各个领域中发挥着重要作用。本文给出了ResNets的另一种变体，一种称为C-ResNets的交叉残差学习网络，它比ResNets具有更少的计算量和参数。C-ResNets通过密集跳线增加模块之间的信息交互，丰富跳线的作用。此外，对跳线和通道数的一些精心设计可以进一步减少C-ResNets的资源消耗，提高其分类性能。为了测试C-ResNets的有效性，我们在实验中使用与微调ResNets相同的超参数设置。我们在数据集MNIST，FashionMnist，CIFAR-10，CIFAR-100，CALTECH-101和SVHN上测试了我们的C-ResNets。与微调后的ResNets相比，C-ResNets不仅保持了分类性能，而且大大减少了计算量和参数，大大节省了GPU和GPU内存资源的利用率。因此，我们的C-ResNets在各种情况下都是ResNets的竞争力和可行的替代品。代码可在https://github.com/liangjunhello/C-ResNet上获得
2022-11-22 cs.CV
Skeleton based action recognition using translation-scale invariant image mapping and multi-scale deep cnn
Northwestern Polytechnical University（西北工业大学）
提出了一种基于图像分类的视频动作识别方法。首先，提出了一种与数据集无关的骨架-尺度不变图像映射方法，将骨架视频转换为彩色图像，称为骨架-图像。其次，提出了一种多尺度深度卷积神经网络（CNN）架构，该架构可以在强大的预训练CNN上构建和微调，例如，AlexNet、VGGNet、ResNet等..尽管非线性图像与自然图像有很大的不同，但微调策略仍然有效。最后，我们证明了我们的方法也可以很好地工作在2D骨架视频数据。我们在流行的基准数据集上实现了最先进的结果，例如NTU RGB+D，UTD-MHAD，MSRC-12和G3 D。特别是在NTU RGB+D，UTD-MHAD和MSRC-12数据集上，我们的方法在很大程度上优于其他方法，这证明了所提出的方法的有效性。
2017-06-13 cs.CV
Spatio-Temporal FAST 3D Convolutions for Human Action Recognition
Utrecht University（乌得勒支大学）
视频输入的有效处理对于识别诸如人类动作之类的时间变化事件是必不可少的。由于水平或垂直方向上的动作通常具有独特的时间特性，我们为具有视频输入的CNN架构引入了一种新的卷积块。我们提出的部分相邻空间和时间（FAST）3D卷积是常规3D卷积的自然分解。每个卷积块由三个顺序卷积操作组成：2D空间卷积，然后分别在水平和垂直方向上进行时空卷积。此外，我们还引入了一个FAST变体，它可以并行处理水平和垂直运动。在具有ResNet架构的基准动作识别数据集UCF-101和HMDB-51上进行的实验表明，FAST 3D卷积块的性能比传统3D卷积一致提高。较低的验证损失表明更好的泛化能力，特别是对于更深的网络。我们还评估了具有类似内存要求的CNN架构的性能，这些架构基于双流网络或3D卷积块。具有FAST 3D卷积的DenseNet-121表现最好，进一步证明了解耦时空卷积的优点。
2019-10-22 cs.CV
STM: SpatioTemporal and Motion Encoding for Action Recognition
Zhejiang University（浙江大学）；SenseTime Group Limited（商汤集团有限公司）
时空特征和运动特征是视频动作识别的两个重要信息，二者相互补充。最近的最先进的方法采用3D CNN流来学习时空特征，并采用另一个流来学习运动特征。在这项工作中，我们的目标是有效地编码这两个功能在一个统一的二维框架。为此，我们首先提出了一个STM块，其中包含一个逐行时空模块（CSTM），以呈现时空特征和逐行运动模块（CMM），以有效地编码运动特征。然后，我们将ResNet架构中的原始残差块替换为STM块，通过引入非常有限的额外计算成本来形成简单而有效的STM网络。大量的实验表明，所提出的STM网络在时间相关数据集（即，Something-Something v1 & v2和Jester）和场景相关数据集（即，Kinetics-400、UCF-101和HMDB-51），同时对时空和运动特征进行编码。
2019-08-16 cs.CV
Identity Recognition in Intelligent Cars with Behavioral Data and LSTM-ResNet Classifier
Technical University of Munich（慕尼黑工业大学）
汽车驾驶室中的身份识别是当今的一项关键任务，并提供了一个很大的应用领域，从个性化智能汽车到满足驾驶员的身体和行为需求，再到提高安全性。然而，已公布的方法的性能和适用性仍然不适合用于系列车，需要改进。在本文中，我们研究了人类身份识别在汽车驾驶室与时间序列分类（TSC）和深度神经网络。我们使用油门和刹车踏板压力作为模型的输入。这些数据在日常驾驶中很容易收集。由于我们的分类器对内存的要求非常低，并且不需要任何输入数据预处理，因此我们只能在一个Intel i5- 3210 M处理器上进行训练。我们的分类方法基于LSTM和ResNet的组合。在NUDrive的一个子集上训练的网络比仅训练的ResNet和LSTM模型的准确率分别高出35.9%和53.85%。我们在NUDrive的10个驱动程序子集上达到了79.49%的最终准确率，在UTDrive的5个驱动程序子集上达到了96.90%的最终准确率。
2020-03-02 cs.CV
Seven Basic Expression Recognition Using ResNet-18
我们建议使用在FER+数据集上预训练的ResNet-18架构来解决野外情感行为分析（ABAW）问题，以分类七种基本表达，即中性，愤怒，厌恶，恐惧，快乐，悲伤和惊讶。作为第二届研讨会和野外情感行为分析竞赛（ABAW 2）的一部分，我们提供了一个由564个视频组成的数据库，其中包括大约280万帧，以及这七种基本表达的标签。我们对数据集进行了重新采样，通过对过度代表的类进行欠采样，对代表性不足的类进行过采样以及类权重来对抗类不平衡。为了避免过度拟合，我们进行了数据增强并使用了L2正则化。我们的分类器达到了0.4的ABAW 2分数，因此超过了比赛主持人提供的基线结果。
2021-07-09 cs.CV
ShapeY: Measuring Shape Recognition Capacity Using Nearest Neighbor Matching
University of Southern California（南加州大学）
人类的物体识别主要依赖于形状线索。我们已经开发了一种新的方法来衡量形状识别性能的视觉系统基于最近邻视图匹配系统的嵌入空间。我们的性能基准，ShapeY，允许精确控制任务难度，通过强制执行视图匹配跨越指定程度的3D视点变化和/或外观变化。作为第一个测试案例，我们测量了在ImageNet上预训练的ResNet 50的性能。匹配出错率很高。例如，27度的物体俯仰变化导致ResNet 50在45%的时间内匹配不正确的物体。外观变化也具有高度破坏性。对错误匹配的检查表明，ResNet 50的嵌入空间严重“混乱”。这些发现表明，ShapeY可以成为一个有用的工具，用于绘制人工视觉系统向人类水平形状识别能力的进展。
2021-11-16 cs.CV cs.LG
Study of Residual Networks for Image Recognition
Stanford University（斯坦福大学）
深度神经网络在图像分类任务上表现出很高的性能，但更难以训练。由于复杂性和消失梯度问题，通常需要大量的时间和更多的计算能力来训练更深的神经网络。深度残差网络（ResNets）可以使训练过程更快，与等效的神经网络相比，可以获得更高的精度。ResNet通过在卷积神经网络的层中添加一个简单的跳过连接来实现这种改进。在这个项目中，我们首先设计了一个ResNet模型，它可以在Tiny ImageNet数据集上以高精度执行图像分类任务，然后我们将这个ResNet模型的性能与其等价的卷积网络（ConvNet）进行了比较。我们的研究结果表明，ResNets更容易过度拟合，尽管它们的准确性更高。研究了几种防止过拟合的方法，如增加dropout层和随机增强训练数据集。
2018-04-21 cs.CV
Masked Face Recognition using ResNet-50
Kansas State University（堪萨斯州立大学）
在过去的二十年里，世界各地爆发了几次不同的冠状病毒疾病。这些爆发往往导致呼吸道疾病，有时甚至是致命的。目前，随着冠状病毒家族COVID-19疾病的出现，我们正面临一场难以捉摸的健康危机。COVID-19的传播方式之一是空气传播。这种传播发生在人类通过呼吸、说话、唱歌、咳嗽或打喷嚏吸入感染者释放的飞沫时。因此，公共卫生官员已强制使用口罩，可以将疾病传播减少65%。对于通常用于安全验证目的的人脸识别程序，使用口罩带来了艰巨的挑战，因为这些程序通常使用没有口罩的人脸进行训练，但现在由于COVID-19大流行的爆发，他们被迫识别带有口罩的人脸。因此，本文通过开发一个基于深度学习的模型来研究同样的问题，该模型能够准确识别戴口罩的人。在本文中，作者训练了一个基于ResNet-50的架构，该架构在识别蒙面人脸方面表现良好。这项研究的结果可以无缝地集成到现有的人脸识别程序中，这些程序旨在检测用于安全验证目的的人脸。
2021-04-19 cs.CV
SSBNet: Improving Visual Recognition Efficiency by Adaptive Sampling
The Hong Kong University of Science and Technology（香港科技大学）
下采样被广泛采用，以实现视觉识别的准确性和延迟之间的良好权衡。不幸的是，通常使用的池化层没有学习，因此不能保留重要信息。作为另一种降维方法，自适应采样对与任务相关的区域进行加权和处理，从而能够更好地保留有用信息。然而，自适应采样的使用仅限于某些层。在本文中，我们证明了在深度神经网络的构建块中使用自适应采样可以提高其效率。特别是，我们提出了SSBNet，它是通过将采样层重复插入现有网络（如ResNet）来构建的。实验结果表明，该SSBNet在ImageNet和COCO数据集上均能实现具有竞争力的图像分类和目标检测性能.例如，SSB-ResNet-RS-200在ImageNet数据集上实现了82.6%的准确率，比基线ResNet-RS-152高出0.6%，具有类似的复杂性。可视化显示了SSBNet在允许不同层聚焦于不同位置方面的优势，消融研究进一步验证了自适应采样优于统一方法的优势。
2022-07-23 cs.AI cs.CV cs.LG
Recognition of Defective Mineral Wool Using Pruned ResNet Models
Aarhus University（奥胡斯大学）；Tampere University（坦佩雷大学）
针对矿棉生产质量难以控制的问题，开发了基于X射线图像的视觉检测系统，采用剪枝ResNet模型，通过交叉验证和数据增强，实现了98%以上准确率，比现有流程多识别20%缺陷产品。
2022-11-01 cs.CV eess.IV
Wider or Deeper: Revisiting the ResNet Model for Visual Recognition
The University of Adelaide（阿德莱德大学）
越来越深的神经网络的趋势是由一个普遍的观察所驱动的，即增加深度会提高网络的性能。然而，最近越来越多的证据表明，简单地增加深度可能不是提高性能的最佳方法，特别是考虑到其他限制。对深度剩余网络的研究也表明，它们实际上可能不是作为一个单一的深度网络运行，而是作为许多相对较浅的网络的集合体运行。我们研究这些问题，并在这样做，在一个新的解释解开深残差网络的观点，解释了一些已经观察到的实验行为。因此，我们能够推导出一种新的、更浅的残差网络架构，它在ImageNet分类数据集上的性能明显优于更深的模型，如ResNet-200。我们还表明，这种性能是可转移到其他问题领域，通过开发一个语义分割的方法，它优于国家的最先进的数据集，包括PASCAL VOC，PASCAL上下文，城市景观的显着利润率。因此，我们提出的架构优于其比较器，包括非常深的ResNets，但在内存使用方面更有效，有时在训练时间方面也更有效。代码和模型可在https://github.com/itijyou/ademxapp上获得
2016-11-30 cs.CV
Face Recognition Using $Sf_{3}CNN$ With Higher Feature Discrimination
Indian Institute of Information Technology, Allahabad（印度阿拉哈巴德信息技术学院）
随着二维卷积神经网络（2D CNN）的出现，人脸识别的准确率已经达到99%以上。然而，人脸识别在现实世界中仍然是一个挑战。视频而不是图像作为输入，对于解决现实世界条件下的人脸识别挑战更有用。这是因为视频提供比图像更多的特征。然而，2D CNN无法利用视频中存在的时间特征。因此，我们提出了一个框架称为$Sf_{3}CNN$的人脸识别视频。$Sf_{3}CNN$框架使用三维残差网络（3D Resnet）和A-Softmax损失进行视频中的人脸识别。3D ResNet的使用有助于将空间和时间特征捕获到一个紧凑的特征图中。然而，3D CNN特征必须具有高度区分性以用于有效的人脸识别。使用A-Softmax损失有助于从视频中提取高度区分的特征用于人脸识别。$Sf_{3}CNN$框架在CVBL视频数据库上的准确率提高了99.10%，而在使用3D ResNets的相同数据库上的准确率为97%。
2021-02-02 cs.CV
Improved Residual Networks for Image and Video Recognition
Inception Institute of Artificial Intelligence (IIAI)（起源人工智能研究院）
残差网络（ResNets）代表了一种功能强大的卷积神经网络（CNN）架构，广泛应用于各种任务中。在这项工作中，我们提出了一个改进版本的ResNets。我们提出的改进解决了ResNet的所有三个主要组成部分：通过网络层的信息流，剩余构建块和投影快捷方式。我们能够在准确性和学习收敛方面表现出一致的改进。例如，在ImageNet数据集上，使用具有50层的ResNet，对于top-1精度，我们可以报告在一个设置中比基线提高1.19%，在另一个设置中提高约2%。重要的是，这些改进是在不增加模型复杂性的情况下获得的。我们提出的方法允许我们训练非常深的网络，而基线显示出严重的优化问题。我们报告了六个数据集上三个任务的结果：图像分类（ImageNet，CIFAR-10和CIFAR-100），目标检测（COCO）和视频动作识别（Kinetics-400和Something-Something-v2）。在深度学习时代，我们为CNN的深度建立了一个新的里程碑。我们成功地在ImageNet数据集上训练了一个404层的深度CNN，并在CIFAR-10和CIFAR-100上训练了一个3002层的网络，而基线无法在如此极端的深度下收敛。代码可在：https://github.com/iduta/iresnet
2020-04-10 cs.CV
Transfer Learning for Action Unit Recognition
Imperial College London（帝国理工学院）；University of Twente（特文特大学）
提出了一种基于迁移学习模型的人脸表情识别分类器集成方法。主要实验工作是使用特征提取和微调卷积神经网络（CNN）进行面部动作单元检测。几个分类提取的CNN代码，如线性判别分析（LDA），支持向量机（SVM）和长短期记忆（LSTM）进行了比较和评估。多模型集成也被用来进一步提高性能。我们发现VGG-Face和ResNet是使用特征提取进行动作单元识别的相对最佳预训练模型，VGG-Net变体和ResNet的集成达到了最佳结果。
2018-07-19 cs.CV
An Explorative Analysis of SVM Classifier and ResNet50 Architecture on African Food Classification
Department of Computer Science, Nazarbayev University（纳扎尔拜地大学计算机科学系）；Department of Computer Science, Nnamdi Azikiwe University（恩内迪·阿齐基韦大学计算机科学系）
本研究针对非洲食物识别研究不足的问题，对比了微调ResNet50模型与SVM分类器在含1658张、6类非洲食物图像数据集上的分类表现，采用5项指标评估，为非洲食物识别发展提供参考。
2025-05-20 cs.CV
From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks
École de Technologie Supérieure (ÉTS)（高等技术学院）；Université du Québec（魁北克大学）
本文研究了不同标准环境声音表示（频谱图）对受害者残差卷积神经网络（即ResNet-18）的识别性能和对抗攻击鲁棒性的影响。我们专注于这种前端分类器而不是其他复杂架构的主要动机是平衡识别精度和训练参数的总数。在此，我们测量了在我们的前端模型上生成更多信息的梅尔频率倒谱系数（MFCC），短时傅立叶变换（STFT）和离散小波变换（DWT）表示所需的不同设置的影响。该测量涉及比较分类性能与对抗鲁棒性。我们证明了识别精度和模型鲁棒性之间的反比关系，对六个基准攻击算法的平均预算分配的对手和攻击成本的平衡。此外，我们的实验结果表明，虽然在DWT谱图上训练的ResNet-18模型实现了较高的识别准确率，但攻击该模型的成本相对于其他2D表示更高。我们还报告了不同卷积神经网络架构的一些结果，如ResNet-34，ResNet-56，AlexNet和GoogLeNet，SB-CNN和LSTM。
2022-04-14 cs.CR cs.CV cs.LG
Dual Complementary Dynamic Convolution for Image Recognition
Northwestern Polytechnical University（西北工业大学）；Communication University of China（中国传媒大学）
作为一个强大的引擎，vanilla卷积已经推动了各种计算机任务的巨大突破。然而，它经常遭受样本和内容不可知的问题，这限制了卷积神经网络（CNN）的表示能力。在本文中，我们第一次模型的场景特征的组合的局部空间自适应的部分拥有的个人和全球的移位不变的部分共享给所有个人，然后提出了一种新的双支双互补动态卷积（DCDC）算子灵活地处理这两种类型的功能。DCDC算子克服了香草卷积和大多数现有动态卷积仅捕获空间自适应特征的局限性，从而显着提高了CNN的表示能力。实验表明，基于DCDC算子的ResNets（DCDC-ResNets）在图像分类以及下游任务（包括目标检测、实例和全景分割任务）上的性能显著优于vanilla ResNets和大多数最先进的动态卷积网络，同时具有较低的FLOP和参数。
2022-11-11 cs.CV
ResNet-like Architecture with Low Hardware Requirements
FRC CSC RAS（俄罗斯科学院计算机系统与控制研究所（FRC CSC RAS））；Smart Engines Service LLC（Smart Engines服务有限责任公司）；JSC MCST（MCST股份公司）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）
现代识别系统中计算最密集的部分之一是用于图像分类、分割、增强和识别的深度神经网络的推理。边缘计算的日益普及促使我们寻找方法来减少移动和嵌入式设备的时间。减少神经网络推理时间的一种方法是修改神经元模型，使其在特定设备上的计算更有效。这种模型的例子是双极形态神经元模型。双极形态神经元基于用加法和最大值运算代替乘法的思想。该模型已被证明用于LeNet类架构的简单图像分类[1]。在本文中，我们介绍了一个双极形态ResNet（BM-ResNet）模型从一个更复杂的ResNet架构，通过转换其层到双极形态的。我们将BM-ResNet应用于MNIST和CIFAR-10数据集的图像分类，准确率仅适度下降，从99.3%降至99.1%，从85.3%降至85.1%。我们还估计了所得到的模型的计算复杂性。我们表明，对于大多数ResNet层，所考虑的模型需要2.1-2.9倍的逻辑门来实现，延迟降低15-30%。
2020-10-21 cs.CV
Learning Spatially-Adaptive Squeeze-Excitation Networks for Image Synthesis and Image Recognition
North Carolina State University（北卡罗来纳州立大学）
在图像合成和图像识别中学习轻量级但富有表现力的深度网络仍然是一个具有挑战性的问题。受最近观察到的数据特异性使得Transformer模型中的多头自注意（MHSA）如此强大的启发，本文提出将广泛采用的轻量级挤压激励（SE）模块扩展为空间自适应的，以增强其数据特异性，作为MHSA的卷积替代方案，同时保留SE的效率和卷积的归纳基础。提出了两种空间自适应挤压激励（SASE）模块的设计，分别用于图像合成和图像识别。对于图像合成任务，所提出的SASE进行了测试，在低拍摄和单次学习任务。它显示出比现有技术更好的性能。对于图像识别任务，所提出的SASE被用作ResNets中卷积层的直接替代品，并且比普通ResNets实现了更好的准确性，并且比MHSA的同类产品（如ImageNet-1000数据集中的Swin-Transformer和Pyramid-Transformer）略好，模型明显更小。
2022-10-03 cs.CV cs.LG
A Neural Architecture Search Method using Auxiliary Evaluation Metric based on ResNet Architecture
Key Laboratory of Intelligent Computing；Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University Xiangtan Hunan China；Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University
本文提出基于ResNet框架的神经架构搜索空间，将验证集损失值作为辅助优化目标，在MNIST、Fashion-MNIST和CIFAR100数据集上成功找到了具竞争力的网络架构。
2025-05-02 cs.AI cs.CV cs.LG
Deep Learning-Based Feature Extraction in Iris Recognition: Use Existing Models, Fine-tune or Train From Scratch?
University of Notre Dame（圣母大学）
可以采用现代深度学习技术来生成用于虹膜识别任务的有效特征提取器。问题是：我们是应该在相对大的虹膜图像数据集上从头开始训练这样的结构，还是更好地微调现有模型以使它们适应新的领域？在这项工作中，我们探索了流行的ResNet-50架构的五组不同的权重，以确定虹膜特定的特征提取器是否比为非虹膜任务训练的模型表现更好。从每个卷积层中提取特征，并在与ResNet-50模型训练中使用的样本不相交的数据集上测量支持向量机实现的分类精度。我们表明，最佳的训练策略是微调一组现成的权重虹膜识别域。这种方法比现成的权重和从头开始训练的模型都更准确。获胜的，微调的方法也显示了性能的增加相比，以前的工作，其中只有现成的（未微调）模型用于虹膜特征提取。我们制作了性能最好的ResNet-50模型，用超过360，000张虹膜图像进行了微调，并与本文一起公开。
2020-02-20 cs.CV
HyperFace: A Deep Multi-task Learning Framework for Face Detection, Landmark Localization, Pose Estimation, and Gender Recognition
University of Maryland（马里兰大学）；Rutgers University（罗格斯大学）
我们提出了一种使用深度卷积神经网络（CNN）同时进行人脸检测、地标定位、姿态估计和性别识别的算法。所提出的方法称为HyperFace，使用单独的CNN融合深度CNN的中间层，然后使用对融合特征进行操作的多任务学习算法。它利用了任务之间的协同作用，提高了他们的个人表现。此外，我们还提出了HyperFace的两种变体：（1）HyperFace-ResNet，它建立在ResNet-101模型的基础上，并在性能上取得了显着的改进;（2）Fast-HyperFace，它使用高召回率的快速人脸检测器来生成区域建议，以提高算法的速度。大量的实验表明，所提出的模型是能够捕捉全球和本地信息的面孔，并执行显着优于许多竞争对手的算法，这四个任务。
2017-12-06 cs.CV
Tiny-Inception-ResNet-v2: Using Deep Learning for Eliminating Bonded Labors of Brick Kilns in South Asia
Syed Babar Ali School of Science and Engineering（赛义德·巴巴尔·阿里科学与工程学院）；Lahore University of Management Sciences (LUMS)（拉合尔管理科学大学（LUMS））
本文提出采用Inception-ResNet启发的深度学习架构Tiny-Inception-ResNet-v2，通过识别南亚“砖窑带”内的砖窑来消除债务劳役。该框架是通过培训一个由南亚区域11个不同类别组成的卫星图像网络而开发的。在此过程中开发的数据集包括砖窑、房屋、道路、网球场、农场、稀疏树木、密集树木、果园、停车场、公园和荒地的地理参考图像。该数据集已公开，可供进一步研究。我们提出的网络结构具有非常少的学习参数优于所有国家的最先进的结构用于识别砖窑。我们提出的解决方案将使可持续发展目标的区域监测和评估机制成为可能。
2019-07-12 cs.CV cs.GR cs.LG
Hybrid quantum ResNet for car classification and its hyperparameter optimization
Terra Quantum AG（泰拉量子公司）；Volkswagen Data:Lab（大众数据实验室）；Volkswagen Group of America（美国大众汽车集团）；Leiden University（莱顿大学）
本文提出量子启发的张量列超参数优化方法和混合量子 ResNet，用于汽车图像分类，并以更少迭代取得高于经典 ResNet34 的准确率。
2023-09-29 cs.CV cs.LG quant-ph
Is Second-order Information Helpful for Large-scale Visual Recognition?
Dalian University of Technology（大连理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
通过堆叠卷积层和非线性层，卷积网络（ConvNets）可以有效地从低级到高级特征和判别表示进行学习。由于大规模识别的最终目标是描绘数千个类的复杂边界，因此充分探索特征分布对于实现ConvNets的全部潜力非常重要。然而，最先进的作品只集中在更深或更广的架构设计，而很少探索高于一阶的特征统计。我们朝着解决这个问题迈出了一步。我们的方法包括协方差池，而不是最常用的一阶池，高级卷积特征。所涉及的主要挑战是稳健的协方差估计给定一个小样本的高维特征和使用的流形结构的协方差矩阵。为了解决这些问题，我们提出了一种矩阵幂归一化协方差（MPN-COV）方法。我们开发了关于非线性矩阵函数的前向和后向传播公式，以便可以端到端地训练MPN-COV。此外，我们定性和定量地分析了它的优势，著名的对数欧几里德度量。在ImageNet 2012验证集上，通过结合MPN-COV，我们分别为AlexNet、VGG-M和VGG-16实现了超过4%、3%和2.5%的增益;将MPN-COV集成到50层ResNet中的性能优于ResNet-101，与ResNet-152相当。源代码将在项目页面上提供：http://www.peihuali.org/MPN-COV
2018-04-01 cs.CV
Bottleneck Transformers for Visual Recognition
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们提出了BoTNet，一个概念上简单但功能强大的骨干架构，结合了多个计算机视觉任务，包括图像分类，目标检测和实例分割的自我关注。通过在ResNet的最后三个瓶颈块中使用全局自关注替换空间卷积，并且没有其他更改，我们的方法在实例分割和目标检测方面显着改进了基线，同时还减少了参数，延迟开销最小。通过BoTNet的设计，我们还指出如何将具有自注意力的ResNet瓶颈块视为Transformer块。在没有任何额外功能的情况下，BoTNet使用Mask R-CNN框架在COCO实例分割基准测试中实现了44.4%的Mask AP和49.7%的Box AP;超过了之前在COCO验证集上评估的ResNeSt的最佳发布单一模型和单一尺度结果。最后，我们提出了一个简单的适应图像分类的BoTNet设计，导致模型在ImageNet基准测试中达到84.7%的top-1准确率，同时在计算时间上比TPU-v3硬件上流行的EfficientNet模型快1.64倍。我们希望我们简单而有效的方法将成为未来自我注意力模型视觉研究的一个强有力的基线
2021-08-02 cs.AI cs.CV cs.LG
High-Performance Large-Scale Image Recognition Without Normalization
DeepMind（深度思维）
批量归一化是大多数图像分类模型的关键组成部分，但它有许多不希望的属性，源于它对批量大小和样本之间的相互作用的依赖。虽然最近的工作已经成功地训练了没有归一化层的深度ResNet，但这些模型与最好的批量归一化网络的测试精度不匹配，并且对于大的学习率或强数据增强来说往往不稳定。在这项工作中，我们开发了一种自适应的梯度裁剪技术，克服了这些不稳定性，并设计了一个显着改进的类归一化自由ResNets。我们较小的模型与ImageNet上EfficientNet-B7的测试精度相匹配，同时训练速度提高了8.7倍，我们最大的模型达到了86.5%的最先进的顶级精度。此外，Normalizer-Free模型在ImageNet上对3亿张标记图像的数据集进行大规模预训练后，在ImageNet上进行微调时，其性能明显优于批量归一化模型，我们的最佳模型的准确率为89.2%。我们的代码可以在https://github.com/deepmind/ deepmind-research/tree/master/nfnets上找到
2021-02-11 cs.CV cs.LG stat.ML
BlockDrop: Dynamic Inference Paths in Residual Networks
IBM Research（IBM研究）；Fusemachines Inc.（Fusemachines公司）；UMD（马里兰大学（UMD））；UT Austin（德克萨斯大学奥斯汀分校（UT Austin））
非常深的卷积神经网络提供了出色的识别结果，但它们的计算费用限制了它们对许多现实世界应用的影响。我们引入了BlockDrop，这是一种学习在推理过程中动态选择执行深度网络的哪些层的方法，以便在不降低预测准确性的情况下最大限度地减少总计算量。利用残差网络（ResNets）对层丢弃的鲁棒性，我们的框架为给定的新图像选择要评估的残差块。特别是，给定一个预训练的ResNet，我们在关联强化学习设置中训练一个策略网络，以获得在保持识别准确性的同时利用最少数量的块的双重奖励。我们在CIFAR和ImageNet上进行了大量的实验。结果提供了强有力的定量和定性证据，这些学习的政策不仅加速推理，而且编码有意义的视觉信息。基于ResNet-101模型，我们的方法平均实现了20%的加速比，某些图像的加速比高达36%，同时在ImageNet上保持了76.4%的top-1准确率。
2019-01-28 cs.CV cs.LG
Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
Google Inc.（谷歌公司）
近年来，非常深的卷积网络一直是图像识别性能最大进步的核心。一个例子是Inception架构，它已经被证明可以以相对较低的计算成本实现非常好的性能。最近，在2015年ILSVRC挑战赛中，残余连接的引入与更传统的架构相结合，产生了最先进的性能;其性能与最新一代Inception-v3网络相似。这就提出了一个问题：将Inception架构与剩余连接结合起来是否有任何好处。在这里，我们给出了明确的经验证据，表明使用剩余连接的训练显着加速了Inception网络的训练。也有一些证据表明，残余的Inception网络的性能要比没有残余连接的类似昂贵的Inception网络好得多。我们还提出了几个新的精简架构的残留和非残留的先启网络。这些变化显著提高了ILSVRC 2012分类任务的单帧识别性能。我们进一步展示了适当的激活缩放如何稳定非常广泛的残差Inception网络的训练。使用三个残差和一个Inception-v4的集合，我们在ImageNet分类（CLS）挑战的测试集上实现了3.08%的前5名错误
2016-08-23 cs.CV
Emotion Recognition for In-the-wild Videos
Chinese Academy of Sciences (CAS) Institute of Computing Technology（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文简要介绍了我们提交给与IEEE自动人脸和手势识别国际会议（FG）2020联合举办的情感行为分析野外比赛的七个基本表情分类赛道。我们的方法结合了深度残差网络（ResNet）和双向长短期记忆网络（BLSTM），在验证集上实现了64.3%的准确率和43.4%的最终度量。
2020-02-13 cs.CV
Neural Network Facial Authentication for Public Electric Vehicle Charging Station
Faculty of Engineering, Multimedia University（多媒体大学工程学院）；Multimedia University（多媒体大学）
本研究旨在调查和比较Dlib ResNet与K-最近邻（KNN）分类器的面部识别准确性性能。特别是当用于来自亚洲种族的数据集时，据报道Dlib ResNet在亚洲面孔方面存在准确性不足。这两种比较都是在使用方向一致性直方图（HOG）方法提取的面部向量上实现的，并且使用相同的数据集进行公平比较。在电动车辆（EV）充电站中通过面部识别对用户进行认证展示了这种认证系统的实际使用情况。
2021-06-19 cs.CV eess.IV
Deep learning based Hand gesture recognition system and design of a Human-Machine Interface
在这项工作中，实时手势识别系统为基础的人机接口（HCI）。该系统包括六个阶段：（1）手检测，（2）手势分割，（3）使用五个预先训练的卷积神经网络模型（CNN）和视觉Transformer（ViT），（4）构建交互式人机界面（HMI），（5）开发手势控制的虚拟鼠标，（6）使用卡尔曼滤波器来估计手的位置，在此基础上提高了指针运动的平滑性。在我们的工作中，五个预训练的CNN（VGG 16，VGG 19，ResNet 50，ResNet 101和Inception-V1）模型和ViT已被用于分类手势图像。两个多类数据集（一个公共和一个自定义）已被用来验证模型。考虑到模型的性能，观察到Inception-V1在准确度、精确度、召回率和F得分值方面明显优于其他四个CNN模型和ViT。我们还扩展了这个系统来控制一些桌面应用程序（如VLC播放器，音频播放器，文件管理，玩2D超级马里奥兄弟游戏等）。在实时场景中使用不同的定制手势命令。该系统的平均速度达到了25 fps（帧每秒），满足实时场景的要求。所提出的手势控制系统的性能获得了平均响应时间毫秒为每个控制，这使得它适合于实时。这个模型（原型）将有利于身体残疾的人与桌面交互。
2023-01-16 cs.CV cs.HC
Deep Pyramidal Residual Networks with Separated Stochastic Depth
Osaka Prefecture University（大阪府立大学）
在一般物体识别上，深度卷积神经网络（DCNN）实现了高精度。特别是ResNet及其改进打破了最低出错率记录。在本文中，我们提出了一种成功结合两种ResNet改进的方法，ResDrop和PyramidNet。我们证实，所提出的网络优于传统方法;在CIFAR-100上，所提出的网络实现了16.18%的出错率，而PiramidNet实现了18.29%和ResNeXt实现了17.31%。
2016-12-05 cs.CV
Deep Neural Network-Based Sign Language Recognition: A Comprehensive Approach Using Transfer Learning with Explainability
BRAC University（BRAC大学）
针对手语识别需求，本文提出结合预处理架构与DNN的深度神经网络方案，用SHAP做可解释性分析，在BSL数据集上ResNet50+DNN达98.90%准确率，可用于开发全自动手语识别系统。
2024-09-11 cs.CV
Dual-stream Network for Visual Recognition
Beihang University（北京航空航天大学）；Shanghai AI Laboratory（上海人工智能实验室）；Baidu Inc（百度公司）
Transformers具有显著的全局表征能力，在视觉任务中取得了有竞争力的结果，但未能考虑输入图像中的高级别局部模式信息。在本文中，我们提出了一个通用的双流网络（DS-Net），以充分探索的局部和全局模式的图像分类特征的表示能力。我们的DS-Net可以同时计算细粒度和综合特征，并有效地融合它们。具体来说，我们提出了一个帧内尺度传播模块处理两个不同的分辨率在每个块和一个跨尺度对齐模块执行信息交互功能在双尺度。此外，我们还设计了一个双流FPN（DS-FPN），以进一步增强下游密集预测的上下文信息。在ImageNet-1 k上，没有花里胡哨的情况下，拟议的DS-Net在前1精度方面比DeiT-Small高出2.4%，并在其他视觉Transformer和ResNet上实现了最先进的性能。对于目标检测和实例分割，DS-Net-Small在MSCOCO 2017上的mAP方面分别优于ResNet-50 6.4%和5.5%，并超过了之前的最先进方案，这显着表明其有潜力成为视觉任务的通用骨干。代码将很快发布。
2021-10-27 cs.CV
Human Activity Recognition for Edge Devices
University of California San Diego（加利福尼亚大学圣地亚哥分校）
随着大量Kinetics（400和600）数据的发布，视频活动识别最近获得了很大的动力。I3 D和C3 D网络等架构在活动识别方面表现出了最先进的性能。这些最先进的网络的一个主要缺陷是它们需要大量的计算。在本文中，我们将探讨如何实现与这些最先进的边缘设备网络相媲美的结果。我们主要探索两种架构-I3 D和时间段网络。我们表明，可以实现可比的结果，通过改变测试程序使用十分之一的内存使用。我们还报告了Resnet架构作为我们的骨干的结果，除了原始的Inception架构。具体地说，我们实现了84.54%的前1名的准确性UCF-101数据集上使用仅RGB帧。
2019-03-18 cs.CV
Parametric Contrastive Learning
The Chinese University of Hong Kong（香港中文大学）；SmartMore
在本文中，我们提出了参数对比学习（PaCo）来解决长尾识别。基于理论分析，我们观察到监督对比损失往往偏向高频类别，从而增加了不平衡学习的难度。我们引入了一组参数类明智的可学习中心，从优化的角度重新平衡。此外，我们在平衡的情况下分析了我们的PaCo损失。我们的分析表明，PaCo可以自适应地增强推动同类样本接近的强度，因为更多的样本与它们相应的中心被拉在一起，并有利于硬示例学习。在长尾CIFAR、ImageNet、Places和iNaturalist 2018上的实验表明了长尾识别的最新技术水平。在完整的ImageNet上，使用PaCo损失训练的模型超过了各种ResNet骨干的监督对比学习，例如，我们的ResNet-200达到了81.8%的top-1准确率。我们的代码可在https://github.com/dvlab-research/Parametric-Contrastive-Learning上获得。
2021-08-17 cs.CV
