NutritionVerse-Direct: Exploring Deep Neural Networks for Multitask Nutrition Prediction from Food Images
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
针对老年人饮食追踪难、现有食物图像营养预测方法场景受限或信息不全的问题，提出基于视觉Transformer的NutritionVerse-Direct多任务模型，直接从餐食图像预测五类营养指标，精度较基线提升25.5%。
2024-05-13 cs.CV
Rice paddy disease classifications using CNNs
水稻是世界饮食中的主食，但每年因疾病而损失的农作物产量占很大比例。为了解决这个问题，人们一直在寻找自动化疾病诊断的方法。在这里，我们通过分析疾病分类的准确性如何对模型架构和常见的计算机视觉技术敏感来扩展以前的建模工作。在这样做的过程中，我们最大限度地提高了准确性，同时在较小的模型尺寸，最小的GPU和更短的训练时间的约束下工作。虽然以前最先进的模型只有93%的准确率预测5种疾病，但我们使用10种疾病类别将其提高到98.7%。
2023-03-15 cs.CV
Exploring Complementarity and Explainability in CNNs for Periocular Verification Across Acquisition Distances
School of Information Technology Halmstad University, Sweden（信息科技学院 哈姆斯塔德大学，瑞典）；AI Group University of Balearic Islands, Spain（人工智能小组 巴利阿里群岛大学，西班牙）；Faculty of Information Technology（信息科技学院）
本文研究不同CNN在跨采集距离眼周验证中的互补性，通过训练SqueezeNet、MobileNetv2和ResNet50并结合分数级融合，利用LIME热图解释其注意力差异，在UBIPr上达到新SOTA。
2025-10-30 cs.CV
RAFA-Net: Region Attention Network For Food Items And Agricultural Stress Recognition
Birla Institute of Technology and Science, Pilani（比拉理工与科学学院皮拉尼分校）；University of Hradec Kralove（赫拉德茨-克拉洛韦大学）；Skoda Auto University（斯柯达汽车大学）；Malaysia Japan International Institute of Technology (MJIIT), Universiti Teknologi Malaysia（马来西亚理工大学马来西亚日本国际理工学院）；Jadavpur University（贾达普大学）
本文提出RAFA-Net，通过区域注意力机制建模长距离依赖并融合池化与上下文门控优化特征，在食品与农业胁迫数据集上取得领先的分类准确率，证明了其泛化能力。
2024-10-16 cs.CV
Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid（生物度量与数据模式分析实验室，马德里自治大学）；IMDEA Food, CEI UAM+CSIC（IMDEA食品，CEI UAM+CSIC）
本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力，提出了一个新的评估指标，并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
2025-04-09 cs.AI cs.CV
Modeling Generalized Specialist Approach To Train Quality Resilient Snapshot Ensemble
卷积神经网络（CNN）由于具有学习区分性视觉特征的能力，因此很好地应用于食品图像识别。然而，识别失真图像对于现有的CNN来说是一个挑战。因此，本研究模拟了一种广义的专家方法来训练一个高质量的弹性合奏。该方法有助于集成框架中的模型保留识别干净图像的一般技能和对噪声图像进行分类的浅层技能，其中一个深度专业领域是特定的失真。随后，一种新的数据增强随机质量混合（RQMixUp）与快照集成相结合，训练G-Specialist。在G-Specialist的每个训练周期中，一个模型在RQMixup生成的合成图像上进行微调，在随机选择的水平上混合特定失真的干净和失真图像。结果，整体中的每张快照都获得了多个失真级别的专业知识，并在其他质量失真方面获得了肤浅的技能。接下来，来自不同专家的滤波器输出被融合以获得更高的精度。由于单个训练过程用于训练专家，学习过程没有额外的成本，与用于迁移学习的各种监督CNN兼容。最后，对三种真实食物和马来西亚食物数据库的实验分析表明，扭曲图像的分类性能有显着改善，对原始食物图像的分类性能具有竞争力。
2022-06-12 cs.AI cs.CV
Bayesian Image Quality Transfer with CNNs: Exploring Uncertainty in dMRI Super-Resolution
University College London（伦敦大学学院）；Microsoft Research Cambridge（微软剑桥研究院）；University of Oxford（牛津大学）
在这项工作中，我们调查的价值不确定性建模的三维超分辨率与卷积神经网络（CNN）。深度学习已经在大量的医学图像变换问题中取得了成功，例如超分辨率（SR）和图像合成。然而，这些问题的高度不适定性导致了网络学习中不可避免的模糊性。我们建议通过每补丁异方差噪声模型和参数的不确定性，通过近似贝叶斯推理的形式变辍学的内在不确定性。我们表明，两者的综合优势导致扩散MR脑图像的最先进的性能SR的错误相比，地面真理。我们进一步表明，减少的错误分数在下游纤维束成像中产生了实实在在的好处。此外，该方法的概率性质自然赋予了一种机制来量化超分辨输出的不确定性。我们通过对健康和病理大脑的实验证明了这种不确定性措施在随后临床使用的超分辨图像的风险评估中的潜在效用。
2017-05-30 cs.CV
Exploring Temporal Differences in 3D Convolutional Neural Networks
IIT Gandhinagar（甘地讷格尔印度理工学院）
传统的3D卷积是计算昂贵的，内存密集型的，并且由于大量的参数，它们往往倾向于过拟合。另一方面，2D CNN比3D CNN计算成本更低，内存密集度更低，并且在图像分类和对象识别等应用中显示出显着的效果。然而，在以前的工作中，已经观察到它们在应用于时空输入时不如3D CNN。在这项工作中，我们提出了一个卷积块，它通过执行2D卷积来提取空间信息，并通过利用时间差来提取时间信息，即，在不同时间实例的空间信息的变化，使用简单的移位、减法和加法操作，而不利用任何可训练的参数。所提出的卷积块具有与大小为nxn的2D卷积核相同数量的参数，即n^2，并且具有比nxn xn 3D卷积核小n倍的参数。我们表明，当3D卷积核被建议的卷积块取代时，3D CNN的性能更好。我们在UCF101和ModelNet数据集上评估了所提出的卷积块。
2019-09-07 cs.CV
Food Classification with Convolutional Neural Networks and Multi-Class Linear Discernment Analysis
本文面向食品分类构建稳健 CNN 并实现多类 LDA，证明 CNN 性能更优，同时表明 LDA 计算成本低、尤其在二分类中仍具价值。
2023-12-10 cs.AI cs.CV
Exploring Synergistic Ensemble Learning: Uniting CNNs, MLP-Mixers, and Vision Transformers to Enhance Image Classification
Michigan State University（密歇根州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Islamic University of Technology（伊斯兰科技大学）；Motional（莫申公司）
本研究针对图像分类中不同架构的互补性问题，提出保留CNN、MLP-Mixer和视觉Transformer各自完整性并通过集成技术组合的方法，所构建的集成框架性能优于相似架构集成，在ImageNet上超越现有单模型基准且延迟更低。
2025-04-12 cs.CV
Modelling Local Deep Convolutional Neural Network Features to Improve Fine-Grained Image Classification
Queensland University of Technology（昆士兰科技大学）；NICTA（澳大利亚国家信息与通信技术研究院）
我们提出了一种使用深度卷积神经网络（CNN）进行细粒度图像分类的局部建模方法。最近，从大型数据集训练的深度CNN大大提高了对象识别的性能。然而，到目前为止，使用这些深度CNN作为局部特征提取器的工作有限。这部分源于CNN具有高维的内部表示，从而使得这种表示难以使用随机模型进行建模。为了克服这个问题，我们建议降低内部全连接层之一的维数，并结合层限制再训练，以避免重新训练整个网络。然后使用高斯混合模型对从修改层获得的低维特征的分布进行建模。比较实验表明，相当大的性能改进可以实现具有挑战性的鱼和UEC FOOD-100数据集。
2015-02-27 cs.CV
Exploring Kervolutional Neural Networks
Carleton University（卡尔顿大学）
CVPR 2019会议上发表的一篇论文概述了一种名为“卷积”的新技术，用于一种新型的增强卷积神经网络（CNN），称为“卷积神经网络”（KNN）。该论文声称KNN比CNN实现更快的收敛和更高的精度。这篇“迷你论文”将进一步研究原始论文中的发现，并对KNN架构进行更深入的分析。这将通过分析超参数（特别是学习率）对KNN与CNN的影响，实验原始论文中未测试的其他类型的卷积运算，对精度和收敛时间进行更严格的统计分析以及额外的理论分析来完成。附带的代码是公开的。
2022-01-06 cs.CV
Can a CNN Recognize Catalan Diet?
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
如今，我们可以发现几种疾病与人口的不健康饮食习惯有关，如糖尿病、肥胖症、贫血症、贪食症和厌食症。在许多情况下，这些疾病与人们的食物消费有关。地中海饮食在科学上被称为健康饮食，有助于预防许多代谢疾病。特别是，我们的工作重点是对地中海食物和菜肴的认可。这种方法的发展将允许分析用户的日常习惯与可穿戴相机，在生活日志的主题。通过使用自动机制，我们可以建立一个客观的工具来分析病人的行为，让专家发现不健康的食物模式，并了解用户的生活方式。为了自动识别完整的饮食，我们引入了一个与地中海饮食相关的具有挑战性的多标签数据集，称为FoodCAT。第一种标签由115个食物类别组成，平均每道菜400张图片，第二种标签由12个食物类别组成，平均每类3800张图片。该数据集将作为自动饮食识别开发的基础。在这种背景下，深度学习，更具体地说，卷积神经网络（CNN），目前是自动食物识别的最先进方法。在我们的工作中，我们比较了几种架构的图像分类，与饮食识别的目的。应用最佳模型识别食品类别，我们实现了前1的准确率为72.29%，前5的准确率为97.07%。在一个完整的饮食识别的菜肴从地中海饮食，扩大与食品-101数据集的国际菜肴识别，我们实现了前1的准确率为68.07%，前5的89.53%，共115+101食品类。
2016-07-29 cs.CV
MobileMold: A Smartphone-Based Microscopy Dataset for Food Mold Detection
Technical University of Berlin（柏林工业大学）；University of Regensburg（雷根斯堡大学）；ETH Zurich（苏黎世联邦理工学院）；University of Tübingen（蒂宾根大学）
本文提出MobileMold数据集，包含4941张显微图像，用于食品霉变检测与分类。通过多种深度学习模型和增强策略，达到高准确率，验证了数据集在食品变质检测中的有效性。
2026-03-02 cs.CV
Exploring Linear Relationship in Feature Map Subspace for ConvNets Compression
Beihang University（北京航空航天大学）；Griffith University（格里菲斯大学）
虽然对卷积神经网络（CNN）的研究进展迅速，但这些模型的实际部署往往受到计算资源和内存约束的限制。在本文中，我们通过提出一种新的过滤器修剪方法来压缩和加速CNN来解决这个问题。我们的工作是基于线性关系，确定在不同的特征地图子空间，通过可视化的特征地图。这种线性关系意味着CNN中的信息是冗余的。我们的方法通过将子空间聚类应用于特征图来消除卷积滤波器中的冗余。通过这种方式，网络中的大部分代表性信息可以保留在每个簇中。因此，我们的方法提供了一个有效的解决方案，过滤器修剪，大多数现有的方法直接删除过滤器的基础上简单的算法。所提出的方法与网络结构无关，因此它可以被任何现成的深度学习库采用。在不同网络和任务上的实验表明，我们的方法优于微调前的现有技术，并在微调后达到了最先进的结果。
2018-03-15 cs.CV
Benchmarking Post-Hoc Unknown-Category Detection in Food Recognition
University of Bern（伯尔尼大学）
本研究针对食物识别模型易将未知类别样本误判为分布内类别的问题，对多种事后OOD检测方法开展细粒度食物识别实证分析，发现ViM整体最优，验证了ID准确率与OOD检测性能正相关，且Transformer架构优于卷积模型。
2025-03-24 cs.CV
Object Detection Using Deep CNNs Trained on Synthetic Images
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）；Innit Inc.（Innit公司）
训练卷积神经网络（CNN）需要大的带注释的图像数据集，这一直是它们在计算机视觉应用中采用的重大障碍。我们表明，通过迁移学习，有效的对象检测器几乎可以完全在合成渲染的数据集上进行训练。我们将此策略应用于检测聚集在冰箱场景中的包装食品。我们的CNN只训练了4000张合成图像，在测试集上实现了24的平均精度（mAP），其中55个不同的产品作为感兴趣的对象和17个干扰对象。通过仅将400个真实图像添加到训练集中的这4000个合成图像中，获得了mAP的进一步增加12%。合成图像中的高度照片写实主义对于实现这种性能并不是必不可少的。我们分析了训练数据集大小和三维模型字典大小等因素对检测性能的影响。此外，训练策略，如微调与选定的层和早期停止，影响迁移学习从合成场景到真实场景的探索。使用合成数据集训练CNN是高性能计算的一种新应用，也是缺乏大型注释图像数据的领域中目标检测应用的一种有前途的方法。
2017-09-18 cs.CV
Near-Infrared Hyperspectral Imaging Applications in Food Analysis -- Improving Algorithms and Methodologies
FOSS Analytical A/S（FOSS分析有限公司）；University of Copenhagen（哥本哈根大学）；Natural History Museum of Denmark（丹麦自然历史博物馆）；UCL University College（UCL大学学院）
本论文通过四项研究比较CNN与PLS模型，发现联合空间-光谱CNN在食品质量分析中优于单独空间或光谱分析，并开发了两个开源Python包以加速建模与交叉验证。
2025-10-15 cs.CV cs.LG
Exploring the Synergies of Hybrid CNNs and ViTs Architectures for Computer Vision: A survey
Beihang University（北京航空航天大学）；Beijing Institute of Technology（北京理工大学）；Tianjin University（天津大学）
本文综述最先进的混合 CNN-ViT 计算机视觉架构，系统分类其融合设计、任务协同、性能比较、挑战与未来方向。
2024-02-05 cs.CV cs.LG
Exploring object-centric and scene-centric CNN features and their complementarity for human rights violations recognition in images
School of Computer Science and Electronic Engineering, University of Essex, UK（埃塞克斯大学计算机科学与电子工程学院，英国）；School of Computer Science, University of Birmingham, UK（伯明翰大学计算机科学学院，英国）
通过图像识别潜在的侵犯人权行为是计算机视觉领域的一项新颖而具有挑战性的任务，这将使我们能够通过大规模数据揭露侵犯人权的行为，否则这是不可能的。虽然用于对象和场景分类的标准数据库包含数百个不同的类别，但最大的侵犯人权数据集只包含4个类别。在此，我们介绍“人权档案数据库”，这是一个由专家核实的储存库，储存了3 050张侵犯人权的照片，标有人权语义类别，包括目前遇到的侵犯人权类型的清单。利用HRA数据集和两阶段迁移学习方案，我们对最先进的深度卷积神经网络（CNN）进行了微调，以提供侵犯人权行为分类CNN（HRA-CNN）。我们还提出了广泛的实验改进，以评估如何以及以对象为中心和以场景为中心的CNN功能可以结合在一起，识别侵犯人权的任务。有了这个，我们表明，HRA数据库提出了一个挑战，在一个更高的水平上研究的表示学习方法，并提供了一个基准的任务，在视觉环境中的人权侵犯行为识别。我们希望这个数据集可以帮助开辟新的视野，创建能够识别有关侵犯人权行为的丰富信息的系统。我们的数据集，代码和训练模型可在https://github.com/GKalliatakis/Human-Rights-Archive-CNNs上在线获得。
2018-05-12 cs.CV
InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions
Tsinghua University（清华大学）；Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
本文提出以可变形卷积为核心的大规模CNN基础模型InternImage，兼具大感受野与自适应空间聚合能力，在ImageNet、COCO和ADE20K上超越现有CNNs与ViTs。
2023-04-17 cs.CV
Exploring Context with Deep Structured models for Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最先进的语义图像分割方法大多基于训练深度卷积神经网络（CNN）。在这项工作中，我们提出了改善语义分割与上下文信息的使用。特别是，我们探索了深度CNN中的“补丁-补丁”上下文和“补丁-背景”上下文。我们通过结合CNN和条件随机场（CRF）来制定深度结构化模型，以学习图像区域之间的补丁-补丁上下文。具体来说，我们制定了基于CNN的成对势函数，以捕捉相邻补丁之间的语义相关性。然后应用所提出的深度结构化模型的有效分段训练，以避免在反向传播过程中重复昂贵的CRF推断。对于捕获补丁背景上下文，我们表明，传统的多尺度图像输入和滑动金字塔池的网络设计是非常有效的，以提高性能。我们对所提出的方法进行了综合评价。我们在许多具有挑战性的语义分割数据集上实现了新的最先进的性能，包括$NYUDv2$、$PASCAL$ - $VOC2012$、$Cityscapes$、$PASCAL$ - $Context$、$SUN$ - $RGBD$、$SIFT$ - $flow$和$KITTI$数据集。特别是，我们报告了$PASCAL$ - $VOC2012$数据集上$77.8$的交叉-联合评分。
2017-05-02 cs.CV
Exploring Confidence Measures for Word Spotting in Heterogeneous Datasets
TU Dortmund University（多特蒙德工业大学）
近年来，卷积神经网络（CNN）接管了文档分析领域，并成为单词识别的主要模型。特别是学习单词图像和属性表示之间的映射的属性CNN，表现出了出色的性能。这种方法的缺点是神经网络在其训练分布之外使用时的过度自信。在本文中，我们探讨了不同的指标量化的置信度的CNN在其预测，特别是在检索问题的词发现。有了这些信心措施，我们限制检索列表拒绝某些候选人的能力。我们研究了四种不同的方法，无论是基于网络的属性估计或利用一个代理模型。我们的方法还旨在回答这个问题，对于数据集的哪一部分，检索系统给出了可靠的结果。我们进一步表明，存在一个直接的关系，建议的置信度和估计的属性表示的质量。
2019-03-26 cs.CV
Exploring the Interchangeability of CNN Embedding Spaces
Colorado State University（科罗拉多州立大学）
CNN特征空间可以线性映射，因此通常可以互换。这种等价性适用于架构、训练数据集和网络任务的变化。具体来说，我们在10个图像分类CNN和4个面部识别CNN之间进行了映射。当由一个CNN生成的图像嵌入被变换为与在相同任务上训练的第二CNN的特征空间相对应的嵌入时，它们各自的图像分类或面部验证性能被很大程度地保留。对于训练到相同类并共享公共后端logit（soft-max）架构的CNN，线性映射可以始终直接从后端层权重计算。然而，具有分类器的完美知识的闭集分析的情况是有限的。因此，经验方法估计映射的闭集图像分类任务和开集任务的人脸识别。所呈现的结果揭示了CNN嵌入在两个重要且常见的识别任务中基本上可互换的性质。这些影响是深远的，表明为共同任务设计和训练的网络所学习的表征之间存在潜在的共性。一个实际的含义是，可以使用这些映射来比较来自一些常用CNN的人脸嵌入。
2021-02-12 cs.CV cs.LG
Exploring Frequency Domain Interpretation of Convolutional Neural Networks
现有的许多卷积神经网络（CNN）解释方法主要在空间域进行分析，而频域模型的可解释性却很少研究。据我们所知，还没有从滤波器频率比例的角度对现代CNN进行解释的研究。在本文中，我们分析了第一层滤波器的频率特性，因为它是信息的入口，相对更便于分析。通过在训练阶段控制不同频率滤波器的比例，对网络的分类精度和模型鲁棒性进行了评估，结果表明，不同频率滤波器的比例对网络对常见的污染的鲁棒性有很大影响。此外，从频域角度提出了一种可学习的功率谱扰动频率比例调制方法。在CIFAR-10-C上的实验显示，ResNet-18的平均鲁棒性增益为10.97%，自然精度下降可以忽略不计。
2020-02-28 cs.CV
The Mind's Eye: Visualizing Class-Agnostic Features of CNNs
Utrecht University（乌得勒支大学）
卷积神经网络（CNN）的视觉可解释性已经得到了极大的普及，因为CNN复杂性对理解其内部工作带来了巨大的挑战。虽然已经提出了许多技术来可视化CNN的类特征，但其中大多数都没有提供输入与特定层中提取的特征之间的对应关系。这阻止了发现每一层都能更好地响应的刺激。我们提出了一种方法来直观地解释CNN功能给定的一组图像，通过创建相应的图像，描绘了一个特定层的最丰富的功能。以这种类不可知的方式探索特征允许更多地关注CNN的特征提取器。我们的方法使用双目标激活最大化和距离最小化损失，不需要生成器网络，也不需要修改原始模型。这将FLOP的数量限制为原始网络的数量。我们展示了广泛使用的架构上的可视化质量。
2021-01-29 cs.CV
Efficient Two-Stream Motion and Appearance 3D CNNs for Video Classification
ESAT-KU Leuven（鲁汶大学ESAT）；ETH Zurich（苏黎世联邦理工学院）
视频和动作分类通过深度神经网络得到了极大的发展，特别是使用RGB和光流作为输入的双流CNN，它们在视频分析方面表现出出色的性能。这些方法的缺点之一是处理运动信息抽取，这是在CNN之外完成的，并且在GPU上也相对耗时。因此，提出正在探索学习运动表示的端到端方法，如3D-CNN，可以实现更快，更准确的性能。我们提出了一些新的深度CNN，它们使用3D架构以一种有效的方式对动作和运动表示进行建模，以达到准确和实时的速度。我们的新网络通过学习网络内部的光流特征来学习独特的模型，将深度运动特征结合到外观模型中。
2016-09-02 cs.CV
SpectralNET: Exploring Spatial-Spectral WaveletCNN for Hyperspectral Image Classification
EURECOM
使用卷积神经网络（CNN）的高光谱图像（HSI）分类在当前文献中被广泛发现。方法从使用SVM到2D CNN，3D CNN，3D-2D CNN。除了3D-2D CNN和FuSENet之外，其他方法没有同时考虑HSI分类任务的光谱和空间特征，从而导致性能不佳。3D CNN计算量大，没有得到广泛应用，而2D CNN不考虑图像的多分辨率处理，仅限于空间特征。尽管3D-2D CNN试图对光谱和空间特征进行建模，但当应用于多个数据集时，它们的性能似乎有限。在这篇文章中，我们提出了SpectralNET，一种小波CNN，它是用于多分辨率HSI分类的2D CNN的变体。小波CNN使用小波变换的层来带出谱特征。计算小波变换比计算3D CNN更轻。然后将提取的光谱特征连接到2D CNN，其带来空间特征，从而创建用于分类的空间-光谱特征向量。总体而言，实现了一个更好的模型，可以分类多分辨率HSI数据具有高精度。在基准数据集上使用SpectralNET进行的实验，即印度松树，帕维亚大学和萨利纳斯场景证实了所提出的SpectralNET相对于最先进方法的优越性。该代码可在https://github.com/tanmay-ty/SpectralNET上公开获取。
2021-04-01 cs.CV cs.LG eess.IV
Advancing Green AI: Efficient and Accurate Lightweight CNNs for Rice Leaf Disease Identification
Universitas Syiah Kuala（Syiah Kuala大学）；University of Malaya（马来亚大学）
针对水稻叶片病害识别，本文比较ShuffleNet、MobileNetV2和EfficientNet-B0三种轻量级CNN，并通过新增全连接层、dropout与早停优化，使EfficientNet-B0达到99.8%准确率。
2024-08-03 cs.AI cs.CV
Towards Real-Time Head Pose Estimation: Exploring Parameter-Reduced Residual Networks on In-the-wild Datasets
Fraunhofer-Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
头部姿态是人体通信的关键组成部分，因此是人机交互的决定性元素。实时的【形】头部姿态估计在人机交互或驾驶员辅助系统中至关重要。最有前途的头部姿态估计方法是基于卷积神经网络（CNN）。然而，CNN模型通常过于复杂，无法实现实时的【形】性能。为了应对这一挑战，我们探索了CNN的一个流行子组，即残差网络（ResNets），并对其进行了修改，以减少其参数数量。ResNet针对不同的图像大小进行修改，包括低分辨率图像，并与不同数量的图层组合。他们在野外数据集上进行训练，以确保现实世界的适用性。因此，我们证明了ResNets的性能可以保持，同时减少参数的数量。修改后的ResNets达到了最先进的精度，并提供了实时的【形】适用性的快速推理。
2019-08-01 cs.CV
Exploring Overcomplete Representations for Single Image Deraining using CNNs
Whiting School of Engineering, Johns Hopkins University（约翰斯·霍普金斯大学怀廷工程学院）
从单个图像中去除雨条纹是一个极具挑战性的问题，因为下雨的图像通常包含不同大小，形状，方向和密度的雨条纹。大多数最近的去重方法使用遵循通用“编码器-解码器”架构的深度网络，该架构捕获初始层的低级特征和更深层的高级特征。对于去噪任务，要去除的雨条纹相对较小，并且过多地关注全局特征不是解决问题的有效方法。为此，我们建议使用过完备卷积网络架构，该架构通过限制滤波器的感受野来特别注意学习局部结构。我们将其与U-Net相结合，以便它不会失去全局结构，同时更多地关注低级别特征，以计算derained图像。所提出的网络被称为上下完全去抑制网络（OUCD），由两个分支组成：过完全分支，其被限制于小的感受野大小以专注于局部结构;以及不完全分支，其具有较大的感受野以主要专注于全局结构。在合成数据集和真实数据集上的实验表明，该方法比现有的方法有了显著的改进。
2020-10-20 cs.CV eess.IV
Exploring Frame Segmentation Networks for Temporal Action Localization
National University of Defense Technology（国防科技大学）
时间动作定位是计算机视觉的一个重要任务。虽然已经提出了许多方法，但如何准确地预测动作片段的时间位置仍然是一个悬而未决的问题。大多数最先进的作品训练动作分类器的视频片段预先确定的行动建议。然而，最近的工作发现，一个理想的模型应该超越段级，并在时间上以细粒度进行密集预测，以确定精确的时间边界。在本文中，我们提出了一种帧分割网络（FSN），它将时间CNN放置在2D空间CNN之上。空间CNN负责在空间维度上抽象语义，而时间CNN负责引入时间上下文信息并执行密集预测。所提出的FSN可以使用空间和时间上下文信息在帧级对视频片段进行密集预测。FSN以端到端的方式进行训练，因此可以在空间和时间域联合优化模型。我们还调整了FSN以在弱监督场景（WFSN）中使用它，在弱监督场景中，训练时只提供视频级别标签。在公开数据集上的实验结果表明，FSN在帧级动作定位和时域动作定位方面都取得了较好的性能。
2019-02-14 cs.CV
Exploring the ability of CNNs to generalise to previously unseen scales over wide scale ranges
KTH Royal Institute of Technology（瑞典皇家理工学院）
本研究通过理论分析和实验评估，提出新型中央凹尺度通道架构（FovMax/FovAvg），在宽尺度范围内实现卷积网络对未见尺度的有效泛化，并在小样本场景中取得改进。
2021-05-18 cs.CV cs.LG
Evaluating Adversarial Robustness in the Spatial Frequency Domain
National Taiwan University（台湾大学）
本文利用DCT构建SF层并改造CNN骨干网络，实证表明SF-CNNs在白盒与黑盒攻击下更鲁棒，且低频成分是其鲁棒性的主要来源。
2024-05-10 cs.CV
Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale
University of California, Berkeley（加州大学伯克利分校）
近年来，研究界发现，深度神经网络（DNN）和卷积神经网络（CNN）可以产生比以前所有解决广泛机器学习问题的解决方案更高的准确性。据我们所知，没有单一的CNN/DNN架构可以最佳地解决所有问题。相反，“正确的”CNN/DNN架构取决于手头的应用。CNN/DNN包括巨大的设计空间。定量地，我们发现CNN设计空间的一个小区域包含300亿个不同的CNN架构。在本论文中，我们开发了一种方法，使CNN的设计空间的系统探索。我们的方法包括以下四个主题。1.明智地选择基准和指标。2.快速训练CNN模型。3.定义和描述CNN设计空间。4.探索CNN架构的设计空间。综合起来，这四个主题构成了一个有效的方法，用于发现“正确的”CNN架构，以满足实际应用的需求。
2016-12-20 cs.CV cs.LG cs.NE
Exploring Novel Pooling Strategies for Edge Preserved Feature Maps in Convolutional Neural Networks
National Institute of Technology Trichy（特里奇国家理工学院）；Indian Institute of Technology Palakkad（帕拉卡德印度理工学院）
随着抗锯齿卷积神经网络（CNN）的引入，重新审视CNN中池化的方式已经有了一些复苏。抗混叠CNN的基本构建块是在池化操作之前应用高斯平滑，以减少由于混叠引起的失真，从而使CNN平移不变。基于小波的方法也被提出作为额外的噪声去除能力的可能性，并给出了有趣的结果，甚至分割任务。然而，所有提出的方法都是在假设高频成分是噪声的情况下完全去除高频成分。然而，通过去除高频分量，特征图中的边缘也被平滑。在这项工作中，一个详尽的分析的边缘保留池的分类，分割和自动编码器的选项。提出了两种新的池化方法，如拉普拉斯-高斯注意力级联（LGCA）池化和基于小波的近似细节系数注意力级联（WADCA）池化。结果表明，所提出的池化方法优于传统的池化以及模糊池化的分类，分割和自动编码器。
2021-10-17 cs.CV eess.IV
VisualBackProp: efficient visualization of CNNs
NVIDIA Corp.（英伟达公司）；ECE NYU Tandon（纽约大学坦登工程学院电子与计算机工程系）
本文提出了一种新的方法，我们称之为VisualBackProp，用于可视化输入图像的哪些像素集对卷积神经网络（CNN）的预测贡献最大。该方法在很大程度上取决于探索直觉，即当向网络中移动时，特征图包含的与预测决策无关的信息越来越少。我们提出的技术是作为基于CNN的自动驾驶汽车转向系统的调试工具开发的，因此需要实时运行，即它被设计为需要比前向传播更少的计算。这使得所提出的可视化方法是一个有价值的调试工具，可以很容易地在训练和推理过程中使用。我们进一步证明我们的方法与理论论据，并从理论上证实，所提出的方法识别输入像素集，而不是单个像素，协同有助于预测。我们的理论研究结果与实验结果一致。实证评估表明，道路视频数据以及在其他应用程序中所提出的方法的可扩展性，并揭示了它相比有利的逐层相关传播方法，即它获得类似的可视化结果，同时实现了数量级的速度。
2017-05-19 cs.CV
Exploring convolutional neural networks with transfer learning for diagnosing Lyme disease from skin lesion images
Université Clermont Auvergne（克莱蒙奥弗涅大学）；CNRS（法国国家科学研究中心）；ENSMSE（圣艾蒂安国立矿业工程师学校）；INRAE（法国国家农业食品与环境研究院）；VetAgro Sup（法国兽医与农学高等学院）；Université de Lyon（里昂大学）；CHU Clermont-Ferrand（克莱蒙费朗大学医院）；Inserm（法国国家健康与医学研究院）；Tous Chercheurs Laboratory（全民研究者实验室）；CPIE Champenoux（尚佩努环境倡议中心）；University Hospital of Nancy（南锡大学医院）；University Hospital of Saint Etienne（圣艾蒂安大学医院）；IHU-Méditerranée Infection（地中海感染大学医院研究所）；Aix Marseille Univ（艾克斯-马赛大学）；IRD（法国发展研究院）；AP-HM（马赛公立医院援助机构）；SSA（法国军队卫生勤务局）；Hôpitaux Universitaires（斯特拉斯堡大学医院）；Pontchaillou University Hospital（蓬查卢大学医院）；CHR Orléans（奥尔良地区中心医院）；Hospital of Villeneuve-Saint-Georges（维勒讷夫圣乔治医院）；Centre Hospitalier Universitaire de Rennes（雷恩大学医院）
莱姆病是最常见的传染性媒介传播疾病之一，在大多数情况下表现为游走性红斑（EM）皮肤病变。最近的研究表明，卷积神经网络（CNN）在从图像中识别皮肤病变方面表现良好。用于资源受限的移动设备的基于轻量级CNN的预扫描仪应用程序可以帮助用户早期诊断莱姆病，并通过适当的抗生素治疗防止转变为严重的晚期形式。此外，基于资源密集型CNN的强大计算机应用程序可以帮助非专业从业人员进行准确的诊断。本研究的主要目的是广泛分析CNN从图像诊断莱姆病的有效性，并找出考虑资源限制的最佳CNN架构。首先，我们在法国克莱蒙费朗大学医院中心的皮肤科专家的帮助下创建了一个EM数据集。其次，我们在预测性能、计算复杂性和统计显著性方面，对从VGG、ResNet、DenseNet、MobileNet、Xception、NASNet和EfficientNet架构定制的23个CNN架构的数据集进行了基准测试。第三，为了提高CNN的性能，我们使用了ImageNet预训练模型的自定义迁移学习，并使用皮肤病变数据集HAM10000对CNN进行了预训练。第四，对于模型的可解释性，我们使用了加权类激活映射来可视化对CNN进行预测有重要意义的输入区域。第五，我们提供了基于预测性能和计算复杂性的模型选择指南。
2022-02-15 cs.CV cs.LG eess.IV
Cell Phone Image-Based Persian Rice Detection and Classification Using Deep Learning Techniques
Sharif University of Technology（谢里夫理工大学）
本研究提出一种基于手机图像的深度学习方法，结合微调ResNet与U-Net架构，实现对波斯水稻品种的准确识别与散装颗粒的精确分割，证明了非专业图像在食品分类中的可行性。
2024-04-21 cs.AI cs.CV
How to Learn More? Exploring Kolmogorov-Arnold Networks for Hyperspectral Image Classification
Simon Fraser University（西蒙菲莎大学）；Alipurduar Government Engineering and Management College（阿里布尔杜阿尔政府工程与管理学院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Helmholtz-Zentrum Dresden-Rossendorf (HZDR)（德累斯顿-罗森多夫亥姆霍兹中心）；Lancaster University（兰卡斯特大学）
本研究评估Kolmogorov-Arnold网络（KANs）在高光谱图像分类中的效果，提出融合1D、2D、3D KAN的混合架构，在三个新建基准数据集上性能优于或匹敌多种CNN与ViT类算法。
2024-06-22 cs.CV
Exploring the Role of Convolutional Neural Networks (CNN) in Dental Radiography Segmentation: A Comprehensive Systematic Literature Review
Research Groups in Intelligent Machines (REGIM Lab), University of Sfax, National Engineering School of Sfax (ENIS)（智能机器研究组（REGIM实验室），斯法克斯大学，斯法克斯国家工程学院）
本文通过系统性文献综述，梳理了卷积神经网络在牙科放射影像分割中的应用现状、方法流程与性能表现，旨在规范研究讨论并为未来研究建立基线。
2024-01-17 cs.CV cs.LG
OliveGemma: A 3 Billion Visual Language Model for Recognising the Mediterranean & European Diet
本研究构建基于PaliGemma-2-3B的OliveGemma，经LoRA微调后在欧洲饮食识别任务上超越多数前沿模型，仅逊于DenseNet-121，小型VLM经PEFT适配可在专业任务超越大模型。
2026-08-05 cs.AI cs.CV
One-Shot Learning for Periocular Recognition: Exploring the Effect of Domain Adaptation and Data Bias on Deep Representations
Halmstad University（哈尔姆斯塔德大学）
本文研究单样本眼周识别中深度表征在数据稀缺下的行为，发现开箱即用CNN和SIFT等传统方法可显著降低EER并超越微调生物特征网络。
2023-07-11 cs.CV
Exploring Architectures for CNN-Based Word Spotting
TU Dortmund University（多特蒙德工业大学）
该研究针对单词检索任务中CNN架构的复杂度需求问题，对比了TPP-PHOCNet与残差网络、密集连接卷积网络、LeNet的性能，发现复杂模型仅在难任务上有优势，简单基准上无增益。
2024-03-12 cs.CV
Exploring the Adversarial Robustness of CLIP for AI-generated Image Detection
University Federico II of Naples（那不勒斯费德里科二世大学）
本文研究基于CLIP和ViT的AI生成图像检测器对抗鲁棒性，发现其与CNN检测器同样易受白盒攻击，但攻击在两类方法间难以迁移，频域噪声模式差异证实了这一点。
2024-10-23 cs.CV
Plant Diseases recognition on images using Convolutional Neural Networks: A Systematic Review
植物病害被认为是影响粮食生产和减少生产损失的主要因素之一，快速检测和识别作物病害至关重要。最近扩展的深度学习方法已在植物病害检测中得到应用，提供了一种具有高度准确结果的强大工具。在这种情况下，这项工作提出了一个系统的文献综述，旨在确定使用卷积神经网络（CNN）在植物病害的识别和分类过程中的最新技术水平，划定趋势，并指出差距。从这个意义上说，我们提出了121篇论文，在过去十年中选择了不同的方法来处理与疾病检测，数据集的特点，作物和病原体调查有关的方面。从系统评价的结果中，可以了解使用CNN识别植物疾病的创新趋势，并确定需要研究界关注的差距。
2020-09-09 cs.CV
Convolutional Embedding Makes Hierarchical Vision Transformer Stronger
OPPO；North China University of Technology（北方工业大学）；Neolix Autonomous Vehicle（新石器自动驾驶）；University of Science and Technology of China（中国科学技术大学）
视觉Transformer（VisionTransformer，ViTs）近年来在计算机视觉领域占据主导地位，但其存在训练数据效率低、局部语义表达能力差等问题。卷积神经网络（CNN）固有地捕获区域感知语义，这激励研究人员将CNN引入ViT的架构中，为ViT提供理想的归纳偏差。然而，嵌入ViT中的微观CNN实现的局部性是否足够好？在本文中，我们深入探讨混合CNN/ViTs的宏架构如何增强分层ViTs的性能来研究这个问题。特别是，我们研究了令牌嵌入层，别名卷积嵌入（CE）的作用，并系统地揭示了CE如何在ViTs中注入理想的感应偏差。此外，我们还将最佳CE配置应用于最近发布的4款最先进的ViT，有效提升了相应的性能。最后，一系列高效的混合CNN/ViT，被称为CETNets，可以作为通用的视觉骨干。具体而言，CETNet在ImageNet-1 K上实现了84.9%的Top-1准确率（从头开始训练），在COCO基准测试中实现了48.6%的框mAP，在ADE 20 K上实现了51.6%的mIoU，大大提高了相应最先进基线的性能。
2022-08-01 cs.AI cs.CV
MambaAD: Exploring State Space Models for Multi-class Unsupervised Anomaly Detection
Zhejiang University（浙江大学）；Tencent（腾讯）；Nanyang Technological University（南洋理工大学）
本文首次将Mamba状态空间模型引入多类无监督异常检测，提出MambaAD框架，通过多尺度LSS模块、HSS块和希尔伯特八方向扫描有效融合长程与局部特征，在六个数据集上取得领先性能。
2025-03-09 cs.CV
Ensemble of Multi-View Learning Classifiers for Cross-Domain Iris Presentation Attack Detection
University of Notre Dame（圣母大学）；University of Campinas (Unicamp)（坎皮纳斯大学（Unicamp））
随着世界各地大规模虹膜识别系统的采用，检测呈现攻击图像（纹理隐形眼镜和principal）的重要性已经显现出来。本文提出了一种新的虹膜呈现攻击检测方法，通过二值化统计图像特征（BSIF），探索卷积神经网络（CNN）和变换输入空间的组合。我们的方法结合了轻量级CNN来分类输入图像的多个BSIF视图。在探索互补输入空间导致更多的歧视性特征来检测呈现攻击之后，我们还提出了一种算法来选择最好的（和最具歧视性的）预测器用于手头的任务。一个预测器的集合利用他们的预期个人表现来聚合他们的结果到最终的预测中。结果表明，该技术改进了虹膜PAD的当前技术水平，在数据集内和跨数据集场景中的表现都优于LivDet-Iris 2017竞赛的获胜者，并说明了跨数据集场景的非常困难的性质。
2018-11-25 cs.CV
Automated Multi-Class Crop Pathology Classification via Convolutional Neural Networks: A Deep Learning Approach for Real-Time Precision Agriculture
University of California, San Diego（加州大学圣地亚哥分校）；University of Pennsylvania（宾夕法尼亚大学）
本研究提出一种基于CNN的图像分类系统，利用TensorFlow和Keras构建深度学习流程自动检测八种作物病害，集成治疗推荐模块并部署于移动平台，为精准农业提供可扩展的实时诊断工具。
2025-07-12 cs.CV
Exploring Object-Aware Attention Guided Frame Association for RGB-D SLAM
本研究针对RGB-D室内SLAM任务，提出将逐层物体注意力信息与CNN层表征融合的方法，有效提升了帧关联性能，为SLAM等视觉任务的性能优化提供了新的思路。
2023-03-13 cs.CV
Exploring the Common Principal Subspace of Deep Features in Neural Networks
Texas A&M University（得克萨斯农工大学）；Baidu Research（百度研究院）；University of Maryland（马里兰大学）；Huazhong University of Science and Technology（华中科技大学）
我们发现，使用相同数据集训练的不同深度神经网络（DNN）在潜在空间中共享共同的主子空间，无论在哪种架构中（例如，卷积神经网络（CNN）、多层预编码器（MLP）和自动编码器（AE）），或者甚至是否在训练中使用了标签（例如，监督学习、无监督学习和自监督学习）。具体来说，我们设计了一个新的度量$\mathcal{P}$ -向量来表示DNN中学习的深度特征的主子空间，并提出使用$\mathcal{P}$ -向量来测量主子空间之间的角度。在使用不同算法/架构训练的任何两个DNN之间的比较中发现了小角度（余弦接近$1.0$）。此外，在从随机开始的训练过程中，角度从较大的角度（通常为$70^\circ-80^\circ$）减小到较小的角度，这与特征空间从开始到收敛的学习过程相一致。然后，我们进行了案例研究，以衡量之间的角度$\mathcal{P}$ -向量和主子空间的训练数据集，并将这种角度与泛化性能。在MNIST、CIFAR-10和CIFAR-100数据集上，使用实际使用的多层感知器（MLP）、AE和CNN进行分类、图像重建和自监督学习任务的广泛实验已经完成，以有力的证据支持我们的主张。深度学习、特征学习和深度特征子空间的可解释性
2021-10-06 cs.AI cs.CV cs.LG
DSXplore: Optimizing Convolutional Neural Networks via Sliding-Channel Convolutions
University of California, Santa Barbara（加州大学圣巴巴拉分校）
作为卷积神经网络（CNN）的重要进展，深度可分离卷积（DSC）技术在保持模型精度的同时，减少了CNN的计算量和参数大小，成为最流行的技术之一。它还带来了深远的影响，以提高计算和内存密集型CNN的适用性，以广泛的应用，如移动设备，这是通常缺乏计算能力和内存。然而，以前的DSC研究主要集中在合成有限的现有DSC设计，因此，错过了探索更多潜在设计的机会，可以实现更好的精度和更高的计算/参数减少。此外，现成的卷积实现提供有限的计算方案，因此，缺乏对具有不同卷积模式的DSC的支持。为此，我们介绍了DSXplore，这是第一个用于在CNN上探索DSC的优化设计。具体而言，在算法层面，DSXplore采用了一种新的因子分解内核-滑动通道卷积（SCC），其特征在于输入通道重叠，以平衡精度性能和计算和内存成本的降低。SCC还通过引入可调节的内核参数为设计探索提供了巨大的空间。此外，在实现层面上，我们进行了优化的GPU实现定制SCC利用几个关键技术，如输入为中心的向后设计和通道循环优化。在主流CNN的不同数据集上进行的密集实验表明，DSXplore在平衡准确性和计算/参数减少方面优于标准卷积和现有DSC。
2021-01-04 cs.CV cs.LG
SceneMixer: Exploring Convolutional Mixing Networks for Remote Sensing Scene Classification
College of Engineering（工程学院）；University of Dubai（迪拜大学）；Department of Geography（地理系）；Simon Fraser University（西蒙弗雷泽大学）；Department of Computer Science（计算机科学系）；Tezpur University（泰朱普大学）
SceneMixer通过卷积混合网络提升遥感场景分类的准确性和效率。
2025-12-07 cs.CV
