POL-LWIR Vehicle Detection: Convolutional Neural Networks Meet Polarised Infrared Sensors
Heriot-Watt University（赫瑞-瓦特大学）；Cortexica Vision Systems（Cortexica视觉系统公司）；Thales UK（泰雷兹英国公司）
为了实现车辆自动化、驾驶员辅助和态势感知，有必要在白天和黑夜以及所有天气条件下运行。特别地，主要接收发射的辐射的长波红外（LWIR）传感器具有在夜间以及在白天期间操作的能力。在这项工作中，我们采用偏振LWIR（POL-LWIR）相机从移动车辆中获取数据，比较和对比四种不同的卷积神经网络（CNN）配置，以检测视频序列中的其他车辆。我们评估了两种不同的和有前途的方法，两阶段检测（Faster-RCNN）和一阶段检测（SSD），在四种不同的配置。我们还采用两种不同的图像分解：第一个基于偏振椭圆和第二个斯托克斯参数本身。为了评估我们的方法，通过平均精度（mAP）和处理时间来量化实验试验，这两个因素之间存在明显的权衡。例如，使用Faster-RCNN实现了80.94%的最佳mAP结果，但帧速率为6.4 fps。相比之下，MobileNet SSD仅实现了64.51%的mAP，但速度为53.4 fps。
2018-04-07 cs.CV
CyCNN: A Rotation Invariant CNN using Polar Mapping and Cylindrical Convolution Layers
Seoul National University（首尔大学）
深度卷积神经网络（CNN）在图像分类中经验上已知对适度平移不变，但对旋转不变。本文提出了一种深度CNN模型，称为CyCNN，它利用输入图像的极坐标映射将旋转转换为平移。为了处理极坐标的圆柱属性，我们将传统CNN中的卷积层替换为圆柱卷积（CyConv）层。CyConv层利用圆柱滑动窗口（CSW）机制，该机制垂直扩展卷积层中边界单元的输入图像感受野。我们评估了CyCNN和传统的CNN模型在旋转MNIST，CIFAR-10和SVHN数据集上的分类任务。我们表明，如果在训练过程中没有数据增强，与传统的CNN模型相比，CyCNN显着提高了分类精度。我们对CyCNN的实现可在https://github.com/mcrl/CyCNN上公开获得。
2020-07-21 cs.CV cs.LG eess.IV
PVP: Polar Representation Boost for 3D Semantic Occupancy Prediction
Zhejiang University（浙江大学）
提出极坐标3D多模态预测器PVP，通过全局表示传播模块和平面分解卷积解决极坐标非均匀划分导致的特征失真，在OpenOccupancy数据集上显著提升了mIoU和IoU指标。
2024-12-18 cs.CV
SPIN: Simplifying Polar Invariance for Neural networks Application to vision-based irradiance forecasting
University of Cambridge（剑桥大学）；ENGIE Lab CRIGEN（ENGIE CRIGEN实验室）；MINES ParisTech（巴黎高等矿业学院）
由池化操作引起的平移不变性是卷积神经网络的固有属性，其促进了许多计算机视觉任务，例如分类。然而，为了利用旋转不变任务，卷积架构需要特定的旋转不变层或广泛的数据增强，以从给定空间配置的不同旋转版本中学习。将图像展开到其极坐标中提供了更明确的表示以训练卷积架构，因为旋转不变性变为平移，因此可以从单个图像学习给定场景的视觉上不同但在其他方面等效的旋转版本。我们通过两个常见的基于视觉的太阳辐照度预测挑战（即使用地面拍摄的天空图像或卫星图像）表明，该预处理步骤通过标准化场景表示显着改善了预测结果，同时与使用旋转增强数据相比，将训练时间减少了4倍。此外，这种变换放大了旋转中心周围的区域，从而获得更准确的短期辐照度预测。
2022-04-08 cs.CV
Exploring Polarimetric Properties Preservation during Reconstruction of PolSAR images using Complex-valued Convolutional Neural Networks
Université de Lorraine（洛林大学）；CentraleSupélec（中央超导学院）；CNRS（国家科学研究中心）；LORIA（洛林研究所）；Metz, France（法国梅斯）
本文提出复值卷积神经网络用于极化SAR图像重建，有效保持极化特性并提升SAR数据处理的物理建模能力。
2026-02-06 cs.CV eess.IV
DeepMiner: Discovering Interpretable Representations for Mammogram Classification and Explanation
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；Microsoft（微软）；UCLA（加州大学洛杉矶分校）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）；Microsoft Research New England（微软新英格兰研究院）；VSCO
我们提出了DeepMiner，这是一个发现深度神经网络中可解释的表示并为医学预测建立解释的框架。通过探测训练用于对乳房X线照片中的癌症进行分类的卷积神经网络（CNN），我们发现CNN的最终卷积层中的许多单个单元对BI-RADS词典指定的患病组织概念做出强烈响应。在对可解释单元进行专家注释后，我们提出的方法能够生成与筛查乳腺X射线摄影数字数据库上的地面真实放射学报告一致的CNN乳腺X射线摄影分类的解释。我们表明，DeepMiner不仅能够更好地理解CNN分类决策的细微差别，而且还可能发现与医学诊断相关的新视觉知识。
2021-08-18 cs.CV
Very high resolution Airborne PolSAR Image Classification using Convolutional Neural Networks
Univ. Bretagne Sud（南布列塔尼大学）；IRISA（法国国家信息与自动化研究所雷恩分院）；CNRS（法国国家科学研究中心）
在这项工作中，我们利用卷积神经网络（CNN）的甚高分辨率（VHR）极化SAR（PolSAR）数据的分类。由于这些数据中的异质纹理的显着外观，不仅极化特征，而且结构张量被利用来馈送CNN模型。对于深度网络，我们使用SegNet模型进行语义分割，这对应于遥感中的逐像素分类。我们对机载F-SAR数据的实验表明，对于VHR PolSAR图像，SegNet可以为分类任务提供高精度;引入结构张量和极化特征作为输入可以帮助网络更多地关注几何信息，以显着提高分类性能。
2020-04-09 cs.CV cs.LG
Classification of X-Ray Protein Crystallization Using Deep Convolutional Neural Networks with a Finder Module
University of Tsukuba（筑波大学）；High Energy Accelerator Research Organization（高能加速器研究机构）
最近，深度卷积神经网络在图像识别方面表现出了良好的效果。在本文中，我们使用卷积神经网络与查找器模块，发现识别的重要区域，并提取该区域。我们建议将我们的方法应用于识别蛋白质晶体的X射线结构分析。在该分析中，有必要从大量图像中识别蛋白质结晶的状态。利用卷积神经网络实现蛋白质结晶识别的方法有多种。在每一种方法中，都需要大规模的数据集才能以高精度进行识别。在我们的数据集中，图像的数量不足以训练CNN。CNN的数据量在各个领域都是一个严重的问题。我们的方法实现了高精度的识别与少量的图像发现的结晶液滴存在的区域。我们将我们的结晶图像识别方法与使用Inception-V3的高精度方法进行了比较。我们证明了我们的方法是有效的结晶图像使用几个实验。我们的方法得到的AUC值比对比方法高约5%。
2018-12-25 cs.CV
Filter Distribution Templates in Convolutional Networks for Image Classification Tasks
University of Bristol（布里斯托大学）
神经网络设计者通过增加模型深度、引入新的层类型和发现新的层组合来实现渐进的准确性。许多架构中的一个共同元素是每层中过滤器数量的分布。神经网络模型在更深层保持增加过滤器的模式设计，例如LeNet，VGG，ResNet，MobileNet甚至自动发现架构（如NASNet）中的过滤器。它仍然是未知的，如果过滤器的这种金字塔分布是最好的不同的任务和约束。在这项工作中，我们提出了一系列的修改，在四个流行的神经网络模型中的过滤器的分布和它们的影响，在准确性和资源消耗。结果表明，通过应用这种方法，一些模型的精度提高了8.9%，参数减少了54%。
2021-04-28 cs.CV
DARCNN: Domain Adaptive Region-based Convolutional Neural Network for Unsupervised Instance Segmentation in Biomedical Images
Stanford University（斯坦福大学）
在生物医学领域，存在大量密集、复杂的数据，其中感兴趣的对象可能难以检测或受到人类知识的限制。用于监督任务的标记域特定数据集的获得通常是昂贵的，并且此外，发现新颖的不同对象对于无偏见的科学发现可能是期望的。因此，我们建议利用基准计算机视觉数据集中丰富的注释，对不同的生物医学数据集进行无监督的实例分割。因此，关键的障碍是克服从普通图像到生物医学图像的大范围转移。我们提出了一个域自适应区域为基础的卷积神经网络（DARCNN），适应知识的对象定义COCO，一个大的标记的视觉数据集，多个生物医学数据集。我们在DARCNN中引入了一个域分离模块、一个自监督表示一致性损失和一个增强的伪标签阶段，以有效地在如此大的域偏移中执行领域自适应。我们展示了DARCNN在许多生物医学数据集上进行无监督实例分割的性能。
2021-04-03 cs.CV
AutoGrow: Automatic Layer Growing in Deep Convolutional Networks
Duke University（杜克大学）；University of Nevada, Reno（内华达大学雷诺分校）
深度是深度神经网络（DNN）的关键组成部分，然而，设计深度是启发式的，需要许多人工努力。我们提出AutoGrow来自动化DNN中的深度发现：从浅种子架构开始，如果增长提高了准确性，AutoGrow会增长新的层;否则，停止增长，从而发现深度。我们提出了鲁棒的增长和停止策略，以推广到不同的网络架构和数据集。我们的实验表明，通过将相同的策略应用于不同的网络架构，AutoGrow总是可以在MNIST，FashionMNIST，SVHN，CIFAR 10，CIFAR 100和ImageNet的各种数据集上发现接近最佳的深度。例如，在准确性-计算权衡方面，AutoGrow在ResNets中发现了比人类专家更好的深度组合。我们的AutoGrow是高效的。它在训练单个DNN的类似时间内发现深度。我们的代码可在https://github.com/wenwei202/autogrow上获得。
2020-06-15 cs.CV cs.LG cs.NE
Convolution Neural Network based Mode Decomposition for Degenerated Modes via Multiple Images from Polarizers
Hongik University（弘益大学）
本文研究了退化模态的模态分解方法。卷积神经网络（CNN）已被用于图像训练和预测模式系数。四重简并的$LP_{11}$系列是被分解的目标。多幅图像被视为一个输入分解的退化模式。总共七个不同的图像，包括完整的原始近场图像、四个方向的线性偏振器（0 $^\circ$、45 $^\circ$、90 $^\circ$和135 $^\circ$）之后的图像以及两个圆偏振器（右旋和左旋）之后的图像，已被考虑用于训练、验证和测试。模型的输出标签被选择为模式系数的实部和虚部，并且损失函数被选择为标签的均方根（RMS）。已选择实际值和预测值之间的标记、强度、相位和场相关性的RMS和平均绝对误差（MAE）作为评估CNN模型的度量。CNN模型已经用10万张深度为3、4和7的三维图像进行了训练。训练模型的性能通过10，000个测试样本进行评估，这些测试样本具有四组图像-三个线性偏振器之后的图像（0 $^\circ$，45 $^\circ$，90 $^\circ$）和在右旋圆偏振器之后的图像-显示0.0634的标记RMS，0.0292的强度RMS，0.1867 rad的相位MAE，平均场相关系数为0.9978。4个图像集的性能表现出至少50.68%的性能增强模型相比，只考虑图像后的线性偏振器。
2022-07-08 cs.CV cs.LG eess.IV
Learn Class Hierarchy using Convolutional Neural Networks
University of Insubria（因苏布里亚大学）
卷积神经网络的大量研究都集中在多类域的平面分类上。在现实世界中，许多问题自然地表示为分层分类问题，其中要预测的类被组织在类的层次结构中。在本文中，我们提出了一种新的架构，分层分类的图像，引入了一个堆栈的深度线性层与交叉熵损失函数和中心损失相结合。所提出的架构可以扩展任何神经网络模型，并同时优化损失函数，以发现局部层次的类关系和损失函数，以发现全局信息，从整个类层次结构，同时惩罚类层次结构的违规行为。我们的实验表明，我们的分层分类器的优势，传统的分类方法找到应用在计算机视觉任务。
2020-05-18 cs.CV cs.LG
Weakly-supervised land classification for coastal zone based on deep convolutional neural networks by incorporating dual-polarimetric characteristics into training dataset
本文研究基于星载PolSAR数据的沿海地区弱监督土地分类，提出结合双极化特征构建训练数据集的新方法，并通过SegNet、U-Net和LinkNet三种DCNN模型验证了迁移学习策略的有效性。
2024-11-19 cs.CV eess.IV
An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；University of California San Diego（加州大学圣迭戈分校）；RMIT University（皇家墨尔本理工大学）
零样本学习（Zero-Shot Learning，简称ZRL）旨在通过语义相关性将学习到的知识从观察到的类转移到看不见的类。一个有前途的策略是学习一个全局-局部表示，它将全局信息与额外的局部信息（即，输入的小部分/区域）。然而，现有的方法发现地方的基础上明确的功能，而不深入的内在属性和区域之间的关系。在这项工作中，我们提出了一种新的熵引导的增强部分卷积网络（ERPCNet），它提取和聚合的地方逐步基于语义相关性和视觉相关性没有人类注释的区域。ERPCNet使用增强的部分卷积和熵指导;它不仅动态地发现全局合作的位置，而且收敛速度更快，以实现策略梯度优化。我们在四个基准数据集上进行了广泛的实验，通过与ZSL和广义零样本学习（GZSL）设置下的最先进方法进行比较来证明ERPCNet的性能。我们还表明ERPCNet是时间效率和可解释的可视化分析。
2021-11-03 cs.CV cs.LG
Convolutional Networks in Visual Environments
SAILab, University of Siena（锡耶纳大学 SAILab）
当我们意识到大多数成功的方法都是在图像层面上工作时，计算机视觉的难题可能会找到新的具有挑战性的解决方案，这比直接处理视觉流要困难得多。在本文中，我们声称它们的处理自然会导致制定运动不变性原则，这使得能够构建一个新的卷积网络学习理论。该理论解决了自然视觉中出现的许多有趣的问题，并为发现视网膜上的卷积滤波器提供了适定的计算方案。它们是由从最小认知行为原理导出的微分方程驱动的。与需要大量监督的传统卷积网络不同，所提出的理论提供了一个真正的新场景，其中通过对视频信号的无监督处理进行特征学习。它指出，一个适当的模糊的视频，沿着交织的零信号段，使人们有可能设想一种新的学习机制，产生最小的认知动作。基本上，虽然该理论能够实现新颖的计算机视觉系统，但它也为进化为人类发现的解决方案提供了一个有趣的解释，看起来新生儿的视频模糊和昼夜节律似乎出现在一个通用的计算框架中，而不管生物学如何。
2018-01-16 cs.CV cs.LG
Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale
University of California, Berkeley（加州大学伯克利分校）
近年来，研究界发现，深度神经网络（DNN）和卷积神经网络（CNN）可以产生比以前所有解决广泛机器学习问题的解决方案更高的准确性。据我们所知，没有单一的CNN/DNN架构可以最佳地解决所有问题。相反，“正确的”CNN/DNN架构取决于手头的应用。CNN/DNN包括巨大的设计空间。定量地，我们发现CNN设计空间的一个小区域包含300亿个不同的CNN架构。在本论文中，我们开发了一种方法，使CNN的设计空间的系统探索。我们的方法包括以下四个主题。1.明智地选择基准和指标。2.快速训练CNN模型。3.定义和描述CNN设计空间。4.探索CNN架构的设计空间。综合起来，这四个主题构成了一个有效的方法，用于发现“正确的”CNN架构，以满足实际应用的需求。
2016-12-20 cs.CV cs.LG cs.NE
Spatial-Temporal Convolutional Attention for Mapping Functional Brain Networks
Shaanxi Normal University（陕西师范大学）；University of Georgia（佐治亚大学）
利用功能性磁共振成像（fMRI）和深度学习来探索功能性脑网络（FBN）吸引了许多研究人员。然而，这些研究大多数仍然是基于源和体素信号之间的时间相关性，缺乏对脑功能动力学的研究。由于体积中广泛的局部相关性，FBN可以直接在空间域中以自监督的方式通过使用空间方向注意（SA）生成，并且与经典方法相比，所得到的FBN与模板具有更高的空间相似性。因此，我们提出了一种新的时空卷积注意力（STCA）模型发现动态FBN使用滑动窗口。为了验证所提出的方法的性能，我们在HCP-rest数据集上对该方法进行了评估。结果表明，STCA可以用于发现FBNs在一个动态的方式，提供了一个新的途径，以更好地了解人类大脑。
2022-11-04 cs.CV q-bio.NC stat.ML
